基于 StarCoder 构建对话式编程助手 StarChat 教程

Hugging Face 展示了如何基于开源 16B 代码大语言模型 StarCoder 微调构建对话式编程助手 StarChat-alpha。该方案采用 ChatML 结构化对话格式与用户标签掩码策略，结合 OpenAssistant 人类对话数据集，使用 Transformers 和 DeepSpeed ZeRO-3 在 8 张 A100 GPU 上完成微调。