Hugging Face Tokenizers 推出 Chat Templates 功能以统一对话格式

Hugging Face 宣布在 Tokenizers 中新增 chat_template 属性，利用 Jinja 模板将多轮对话结构转换为模型训练时对应的字符串格式。该功能旨在消除因对话格式不匹配造成的隐式性能劣化问题，开发者可通过 tokenizer.apply_chat_template() 统一微调和推理阶段的输入预处理。