使用 DPO 在 TRL 中微调 Llama 2 实战指南

Hugging Face 宣布 TRL 库正式支持直接偏好优化（DPO），并提供了基于 QLoRA 微调 Llama 2 7B 模型的完整端到端流程。DPO 将强化学习目标转化为基于隐式奖励的二元交叉熵损失，跳过了传统 RLHF 中训练独立奖励模型和策略优化的复杂环节。