Hugging Face TRL 引入 RLOO 训练器，降低在线 RLHF 显存与训练耗时

Hugging Face 在 TRL 库中上线 RLOO 训练器，为在线 RLHF 提供了显存占用更低且更容易实现的 PPO 替代方案。该方法省去了价值模型并以整段生成为动作建模，较 PPO 降低约 50% 至 70% 的显存占用，训练速度提升 2 至 3 倍，在 GPT-4 评测胜率上与 PPO 相当且优于 DPO。