TRL 支持通过 DDPO 微调 Stable Diffusion 模型教程

Hugging Face 在 TRL 库中集成了 DDPOTrainer，支持使用去噪扩散策略优化（DDPO）结合强化学习微调 Stable Diffusion 模型。该方案将去噪过程建模为多步马尔可夫决策过程，借助审美奖励模型计算精确似然来引导策略更新，单卡训练推荐在 A100 GPU 上搭配 LoRA 进行。实验表明该方法在少量提示词训练下即可泛化，有效提升生成图像的人类审美偏好对齐度。