Transformers 支持 Contrastive Search 解码：兼顾流畅度与连贯性的文本生成实践

Hugging Face 在 transformers 4.24.0 中集成了对比搜索解码算法，支持 PyTorch 与 TensorFlow 双框架。该方法结合模型预测置信度与表征退化惩罚项，通过计算候选 token 与已有上下文的余弦相似度，避免贪婪搜索引起的文本循环重复以及核采样的语义漂移。