Hugging Face Blog·· 2023-05-11精选AI 评分78
Hugging Face 推出辅助生成技术，大幅降低大模型文本生成延迟
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 在 Transformers 库中引入辅助生成（Assisted Generation）解码方法，利用同分词器的小模型预先生成候选 token 并由目标模型批量前向验证，最高可将文本生成延迟降低 10 倍。
推荐理由
通过小模型预先生成候选并由主模型单次前向验证，它在显存受限或内存卸载场景下给出了降低文本生成延迟的具体工程方案。
来源：Hugging Face Blog · huggingface.co