OpenAI 推出 o1-mini 模型
OpenAI 推出 o1-mini 模型,主打推进具备高成本效益的推理能力。
技术方向
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
64 条精选近 30 天 6 条共收录 101 条
OpenAI 推出 o1-mini 模型,主打推进具备高成本效益的推理能力。
Hugging Face 在 Transformers 库中引入辅助生成(Assisted Generation)解码方法,利用同分词器的小模型预先生成候选 token 并由目标模型批量前向验证,最高可将文本生成延迟降低 10 倍。
推荐理由:通过小模型预先生成候选并由主模型单次前向验证,它在显存受限或内存卸载场景下给出了降低文本生成延迟的具体工程方案。
Hugging Face 发布博文系统拆解 ChatGPT 等对话智能体的关键技术,横向对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT 与 Anthropic Assistant 在数据规模、开源状态及安全评测上的差异。
推荐理由:梳理了主流对话模型的训练架构与对齐方案,读者可以据此看清指令微调与强化学习的技术分工。
Hugging Face 官方发布博客,系统梳理了使用 Transformers 库进行自回归文本生成时的主要解码策略及代码实现。文章对比了贪婪搜索、束搜索(Beam search)以及温度采样、Top-K 和核采样(Top-p)的生成表现,分析了重复生成等常见缺陷的成因与缓解方案。开发者可通过调整 generate 接口的参数快速组合不同解码方式,以平衡生成文本的多样性与连贯性。
推荐理由:教程梳理了自回归生成的多种解码策略及其优缺点,读者可以掌握在 transformers 库中配置参数调优文本质量的方法。