Big Bench Audio 评测基准发布：评估音频大模型的语音推理能力
Artificial Analysis 发布音频语言模型推理评测数据集 Big Bench Audio，包含从 Big Bench Hard 改编的 1000 个语音问题。
推荐理由：评测揭示了原生端到端语音与纯文本之间的推理性能鸿沟，为构建高准确率语音智能体提供了架构选型参考。
技术方向
多模态 最新动态
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
48 条精选近 30 天 6 条共收录 73 条
更新
精选归档 · 第 3 页
Hugging Face Blog精选AI 评分6868
OpenAI News精选AI 评分7676 OpenAI 微调 API 引入视觉能力，支持微调 GPT-4o
OpenAI 宣布在微调 API 中正式引入视觉支持。开发者现可结合图像和文本数据微调 GPT-4o，以针对特定场景提升模型的视觉能力。
推荐理由：开发者可基于自身的图文数据集定制 GPT-4o，有助于优化特定场景下的视觉理解表现。
Hugging Face Blog精选AI 评分8383 Llama 3.2 发布：支持视觉能力与端侧运行
Hugging Face 宣布迎来 Llama 3.2，该版本模型具备视觉能力并支持在个人设备端运行。目前材料仅提供标题信息，具体技术参数与细节需参考完整官方文档。
Hugging Face Blog精选AI 评分6666 TII 发布开源 Falcon 2 系列：包含 11B 语言模型与多模态 VLM
TII 正式推出 Falcon 2 系列开源模型，包含 11B 参数的大语言模型 Falcon2-11B 及其视觉语言模型 Falcon2-11B VLM。
推荐理由：原文给出了 11B 语言与多模态模型的分阶段训练参数和基准对比，读者可以据此评估小参数开源模型在多语言和视觉问答中的实用性。
OpenAI News精选AI 评分8888 OpenAI 探讨将视频生成模型作为物理世界模拟器并介绍 Sora
OpenAI 发布视频生成研究报告，其最大模型 Sora 能够生成长达 1 分钟的高保真视频。该方法在不同时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型，并采用在潜在编码时空 patch 上运行的 Transformer 架构。OpenAI 指出，扩展视频生成模型是构建通用物理世界模拟器的可行路径。
推荐理由：OpenAI 将视频生成视为物理世界模拟器的技术路径，展示了扩散模型结合时空 Patch 架构在视频生成上的扩展潜力。
OpenAI News精选AI 评分9090 ChatGPT 现已支持视觉与语音交互
OpenAI 宣布 ChatGPT 具备看、听和说的多模态交互能力。该更新让用户可以通过语音对话以及输入图像与 ChatGPT 展开交流。
Hugging Face Blog精选AI 评分6060 Hugging Face 详解文生视频模型演进与 Diffusers 实践
Hugging Face 博客发文梳理文生视频技术发展，分析了该任务在时空一致性与高质量多模态数据集方面的核心挑战。文章回顾了从 GAN、Transformer 到扩散模型的演进路径，并展示了如何通过 Hugging Face Diffusers 管道及 Spaces 运行 ModelScope 和 Text2Video-Zero 等开源模型。
推荐理由：文章系统梳理了文生视频从早期生成对抗网络到扩散架构的技术演进与数据集瓶颈，并提供了可直接复现的开源部署代码。
Hugging Face Blog精选AI 评分6666 Hugging Face 详解文档 AI 落地指南：开源模型选型与实践建议
Hugging Face 发布文档 AI 实操指南，系统梳理了六大典型场景与主流开源模型的应用路径。文章对比了 OCR、版面分析、文档解析及 DocVQA 在 LayoutLM、Donut 与新兴视觉语言模型下的能力演进，并就商用授权风险、图像分辨率权衡及小样本标注提出了落地建议。
推荐理由：原文系统梳理了文档 AI 的核心场景、开源模型选型及商用授权风险，读者可据此搭建端到端文档理解方案。