NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型
NVIDIA 发布全模态模型 Nemotron 3 Nano Omni,原生支持长文档分析、多图推理、语音识别、音视频长文本理解及智能体计算机操作。该模型采用 Mamba-Transformer-MoE 混合语言骨干,结合动态分辨率与 Conv3D 视频压缩技术,多模态推理吞吐量提升最高达 9 倍。
推荐理由:原文详解了混合架构设计与动态分辨率等优化,为长上下文多模态处理与原生音视频建模提供了参考。
公司与模型
英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。
26 条精选近 30 天 17 条共收录 75 条
NVIDIA 发布全模态模型 Nemotron 3 Nano Omni,原生支持长文档分析、多图推理、语音识别、音视频长文本理解及智能体计算机操作。该模型采用 Mamba-Transformer-MoE 混合语言骨干,结合动态分辨率与 Conv3D 视频压缩技术,多模态推理吞吐量提升最高达 9 倍。
推荐理由:原文详解了混合架构设计与动态分辨率等优化,为长上下文多模态处理与原生音视频建模提供了参考。
NVIDIA 正式发布开源推理视觉语言模型 Cosmos Reason 2,面向物理 AI 提供 2B 与 8B 两种参数规格,上下文窗口由上一代的 16K 扩展至 256K。
推荐理由:提供了面向物理世界推理的多模态模型与具体参数版本,读者可以据此评估其在具身智能规划和视频分析中的实用性。
Hugging Face 博客发布实践指南,详解如何利用 NVIDIA DGX Spark 与 Reachy Mini 机器人或仿真环境构建私有桌面交互智能体。
推荐理由:文章给出了结合模型意图路由、实时音视频流与桌面机器人的端到端串联方案,读者可参考其架构搭建私有可控的具身智能体。
OpenAI 与 NVIDIA 宣布达成战略合作,计划部署由 NVIDIA 系统支持的 10 GW(10 gigawatts)AI 数据中心。该合作的第一阶段预计将于 2026 年启动。
推荐理由:原文公开了双方合作建设数据中心的规模与启动时间,读者可以借此了解大模型算力基础设施的长期扩张规划。
NVIDIA 在 GTC 2025 推出面向物理 AI 开发的开源资源套件,包括 7B 参数的多控制世界模型 Cosmos Transfer、通用人形机器人基础模型 Isaac GR00T-N1-2B,以及包含超 32 万条轨迹的 15TB 物理 AI 数据集。
推荐理由:提供了从世界生成模型、通用人形本体控制到大规模仿真数据的完整开源方案,有助于具身智能开发者直接复用并微调下游任务。
Hugging Face 介绍了 NVIDIA 开源的 LogitsProcessorZoo 工具库,展示如何通过在采样前修改原始 Logits 精准控制语言模型的生成行为。
推荐理由:文章演示了如何通过修改原始 Logits 控制大模型生成,提供了调整生成长度、引用提示词和限制多选输出等可复用代码实现。