NVIDIA Nemotron 3 全模态理解模型 (Omni-understanding Models) 为 AI 智能体提供动力 使其能够实现自然对话、复杂推理和高级视觉能力。NVIDIA 今日宣布扩展其开放模型系列为代理式、物理和医疗 AI 下一阶段发展提供支持包括推出新模型使开发者和科学家能够构建在数字和真实环境中进行推理和行动的智能系统。开放模型对于推动全球创新至关重要。包括适用于代理式系统的 NVIDIA Nemotron™ 用于物理 AI 的 NVIDIA Cosmos™ 用于智能汽车的 NVIDIA Alpamayo用于机器人的 NVIDIA Isaac™ GR00T 以及用于生物医学研究的 NVIDIA BioNeMo™NVIDIA 不断扩展的产品组合提供先进的模型和框架以解锁各行各业的新潜力。NVIDIA 生成式 AI 软件副总裁 Kari Briski 表示“开源 AI 已成为全球创新力量。从生物学和科学发现到机器人和自主机器NVIDIA 开放模型系列将智能扩展到语言之外使全球开发者能够构建智能体推动数字和物理行业的突破。”NVIDIA Nemotron 3 Ultra、Omni 和 VoiceChat 模型助力 AI 智能体NVIDIA Nemotron 系列通过涵盖语言、视觉、语音和安全的全模态理解模型进行扩展延展多模态智能助力开发者构建专业化的代理式 AI。NVIDIA Nemotron 3 全模态理解多模态模型为 AI 智能体提供助力支持自然对话、复杂推理和高级视觉功能。Nemotron 3 Ultra 通过在 NVIDIA Blackwell 平台上使用 NVFP4 格式提供前沿智能吞吐效率提高 5 倍为编码助手、搜索和复杂工作流自动化等 AI 原生应用提供支持。Nemotron 3 Omni 集成了音频、视觉和语言理解使 AI 智能体能够高效、准确地从视频和文档中提取见解。Nemotron 3 VoiceChat 支持实时对话AI 可同时进行聆听和响应。该模型在单个系统中结合了自动语音识别、大语言模型处理和文本转语音功能。Nemotron safety 模型和检索管道通过检测文本和图像中的不安全内容来增强多模态系统的可信度而代理式检索管道则提高了输出的相关性和准确性。LangChain 将 NVIDIA Nemotron 模型以及其他 NVIDIA Agent Toolkit软件集成到其智能体开发平台中使企业能够构建、部署和管理智能 AI 助手以实现企业级规模的复杂任务自动化。Automation Anywhere、CodeRabbit、CrowdStrike、Cursor、FactoryDistyl、Genspark、Perplexity 和 ServiceNow 等领先公司正在部署 NVIDIA Nemotron 模型为高级代理式应用提供支持。Edison Scientific 将 NVIDIA Nemotron 作为 Kosmos 的核心组件。Kosmos 是一个自动化 AI 科学家系统面向 5 万多名研究人员能够并行执行数百项研究任务将数月的研究任务缩减至一天完成。全球的 AI 开发者正在使用 Nemotron 模型数据和框架构建服务数十亿人、支持其母语并与当地文化和价值观保持一致的主权模型。其中包括 AI Singapore、Bielik.ai、Indosat Ooredoo Hutchison、LINAGORA、SOOFI、Stockmark、Trillion Labs、Viettel 和 YTL AI 实验室。NVIDIA 还发布了 Nemotron-Personas这是以当地人口普查和人口统计数据为基础的隐私保护全合成数据集。由 NVIDIA 与 Pleias 合作开发的法国数据集现已发布进一步丰富了现有的美国、日本、印度、巴西和新加坡数据集。全新开放模型推动物理 AI 推理发展NVIDIA 正在通过新的基础模型和仿真工具加速自主系统的开发旨在帮助机器人和车辆在物理世界中感知、推理和行动。其中包括NVIDIA Cosmos 3 是首个统一了合成世界生成、物理 AI 推理和动作仿真的世界基础模型预计将于近期推出帮助物理 AI 在复杂环境中运行。NVIDIA Isaac GR00T N1.7 是专为人形机器人打造的开放推理视觉语言动作 (VLA) 模型目前已具备在现实世界中进行商业部署的可行性。NVIDIA Alpamayo 1.5 是一款 VLA 推理模型通过导航引导能力、条件化提示词、灵活的多摄像头支持和可配置摄像头参数极大地增强了辅助驾驶车辆的推理能力。在 GTC 主题演讲中NVIDIA 创始人兼首席执行官黄仁勋还预告基于 DreamZero 研究成果打造的下一代机器人基础模型 GR00T N2。该模型采用了新的世界动作模型架构相较于当前领先的 VLA 模型其在全新环境中执行新任务的成功率可达到两倍以上。GR00T N2 预计将于年底推出目前在 MolmoSpaces 和 RoboArena通用机器人策略排名中均位居第一。HCLTech、Johnson Johnson MedTech、Milestone Systems、mimic robotics、Skild AITulip 以及丰田研究院 (Toyota Research Institute) 正在使用 NVIDIA Cosmos 加速物理 AI 训练和视频分析。Humanoid、LG Electronics、NEURA 和 Noble Machines 正在采用 NVIDIA Isaac GR00T N1.7 来扩展人形机器人的部署。开放模型加速医疗和生命科学研究NVIDIA 正在通过开放的多模态基础模型和数据集推动 AI 驱动的医疗和生命科学发现从而加速生物医学研究、药物研发、医学成像和对科学文献的理解。NVIDIA BioNeMo 正在扩展成为面向医疗和生命科学的开放式 AI 开发平台使研究人员能够大规模地对生物系统进行建模、设计和模拟。Proteina-Complexa 是一种用于蛋白质结合剂设计的生成式模型可加速基于结构的药物研发和治疗开发。诺和诺德、Viva Biotech 和 Manifold Bio 正在使用Proteina-Complexa 设计能与目标蛋白结合的蛋白质并已对生成的设计进行了实验测试。NVIDIA 与 EMBL 旗下的欧洲生物信息学研究所、谷歌 DeepMind 和首尔大学合作大规模扩展 AlphaFold 蛋白质结构数据库 (AlphaFold Protein Structure Database)完成约 3,000 万个蛋白质复合物预测值并向 AlphaFold 数据库添加 170 万个高置信度预测值以加速发现新的药物靶点深化疾病生物学探索。NVIDIA 还推出了 nvQSP一个 GPU 加速的模拟引擎使药物研究人员在临床试验开始前可以在计算机模型中探索更多的治疗方案。在基准测试中nvQSP 相比传统的单线程 CPU 模拟性能提升最高可达 77 倍让科学家能够分析数百种剂量水平和患者亚群体而在过去这只能模拟很少的数量。如何获取部分 NVIDIA 开放模型、数据和框架已在 GitHub、Hugging Face、一系列云、推理和 AI 基础设施平台以及 NVIDIA 官网开放提供。许多模型也作为 NVIDIA NIM™ 提供用于在从边缘到云的任意 NVIDIA 加速基础设施上进行安全、可扩展的部署。