为扩展开放模型生态,NVIDIA 发布全新开放模型、数据和工具,推动各行业 AI 技术的发展。
这些模型包括适用于代理式 AI 的 NVIDIA Nemotron 系列、适用于物理 AI 的 NVIDIA Cosmos 平台、适用于辅助驾驶汽车开发的全新 NVIDIA Alpamayo 系列、适用于机器人的 NVIDIA Isaac GR00T 以及适用于生物医学的 NVIDIA Clara,它们将为企业提供构建真实世界 AI 系统所需的技术工具。
NVIDIA 贡献了开源训练框架及全球规模最大的开放多模态数据集之一,包括 10 万亿语言训练 token、50 万条机器人轨迹、45.5 万种蛋白质结构及 100 TB 汽车传感器数据。如此规模空前的多元化开放资源将加速语言、机器人、科学研究及辅助驾驶汽车领域的创新。
领先科技企业例如博世、CodeRabbit、CrowdStrike、Cohesity、Fortinet、Franka Robotics、Humanoid、Palantir、Salesforce、ServiceNow、日立和 Uber 等,正在使用并基于 NVIDIA 的开放模型技术进行开发。
NVIDIA Nemotron 赋予 AI 智能体语音、多模态智能和安全能力
基于近期发布的 NVIDIA Nemotron 3 系列开放模型与数据,NVIDIA 推出 Nemotron 语音、多模态检索增强生成 (RAG) 和安全模型。
- Nemotron Speech 包含全新 ASR 模型等多个榜首级的开放模型,可实现实时低延迟语音识别,适用于实时字幕和语音 AI 应用。日常及模态基准测试显示,该模型性能较同类模型提升 10 倍。
- Nemotron RAG 包含全新的嵌入与重排序视觉语言模型 (VLM),能够提供高精度的多语言和多模态数据洞察,提高文档搜索与信息检索能力。
- Nemotron Safety 模型可提升 AI 应用的安全性与可信度,目前已包括支持扩展语言的 Llama Nemotron 内容安全模型,以及高精度检测敏感数据的 Nemotron PII 模型。
博世正在使用 Nemotron Speech 实现驾驶者与汽车的交互。ServiceNow 使用 Nemotron 等开放数据集训练其 Apriel 系列模型,以获得高成本效益的多模态性能。
Cadence 与 IBM 正在尝试使用 NVIDIA Nemotron RAG 模型提高对复杂技术文档的检索与推理能力。
CrowdStrike、Cohesity 和 Fortinet 正在使用 NVIDIA Nemotron Safety 模型,以增强其 AI 应用的可信度。
Palantir 正在将 Nemotron 模型集成到其 Ontology 框架中,以开发首创的专业 AI 智能体集成技术栈。CodeRabbit 正在使用 Nemotron 模型驱动和扩展其 AI 代码审核系统,在保持高审核精度的同时提升速度与成本效益。
NVIDIA 同时面向开发者发布了多个开源数据集、训练资源和蓝图,包括荣登 MMTEB 排行榜的 Llama Embed Nemotron 8B 模型的数据集与训练代码。NVIDIA 还发布了更新版 LLM Router,指导开发者如何自动将 AI 请求发送至最适合的模型,以及用于开发全新 Nemotron 语音 ASR 模型的数据集。
适用于各类物理 AI 与机器人的新模型
开发适用于机器人和自主系统的物理 AI 需要海量多元数据集,以及能在复杂现实环境中感知、推理并行动的模型。在 Hugging Face 平台上,机器人技术是增长较快的领域,NVIDIA 的开源机器人模型和数据集位居下载量榜首。
NVIDIA 推出 NVIDIA Cosmos 开源世界基础模型,通过类人推理与世界生成能力加快物理 AI 的开发与验证。
- Cosmos Reason 2 是一个全新的榜首级推理型 VLM,可帮助机器人与 AI 智能体在物理世界中实现更高精度的视觉感知、理解与交互。
- Cosmos Transfer 2.5 与 Cosmos Predict 2.5 是两个领先的模型,可在各种不同环境与条件下生成大规模合成视频。
基于 Cosmos 平台,NVIDIA 还推出了适用于各类具身物理 AI 的开源模型与蓝图:
- Isaac GR00T N1.6 是专为人形机器人打造的开源推理视觉语言行动 (VLA) 模型,它能实现全身控制,并借助 NVIDIA Cosmos Reason 增强推理和上下文理解。
- 用于视频搜索和总结的 NVIDIA Blueprint 作为 NVIDIA Metropolis 平台的一部分,是一个适用于构建视觉 AI 智能体的参考工作流。这些 AI 智能体可通过分析海量录制和实时视频,从而提升运营效率并维护环境秩序。
Salesforce、Milestone、日立、Uber、VAST Data 和 Encord 正在使用 Cosmos Reason 开发用于交通和工作场所生产力的 AI 智能体。Franka Robotics、Humanoid 和 NEURA Robotics 在投产前使用 Isaac GR00T 仿真、训练和验证机器人的新行为。
适用于推理型辅助驾驶汽车的 NVIDIA Alpamayo
开发安全、可规模化的辅助驾驶依赖于 AI 能够在复杂的真实环境和场景中进行感知、推理和行动,以及支持快速训练、测试和大规模优化的开发工作流。
NVIDIA 推出全新 NVIDIA Alpamayo 系列开放模型、仿真工具和大型数据集,将推动推理型辅助驾驶汽车的开发进程。该系列包含:
- Alpamayo 1:首个应用于辅助驾驶汽车的大型开放 VLA 推理模型,使汽车能够理解周围环境并解释其决策背后的逻辑。
- AlpaSim:一款开源的仿真框架,支持在多样化环境和极端事件中对推理型辅助驾驶模型进行闭环训练与评估。
NVIDIA 还同时发布了物理 AI 开放数据集。该数据集包含超过 1,700 小时的驾驶数据,覆盖极其广泛的地理区域与环境条件,涵盖推动推理架构发展所需的罕见且复杂的真实世界极端场景。
适用于医疗与生命科学的 NVIDIA Clara
为降低成本并加速治疗方案的落地,NVIDIA 推出全新 Clara AI 模型,弥合数字药物研发与现实医疗之间的差距。
新模型将帮助研究人员设计更加安全、有效且更易生产的疗法,具体包括以下模型:
- La-Proteina 帮助设计大规模、原子级精确的蛋白质,用于研究和候选药物开发,为科学家研究此前被视为无法治疗的疾病提供了新工具。
- ReaSyn v2 通过将制造蓝图融入研发过程,确保 AI 设计的药物能够实际合成。
- KERMT 通过预测潜在药物与人体的相互作用,在研发早期提供高精度、计算安全的测试。
- RNAPro 通过预测 RNA 分子的复杂三维结构,挖掘个性化医疗的潜力。
此外,NVIDIA 还发布了一个包含 45.5 万个合成蛋白质结构的数据集,帮助 AI 研究人员开发更加精准的 AI 模型。
欢迎使用 NVIDIA 开放模型与技术
NVIDIA 开放模型、数据和框架现已登陆 GitHub 和 Hugging Face,以及各类云、推理和 AI 基础设施平台及 NVIDIA 官网,供开发者灵活获取配套资源。
其中多款模型也以 NVIDIA NIM 形式提供,支持在任意 NVIDIA 加速的基础设施上进行安全且可扩展的部署,涵盖从边缘到云的各种场景。
如需了解详情,请观看 CES 上的 NVIDIA Live 直播回放。
