Mistral AI 近日发布了开源多语言、多模态模型 Mistral 3 系列,并且针对 NVIDIA 超级计算和边缘平台进行了优化。
Mistral Large 3 是专家混合 (MoE) 模型,无需为每个 token 激活全部神经元,可以仅调用模型中影响最大的部分,既可在无浪费的前提下实现高效扩展,又可确保准确性不受损,使企业级 AI 不仅成为可能,而且更具实用性。
Mistral AI 的全新模型为企业级 AI 带来了业界领先的准确性与效率。模型自 12 月 2 日起全面上线,覆盖云端、数据中心、边缘等场景。
凭借 41B 活跃参数、675B 总参数及 256K 上下文窗口,Mistral Large 3 实现了可扩展、高效且具有自适应性的企业级 AI 工作负载。
通过整合 NVIDIA Grace Blackwell 机架级扩展系统与 Mistral AI 的 MoE 架构,企业可借助先进的并行计算与硬件优化技术,高效部署并扩展大型 AI 模型。
该整合成为 Mistral AI 迈向其倡导的“分布式智能”时代的重要一步,弥合了研究突破与实际应用之间的差距。
该模型采用精细化 MoE 架构,通过调用 NVIDIA NVLink 的协同内存域及宽专家并行的优化技术,充分发挥大规模专家并行的性能优势。
这些优势与保持准确性的低精度 NVFP4 及 NVIDIA Dynamo 分离推理优化技术相叠加,确保大规模训练与推理达到极佳性能。
在 NVIDIA Grace Blackwell 机架级扩展系统上,Mistral Large 3 的性能较基于前代 NVIDIA Hopper GPU 提升了 10 倍。这种代际飞跃带来了更好的用户体验、更低的单 token 成本及更高的能效。
Mistral AI 不仅推动了前沿大语言模型技术的发展,还发布了九款小语言模型,助力开发者在任意环境中运行 AI。
紧凑型的 Ministral 3 套件经过优化,可在 NVIDIA 的边缘平台运行,包括 NVIDIA Spark、RTX PC 或笔记本及 NVIDIA Jetson 设备。
NVIDIA 与 Llama.cpp、Ollama 等顶尖的 AI 框架合作,确保能够在边缘的 NVIDIA GPU 上达到优异性能。
开发者和爱好者现可通过 Llama.cpp 和 Ollama 体验 Ministral 3 套件中快速、高效的边缘 AI。
Mistral 3 模型系列现已上线,在助力全球研究者与开发者试验、定制和加速 AI 创新的同时,推动前沿技术全民化。
通过将 Mistral AI 模型连接到用于 AI 智能体生命周期开发的开源 NVIDIA NeMo 工具 (例如 Data Designer、Customizer、Guardrails 和 NeMo Agent Toolkit),企业可根据自身用例进一步定制这些模型,从而加速从原型到生产的转化。
为了实现云端到边缘的高效运算,NVIDIA 针对 Mistral 3 系列模型优化了包括 NVIDIA TensorRT LLM、SGLang 和 vLLM 在内的推理框架。
Mistral 3 现已登陆主流开源平台及云服务提供商。此外,该系列模型很快将能以 NVIDIA NIM 的形式部署。
无论 AI 需要应用于何种场景,这些模型均已就绪。
查阅相关软件产品信息说明。
