英伟达发布1200亿参数开源模型Nemotron 3 Super，AI智能体性能直逼顶级闭源模型

全球AI产业正在经历从单一大模型向多智能体协作系统的关键转型。在这一背景下，英伟达正式发布了其迄今为止最强大的开源AI智能体模型——Nemotron 3 Super。该模型拥有1200亿参数和120亿激活参数，支持高达100万token的上下文长度，专为解决大规模AI智能体应用中的核心瓶颈而设计。

创新架构设计：突破智能体性能瓶颈

Nemotron 3 Super采用了革命性的Mamba-MoE混合架构，这一设计彻底重构了传统大模型的底层结构。该模型共包含88层网络，采用周期性交替排列的策略：高效的Mamba-2层负责序列建模，提供线性时间复杂度；而少量Transformer注意力层则作为「全局锚点」，负责跨位置的长距离信息路由和高精度推理。这种创新设计使模型在吞吐量上相比上一代提升了高达5倍，准确率提升高达2倍。

LatentMoE：重新定义混合专家架构

更为关键的是，Nemotron 3 Super首次引入了「隐式MoE」（LatentMoE）技术。这一创新架构的精妙之处在于：在路由和专家计算之前，先将Token从隐藏维度d投射到一个更小的潜在维度ℓ。路由和专家计算都在这个更小的维度里进行，这意味着需要加载的专家参数和跨卡通信量直接缩小了d/ℓ倍。用更直观的话说，该模型实现了「花1个专家的计算成本，激活4个专家」的效果，在几乎不增加推理成本的前提下显著提升了准确率。

原生多Token预测与NVFP4精度训练

在推理效率方面，Nemotron 3 Super引入了多Token预测（MTP）技术。与传统的「预测下一个token」不同，MTP要求模型在每个位置上一口气预测未来多个Token，这迫使模型去理解多步之间的因果关系和更长远的文本结构。除了提升模型质量，MTP最大的妙用是实现了原生投机解码——额外的预测头相当于在模型内部内置了一个「草稿模型」，在推理时可以先快速生成候选Token，再由主模型一次性验算，大幅降低了生成延迟。此外，该模型是首个全程采用NVFP4精度进行预训练的模型，在Blackwell平台上运行，推理速度比Hopper架构上的FP8快4倍，且几乎无准确率损失。

在训练数据方面，Nemotron 3 Super基于超过25万亿Token的文本数据进行预训练，分为两个阶段：第一阶段消耗80%的数据（20万亿Token），注重数据多样性和知识覆盖面；第二阶段消耗剩余20%（5万亿Token），专注于高质量数据，包括维基百科、高质量PDF和STEM推理数据。在后训练阶段，英伟达尤其注重AI智能体能力的培养，Agent相关任务占比高达36%。强化学习训练分为四步：多环境RLVR覆盖21个环境、SWE-RL专门训练软件工程能力、RLHF进行行为精确调控、以及MTP恢复确保投机解码准确率。

如有侵权，请联系删除。