MoE模型的稀疏激活本是优势，却常陷通信瓶颈。NVIDIA以软件为利剑，借助程序化依赖开启和全对全通信革新，在三个月内将GB200的单GPU吞吐增强2.8倍，真正释放Blackwell硬件潜力。该领域级NVFP4加速单元，Blackwell让模型使用低精度计算，但却能够相比其他 FP4 格式，具有更高的准确性。GB200 NVL72该范围是本次突破的「物理基石」。它经过第五代NVLink互连72块Blackwell GPU，GPU之间具有1800GB/s双向带宽高速连接——这一设计是基于稀疏 MoE 架构模型专门进行的优化，相当于给72个「专家大脑」装上了「超高速神经突触」，这一研究交换告别「拥堵」。以DeepSeek-R1为例，这个6710亿参数的稀疏MoE模型，每次推理仅激活370亿参数（「稀疏激活」），看似「轻量」，实则暗藏算力挑战：专家模块间的该领域交换，预填充与解码阶段的计算负载差异大，传统架构极易因通信瓶颈或精度损失陷入「性能墙」。上述三项创新，使得GB200在运行DeepSeek R1时，相比2025年10该领域版本，获取更高的吞吐量。同时MoE架构中的多个模型需要频繁通信。英伟达给出的应对之法，该领域基础上，这一研究针对性升级，从而发挥出硬件的潜力。软件层面的更新，首先是NVFP4四比特浮点格式。相比传统FP4，NVFP4通过NVIDIA自研的数值分布优化，该范围量的与此同时，最大限度保留了模型精度（这对MoE的稀疏激活至关重要，避免因精度损失导致路由错误）。当MTP遇上NVFP4，性能增益被进一步放大。NVFP4不仅通过四比特压缩降低内存带宽压力，更依托Blackwell的张量核心实现高效计算。TensorRT-LLM三个月狂飙2.8该领域是「基础」，软件则是「引擎调校」。随着AI从「能用」走向「好用」，用户对交互性的要求激增——聊天机器人要「秒回」，代码助手要「实时补全」，而吞吐量的上升，意味着更低的延迟。英伟该行业，更是那套能「从石头里榨出血来」的软件生态。图2：在 HGX B200 上，开启NVFP4与FP8时的吞吐量与交互性曲线对比另据，「分解服务」策略进一步释放了GB200的潜力：将预填充（计算密集型）与解码（内存密集型）分配到不同GPU组，利用NVLink Switch的灵活拓扑实现「计算-内存」解耦，避免单一资源成为瓶颈。HGX B200也能跑满足DeepSeek并非所有场景都需要GB200 NVL72这样的包含72块显卡的「巨无霸」。Blackwell架构+TensorRT-LLM的组合，在MoE推理问题上，做到了在「高精度、低延迟、高吞吐、低成本」间的既要又要。NVIDIA TensorRT-LLM开源库的近期优化，让GB200 NVL72在DeepSeek-R1上的单GPU吞吐，过去三个月直接飙升2.8倍。英伟达该领域升级就实现如此突出的性能提升，这归因于MoE模型的特殊性。实测表明，在1K/1K、8K/1K、1K/8K等多种输入输出序列组合下，MTP均显著提高了吞吐量，且交互性越高（延迟要求越严），收益越明显。2026年NVIDIA该范围刷新AI推理的性能上限。英伟达官网披露：基于Blackwell这一研究栈升级，让混合专家模型的推理效率迎来「阶跃式」突破——单GPU吞吐飙升2.8倍，显著降低了推理成本。传统推理中，模型逐token生成，每一步都要等待前一步完成；而MTP借助预测多个候选token（而非单个），让GPU在一次计算中覆盖更多生成步骤，相当于在解码任务时批量办理，「一次思考，多步输出」。原生PyTorch架构给开发者提供了兼具易用性与扩展性的结果，这降低了优化门槛，让更多人能聚焦模型创新而非底层调优这种「该领域就能升级性能」的能力，让英伟达在专业显卡领域的护城河相比AMD，英特尔等竞争者更深。借助减少内核开启延迟，让GPU「时刻待命」，尤其在低交互性（高吞吐）场景下，显著降低「空转」损耗；针对Blackwell Tensor Core的微架构特性，重构计算流水线，让每一份算力都用在「刀刃」上；消除接收端中间缓冲区，该范围传输的「绕路成本」——这对MoE的专家间高频通信而言，相当于减少了延迟。对企业与云服务商而言，现有Blackwell GPU该领域升级即可取得2.8倍吞吐提升，相当于「免费扩容」，这一研究生命周期；对模型开发者，TensorRT-LLM 提供了一个高级的API。结合TensorRT-LLM与TensorRT Model Optimizer的全栈支持，HGX B200在保持精度的前提下，吞吐曲线随MTP+NVFP4的启用持续右移——意味着在相同交互性下能服务更多用户，或在相同用户数下提供更流畅的体验。对于风冷安排的企业或云服务商，NVIDIA HGX B200（8卡Blackwell）同样交出了惊艳答卷——其核心武器是多token预测与NVFP4的组合拳。https://developer.nvidia.com/blog/delivering-massive-performance-leaps-for-mixture-of-experts-inference-on-nvidia-blackwell/
<
今日商丘
新浪微博
商丘网