一行 import，MoE 大模型微调提速 3.7 倍。
英伟达最新研究成果现已开源：NeMo AutoModel，专为大规模构建和微调生成式 AI 模型而打造。
在 Hugging Face Transformers v5 的基础之上，NeMo AutoModel 能做到不改代码 API，只添一行 import，就实现对 MoE 模型更快速的微调。
实验显示，相比 Hugging Face 原版 Transformers v5，英伟达 NeMo AutoModel 能在 MoE 微调中实现3.4-3.7 倍训练吞吐提升，并减少 29%-32% GPU 显存占用。
在单节点 8xH100 80GB GPU 上，以 Qwen3-30B-A3B 为例，NeMo AutoModel 直接把 TPS/GPU（每 GPU 每秒吞吐量）从 3075 拉到 11340，提升达到 3.69 倍。
核心技术解析
MoE 已经成为当前前沿模型的主流架构，但 MoE 也给高效训练带来了新的挑战：
专家并行、通信融合、kernel 优化……这些复杂工程都需要配套的基础设施来支持。
HuggingFace 的 Transformers v5 是目前被用得比较多的 MoE 训练"通用底座"。v5 增强了对 MoE 的原生支持，引入了 expert backends、dynamic weight loading、分布式执行等 MoE 基础能力。
这一次，英伟达的思路就是站在前辈的肩膀上，兼容 HuggingFace Transformers 的 API，让大家能不大改代码，就在 MoE 微调里获得更高训练吞吐和更低显存占用。
具体来说，NeMo AutoModel 在 Transformers v5 的基础上，增加了专家并行（EP）、DeepEP和TransformerEngine。
专家并行（Expert Parallelism）
专家并行技术主要用来降低内存压力。
EP 把专家权重分布到了多个 GPU 上，每张 GPU 不再完整持有所有 expert，而是只持有其中一部分参数。
举个例子，8 张 GPU 上 ep_size=8，专家权重被分布至 8 块 GPU，每张 GPU 的 MoE 内存占用能降到原来的 1/8。
从实验结果来看，对于 Qwen3，这项技术能将峰值内存从 68.2GiB 降至 48.1GiB，降幅 29%。
对于 Nemotron Nanomo 模型，内存占用从 62.1 GiB 降至 42.5 GiB，降幅 32%。
释放出的空间可以用来支持更大批次、更长的序列。
DeepEP
DeepEP 实现了计算和通信的融合。
传统方式里，token 分发和专家计算之间有明显通信成本。DeepEP 把 token 分发和组合操作整合进优化的 GPU 内核，实现了通信过程和专家计算的重叠。
TransformerEngine
TransformerEngine 内核为各类核心运算提供加速。
这项技术提供了融合注意力机制、线性层和 RMSNorm 等实现，不只加速 MoE 层，也加速普通 Transformer 层。
一行 import，3 倍速度提升
总结来说，对于原本就用上了 Transformers v5 的盆友们来说，英伟达 NeMo AutoModel 带来了一个无痛升级方案：
只需加上一行 import 代码，即可获得 3 倍 MoE 微调速度提升。
在 Qwen3-30B-A3B 和 Nemotron 3 Nano 30B-A3B 上，相较于 Transformers v5，该方案可以实现 3.4-3.7 倍的训练吞吐量提升，同时内存消耗降低 29%-32%。
英伟达还展示了 Nemotron 3 Ultra 550B A55B 在 16 个 H100 节点、128 张 GPU 上的全参数微调结果。
TPS/GPU 为 815，TFLOP/s/GPU 约为 293，峰值内存为 58.2GiB。
这里没跟 v5 对比的原因，是 Transformers v5 在这种规模下会直接撑爆内存 ¯ _ ( ツ ) _/ ¯
感兴趣的话，英伟达已经把代码、配置和基准测试脚本都放在 GitHub 上了：
https://github.com/NVIDIA-NeMo/Automodel/tree/blog/transformers-v5-automodel/blog_experiments
具体使用指南在这里：
https://docs.nvidia.com/nemo/automodel/latest/get-started/hf-compatibility
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
美嘉配资提示：文章来自网络，不代表本站观点。
