神经网络优化器是大模型训练的底层基础设施，负责调度更新模型权重的方向和步长等。近年来，Muon优化器在大语言模型训练领域逐渐成为焦点，展现出相比AdamW更快的收敛能力。自变量的实验发现，在具身智能训练场景中，受益于不同于语言模型的模型结构与优化需求，Muon进一步展现出良好的适配性，相比AdamW在训练效率和最终性能上均取得显著提升。
但在应用于分布式计算时，Muon相比AdamW引入了额外的计算和通信系统（KVHI）开支，导致端到端步时间飙升到AdamW的2.2倍左右，计算收敛更快的提效被额外系统开支所吞没，相较AdamW不具有绝对优势。
近日，自变量机器人发布了一种高效的分布式Muon基础设施DMuon，将细粒度通信优化、计算感知负载均衡与高性能内核系统相结合，能够消除Muon应用于分布式训练时额外引入的系统开支，端到端步时间从AdamW的2.2倍降低为1.02倍，整体模型训练提速约30%。此外，DMuon不改变参数更新规则、不需调整训练框架，只需3行代码就能引入，有望成为具身模型训练时新的默认选项。
不仅如此，神经网络优化器作为大模型训练的底层设施，过去的优化主要由OpenAI、DeepSeek、Kimi等公司贡献。但Muon优化器面对的额外系统开销问题，在具身模型训练时又格外突出。自变量此次发布DMuon优化器，是罕有的具身模型企业为大模型底层基础设施的优化改造做出贡献。Muon优化器能更快计算收敛，但应用于分布式训练仍需改造
Muon是近两年出现的一种革命性的神经网络优化器，能通过“矩阵正交化”大幅提升训练效率和收敛速度，计算效率相当于过去以逐个元素计算的优化器AdamW的2倍，已经被Kimi-K2与DeepSeek-V4在生产规模的训练中使用。
然而，Muon在实际生产部署中仍有阻碍。大模型预训练时，会将原本存储在单个GPU上的模型参数、梯度和优化器状态切割成多个部分，分散到集群中的不同GPU上分别存储和计算。这与AdamW“逐个元素更新”的工作方式相契合，因为其更新只作用于本地分片；但与Muon的工作方式相冲突，因为其核心计算步骤Newton–Schulz迭代需要知道完整的权重矩阵而非单个分片的信息。
因此，在将Muon应用于分布式训练时，必须先重建出完整矩阵、引入逐元素优化器所没有的计算和通信。这笔额外的开销会出现在每一个优化器步骤、矩阵参数上，并随模型规模和分布式宽度而增长。对于具身模型，这种影响更甚：因为具身模型的时序上下文更短，前向-反向传播占比更小，使得优化器的开销更难被摊销。
简单来说，将Muon优化器应用于大模型预训练的分片计算时，由于每个GPU都需要拼接出完整矩阵、计算同样的Muon更新，这带来了海量的重复计算和拼装通信。其结果是，每步训练时间反而达到AdamW的2.2倍：Muon在计算效率上省下的时间，又被系统开销消耗掉了。这使得在分布式计算时，Muon相比AdamW尚不是一个能完美替代的选项。自变量三项改进消除系统开支，端到端步时间接近AdamW水平
为了解决Muon应用在分片计算上的难题，自变量机器人提出DMuon——一个将每步性能差距缩小到AdamW水平的分布式Muon。简单来说，DMuon既能保留Muon计算收敛更快的好处，也能让端到端步时间接近AdamW，让Muon从“理论上很美、生产上很贵”变成可以默认启用的选项。
通过细粒度通信优化、计算感知负载均衡、高性能内核系统这三方面改进，DMuon能消除冗余的优化器计算。相比传统的分布式Muon，DMuon能将端到端单步计算时间加速1.48-3.01倍，将优化器步骤加速6.85-163倍，将端到端步时间平均保持在AdamW的1.02倍以内。
DMuon主要提出了三项改进方法：
1、Owner中心执行与细粒度通信优化。
Owner中心执行是DMuon解决“冗余计算”和“通信开销”问题的核心架构。原生的分布式Muon会让每个显卡都计算完整梯度和Newton–Schulz迭代，显卡越多重复计算越多。DMuon则将每个矩阵参数分配给唯一的Owner rank(所有者进程)，只有它会保存这个矩阵的优化器状态、执行Newton–Schulz迭代计算，再将需要更新的参数分发给需要的GPU。
由于Owner需要收集各GPU计算的梯度、发放计算完的新权重，这也带来了额外的通信开销。DMuon会将这些通信“插空”放在计算的空档里，有三个关键设计：一是让相邻矩阵的通信分散到不同节点间通信组，多路广播可以并发而不排队；二是前向传播中，节点间广播提前发出、节点内广播临近使用才发出，让通信“错峰”进行；三是反向传播中，将“广播下一层参数”与“规约本层梯度”两类通信错开编排。
经过实验，原生的Muon优化器的计算时间不随GPU数下降而下降，而DMuon能伴随GPU数线性下降，说明冗余计算被消除、GPU越多收益越大。
2、形状自适应执行栈。
在消除不同GPU的重复计算后，优化Newton–Schulz就成了主要问题。需要计算的权重矩阵形状通常很不一致：有些矩阵能独自占用整张GPU、有些矩阵需要凑在一起才能喂饱GPU。这些不同形状矩阵的优化方法差异很大，需要一套“形状自适应”的执行栈，让优化的数学形式、执行方式和底层内核随之改变。
对此，DMuon作出四项优化：1、采用Gram空间递推，将NS迭代从m×n的矩阵空间搬进m×m的Gram矩阵空间，将主要计算量从O(m n)降到O(m)(m
3、计算感知负载均衡。
DMuon会基于实测成本来优化Owner的工作量分配。虽然每个权重矩阵的更新只由一个Owner计算，但由于矩阵大小差异悬殊，计算耗时可能相差数个数量级。如果Owner分配不当，可能出现有些GPU计算满载、有些GPU闲置的情况。
DMuon在初始化时，先将所有矩阵按形状分组，针对每种形跑完一遍完整的计算，并记录下实测耗时。然后使用混合整数线性规划(MILP)来优化分配，降低所有Owner中最慢者的完工时间，以提升整体的计算效率。三行代码启用DMuon，成为具身模型训练“默认选项”
自变量将DMun优化器的效果在真机上进行了测试。测试是在一个A800-SXM4-80GB的集群上完成的(每节点配备8张GPU，节点内通过NVlink连接，节点间通过200Gb/s的InfiniBand网络连接)，数据精度为bf16。主要对比的是相同配置的AdamW优化器，以及原生的分布式Muon。
实验发现，原生Muon优化器的计算时间不会伴随显卡数下降而下降，说明存在大量的冗余计算；DMuon则近乎线性下降。当显卡规模较小时，Muon由于节约了一半优化器显存占用，所以能够开启更大的批大小，计算利用率领先于AdamW。在规模增大之后，计算效率基本持平AdamW，但Muon本身提供了更快的收敛速度，在自变量预训练设置下，仍能够获得约30%的训练收益。
DMuon采用模块化设计，提供Drop-In式接入方式。用户无需修改现有训练代码或调整PyTorch FSDP分布式训练流程，仅需数行代码即可完成集成，享受到Muon在分布式环境下的高效执行能力。
未来，自变量还将进一步探索面向大规模模型训练的系统优化方向，包括适配更复杂的混合并行策略、结合更底层的通信机制优化，进一步提升优化器在超大规模分布式训练中的扩展效率。具身企业涉入基建“深水区”，成为大模型技术新的一极
简单来说，自变量发布的DMuon优化器能消除将Muon用于分布式计算时产生的冗余计算和额外通信等系统开销。这使得DMuon成为Muon和AdamW在大模型分布式训练时的替代品。
神经网络优化器直接影响模型的训练效率，是大模型的底层基础设施。对优化器的改进不仅影响企业内部训练模型的效率，也影响整个具身模型行业的前进速度。此前，很少有具身模型公司能深入基础设施底层。
DMuon的发布，不仅意味着以自变量为代表的具身模型公司，已经成为与大语言模型企业并肩的新的一极，成为技术的积极贡献者；也意味着自变量已经从研究阶段转入工程化阶段，为规模化推出具身模型积蓄底层基础设施的技术力量。
