Muon 优化器

Muon 是 DeepSeek-V4 采用的训练优化器，基于矩阵正交化，通过 Newton-Schulz 迭代对梯度更新进行谱范数约束，实现约 2x 于 AdamW 的计算效率。

核心原理

1. 对梯度矩阵进行 Newton-Schulz 迭代，近似计算矩阵的正交分解
2. 通过谱范数约束，保证每步更新的方向性质量
3. 仅需约 52% 的训练 FLOPs 达到同等性能

起源

• 由 Moonshot AI 的 Moonlight 项目（arXiv:2502.16982）首先验证可扩展到 LLM 训练
• DeepSeek-V4 证明了 Muon 在超大规模（1.6T 参数）模型上的可行性

与 AdamW 的对比

关联

• DeepSeek — V4 中采用 Muon 优化器
• FP4 — 与 Muon 配合的混合精度方案