mHC（流形约束超连接）

mHC（Manifold-Constrained Hyper-Connections）是 DeepSeek-V4 的核心架构创新之一，将残差连接中的混合矩阵约束到特定流形（Birkhoff 多面体，即双随机矩阵）上，增强深层 Transformer 的信号传播稳定性。

核心动机

传统 Transformer 使用简单的残差连接将信息从浅层传递到深层。Hyper-Connections (HC) 提出用可学习的混合矩阵替代固定残差连接，但无约束的混合破坏了恒等映射特性。

mHC 通过流形约束恢复了恒等映射性质：将混合矩阵限制在 Birkhoff 多面体上（双随机矩阵的凸包），保证每一层都能选择性地"透传"输入信号。

在 V4 中的作用

• 与 CSA、HCA 并列为 V4 三大架构创新
• 解决百万 token 上下文场景下深层网络的训练不稳定问题
• 通过多并行流和约束混合矩阵提升信号传播质量

关联

• DeepSeek — mHC 的提出者
• CSA — V4 注意力架构创新
• HCA — V4 注意力架构创新
• MoE — V4 的稀疏计算架构