DeepSeek mHC：流形约束超连接

DeepSeek mHC：流形约束超连接

核心观点与背景

这篇工程论文 DeepSeek mHC 延续了字节跳动在原始超连接（HC）论文中提出的观点，后者是理解本文的先决条件。HC 论文探讨了深度学习中的两个关键问题：

1. 推理能力与层组合：推理能力似乎源于深度和更优的层组合，但现有模型中层存在冗余。
2. 高效训练：合成数据训练效率高，但如何进一步优化训练过程？

HC 与 Muon 的核心理念相似，都是通过改进训练更新，但 HC 是对残差函数 F 进行底层改造，使其可训练。当前归一化方法存在“表示崩溃”问题，即深层特征相似度高，增加层数效果递减。

HC 的初步成果

原始 HC 论文成功重训了一个小型 Olmo-MoE，证明其收敛速度提升 1.8 倍，ARC-Challenge 表现提高 6 个百分点。层可解释性显示，HC 变体特征相似度显著降低，验证了其有效性。

mHC 的提出与改进

随着模型规模扩大，HC 存在两个主要问题：

1. 不稳定性风险：训练规模增加时，HC 可能出现梯度范数不稳定性。
2. 硬件效率：加宽残差流导致内存访问成本高，原始设计未解决。

DeepSeek 提出 mHC，通过流形约束限制可学习目标，防止偏离恒等映射，将残差连接矩阵约束在双标置矩阵构成的流形内。

核心技术细节

1. 高效训练设计：
   • 新 mHC 核函数采用混合精度策略，融合操作减少内存带宽瓶颈。
   • 通过丢弃中间激活值并在反向传播中重新计算，管理内存开销。
   • 调整流水线并行方案，为 MLP 层的 Fpost,res 核函数分配高优先级计算流，防止通信阻塞。

研究结论

mHC 的核心价值不在于证明 HC 可大规模运作，而在于展示了重新工程化训练环境的全面能力（核函数、内存管理、节点间通信），体现了前沿实验室的技术实力。