DeepSeek团队发布mHC架构：流形约束超连接，解决大模型扩展难题

DeepSeek团队发布了一项底层架构创新——mHC（流形约束超连接），旨在解决大模型在向更大规模进化过程中的一个核心难题：如何在拓宽信息流动的‘路’的同时，避免‘车流’（信号）乱套。传统的AI架构（残差连接）被比作一条笔直的单行道，而超连接（HC）技术则试图将其扩建成多车道高速公路。然而，这种‘高速公路’缺乏交通规则，导致信息流在深层网络中容易发生拥堵或追尾，表现为模型训练不稳定甚至崩溃。DeepSeek团队引入了‘流形约束’的数学框架，为信息流装上‘自动平衡仪’，有效避免了这一问题。实验数据显示，搭载了mHC架构的27B参数模型在数学推理、常识问答等任务中表现优异，且训练速度仅变慢了6.7%。这一创新不仅为DeepSeek的模型进化铺平了道路，也为全球AI社区提供了一种更稳健、高效的‘建路方案’。随着大模型进入万亿参数时代，底层架构的改良将带来巨大的连锁反应，mHC架构为此提供了重要的参考。