DeepSeek更新DeepGEMM:引入mHC,支持下一代硬件
DeepSeek在其开源矩阵乘法加速库DeepGEMM中进行了重大更新,正式引入了最新的网络架构组件——流形约束超连接(mHC),并提前实现了对英伟达下一代Blackwell(SM100)架构及FP4极低精度计算的底层支持。这一更新不仅增强了库的性能,也为未来硬件的兼容性打下了坚实的基础。此次更新由开发者RayWang96提交,带来了2578行的代码变更。DeepSeek团队还发布了关于mHC的新论文,详细阐述了这一创新技术。有博主成功复现了DeepSeek的新论文mHC,结果显示在1.7B参数下,性能提升显著,甚至超过了论文中的报告。这一进展预示着DeepSeek新版本将带来更多令人期待的特性。
评论已关闭