DeepSeek FlashMLA源码库最近进行了重大更新,引入了MODEL1、Engram、SM100等新特性。MODEL1并非对现有V3系列的修补,而是在全面支持英伟达Hopper(SM90)与下一代架构(SM100)的基础上,通过统一回归512标准维度、首创“值向量位置感知”以及引入疑似Engram和DSA机制,实现了显存效率与推理精度的双重跨越。这些更新显示了DeepSeek在人工智能领域的持续创新和进步。想要深入了解这些新特性的具体实现,可以查看源码库:FlashMLA GitHub。在闪现的代码片段中,我们可以看到FlashMLASchedMeta类,它负责存储FlashMLA的tiling调度元数据,其中包括多个配置参数,如b、s_q、h_q、page_block_size和h_k等。这些参数对于优化模型处理海量信息的能力至关重要,可以比作图书馆管理员的工作,高效地组织和检索信息。

标签: none

评论已关闭