腾讯开源首个扩散大模型WeDLM-8B,标志着扩散式语言模型在速度上首次超越了主流自回归模型。WeDLM-8B是一个基于扩散机制的大语言模型,拥有80亿参数,从Qwen3-8B初始化而来,并经过指令微调,分为基础版和Instruct版。在性能测试中,WeDLM在数学推理任务上的表现尤为突出,比使用vLLM优化的Qwen3-8B快3到10倍。例如,计算1到100的和仅需0.22秒,而传统方式需要1.8秒。在低复杂度任务中,每秒能生成上千个词。该模型已开源,可在Hugging Face上下载,并支持wedlm引擎优化推理。这一开源举措可能会引发扩散大模型的浪潮,为人工智能领域带来新的发展机遇。

标签: none

评论已关闭