DeepSeek团队发布新论文:DualPath系统显著提升智能体工作负载下LLM推理性能
DeepSeek团队最近发布了一篇引人注目的学术论文,这篇论文由DeepSeek联合北京大学和清华大学共同撰写。论文中介绍了一个名为DualPath的创新推理系统,该系统专注于优化智能体工作负载下的大模型(LLM)的推理性能。DualPath通过引入一种名为“双路径读取KV-Cache(类似记忆缓存)”的机制,有效地重新分配了存储网络负载。这一创新显著提升了离线推理的吞吐量,最高可达1.87倍,同时在线服务的每秒智能体运行数平均提升了1.96倍。这一成果展示了DeepSeek在人工智能领域的技术实力和创新能力,也为智能体工作负载下的LLM推理性能优化提供了新的思路和方法。
评论已关闭