关于 GPT 模型和 Claude Code 上缓存的思考,以及 auto prefix cache 与 cache control 的比较,是一个值得深入探讨的话题。根据您的描述,Claude Code 的缓存机制与 OpenAI 的 prefix cache 存在差异,这主要是由于 Claude Code 采用了一种自定义的缓存策略,即分段分块缓存,并允许在文本节点中注入动态信息,如时间戳等。这种设计虽然能够与 Claude Code 的推理引擎完美契合,但与 OpenAI 的 prefix cache 不兼容,导致 GPT 模型在转换成 Anthropic 协议后接入 Claude Code 时,缓存命中率较低。具体来说,GPT 模型在 Claude Code 中只能命中一些系统提示、工具列表定义和 skill 描述文本等静态内容,而大量动态内容无法被缓存。相比之下,其他 Coding Agents 如 kilo code、trae 和 opencode 等则遵循 prefix cache 的预定义行为标准,能够更好地与 OpenAI 的缓存机制兼容。值得注意的是,国产模型 kimi 能够在 Claude Code 中完美命中缓存,这得益于其在后端推理引擎中做了专门的过滤处理,避免了 Claude Code 注入的动态内容影响缓存效果。尽管 GPT 家的模型和 infra 部门似乎并不倾向于采用这种设计,但在 Claude Code 中使用 GPT 模型仍然面临一些挑战。总体而言,Claude Code 的这种设计可能是其成为行业龙头的因素之一,但也引发了关于其是否真正有利于生产活动的疑问。对于这种设计背后的原因,可能涉及多方面因素,包括抬高使用门槛、维护生态封闭性或提升用户体验等。无论如何,这种独特的缓存策略确实为 Claude Code 带来了与众不同的竞争优势。

标签: none

评论已关闭