AI大模型上下文管理挑战与解决方案

关于AI大模型的上下文管理，目前主流的做法是在单次对话中发送历史的轮次信息。然而，在实际应用中，如开发一个基于2API的聊天系统，上游的聊天接口可能采用自定义格式，每次对话仅发送本次的message加上会话ID来绑定历史信息。这种情况下，如何有效管理上下文成为一个挑战。特别是在处理插件和工具化（toolify）时，上下文的变化和请求格式的非标准性使得判断会话的连续性变得复杂。一个可能的解决方案是每次对话对上游都新开一个chat，以此来保持上下文的连贯性。然而，这种方法是否能够完美地解决上下文管理的问题，还需要进一步的实践和验证。