开源项目「LongCat-Omni-Middleware」是一个基于Go语言的中间件,专门用于处理美团的LongCat-Flash-Omni-2603模型。由于该模型官方请求参数与通用的OpenAI标准不兼容,开发者为此创建了此中间件。该中间件支持流式与非流请求,但由于模型本身不支持工具调用,因此没有提供工具调用的功能。为了更好地使用这个中间件,建议搭配new-api等转换工具。如果直接使用,则只支持/v1/chat/completions接口。该项目的GitHub地址为https://github.com/xiaotian2333/LongCat-Omni-Middleware,在releases页面中提供了Windows和Linux的预编译版本,用户也可以自行编译。中间件默认监听8080端口。目前该项目在社区中有相关讨论,可以通过提供的链接。

标签: none

评论已关闭