AxonHub 是一个现代化的 AI 网关系统,它提供了一个统一的接口,支持 OpenAI、Anthropic 以及各种 AI SDK。最近,AxonHub 发布了 v0.5.0 版本,带来了多项重要更新,特别是在自适应负载均衡方面的改进。

本次更新的核心亮点是支持自适应负载均衡。这意味着系统会综合考虑渠道的优先级、失败率、请求次数和连接数等因素来计算优先级,并尽量在同一个 trace 内使用同一个 channel。这种机制有助于提高系统的稳定性和效率。工作流程可以通过以下动画来理解,虽然由于平台限制,动画可能无法直接显示,但可以通过提供的链接查看。

此外,新版本还添加了渠道的简易性能指标展示,只统计渠道最近一段时间的请求,让用户更直观地了解渠道的性能状况。

UI 方面,添加渠道的界面也得到了优化,这是基于社区成员的建议进行的改进。同时,新版本还支持覆盖请求头,使得用户可以更灵活地配置请求。

其他更新包括:通过 model 找到对应的渠道、渠道可用性健康监测并自动下线、优化批量编辑优先级的用户体验等。

总的来说,AxonHub v0.5.0 的发布为用户带来了更加稳定、高效和易用的 AI 网关服务。如果您对这个项目感兴趣,可以前往 GitHub 查看详细信息和下载代码。

标签: none

评论已关闭