昇腾NPU动态显存调度挑战与解决方案探讨

在当前企业追求国产化算力的背景下，昇腾NPU的应用开发成为了一个热门话题。特别是在动态显存调度方面，目前存在一些挑战。虽然官方文档中提到了静态显存配置和预占用，但对于模型侧的显存波动、使用情况和每张卡的状态，似乎并没有提供足够的监测手段。这引发了关于静态显存配置适配问题的讨论，有人怀疑是否因为缺乏动态显存配置导致的。本人目前使用的是910B-B4，配置了4台机器，共计32张卡。在开发过程中，如何有效进行动态显存调度，成为了需要解决的关键问题。