在AMD电脑上使用NPU本地运行大模型

在最近更换了一台新电脑后，用户发现电脑中的NPU（神经网络处理单元）占用了高达31GB的内存，但似乎并没有运行任何任务。经过一番搜索，用户了解到NPU主要用于运行大型模型，并找到了一些适配AMD NPU的小模型运行方法。用户计划先尝试运行一个1B参数的模型，因为最高支持8B参数的模型。为了优化AMD NPU的性能，用户执行了以下命令来开启性能模式：

cd C:\Windows\System32\AMD\
.xrt-smi configure --pmode turbo

此外，用户还找到了其他模型的说明文档，可以通过以下链接查看：NPU Management Interface。用户还参与了一个讨论，讨论中提到了如何在AMD电脑上使用NPU本地运行大模型，并分享了一些相关的图片和链接。这些资源对于想要在AMD平台上运行模型的用户来说非常有用。