微软今日宣布,通过Azure AI Foundry接入DeepSeek-R1 7B和14B蒸馏模型,为Copilot+ PC提供本地运行这两种模型的能力。今年1月,微软曾计划将DeepSeek-R1模型的NPU优化版本直接带到搭载高通骁龙X处理器的Copilot+ PC上,如今这一承诺已经实现。
从微软官方博客了解到,这些模型将首先在搭载高通骁龙X处理器的设备上上线,随后扩展到英特尔酷睿Ultra 200V和AMD锐龙的设备。由于模型运行在NPU上,这不仅减少了对PC电池续航和散热性能的影响,还使得CPU和GPU能够执行其他任务,从而持续获得AI计算能力。
微软使用了Aqua内部自动量化工具,将所有DeepSeek模型变体量化为int4权重。然而,目前模型的标记速度较低,14B模型仅为8 tok/秒,而1.5B模型接近40 tok/秒。微软表示正在进一步优化以提高速度。开发者可以通过AI Toolkit VS Code扩展在Copilot+ PC上下载并运行DeepSeek模型的不同版本。