如何在Windows on Snapdragon上运行DeepSeek模型——LM Studio教程
发表于 2025-02-14 10:21:41

DeepSeek-R1是深度求索公司开发的一款开源推理模型,可处理需要逻辑推理、数学问题解决和实时决策的任务。该模型的突出特性之一是能够跟踪其逻辑,从而更容易理解该模型,并且在必要时可以对其输出内容提出质疑。

这种透明性在要求结果可解释的领域(例如:研究和复杂决策)内尤为重要。

人工智能蒸馏是一个通过大模型创建规模更小、效率更高模型,在减少计算需求的同时保留其大部分推理能力的过程。深度求索公司使用Qwen和Llama架构,应用该技术开发了一套建立在R1基础上的蒸馏模型,这样确保用户可以在标准笔记本电脑上利用DeepSeek-R1的各种功能。

开发人员在装有Windows on Snapdragon的设备上运行其人工智能模型时会面临一些选择,其中最为流行的选择之一是利用 LM Studio这样的大语言模型平台。LM Studio因其用户友好的界面、强大的性能以及与流行人工智能模型的无缝集成脱颖而出,同时支持各种各样的模型,因此具有高度通用性。

此外,LM Studio允许开发人员在本地运行各种模型,从而确保数据隐私并减少对互联网连接的依赖。对于寻求利用人工智能模型进行高效实验的开发人员而言,LM Studio由于所具有的离线工作能力和兼容性而成为理想选择。

该平台也得到了科技界知名人士的积极反馈,从而进一步巩固了其作为人工智能开发可靠有效工具的声誉。

本教程向您展示了如何利用LM StudioWindows on Snapdragon CPU上运行DeepSeek-R1模型。您可以在骁龙X系列笔记本电脑上运行以下步骤。

CPU运行——LM Studio教程

1. 访问LM Studio网站。打开浏览器并登录以下网址:LM Studio - Discover, download, and run local LLMs

附图1:LM Studio,Windows on Snapdragon版本

2. 下载与安装。下载Windows机器学习工作室 (arm64) 安装程序,按照屏幕上的说明完成安装并启动应用程序。

附图2:LM Studio安装程序步骤1。

附图3:LM Studio安装程序步骤2。

附图4:LM Studio安装程序步骤3。

3. 模型初始化。在登录界面上,选择大语言模型并等待下载该大语言模型:

附图5:LM Studio模型选择。

附图6:LM Studio模型下载步骤1

附图7:LM Studio模型下载步骤2

4. 开始使用应用程序。下载完成后,您可以加载模型并开始使用基于所选大语言模型的聊天应用程序:

附图8:开始使用LM Studio步骤1。

附图9:开始使用LM Studio步骤2。

附图10:开始使用LM Studio步骤3。

5. 切换模型。您可以从位于顶部的下拉菜单中选择不同的模型;例如,DeepSeek R1 Distilled  (Qwen 7B) ,如下所示:

附图11:LM Studio,选择DeepSeek-R1

6. 性能监控。打开Windows任务管理器,查看在设备上本地运行的模型(使用CPU):

附图12:LM Studio,监控Windows任务管理器中CPU上的模型性能

后续步骤

我们很快会提供有关在NPU上运行的更多具体内容。

与此同时,微软公司正将针对NPU优化的DeepSeek-R1整合到Copilot+个人电脑中,并从高通骁龙X系列设备开始进行。微软公司还宣布,目前可以在骁龙驱动的Copilot+个人电脑上获得经过ONNX优化的DeepSeek R1模型。对于短提示(<64个token),该类模型可确保小于70毫秒的首个token响应延时、25-40个tokens/s的吞吐率以及实现更高吞吐量的更长响应时间。今天就从下载VS Code中的AI Toolkit 插件开始吧

是否想要了解更多关于Windows on Snapdragon上DeepSeek的信息?请加入我们的开发人员Discord社区,以获得更多见解,并与其他开发人员和本公司的技术专家进行实时对话。

在所发布内容中表达的观点仅为原作者的个人观点,并不代表高通公司或其子公司(以下简称为“高通公司”)的观点。所提供的内容仅供参考之用,而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品属于高通科技公司和/或其子公司的产品。

关于作者

德旺·阿加瓦尔

高级产品经理

阅读更多

关于作者

迪利普·卡普尔

阅读更多

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】