DeepSeek-R1是深度求索公司开发的一款开源推理模型，可处理需要逻辑推理、数学问题解决和实时决策的任务。该模型的突出特性之一是能够跟踪其逻辑，从而更容易理解该模型，并且在必要时可以对其输出提出质疑。这种透明性在要求结果可解释的领域（例如：研究和复杂决策）内尤为重要。
人工智能蒸馏是一个通过大模型创建规模更小、效率更高模型，在减少计算需求的同时保留其大部分推理能力的过程。深度求索公司使用Qwen和Llama架构，应用该技术开发了一套建立在R1基础上的蒸馏模型。这样确保用户可以在标准笔记本电脑上利用DeepSeek-R1的各种功能。
开发人员在Windows on Snapdragon平台上运行其人工智能模型时具有若干选择，其中最为流行的选择之一是利用Ollama这样的大语言模型平台。Ollama因其经过优化的性能和高效率而备受开发人员的青睐。
Ollama构建在llama.cpp框架上，引入了各种额外的优化程序，从而提高了推理速度，减少了内存使用量，因此即使在消费级硬件上也可以使用。
对于寻求将大语言模型整合到其应用程序中、同时无法使用昂贵或专用硬件的开发人员而言，Ollama成为其理想选择。
此外，Ollama的用户友好特性（例如：自动模型模板创建和按需加载）简化了开发过程，确保开发人员能够更加关注于创新，而不是技术障碍。
本教程向您展示了如何利用Ollama在Windows on Snapdragon CPU上运行DeepSeek-R1模型。您可以在骁龙X系列笔记本电脑上运行以下步骤。
在CPU上运行——Ollama教程
1. 访问Ollama网站。打开浏览器并登录以下网址：https://ollama.com。
2. 下载与安装。点击下载按钮，选择Windows按程序，并按照提示完成安装。
3. 运行您的模型。打开命令提示符或终端，并输入以下命令：
ollama run <模型名称>
附图1：Ollama中的DeepSeek模型
4. 开始使用应用程序。以下为三种DeepSeek模型的示例：
ollama run deepseek-r1:1.5b使用1.5 b模型获得的结果既快又好，如下图所示：
附图2：Ollama运行 deepseek-r1:1.5b的结果（第1部分）
附图3：Ollama运行deepseek-r1:1.5b的结果（第2部分）
ollama run deepseek-r1:7b这些结果同样既好又准，并有详细的解释。但是，推理速度要比1.5b慢：
附图4：Ollama运行 deepseek-R1:7b的结果
ollama run deepseek-r1:8b运行该模型时得到了一个错误：
附图5：Olalma运行深度求索-R1：8b的结果（错误）
后续步骤
我们很快会提供有关在NPU上运行的更多具体内容。
与此同时，微软公司正将针对NPU优化的DeepSeek-R1整合到Copilot+个人电脑中，并从高通骁龙X系列设备开始进行。微软公司还宣布，目前可以在骁龙驱动的Copilot+个人电脑上获得经过ONNX优化的DeepSeek R1模型。对于短提示（<64个token），该类模型可确保小于70毫秒的首个token响应延时、25-40个tokens/s的吞吐率以及实现更高吞吐量的更长响应时间。今天就从下载VS Code中的AI Toolkit 插件开始吧。
是否想要了解更多关于Windows on Snapdragon上深度求索的信息？请加入我们的开发人员Discord社区，以获得更多见解，并与其他开发人员和本公司的技术专家进行实时对话。
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品属于高通科技公司和/或其子公司的产品。
关于作者
德旺·阿加瓦尔 高级产品经理
迪利普·卡普尔
