共同作者：Timothy Carambat，Mintplex Labs创始人。
大多数大语言模型（LLM）有两个共同点：大语言模型不太容易设置，并且大语言模型一般在云服务器或数据中心运行。如果您希望在无需学习安装和配置方法的情况下获得大语言模型的生产能力，应该怎么办？如果必须确保隐私性，并且您想要在桌面设备将人工智能作为应用程序运行，应该怎么办？
对于这种情况而言，AnythingLLM桌面版就是最佳选择，这是一款以简单、符合信息技术标准的方式提供人工智能的一体化应用程序。借助AnythingLLM，企业用户和消费者可以轻松利用人工智能分析、创建任何类型的文档，并同其进行聊天。企业开发人员和工程师可以利用人工智能代理执行各项任务，实现复杂工作流程的自动化，并与专有系统进行交互，以产生输出或使用内部数据。AnythingLLM桌面版可确保隐私性，默认情况下在设备端运行。
目前，作为AnythingLLM的生产商，Mintplex Labs发布了一个在骁龙X系列设备上运行的版本。通过下文描述的过程，可以确保应用程序能够在高通Oryon CPU上的大语言模型上运行，然后进一步优化大语言模型，以便在高通Hexagon神经处理单元（NPU）上运行。
本地运行大语言模型的成长路径
消费者与普通用户经常可以听到有关人工智能潜力的信息。对于那些抽象了python脚本、API密钥和复杂工具配置的产品而言，潜在的市场规模非常大。AnythingLLM的目标是帮助用户在简单和没有编程经验的情况下能够高效地使用人工智能模型。
AnythingLLM是开发人员构建界面、应用程序或小部件的理想后端。该应用程序囊括了在本地运行模型获得的所有经验教训，并且可以针对私有大语言模型的使用进行充分扩展。在单个应用程序中，该应用程序可确保开发人员灵活地工作：开发人员可以运行大语言模型，创建代理，并将文档序列化到设备上的私有向量数据库中。AnythingLLM团队发现，在由骁龙X系列平台所驱动设备的NPU上运行大语言模型时，有可能实现x86设备无法实现的性能和能效比。
将AnythingLLM移植到Windows on Snapdragon
AnythingLLM主要采用Node.js语言编写，并通过开源GitHub代码仓库公开构建。该移植工作要求工程师在更底层的部分开发，最初是在Windows on Snapdragon的CPU上工作。一旦工程师成功地将其移植到CPU上，他们就可以在骁龙X系列NPU和高通AI Engine Direct SDK（也称为QNN SDK）上工作。
利用搭载了骁龙X Elite的戴尔Latitude 7455设备——工程师们花了几天时间才让支持NPU的大语言模型实现本地运行，其中包括将embeddings驱动到NPU上的工作。为了利用NPU的性能进行大语言模型推理，AnythingLLM团队依赖于高通AI Engine Direct SDK、高通AI Engine Direct文档 和工具。
骁龙X系列上的AnythingLLM：更高的性能和效率
一般情况下，对于大语言模型以及产品运行的其他模型（嵌入、重排等）而言，AnythingLLM在高通Oryon CPU上的执行速度比在x86上快30%左右，而且也比在x86模拟中的运行速度快得多。在测试过程中，AnythingLLM团队还发现，用于重排和嵌入等任务的传统机器学习模型在高通Hexagon NPU上的运行速度明显快于在高通Oryon CPU上的运行速度。简而言之，在骁龙X系列设备上，图像识别、文本分类、语音转文本等各种任务的模型在NPU上的运行速度要快得多。
该团队更进一步，将对NPU模型的支持扩展到其内置文档嵌入器。通过嵌入器，可以使用大语言模型读取本地文档，因此这种扩展支持为用户提供了设备上的端到端、NPU驱动的人工智能体验。
利用AnythingLLM在骁龙X Elite的NPU上运行强大的大语言模型
后续步骤
目前，AnythingLLM可以在骁龙X系列处理器驱动的Copilot+个人电脑中使用高通Oryon CPU和高通Hexagon NPU。
“我们向消费者免费提供AnythingLLM桌面版。”Mintplex Labs公司的创始人提摩西·卡拉姆巴特表示：“Windows on Snapdragon版本目前可在高通Hexagon NPU的支持下进行预览。我们还提供了一个社区中心，可供AnythingLLM用户共享工作空间、代理能力和系统提示词等资产。”
“大语言模型被广泛认为是游戏规则的改变者。由骁龙X系列驱动的设备具有高性能和高效率，并且随着开源模型逐渐变得更小、更快和更准确，人们对人工智能的期望越来越高，消费者和软件开发人员都想要一个简单的工具和框架来使用它。”
AnythingLLM的优势在于，结合了基础骁龙X系列处理器，我们将人工智能硬件的优势直接传递给用户。”
喜欢你所看到的吗？请加入开发人员Discord，以便与其他开发人员进行更深入的了解和实时对话。
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
关于作者
德旺·阿加沃尔
高级产品经理
