许多独立解决方案供应商 (ISVs) 均希望更多地使用 AI；但是，他们同样希望获得比云端更高的隐私性、控制和性能。Nomic公司推出的GPT4All能够将大语言模型 (LLMs) 作为本地应用程序进行私有化运行。结合Nomic公司的嵌入模型，GPT4All让用户可与数千个模型进行对话，将本地文件转化为模型的信息源 (LocalDocs) ，并浏览和下载在线可用模型。这是一种快速、设备端运行并且具有隐私性的AI技术。
目前，GPT4All已可支持Windows on Snapdragon设备。这意味着消费者、开发者和企业用户都可以在搭载骁龙X系列处理器的笔记本电脑上本地运行各种大语言模型，以进行检索增强生成（RAG）和本地文档对话。GPT4All已准备好充分利用骁龙X系列处理器上的高通 Hexagon NPU。
让人人都可以使用AI，无论是本地化使用还是私有化使用
AI 用户和用例的范围与计算领域一样广泛，从轻松娱乐到深度分析无所不包。但是，几乎所有用户都希望他们的AI具备以下特性：
- 隐私性 – 用户希望将其数据保留在自己的设备上，从而确保AI聊天体验的隐私性。
- 安全性 – 敏感性或保密性交互不应在外部服务器上运行。
- 便携性 – 用户希望AI不依赖云端连接，即便在完全离线的情况下也能够运行。
- 本地化 – 在运行AI的同一设备上，用户存储了成千上万内容丰富的文档和文件。这些本地文档应当作为检索增强生成 (RAG) 的内容库，以安全、私密的方式访问。
- 计算灵活性 – 本地语言模型应当在任何引擎上运行 – 无论是 CPU、GPU 还是 NPU。
- 非专有性 – 没有人希望被供应商套牢。开源架构和语言模型是确保 AI 保持可访问性和透明性的关键因素。
Nomic公司设计的GPT4ALL体现了这些特性。凭借每月25万的活跃用户和GPT4ALL企业版，Nomic公司的宗旨是为人们提供本地化AI，以满足商业应用需求。
附图1：GPT4ALL对话示例
“我们的核心价值观之一就是尽可能普及AI，”Nomic公司首席执行官兼联合创始人安德里·穆里亚尔表示。“‘普及’意味着让用户能够在尽可能多的设备上运行 AI创新成果和语言模型。我们始终致力于扩大所支持的硬件范围，并已为用户在多个不同平台上利用本地AI铺平了道路。随着越来越多的客户购买AI电脑，我们决定支持搭载骁龙X系列处理器的设备，因为该类设备具有出色的性能和效率。”
骁龙X系列处理器上的GPT4ALL：Windows 上的快速本地AI
在目前的市场环境中，Nomic公司认为支持 Windows on Snapdragon 非常重要，因为该平台为用户提供了可行的替代方案。
为了快速运行本地 AI，消费者不得不在价格和平台之间做出选择。如果消费者想要继续使用 Windows，就必须购买配备高性能GPU的昂贵游戏笔记本电脑；或者，如果消费者想要以消费级价格购买专用的AI笔记本电脑，就必须切换到另一种操作系统并学习如何使用该操作系统。任何一种选择都是使用AI道路上的减速带。
很少有消费者知道，如果想加速AI推理或利用检索增强生成 (RAG)，应该购买哪些设备。当消费者发现需要切换到新操作系统或购买高性能硬件时，很可能会犹豫不决。这就是为什么在骁龙X系列设备上运行的Nomic公司GPT4ALL软件成为了快速本地AI令人信服的替代方案。
部分交叉编译，部分移植
从工程角度来看，Nomic公司的部分工作属于交叉编译 – 即使用不同的工具链，通过Visual
工程师们评估了在骁龙X系列处理器上运行所需要投入的工作量。其中包括探索Windows on Snapdragon架构和工具链的能力，然后确保与现有代码库的兼容性。在一周之内，他们就获得了可以运行的初步版本。
工程师团队随后又花了一周时间使用该应用程序，并解决了与新平台运行相关的问题，包括对 LocalDocs功能的修改。LocalDocs 是一项重要的差异化功能，因为它将本地文件（如 PDF 和 Microsoft Word 文档）引入大语言模型对话中。它首先使用嵌入模型为文本片段分配向量，然后在提示中包含语义相似的片段，并传递给大语言模型。
工程师们修改了用于文件摄取和嵌入模型计算的代码，以确保LocalDocs能够充分利用骁龙X系列处理器的性能。
在交叉编译和移植的工作中，工程师们不需要技术支持。他们发现高通技术公司提供的骁龙X系列处理器的工具和文档足以支持。
目前，Nomic团队正在努力加快其在高通Hexagon NPU上的AI工作负载。敬请期待！
轮到你了
GPT4ALL是一款开源产品。Nomic邀请开发者为在Snapdragon X系列设备上更好地改进GPT4ALL做出贡献。
准备好体验快速、本地化、私密的AI了吗？快来试试 GPT4ALL吧。选择“Download for Windows Arm”安装程序，并在搭载骁龙X系列处理器的笔记本电脑上运行该程序。
想要了解更多内容？请加入我们的Discord社区吧。您可以与本公司的专家交流，结识使用本公司技术的开发者伙伴，并随时掌握以开发者为中心的新闻和产品更新动态。
在所发布内容中表达的观点仅为原作者的个人观点，并不一定代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站也可能提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品均为高通技术公司和/或其子公司的产品。
关于作者
德旺·阿加瓦尔
产品经理，高级
