在设备上运行大语言模型（LLMs）存在两个问题，即：内存占用和效率。为了解决这两个问题，LLMWare的HQ模型提供了一种快速、高效的方式，以便在本地设备上部署和管理生成式人工智能模型。利用HQ模型，可以更容易在本地使用专用语言模型，适用于诸如检索增强生成（RAG）和人工智能代理 (AI Agent) 等应用场景。
目前，LLMWare的HQ模型可以在搭载骁龙X系列处理器的设备上使用。借助HQ模型，搭载骁龙X系列处理器的AI PC可以直接在其设备上提供强大、安全、即用的AI功能，包括在高通Hexagon NPU上进行推理。
企业级小型语言模型。为何选择该模型？又为何是现在？
您是否知道，高达99%的AI工作流程均可以由小型语言模型完成？小型语言模型是参数范围从1B到32B的高效AI模型，甚至可以在笔记本电脑上运行。尽管在过去几年中，AI最引人注目的应用大多涉及参数高达1.8万亿的大前沿大语言模型，以及庞大的云计算能力，但大多数企业应用场景的需求并不那么高。由于近年来在硬件方面取得的进步（例如搭载骁龙X系列处理器的AI PC），以及小型语言模型功能的显著提升（Phi-4和Qwen），企业能够在用户层面、在无需无线网络即可运行的设备上直接实现AI生产力的提升。
LLMWare.ai为企业提供了一种专为本地部署而设计的安全、可扩展、且具有高性价比的AI解决方案。与依赖成本高昂且不安全的API连接的传统AI模型不同，LLMWare的HQ模型将AI部署在您的数据所在之处 – 甚至是在笔记本电脑上 – 以确保最大程度的安全性和合规性。
凭借30多种专有小型语言模型和90多种优化模型（包括Gemma、Llama、Phi和Mistral），LLMWare的HQ模型消除了昂贵的推理费用，将笔记本电脑推理的AI成本降低至每个令牌0美元。
HQ模型采用无代码、点击式客户端应用程序，使企业能够轻松使用AI工作流程，通过各种开箱即用功能实现任务自动化并提高工作效率，该等功能包括：
- 与AI模型聊天
- 文本到SQL语言查询
- 图像标记和分类
- 使用检索增强生成进行文档搜索和分析
通过HQ模型，业务用户可以将AI用于各种任务，例如分析复杂合同、以自然语言进行SQL语言查询、以及回答有关收益报表的问题。在确保安全和隐私（数据未离开设备）的同时，HQ模型显著提高了生产力。
附图1：使用HQ模型查询本地文件
在个人电脑或笔记本电脑上运行的私人人工智能
备受瞩目的初代AI应用程序给人留下了一种印象，即需要为AI设置尽可能多的处理能力。这正是开发人员和软件工程师所要驳斥的假设；通过HQ模型，LLMWare确保开发人员和软件工程师能够做到这一点。
当然，如果您的设备搭载了具有Hexagon NPU的骁龙X系列设备，就可以将AI处理工作从CPU和GPU上卸载下来。但是，即使本地设备并非AI PC，也不具备GPU或NPU，也可以通过小型语言模型在本地设备上运行推理。
利用HQ模型，即使在只有CPU的本地设备上，您也可以在搭载骁龙X系列处理器的笔记本电脑上使用参数高达320亿的AI模型。而且，骁龙X系列处理器上的GPU和NPU能够优化AI模型的性能。
在搭载骁龙X系列设备的设备上运行AI工作负载，是朝着实现更加个性化、安全的AI应用场景所迈出的一大步。您可以享受在设备上运行所具有的隐私性和安全性，并且无需将数据在往返传输到云端。HQ模型为您配备了合规性工具，包括用于审计和AI解释的日志。
在搭载骁龙X系列的笔记本电脑上使用HQ模型
LLMWare使用户能够轻松地在骁龙X系列上使用90多种最新小型语言模型，其中包括：
- Qwen 2.5-32B
- Qwen 2.5-7B-Coder
- Llama 3-8B
- Phi-4
- Gemma 2-27B
- Gemma 2-9B
- Mistral Small-22B
- Mistral-7B
- Yi 6B
- Yi 9B
- Dragon RAG-specialized models
- Dragon RAG-专用模型
- SLIM Function-calling models for agent workflows
- 针对代理工作流程的SLIM函数调用模型
随着语言模型的快速发展，LLMWare将持续更新其模型目录，以确保能够轻松、私密地使用最新的优质小型语言模型，以运行搭载骁龙X系列的设备，特别是在高通Hexagon NPU上。
这意味着您可以在搭载骁龙X系列的设备上使用HQ模型来处理诸如聊天机器人、文本转SQL阅读、图像阅读、编程助手、语音转录和文档分析（PDF、DOCX、PPTX）等应用。
HQ模型采用高通AI Stack，其中包括在骁龙X系列上充分利用高通Hexagon NPU所需要的AI数据库、工具和软件开发工具包。借助高通AI Stack，您可以实现一次开发，并在几乎所有高通技术公司的产品上进行部署。
随着语言模型的快速发展，LLMWare不断更新其模型目录。该公司计划继续与高通技术公司合作，扩展可在搭载骁龙X系列的设备（特别是高通Hexagon NPU）上运行的模型清单。
LLMWare-hero
试试看
如果您正在考虑将AI引入企业内部 – 尤其是如果您身处监管严格或数据敏感的行业– 那么您需要的是可控、私密且安全的AI。LLMWare在部署代理式AI应用程序和微调小型语言模型方面的专长无疑是一个明智的选择，尤其目前HQ模型已经支持骁龙X系列笔记本电脑了。
除了为设备端AI提供开箱即用的功能外，通过HQ模型，内部开发人员还可以利用LLMWare’的GitHub代码库轻松创建轻量级的AI应用程序。在该代码库中，您可以找到“入门”部分，其中有一个pip3安装llmware的指南，供您在骁龙X系列设备上试用。此外，您还可以观看LLMWare的YouTube频道，以了解如何利用函数调用模型开始使用代理。
是否打算参加巴塞罗那世界运动通信大会？3月3日至3月6日，请莅临我们的3E10展位参观LLMWare。
3月5日，您还可以采用虚拟方式参加我们的网络研讨会“使用ONNX运行时以及搭载骁龙设备的Copilot + 个人电脑进行设备端AI部署”，以了解更多关于LLMWare的信息并观看现场演示。
了解有关LLMWare和高通在骁龙X系列方面进行合作的更多信息。
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品属于高通技术公司和/或其子公司的产品。
关于作者
德旺·阿加瓦尔
高级产品经理
