针对设备上的人工智能精度、性能和内存占用情况仍在不断进行革命性的改变。Meta公司最近推出的Llama3.2 1B/3B彻底改变了游戏规则，并且已经进行了全新升级。高通科技公司再次与Meta公司和Ollama公司合作，以支持全新的Llama 3.2量化模型。

此次合作重点强调了本公司的承诺，即推动设备上人工智能的极限，并为广泛的人工智能应用程序提高前沿Llama模型的可访问性和有效性。开发人员可以在搭载骁龙X Elite和骁龙X Plus处理器的AI PC上使用Ollama，从而将该类经过优化的模型无缝集成到他们的应用程序中。

全新的量化Llama模型在知识检索、总结和指令跟踪等用例中表现出色，并在这些领域超出了竞争对手的水平。与其未量化的版本相比，该模型实现了2-3倍的加速，而模型大小和内存占用减少了45-60%。

我们邀请开发人员探索这些量化模型，并使用面向骁龙X系列计算平台的Ollama程序开发具有检索增强生成和函数调用功能的应用程序，并将其集成到他们自己的应用程序中，以解锁端侧人工智能的新可能性。

请继续关注更多更新内容，因为我们将继续创新和扩展Llama模型的功能。

在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

骁龙品牌产品均为高通科技公司和/或其子公司的产品。

关于作者

杰瑞·张

高通科技公司高级市场营销经理

阅读更多