从医疗卫生到教育和制造业，人工智能的使用场景呈指数级增长。开发者选择流行的 AI 框架（如 PyTorch 和 TensorFlow），分析预测、训练模型、利用数据并改善未来结果。本文将介绍如何提高框架训练模型的性能。请继续阅读，详细了解配备高性能 AI 软件开发套件的强大平台。

Windows on Snapdragon 介绍

过去几年，Qualcomm Technologies 和Microsoft一直在合作，开发强大的Windows on Snapdragon平台，高性能和高能效运行AI工作负载。平台的核心是由Qualcomm Technologies开发的骁龙处理器。该处理器可以在 Windows PC 上运行 AI 应用程序，开发者不必担心性能问题或电池寿命。‌Windows on Snapdragon 以快速、高效的方式处理各种 AI 工作负载。

早在今年 10 月，高通技术公司 就推出了骁龙 X Elite 处理器，该处理器在性能方面树立了新的标杆。得益于 4nm 工艺节点和 136GB/s 内存带宽，其 CPU 和 GPU 性能比 x86 处理器高出 2 倍。它还可以运行超过130亿个参数的大型语言模型，每秒生成30个令牌，最多可生成70亿个令牌，使其成为生成式 AI 的强大后盾。无论是自然语言处理、计算机视觉还是其他 AI 领域，骁龙 X Elite 处理器都能提供快速准确的结果。

但性能并不是唯一重要的部分。您还需要一个可以增强用户体验、延长电池寿命并适合需求的平台。‌Windows on Snapdragon 平台支持各种用户体验增强功能，例如高速 5G、Wi-Fi 7、高级摄像头 ISP、从芯片到云的无缝安全性等。功耗比竞品低 68%，同时提供最佳 PC 性能。平台还允许 CPU、GPU 和 DSP 平衡应用程序工作负载，为用户提供无缝体验。更棒的是：该平台支持不同的设计和外形尺寸，使各种设备和应用程序能够更好的发挥其功能。

使用高性能 SDK 加速 AI 工作负载

为帮助我们的客户利用设备端 AI，高通技术公司 开发了一套 AI 工具链，简化并优化 AI 模型在 Windows on Snapdragon 平台上的部署。借助这些 AI 工具链，我们的客户可以在设备端运行 AI 工作负载，为用户提供即时、可靠和安全的 AI 体验。

在设备端运行 AI 模型很重要的一部分是量化。Qualcomm AI Research 团队开发了一个开源库 AI Model Efficiency Toolkit （AIMET），提供高级模型压缩和量化技术，可在维持任务准确性的同时缩小模型。开发人员可以将 AIMET 高级模型压缩和量化算法整合到他们的 PyTorch 和 TensorFlow 模型构建管道，以实现自动化的训练后优化以及模型微调。

在推理方面，Qualcomm AI 堆栈提供高性能运行时，通过支持 AI 框架、开发库、系统软件和流行操作系统，帮助开发人员快速优化和部署 AI 模型。作为 Qualcomm AI 堆栈的一部分，您可以访问两个 SDK，即 Qualcomm 神经处理 SDK 和 Qualcomm Direct AI 引擎 SDK，它们提供完全访问权限和最大的灵活性，以实现一流的 AI 性能。

Qualcomm 神经处理 SDK 是一个多功能 SDK，支持异构计算、系统级配置，旨在将 AI 工作负载定向到 Qualcomm Technologies 平台上所有的加速器核心。为开发者提供了灵活性，包括核心间协作支持和其他高级功能。

而另一方面，Qualcomm AI 引擎 Direct SDK 提供较低级别、高度定制的统一 API，可通过单独的库加速 AI 加速器内核上的 AI 模型。它可以直接用于针对特定的加速器核心，或从流行的运行时（包括 Qualcomm 神经处理 SDK、TensorFlow Lite 和 ONNX 运行时）委派工作负载。

除了这些 SDK 之外，Microsoft和高通技术公司 还合作为高通技术公司 的 GPU 提供 DirectML 支持。 DirectML 是一个高性能、硬件加速的 DirectX 12 库，用于 Windows 平台的机器学习。为常见的机器学习框架和工作负载提供 Qualcomm Technologies 的 GPU 加速，包括图像分类、对象检测和风格迁移。

客户案例：Camo 改变了他们的视频体验

借助 Reincubate 开发的应用程序 Camo，‌世界各地的团队可以通过视频会议、流媒体和录制‌‌视频进行交流，他们可以使用任何设备，都能确保专业画质和强大的效果。过去几个月，Reincubate 的开发人员成功将应用程序移植到 Windows on Snapdragon，获得了无与伦比的视频体验。

通过在骁龙专用 NPU 上运行 Camo，释放CPU 负载，同时实现更长的电池续航时间，而支持 AI 的图像处理使用户能够实时获得人像模式和虚拟绿屏等分割效果、表情符号虚拟手和快速响应的面部跟踪等 AR 效果。

要试用该应用，请在  Windows on Snapdragon 设备上下载 Camo Studio。

图1 在骁龙专用 NPU 上运行的 Camo

 “通过 高通技术公司 产品，我们可以使用尖端芯片架构，将人工智能驱动的视频工具交付给世界各地的创作者、游戏玩家和专业人士。Windows on Snapdragon 上的 Camo 实力非凡：速度更快、延迟更低、效率更高，而且视频质量更好。”

– Aidan Fitzpatrick，Reincubate 首席执行官

接下来？

希望在 Windows on Snapdragon 上加速您的 AI 用例？我们随时为您提供帮助！浏览 Qualcomm 支持选项，获取帮助您构建下一个创新项目所需的资源。

在下一篇博客中，我们将讨论如何开始使用 Qualcomm 神经处理 SDK。您将学习如何在 Windows on Snapdragon  设备上无缝整合 AI 模型并运行推理。敬请关注！