在当今快速发展的技术环境中,AI正在变革各行各业并推动创新,理解AI性能指标的复杂性至关重要。过去许多AI模型需要在云端运行。当我们走向由终端侧生成式AI处理定义的未来时,我们必须能够评估计算平台可运行AI模型的性能、准确性和效率。如今,TOPS(每秒万亿次运算)是衡量处理器AI性能的主要方式之一。TOPS是基于处理器所需的架构和频率,衡量处理器潜在AI推理峰值性能的方法,比如神经网络处理器(NPU)。下面我们将深入探讨。
NPU是什么?
在深入探讨TOPS的具体内容之前,让我们先看看NPU的重要性。对于终端侧AI处理,NPU在提高效率、为个人用户和企业提供创新的应用体验方面发挥着关键作用。评估这些专用处理器的性能需要全面了解其能力背后的关键指标。
NPU的演进改变了人们处理计算的方式。传统上,CPU负责执行AI算法。随着对处理性能的需求飙升,专用NPU应运而生,成为处理AI相关软件应用的专用解决方案。NPU旨在高效处理AI任务所需的复杂数学计算,提供出色的效率、性能和能效
AI TOPS是什么?
TOPS作为展示处理器计算能力的指标,是衡量NPU性能的核心。
TOPS通过以万亿单位测量一秒钟内执行的运算(加法、乘法等)次数来量化NPU处理能力。
这种标准化测量方式非常明确地显示了NPU的性能,可作为比较不同处理器和架构AI性能的关键指标。因为TOPS是针对NPU的基础性能指标,探索TOPS的计算参数以及它们如何决定性能至关重要,这有助于更深入地了解NPU的能力。
乘法累加(MAC)运算执行AI工作负载中的核心数学公式。矩阵乘法由两类基础运算组成:累加器的乘法和加法。例如,一个MAC单元可在每个时钟周期内运行两类基础运算各一次,意味着它在每个时钟周期内执行两个运算。一个给定的NPU有一定数量的MAC单元,能够在不同精度级别进行运算,这取决于NPU架构。
频率决定NPU及其MAC单元(以及CPU或GPU)运算的时钟速度(或每秒周期数),直接影响整体性能。更高的频率允许在单位时间内执行更多运算,从而提高处理速度。但是,提高频率也会导致更高功耗和发热,影响电池续航和用户体验。处理器TOPS计算通常使用峰值运行频率。
精度指计算的颗粒度,通常精度越高模型准确性就越高,需要的计算强度也越高。最常见的高精度AI模型为32位和16位浮点精度,而速度更快的低精度低功耗模型通常使用8位和4位整数精度。当前行业标准为以INT8精度评估AI推理性能TOPS。
计算TOPS要从计算OPS开始,OPS等于MAC单元数乘以运行频率的两倍。TOPS数量是OPS除以一万亿的值,将公式更简单地列出,即TOPS = 2×MAC单元数×频率/1万亿。
TOPS和实际性能
尽管TOPS提供了探索NPU能力的重要信息,我们仍必须将理论指标和实际应用联系起来。毕竟,仅仅有高TOPS值并不能保证最佳的AI性能;各种因素协同作用的结果才能真正决定NPU实力。
因此评估NPU性能时要考虑内存带宽、软件优化和系统集成等方面的因素。基准测试可以帮助我们超越数字,了解NPU在实际场景中的表现,其中时延、吞吐量和能效尤为重要。
Procyon AI基准测试使用真实工作负载来帮助将理论性的TOPS评估转化为用户在使用AI推理的真实应用中对响应和处理能力的预期。它以多个精度运行六个模型,提供NPU不同性能表现的详细洞察。类似模型在生产力、媒体、创作者和其他应用中越来越常见。在Procyon AI和其他基准测试中有更快的性能表现,与实现更快推理和更好用户体验息息相关。
为此,分析实际性能可以为NPU的能力和局限性提供宝贵洞察。必须从可行性和实用性角度检验性能指标。
未来NPU性能指标
随着技术不断快速发展,数字化转型需求持续影响各行各业,NPU性能指标格局将进一步演进。尽管新兴趋势正在更广泛地定义和评估NPU性能与计算的方式,TOPS仍是很好的性能指标,将在很长一段时间内继续作为重要参考。
随着各种AI新技术在未来几年受到关注并重新定义无数行业,对能够反应不同技术独特特征的可靠性能指标的需求将不断凸显。适应性、可扩展性和实际应用相关性将定义未来的NPU性能指标。
根据用户需求评估NPU性能
应对快速变化的NPU性能评估领域或许会让人望而生畏,但随着数字化转型(尤其是在AI领域)持续快速发展,深入了解TOPS对行业和个人来说都很重要。
最终,选择合适的系统级芯片(SoC)取决于用户、客户或组织的工作负载和优先级,而这一决策很可能需要取决于SoC中的NPU。
无论用户是优先考虑原始算力、能效还是模型准确度,骁龙X系列平台面向笔记本电脑,配备高达45TOPS的NPU,能够强力赋能PC,并将实际可用的AI体验引入用户的工作流程。
*本文内容来自高通技术公司技术市场高级总监Peter Burns的博客文章。
![](https://csdnimg.cn/release/cmsfe/public/img/code-Icon.9ffdd99c.jpg)