创力网络科技与高通AI Hub集成以实现更快的推理
发表于 2024-06-07 11:59:21

作为物联网开发人员,您已经认识到将人工智能集成到自身的项目中具有变革性的潜力。但是,应该从何处着手?或者说,如何简化您正在进行的人工智能工作?本篇博文通过各种实际步骤和资源指导您在物联网应用程序中有效利用人工智能,从而避免您做无谓的重复性工作。

作为一家为交通和互联网医疗等垂直行业提供解决方案的公司,创力网络科技研究了物联网开发人员的人工智能前景,尤其是在智能城市中的前景。鉴于开发人员在人工智能方面的知识和技能水平参差不齐,该公司在其Percepxion物联网边缘平台上构建了一个智慧城市解决方案原型,其目标是确保客户的开发人员团队能够更轻松地构建和运行智能城市应用程序,例如交通监控、拥堵管理和公共安全等。

该团队使用由高通QRB5165处理器驱动的 创力网络Open-Q™ 5165RB(SOM)构建了具有创力网络Percepxion平台的解决方案原型。为了简化开发人员的环境,Percepxion中的构建系统使用了高通AI Hub,这是一套经过优化的人工智能模型,可以在高通芯片组驱动的设备上运行。该类模型使用TensorFlow Lite或高通QNN在CPU、GPU或NPU上运行。

平台:构建、部署并加速智慧城市应用程序

使用Percepxion的解决方案分为三个阶段:

1. 构建:容器化应用程序包括边端的用户代码和模型。创力网络提供工具、文档、虚拟机和入门指南,以开始进行开发工作。在未来,创力网络将为alpha版开发人员提供样例docker镜像。构建阶段同样涉及到高通AI Hub,开发人员可以将其自身经过训练的模型(包括PyTorch、 TensorFlow和ONNX上传到AI Hub进行优化和性能评估。开发人员还可以使用已经由高通科技公司优化的人工智能模型,以便同高通科技公司的芯片组一起使用

2. 部署:创力网络的云基础架构可用于将容器化的应用程序部署到终端设备,并进行性能监控。创力网络还提供了故障排除指导,从而可以获得流畅的体验。模型可以被部署到Linux机器上,也可以存储在Amazon S3中,并由各种应用程序引用。

3. 加速:所部署的应用程序在设备处理和云计算方面实现了两全其美的效果,从而提高了性能和可靠性。在本地,所部署的应用程序利用创力网络的SOM直接在设备上处理数据,从而减少了例如城市交通管理等对时间敏感的应用程序的时延和数据流量消耗,有关环境监测和公共安全的各种应用程序均可以实时处理来自内置传感器和执行器的数据,而开发人员则可以访问推理数据并在云中对分析情况进行管理。

高通AI Hub:几分钟内优化模型

为了降低人工智能的复杂性,Percepxion使用了高通AI Hub,从而确保开发人员能够优化和配置在配备了高通芯片组的设备范围内工作的各种模型。Percepxion同样确保了从开发到生产的平稳过渡,从而能够让开发人员以更快的速度部署人工智能模型。

创力网络对高通AI Hub中的各种模型进行了审核,针对Percepxion和物联网客户进行了彻底检查。创力网络推荐了以下最适合智慧城市应用程序的模型:

模型类型

模型名称

潜在用例

目标检测

DETR Resnet50, DETR Resnet101, YOLOv6, YOLOv7, YOLOv8_det

交通监测,公共安全,车辆和行人检测

语义分割

DeepLabV3_Plus_MobileNet, DeepLabV3_ResNet50, FCN ResNet50

城区监测,土地利用分析,环境监测

姿态估计

OpenPose, HRNet Pose

人群行为分析,跌倒检测,行人流量监测

图像增强

ESRGAN, Real-ESRGAN

提高监控录像质量,改进低分辨率图像

交通监测

DDRNet23_slim

监测动态驾驶场景、道路状况,以进行交通管理和自动驾驶车辆导航

声音分析

Whisper_base_en, Whisper_small_en, Whisper_tiny_en

监测噪音污染,智慧城市应急响应系统

使用Percepxion的解决方案将高通AI Hub集成到持续改进-持续部署(CI-CD)的流程中,确保优化模型的无缝集成,即使是在进行了部署之后。这确保了开发人员可以专注于其业务逻辑,而创力网络则对基础架构进行处理。

在边端, 创力网络的SOM构建在高通芯片组上,而高通芯片组则以其功率效率、低时延以及各项功能而著称,例如 高通AdrenoGPU高通Hexagon NPU。将Hexagon NPU与高通人工智能软件栈的SNPE相结合,可以确保利用各种框架(例如:TensorFlow Lite)在边缘实现高效推理。

专为智慧城市的现实应用程序而设计

理想的智慧城市应用程序包括:

  • 交通管理:集成在交通信号灯和道路上的传感器可以根据实时交通数据调整信号时间,从而优化交通流量,并减少拥堵。
  • 公共安全监测:监控摄像头和应急响应系统可以提供本地视频,以快速识别并响应各种关键事件,从而提高公共安全性,同时减少对于中央服务器的依赖性。
  • 环境监测:在全市范围内部署用于监测空气质量、噪音水平和天气状况的传感器,可以对当地的环境数据进行实时处理,并为改善城市生活条件提供可行的见解。
  • 智能公用事业:智能电网系统可以有效地管理和监测能源消耗情况,以支持各种可再生能源的整合。
  • 基础设施维护:利用物联网传感器监测城市基础设施(例如:桥梁和隧道),可以促进预测性维护,通过及时的数据分析预防故障。
  • 智能停车:智能停车系统可以处理传感器数据,以快速识别可用停车位,减少搜索时间和交通流量。

方便集成,并且更加快速的推理

作为一家提供智能硬件和总承包物联网解决方案的公司,创立网络将高通AI Hub的各种模型集成到其有关解决方案原型的Percepxion平台中。集成工作由创力网络的人工智能/机器学习、计算机视觉和生成式人工智能高级主管阿希什·沙尔领导。

沙尔表示:“高通科技公司使部署各种优化模型变得更加容易。高通科技公司的入门页面很容易理解,所有的应用程序接口都很明确,而由应用程序接口建立的Slack社区反应迅速。我认为,对于任何希望进入人工智能开发领域的开发人员或公司而言,AI Hub一个良好的开端。”

沙尔的团队用了大约一年的时间,使用Percepxion平台构建了他们的原型,并构建了一个云+设备解决方案。通过AI Hub使得将人工智能模型插入平台变得简单易行。创力网络能够在短短几天内将高通人工智能中心的模型与Percepxion集成在一起。虽然还有更多的工作要做——包括额外的模型、对外部传感器的支持以及与第三方插件的集成——但沙尔对目前为止所实现的性能提升感到满意。

沙尔表示:“AI Hub使我们的平台实现了重大改进。高通AI Hub帮助我们测试不同的模型,从而找到其中最合适的。例如,在测试和分析了性能后,我们根据需要选择了YOLO系列。尽管现在还为时过早,但我们已经能够针对非量化模型对YOLOv5 uint8和Yolov8 TensorFlow Lite int8模型进行评估,并决定使用前者。例如,对于Yolov5,我们的推理速度要快6到7倍,从集成前的150-200毫秒下降到集成后的20-25毫秒。”

后续步骤

请了解更多关于 创力Percepxion高通人工智能中心的信息。衡量其是否符合您的人工智能开发计划,并关注高通人工智能中心即将推出的模型、工具和文档

在所发布内容中表达的观点仅为原作者的个人观点,并不代表高通公司或其子公司(以下简称为“高通公司”)的观点。所提供的内容仅供参考之用,而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

骁龙与高通品牌产品均属于高通科技公司和/或其子公司产品。

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】