假定您的客户是想要以为其员工提供大型语言模型（LLM）作为业务优势的企业。他们热衷于将人工智能应用于聊天机器人、文本到图像生成器、内容创建和推荐引擎等应用程序——所有这些都需要负责任的人工智能治理。该类客户想要将其人工智能政策集中（当然会这样），但是，他们也希望在设备层面防止滥用和意外后果。
Dynamo AI将此视为市场空白。该公司设计了Dynamo Guard 产品，以执行企业人工智能治理策略，同时实时审核大型语言模型的使用情况。当团队遇到在标准的台式电脑和笔记本电脑上运行多个大型语言模型的性能限制情况时，他们转而使用高通科技公司开发的骁龙X Elite 平台。通过集成，该公司的Dynamo Guard产品平衡了人工智能的优势和管理，同时不会影响到用户的工作效率。
用于输入和输出的AI护栏
企业客户使用AI具有以下几个约束：
用户任务
其目标是利用人工智能完成电子邮件信息汇总、通过数据进行搜索、报告或分析公司信息等任务。这些任务适用于各种各样的工作人员（从业务线人员到高管），他们根据结果做出决策并提出建议。
人工智能治理和政策遵从性
智能企业制定各项策略，确保部署到设备上的各种应用程序和模型用于预期目的。例如，如果金融分析师使用聊天机器人进行折旧计算，他们就不应该向聊天机器人询问医疗或投资建议，也不应该询问聊天机器人是否存在非法活动。通过各种策略可以帮助组织机构避免因对话输入错误而产生责任的情况。这些策略同样适用于模型输出，可以防止对查询做出有害的、歧视性或幻觉性反应。
在为其用户部署人工智能应用程序时，企业希望在输入和输出方面均提供该类保障机制。而且，每一家公司的人工智能治理方法和策略均有所不同。
敏感信息
最终，大多数人工智能用户都会处理敏感的内部信息。组织机构想要确保信息不会离开设备（到云、其他设备或外部方），因此应当优先考虑在设备上进行的处理。
处理
将治理和策略集中是具有明确意义的，例如在数据中心的服务器上。但是，要想让AI监管程序发挥作用，监控和执行的工作载荷应当尽可能地放在用户侧。这意味着在从高管到实习生等类型用户的个人电脑上运行AI模型，同时运行其他应用程序。有时候，将人工智能作为客户关系管理、任务管理器和文档处理器的附加组件内置到其他应用程序中，并且必须与核心应用程序共存。在添加监管程序的工作载荷时，您就面临着对个人电脑的整体操作造成破坏的危险。
骁龙X Elite – 将监管程序保留在设备上
Dynamo AI设计了Dynamo Guard来处理这些约束条件，确保企业能够将监管程序应用到大型语言模型的顶部。管理团队可以用自然语言描述他们想要执行的策略，以确保仅将AI应用程序用于允许的目的。
目前，公司可以将Dynamo Guard与骁龙X Elite集成在一起，从而能够更加高效地处理大语言模型，同时不会影响性能，也不会受到低带宽网络的影响。这种集成适合他们的两种部署场景：
- 设备上部署；其中大语言模型和应用程序完全在笔记本电脑上运行，同时不需要互联网连接。当企业部署应用程序时，Dynamo Guard可确保模型被正确地使用。
- 混合部署；其中大语言模型处于云中，而Dynamo Guard和应用程序则运行在芯片上的高通硬件组成。在应用程序将任何数据发送到云之前，Dynamo Guard会对数据应用进行监管。
Dynamo AI联合创始人兼首席产品官克里斯蒂安·劳表示：“我们已经能够在骁龙X Elite的不同硬件组件上运行Dynamo Guard。高通Oryon CPU、高通Adreno GPU以及高通Hexagon NPU（网络处理器）都是将多个人工智能工作负载设置在设备上的重要资源。我们可以为在NPU上运行一个大语言模型和在CPU上运行的另一个大语言模型提供监管，然后在这两个大语言模型之间进行动态数据交换。”
Dynamo AI 已经开发了他们自己的可以在CPU上运行的堆栈。骁龙X Elite包含一个框架，使其能够在高通Oryon CPU上高效运行。该公司有其自身定制模型的基线，高度优化了由Dynamo Guard执行的监管任务。高通为其提供支持，使这些模型能够在Hexagon NPU上高效运行，而不是强迫他们使用高通提供的模型。
“当大型语言模型正在兴起，我们是高通软件开发工具包的早期用户和演示者，”劳表示。“高通在为最新机型提供支持的方面做得很好。”
将骁龙X Elite 集成到Dynamo Guard
该集成项目用去了大约一周半的时间。为了优化Dynamo AI的模型，以便在Hexagon NPU上运行，Dynamo AI的工程师与高通支持团队合作，使用高通人工智能工具开发了一个模型优化程序（用时大约两小时）。模型经过优化后，可在Hexagon NPU上高效运行。
“显然，高通对我们的模型进行了深度优化，以确保它们在NPU上尽可能高效地运行，”劳表示。“非专门设计的开源优化甚至没有任何可比性。高通肯定拥有一些独特的IP，这里面有很多的自动化操作。”
作为高通抢先体验计划的组成部分，该公司允许Dynamo AI远程访问由一台搭载骁龙X Elite的笔记本电脑，以运行各种工作负载并进行测试。最近，Dynamo AI已经从其他合作伙伴那里获得了片上系统（SoC）的测试设备。在NPU上运行各种模型的结果显示，与前几代个人电脑和在CPU上的结果相比有了实质性的改进。
Dynamo AI还在测试对于电池使用寿命的影响。类似Dynamo Guard和大语言模型这样的工作负载属于计算密集型，需要数十亿次计算才能生成一项预测。对于其监管程序完全在用户设备上运行的前景，该公司感到满意；但是，只有在电池电量没有耗尽的情况下，这项技术才能成为现实。
后续步骤
Dynamo Guard目前已投入市场，客户可通过Windows on Snapdragon在本地运行。Dynamo AI预计在不久的将来，可以将其部署在启用NPU的高通芯片组上。该产品可以处理大量的合规风险，因此能够在笔记本电脑上运行，对几乎所有支持人工智能的企业应用程序都产生重大影响。
劳表示：“我们认为，该款片上系统将成为未来整个产品系列的基础，这些产品可以在个人电脑上运行AI应用。企业可以运行自身的敏感数据集，并且可以利用其处理计算密集性的问题。这些企业想要获得可以完全定制的AI监管解决方案，以避免用户查询法律和投资建议，谈论名人和政治，并得到充斥了错误信息的回复，这是我们在笔记本电脑上进行部署并在不影响其他运行应用程序的情况下获得高性能的唯一真正方法。骁龙X Elite 为我们带来了巨大改变。”
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
骁龙和高通品牌产品属于高通科技公司和/或其子公司产品。
