介绍
TensorOpera与高通科技公司宣布将进行下一步战略合作，通过在高通Cloud AI 100驱动的TensorOpera人工智能平台上运行的开源SDXL端点展示两家公司的能力。通过该项合作，人工智能开发人员能够构建、部署和扩展具有更高性能和成本效率的生成式人工智能应用程序。对于企业而言，该项合作减轻了开发他们自己的生成式人工智能应用程序的挑战。我们共同提供了一个全面的平台，简化了生成式人工智能开发的复杂性，并可使用先进的人工智能硬件。
如何在高通Cloud AI100上部署开源的SDXL端点？
1. 注册TensorOpera：TensorOpera AI
2. 启动TensorOpera人工智能平台并导航到模型市场
3. 在模型市场中选择高通-SDXL
4. 试用Playground中的公共端点
5. 利用API下的OpenAI标准格式将端点集成到您的应用程序中
高通Cloud AI100的公共端点定价为0.00005美元/ Step，与Nvidia A100上的SDXL相比，性价比降低了50%。
如何在TensorOpera上获得可扩展的专用高通Cloud AI100服务？
高通Cloud AI100
可扩展的专用端点专门分配计算资源，并能够根据需求对资源分配进行动态调整，从而确保始终一致的性能、控制和成本效率。
创建了TensorOpera账户后，转到模型市场，选择高通-SDXL，然后移至Playground。
1. 点击“部署”并选择您的计算类型：
a. 专用高通Cloud AI 100
i. 联系TensorOpera团队，告知您的用例规格和要求，以便为您的帐户分配计算节点。高通Cloud AI100的定价为0.20美元/加速器时。
b. 无服务器高通Cloud AI100
i. 通过以下表单：TensorOpera AI发送请求，请求提前访问此功能。
2. 选择副本数量 – 我们建议每个副本至少有2个高通云人工智能（Cloud AI）100卡。
3. 决定是否要根据您的用户需求自动扩展，并选择扩展或缩小的标准和决策窗口。
4. 点击“部署”！
同样，如果您想要部署自己的定制模型，只需按照文档创建您自己的模型卡：Create a Model Card | TensorOpera® Documentation。
为什么使用高通Cloud AI而不是NVIDIA A100？
| 价格与延时对比 | 实例 | 延时 （秒） | 价格（卡/小时） |
| 高通云人工智能（Cloud AI）100专业版（双卡） | 4.46秒 | 0.2美元/小时 | |
| NVIDIA A100（单卡） | 2.89秒 | 1.30美元/小时 |
高通 Cloud AI 100是市场领先的人工智能推理解决方案，具有卓越的性能效率、密度和成本效益。高通Cloud AI 100拥有业界领先的人工智能核心，其性能与竞争产品相同，价格只有一半，如上表所示。
TensorOpera与高通科技公司如何进行技术合作？
TensorOpera通过监控高通Cloud AI 100的NPU工具库来支持本地部署。用户在部署SDXL、Llama等模型时，通过Nexus用户界面选择具体模型，并选用高通Cloud AI100的NPU进行无服务器部署。然后控制平面监控可用的NPU，并为作业分配所需的NPU数量。TensorOpera程序库使用高通云人工智能软件开发工具包在NPU上构建docker，并通过TensorOpera推理运行器为模型提供服务。这样的本地集成提供了无缝的部署体验。然后，用户可以轻松地部署和监视模型端点，无需编写代码。
后续步骤
现在轮到您访问公共SDXL端点并部署自己的SDXL端点了。
从今天开始，您可以按照博客中提到的循序渐进的方法在Playground中进行操作，并将应用程序接口集成到生成式人工智能应用程序中。无法访问高通 Cloud AI 100？一定要填好申请表。
如果你想了解更多关于TensorOpera的信息，请访问该公司的网站，并在 LinkedIn或X上关注TensorOpera。
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通公司或其子公司（以下简称为“高通公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通公司或任何其他方的赞同或表述。本网站同样可以提供非高通公司网站和资源的链接或参考。高通公司对于可能通过本网站引用、访问、或链接的任何非高通公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
关于作者
帕米特·科利
