9月19日,以“云启智跃,产业蝶变”为主题的2024云栖大会在杭州正式开幕。大会持续三天,聚焦AI时代的云计算升级与发展,设有三大主论坛、400多个分论坛,并开放4万平方米的智能科技展区,展示全球百余款AI应用。

作为中国云计算产业链的年度盛会,云栖大会自2009年以来已连续举办15届,始终站在云计算发展的前沿,见证中国云计算发展三次浪潮的每个重要时刻。

2024云栖大会主论坛设置三个对话环节,大模型、自动驾驶和机器人领域的领军技术人和明星创业者分享AI前沿趋势和应用进展;同时打造人工智能+、计算、前沿应用三大主题馆,全景式呈现AI时代下云计算的最新技术形态与产品进展。

人工智能+馆汇聚了中国强大模型,带来最新的AI硬核科技;计算馆展示中国先进的云计算产业链全景;前沿应用馆涵盖了智能助手、拟人交互、效率提升和智能终端等多个生成式AI落地应用,由制造、互联网、消费等行业的百余家全球企业共同打造。

在大会的 2 号馆 2-12 展区,NVIDIA 展示了七大板块内容,主要包括 NVIDIA 技术、LLM 互动技术演示、NVIDIA 初创加速计划、NVIDIA 企业开发者社区、NVIDIA 深度学习培训中心(DLI)、NVIDIA AI 小课堂以及云上解决方案和客户实践,每个板块都彰显了 NVIDIA 和云服务提供商等伙伴协作,在计算的各个层级驱动企业和开发者在应用、软件、算法、集群上协同设计、持续优化并提高系统韧性。

解密NVIDIA产品与技术

基于 NVIDIA CUDA 的加速计算是大语言模型时代下 AI 落地和产业焕新的技术底座;数据中心正在演变为由成千上万 GPU 构建的 AI 工厂,推动新一轮生成式 AI 的突破。此次大会 NVIDIA 展区让与会者一站式领略到了基于 CUDA 的全栈加速计算技术。  

在数据科学层面,NVIDIA 展示了如何通过 NVIDIA RAPIDS™ cuDF 获得 GPU 高效计算优势的数据分析,无需代码更改,实现更快的Pandas 数据处理和分析速度。NVIDIA NeMo™则用于构建、定制和部署生成式AI,提供管护数据、训练和定制基础模型以及大规模运行推理的组件。

在LLM训练层面,NVIDIA展示了NVIDIA Megatron-Core,支持多模态训练、MoE 模型的训练吞吐量优化、快速分布式检查点,并进一步提高可扩展性;

在LLM推理和部署层面,NVIDIA TensorRT-LLM 推理引擎为推理的LLM提供编译和优化库,并为定义和构建新模型提供Python API,而NVIDIA Triton™推理服务器是AI部署的“中央车站”,提供TensorRT-LLM C++运行时加速推理。

在AI应用开发平台层面,NVIDIA展示了NVIDIA NIM微服务——一个加速企业在云、数据中心和工作站中部署生成式 AI 的预构建容器工具,与会者还体验到了NVIDIA企业开发者社区带来的基于NIM和RAG的技术演示,展示了NIM在电力、消费互联网、企业IT服务、汽车等各个行业的应用潜力。

通过万卡级别及以上的集群开发和运行 LLM 已经成为常态,凭借高效的 Scale-Up 和 Scale-Out 的方式提升集群性能,是网络定义数据中心的具体表现。NVIDIA NVLink 提供了领先的 Scale-Up 性能,是将模型规模扩大到万亿参数的第一层保障;NVIDIA Spectrum-X™ 和 InfiniBand 网络平台为 AI 数据中心的 Scale-Out 提供了强大的网络横向加速性能。我们展示 NVIDIA Spectrum-4 SN5600 网络交换机、BlueFields®-3 网络平台、NVIDIA DOCA™ DPU 软件开发平台,以及基于 NVIDIA Spectrum-4 的阿里云白盒以太网交换机,它是全球第一代专门面向高性能 AI 的数据中心交换机。

作为工业数字化和生成式物理 AI 的核心技术之一,NVIDIA Omniverse™ 平台也是本次展出的一大看点,助力开发 OpenUSD 应用程序。

互动技术演示

在LLM互动技术演示部分,NVIDIA展示了由Inworld AI与NVIDIA合作创建的动态NPC交互技术,集成NVIDIA Riva自动语音识别功能以实现准确的语音转文本,并使用NVIDIA Audio2Face提供逼真的面部动画。另一个使用Stable Diffusion ComfyUI应用的图像生成技术演示,借助 NVIDIA RTX 实现了 10 倍更快的图像生成和一步式训练 ControlNets,ComfyUI 通过 TensorRT 加速,可将图像和视频生成速度提高 60%,体验者能够基于即时自拍照,来创建超级英雄形象并在几秒钟内完成。

丰富的学习资源

NVIDIA初创加速计划致力于培养颠覆行业格局的优秀创业公司,展示内容在现场受到了不少关注。此外,展区内还可见NVIDIA企业开发者社区和NVIDIA深度学习培训中心(DLI)的身影,为创业者、开发者和学习者提供丰富的资源和支持。“NVIDIA AI小课堂”在今年的云栖大会上也如约而至,为与会者提供了与讲师互动的机会,亲身感受AI技术带来的魅力与变革。

云上解决方案及客户用例

在NVIDIA展区,与阿里云在多个领域携手创新的客户用例吸睛无数,其中包括:

● 猿辅导集团:Motiff 妙多 AI 时代设计工具,基于 NVIDIA 加速计算,驱动 AI 直接生成产品界面。

● 吉利集团:极氪浩瀚智驾 2.0 启动端到端大模型,基于 NVIDIA 芯片,打造智驾新体验,自研域控,行车,泊车与主动安全全场景覆盖,城市领航功能全国都能用。

● 阿里云容器服务(ACK):在阿里云容器服务 ACK 集群上部署 NIM 预构建容器工具,使用其云原生 AI 套件,开源的 KServe 等组件和 Prometheus 监控服务,以及 NIM 提供的丰富监控指标,快速拉起高性能、可实时观测、极致弹性的模型推理服务。

● 魔搭社区:魔搭社区上线 TensorRT-LLM,支持主流 LLM 推理优化和常用量化方法,并适配不同环境,其中使用 FP8 量化,可获得相比 HuggingFace 基准,最高 8.6 倍的整体推理性能提升。蚂蚁集团:图谱自动构建和可信问答,基于 LLM 的私域知识库自动图谱构建和可信问答。

● 阿里云云工开物校园云: NVIDIA 与阿里云支持中国高校 AI 通识教育。

● 阿里云函数计算(FC):阿里云与 NVIDIA 共同打造更高效的推理平台,推理速度提升 30%。

● 月之暗面:Kimi 底层推理平台 Mooncake——基于 KVCache 的分离式推理架构。

● 阿里云计算巢服务:NVIDIA AI Enterprise 结合计算巢实现 LLM 快速 SaaS 化和软件一站式上云。

● vGPU:按“虚”而动,大势所趋,NVIDIA vGPU 解决方案助力阿里云弹性计算。

NVIDIA 初创加速计划

在3 号馆 NVIDIA Inception Pavilion展区,10家来自NVIDIA初创加速计划的会员企业也在大会上一展风采,其中4家来自亚太区域的会员企业均为首次亮相云栖大会。包含6Estates、FathomX Pte.Ltd.、MetaLearner、8glabs Inc.、WeShop、深圳幻影未来信息科技有限公司、万生华态科技有限公司、北京睿甄创新科技有限公司、酷牛创新技术(深圳)有限公司、埃罗科技(上海)有限公司。

NVIDIA专场“大语言模型时代的加速计算”

在大会今日的NVIDIA专场中,数位技术专家与生态企业共同探讨大语言模型落地应用的关键要素,并分享全栈加速计算的技术经验。NVIDIA 全球副总裁何涛为专场观众致欢迎词,此后,NVIDIA 开发与技术部门亚太区资深总监李曦鹏带来开场演讲 “大语言模型时代的加速计算”,鉴于加速计算是推动人工智能、视频处理和数据分析等领域发展的核心技术, NVIDIA 通过持续创新、CUDA、Tensor Core 和 NVLink 等不断引领加速计算的发展。不但提供了强大算力,也显著降低了能耗。本报告分享大语言模型时代,加速计算的“变”与“不变”,并着重讲解我们对于大语言模型带来的新的技术调整和“解题思路”。

NVIDIA 解决方案架构师金国强和阿里云智能集团弹性计算高级开发工程师刘霖分享“让生成式 AI 触手可及:NVIDIA NIM 助力企业级大模型推理优化部署”,演讲展示如何结合 NIM 和阿里云容器服务 ACK 提供一套开箱即用,可以快速构建高性能、可观测、灵活弹性的 LLM 推理服务最佳实践,为 LLM 服务部署简化流程,帮助企业客户加速部署生成式 AI 模型。

随着大语言模型的发展和生成式 AI 的逐步落地,算力需求也在爆发性的增长,加速计算的集群规模也越来越大。如何构建合适的集群,合理的使用集群是非常有挑战性的工作。NVIDIA 资深解决方案架构师刘功元在题为“NVIDIA 加速计算助力生成式 AI”的演讲中,重点介绍 GPU 架构,GPU 集群 Scale-up 和 Scale-out 的演进,以及助力生成式 AI 的落地的最佳实践。

大语言模型的训练和推理是 AI 应用的核心,它对 AI 框架在 GPU 上运行的吞吐和时延提出了更高的要求。因此加速计算是保障 LLM 应用成本控制和用户体验的基础。

NVIDIA GPU 计算专家张顺康分享“NVIDIA Megatron-Core MoE:架构、特性与性能优化”,Megatron-Core(简称 MCore)是 NVIDIA 开发的专注于 LLM 训练的 GPU 优化技术和系统级创新的分布式训练框架。用户不仅可以直接使用 MCore 进行 LLM 的大规模训练,也可以基于 MCore 构建客制化的训练框架,以满足各种特定需求。Megatron-Core MoE(简称 MCore MoE)作为 MCore 的核心组件,专门针对 MoE 训练场景提供灵活并行支持和性能优化策略。本次演讲重点介绍 MCore MoE 的技术特性及性能优化,并以 Qwen2 MoE 模型为例,分享性能调优的最佳实践。

NVIDIA GPU 计算专家王猛讲分享“NVIDIA TensorRT-LLM:大模型推理优化最佳实践”,虽然 LLM 已经在许多应用领域证明了其强大的理解和生成能力,但要落地到具体应用,还需要克服推理成本高、延迟长的问题,并拥有易开发、易调试的工具。为了在 GPU 上取得更低的成本、更快的推理速度,NVIDIA 推出了 TensorRT-LLM (TRT-LLM) 来协助使用者能轻松、快速的用低成本进行 LLM 推理。本次演讲重点介绍 TensorRT-LLM 的基础组件,FP8 量化,并以 Qwen 模型为例,分享推理性能的最佳实践。

生成式 AI 落地需要加速计算和云计算以及生态系统的合作创新。

因此,专场邀请阿里云智能集团算法专家李鹏,以“PAI-Megatron-Patch:围绕 Megatron-Core 打造大语言模型训练加速生态”为主题,分享阿里云 PAI 人工智能平台算法团队和 NVIDIA DevTech 团队深入合作,基于 MCore 框架解决的 Qwen2 以及 LLama3.1 开源 LLM 训练加速技术落地时遇到的加速开关鲁棒性,以及收敛精度等核心问题。演讲以接入最新的开源 LLama3.1 场景为例,首先展示从 HuggingFace 模型继续预训练或者微调时权重转换过程中遇到的精度对齐问题,接着介绍 NVIDIA 前沿架构下最新的 FlashAttention-3,分布式通信优化以及 offloading 技术。

专场也邀请了阿里云智能集团高级技术专家张杰(王林)带来以“PAI-ChatLearn:借助 Megatron-LM 实现高效 Alignment 训练”的分享, PAI-ChatLearn 是阿里云 PAI 团队自研并开源的、灵活易用的、大规模 Alignment 高效训练的框架。支持 RLHF、DPO、OnlineDPO、GRPO 等 Alignment 训练。本次演讲主要介绍 PAI-ChatLearn 架构、如何协同 Megatron-LM 等 backend 来进行 Alignment 训练加速、性能和效果等。专场最后,NVIDIA 亚太区企业级软件负责人张旭、埃森哲大中华区技术服务事业部资深解决方案架构师杨阳和阿里云智能集团弹性计算开发工程师高涵以 “NVIDIA AI Enterprise 助力传统企业 LLM 上云” 为主题,分享如何基于定制企业专有数据和微调模型,助力打造定制化的企业级解决方案。

众多 NVIDIA 精彩演讲

在本次云栖大会首日《云与AI的创见》 主论坛的圆桌对话环节 ,NVIDIA全球副总裁,汽车事业部负责人吴新宙分享了对 “生成式AI重塑自动驾驶” 话题的见解。在“智汇”她力量论坛,NVIDIA全球副总裁刘念宁带来了主题为新工业革命中的女性“加速度”的演讲。在今日进行的“面向Al的可预期智算网络”论坛,NVIDIA网络高级副总裁Gilad Shainer分享了NVIDIA AI计算和网络架构在下一代AI数据中心设计中的重要作用。此外,NVIDIA的专家和生态企业还在NVIDIA并行话题演讲,带来以NIM、Megatron-Core、TensorRT-LLM、NVIDIA DRIVE平台等为主题的加速计算技术。

在 2024 云栖大会,NVIDIA 丰富多元的展示和演讲为大会增添了一道靓丽的 “加速计算”风景线。欢迎您持续关注 NVIDIA 在 2024 云栖大会的精彩呈现。