近日,北电数智成功实现了DeepSeek-V3/R1全尺寸模型与海光DCU、华为、壁仞科技、沐曦等国产芯片的混元算力适配,为AI应用提供了更多算力选择。
这一成果的背后,离不开北电数智“宝塔·模型适配平台”的有力支持。“宝塔·模型适配平台”是北电数智开发的高质量AI工具链,该平台能够抹平不同国产芯片在底层架构、软件生态上的差异,快速实现对模型的优化支持和硬件适配。在“宝塔·模型适配平台”上,用户可以忽略底层硬件的差异从而轻松高效使用各种算力。平台会自动基于大模型的调用需求,为其匹配合适的算力资源以确保如DeepSeek等模型的高效运行。
DeepSeek模型采用了创新的混合专家系统(DeepSeekMoE)、多头潜在注意力机制(MLA)以及自研训练框架等多项工程化创新,这些独特创新机制使得DeepSeek模型只需消耗较少的算力资源即可实现与OpenAI模型相当的性能。而与此同时,DeepSeek模型在算法层面的创新也对AI芯片的通用性提出了更高要求。国产芯片在底层架构、软件生态等方面存在差异,这对如DeepSeek模型的适配工作带来挑战。正是基于这样的背景,“宝塔·模型适配平台”的重要性更加凸显。
在处理推理任务方面,针对DeepSeek类超大模型,数据中心的集群化推理尤为重要。北电数智推出的混元推理技术路线与DeepSeek技术路线具有天然的匹配性。
北电数智实现DeepSeek模型与国产算力的深度适配融合也为整个AI行业带来了深刻的启示,即只有促进和满足国产原生模型的算力需求,才能同时真正推动国产算力的发展。北电数智所推出的“星火·国产算力AI原生适配认证”,也旨在从芯片层面加强国产模型与国产算力的适配工程,推动国产芯片的场景化商业成功以及AI原生应用的加速落地。
目前,北电数智“宝塔·模型适配平台”已完成24款基座大模型的适配工作,并正式开通企业版内测服务,用户可以在该平台上轻松构建和部署基于DeepSeek模型的AI应用支撑实际业务使用场景需求。
关注“北电数智AI江湖”小程序,查看更多资讯。
「免责声明」:以上页面展示信息由第三方发布,目的在于传播更多信息,与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担,以上网页呈现的图片均为自发上传,如发生图片侵权行为与我们无关,如有请直接微信联系g1002718958。
