在人工智能技术迅猛进步和计算需求急剧上升的当下，华为于2025年的开发者大会（HDC 2025）上呈现了一系列具有里程碑意义的创新成就；该新一代昇腾AI云服务现已正式启用，预计将对行业竞争态势产生根本性的改变。
大会重磅发布
6月20日，华为开发者大会2025（HDC 2025）在充满活力的氛围中成功结束。华为公司常务董事兼云计算业务首席执行官张平安在大会上严肃宣布，基于CloudMatrix384超节点的新一代昇腾AI云服务现已全面启动运营。该关键信息的发布迅速引发了业界的广泛关注，众多专业人士对其有望为大型模型应用带来的算力提升抱有高度期待。
新一代服务亮点
大模型训练与推理的计算需求急剧增长，这一趋势导致传统计算架构面临严峻挑战，其性能已无法满足持续上升的计算需求。华为云最新推出的昇腾AI云服务依托于CloudMatrix384超节点平台，成功实现了384颗昇腾NPU芯片与192颗鲲鹏CPU芯片之间的高效全对等连接，该连接的建立得益于MatrixLink高速网络技术的应用。这一创新举措，共同打造了一款性能极为卓越的超级“AI服务器”。此外，该服务单卡在推理吞吐量方面实现了显著提升，已达到2300 Tokens/s，性能表现尤为突出。
架构优势凸显
超节点架构展现出明显的优势，它能够充分满足混合专家MoE大模型在推理方面的需求，同时实现单卡对单一专家的独立配置。具体来看，每个超节点具备同时支持384个专家进行并行推理的能力，这一特性显著提升了整体的工作效率。该架构具备资源分配的灵活性，可实现对每张卡片与一个算力任务一一对应的配置。这一设置显著提高了任务并行处理过程中的资源使用效率，进而导致算力的有效利用率（MFU）较之前提升了超过50%。
集群级联能力
云数据中心在进行大规模模型训练，当参数量达到万亿或十万亿级别时，可通过432个超节点进行连接，构建起由最多16万张卡组成的巨型集群。这些超节点集成了训练和推理的算力，其运作方式与“白天推理，夜晚训练”相似。根据具体需求，训练和推理的算力能够进行灵活的调整，从而帮助客户实现资源利用的最优化。
应用案例众多
昇腾AI云服务获得了全球客户、伙伴和开发者的支持。新浪与华为云携手，基于CloudMatrix384昇腾AI云服务搭建推理平台，该平台显著提高了NPU的运用效率，增幅超过40%；目前，该平台已向百万用户提供了推理服务；面壁智能的小钢炮模型在推理业务方面的性能显著增强，提升幅度高达2.7倍；中国科学院利用该平台成功摆脱了对国外高性能AI算力平台的依赖；同时，360公司也已开始进行超节点测试。
行业意义重大
昇腾AI云服务在AI基础设施行业中处于领先位置，已向超过1300家企业提供了出色的计算服务，助力各行业智能化发展。随着未来科技的不断进步，昇腾AI云服务将带来哪些令人期待的变革？我们热切期待您的参与，欢迎点赞并转发本篇文章。
