AMD最强AI芯片发布：性能是英伟达H100的1.3倍！

12月7日消息，AMD于当地时间周三举行了“Advancing AI”发布会，正式推出了面向AI及HPC领域的GPU产品Instinct MI300A/MI300X加速器，直接与英伟达（NVIDIA）H100加速器竞争。

同时AMD还发布了代号为Hawk Point的最新一代Ryzen 8000系列APU，可面向AI PC产品。

MI300A：HPC性能达到NVIDIA H100的4倍

虽然在今年6月的“数据中心与人工智能技术发布会”，AMD就有发布MI300A和MI300X，只不过当时MI300X只是纸面上的发布，现在MI300A和MI300X已经开始批量量产了，AMD也公布了更多关于MI300A、MI300X的性能数据。

AMD MI300A采用了Chiplet设计，其内部拥有多达13个小芯片，均基于台积电5nm或6nm制程工艺（CPU/GPU计算核心为5nm，HBM内存和I/O等为6nm），其中许多是 3D 堆叠的，以便创建一个面积可控的单芯片封装，总共集成1460 亿个晶体管。

具体来说，MI300A与上一代的MI250X一脉相承，采用新一代的CDNA 3 GPU架构，拥有228个计算单元（14592个核心），并集成了24个Zen 4 CPU内核，配置了128GB的HBM3内存。

MI300A的计算核心被 8 个HBM3内存包围，单个HBM3的带宽为6.3GB/s，八个16GB堆栈形成128GB统一内存，带宽高达5.3 TB/s。

在算力方面，MI300A提供了高达61 TFLOPS FP64算力，多达122 TFLOPS FP32算力。

AMD表示，MI300A GPU将HPC提升到一个新的水平，其性能是NVIDIA H100的4倍，能效是H100的两倍。

具体来说，在OpenFOAM中，MI300A APU提供了相比H100高达4倍的性能提升，这主要来自于统一的内存布局、GPU性能以及整体内存容量和带宽。与NVIDIA的Grace Hopper超级芯片相比，该系统每瓦的性能也提高了2倍。

AMD证实，MI300A目前正在发货，还将用于为下一代El Capitan超级计算机提供动力，预计该超级计算机将提供高达2 Exaflops的计算能力。

值得一提的是，AMD是唯一一家凭借Frontier超级计算机突破1 Exaflop大关的公司，也是地球上效率最高的系统。此外，惠普、Eviden、技嘉、超微等也将是MI300A加速器的OEM和解决方案合作伙伴。

MI300X：AI性能比英伟达H100高出30%！

MI300X采用了相比MI250X更简单的设计，MI300X内部集成了12个5/6nm工艺的小芯片（HMB和I/O为6nm），拥有1530亿个晶体管，放弃了 APU 的 24 个Zen4内核和 I/O 芯片，取而代之的是更多计算核心的 CDNA 3 GPU。

MI300X的每个基于CDNA 3 GPU架构的GCD总共有40个计算单元，相当于2560个内核。总共有八个计算芯片（GCD），因此总共有320个计算和20480个核心单元。不过，就目前的量产版而言，AMD缩减这些核心的一小部分，因此实际总共有304个计算单元（每个GPU小芯片38个CU）可用于19456个流处理器。

在内存带宽方面，MI300X也配备了更大的 192GB HBM3内存（8个HBM3封装，每个堆栈为12 Hi）相比MI250X提高了50%，带来高达5.2TB/s的带宽和896GB/s的Infinity Fabric带宽。相比之下，英伟达即将推出的H200 AI加速器提供141 GB的容量，而英特尔即将推出的Gaudi 3将提供144 GB的容量。大型内存池在LLM（大语言模型）中非常重要，LLM大多是与内存绑定的，AMD可以通过在HBM内存容量上的领先地位来提升器人工智能能力。

具体来说，AMD的MI300X与英伟达的H100加速器相比：

内存容量提高 2.4 倍

内存带宽提高 1.6 倍

1.3 倍 FP8 TFLOPS

1.3 倍 FP16 TFLOPS

在 1v1 比较中，速度比 H100 (Llama 2 70B) 快达 20%

在 1v1 比较中，速度比 H100 (FlashAttention 2) 快达 20%

8v8 服务器中的速度比 H100 (Llama 2 70B) 快达 40%

在 8v8 服务器中，速度比 H100 (Bloom 176B) 快达 60%

在具体的AI大模型加速性能对比当中，MI300X相比H100在 FlashAttention-2 和 Llama 2 70B 中提供了高达 20% 的性能提升。

从平台角度来看，将 8x MI300X 解决方案与 8X H100 解决方案进行比较，前者在 Llama 2 70B 中获得了更大的 40% 的性能提升，而在 Bloom 176B 中则获得了 60% 的性能提升。

AMD指出，在AI训练性能方面，MI300X 与竞争对手 (H100) 相当，并提供有竞争力的价格/性能，同时在推理工作负载方面表现出色。

在功耗方面，AMD MI300X的额定功率为750W，比 MI250X的500W增加了50%，比NVIDIA H200多了50W。

ROCm 6.0开放软件平台

AMD还推出了ROCm 6.0开放软件平台，该最新版本具有强大的新功能，包括支持各种人工智能工作负载，例如生成式人工智能和大型语言模型。

新的软件堆栈支持最新的计算格式，例如 FP16、Bf16 和 FP8（包括 Sparsity）等。

这些优化相结合，通过优化的推理库将 vLLM 的速度提高了高达 2.6 倍，通过优化的运行时间将 HIP Graph 的速度提高了 1.4 倍，并通过优化的内核将 Flash Attention 的速度提高 1.3 倍。

AMD指出，与上一代软硬件组合相比，使用MI300X和ROCm 6跑Llama 2 70B文本生成，AI推理速度提高了约8倍。

ROCm 6 预计将于本月晚些时候与 MI300 AI 加速器一起推出。看看 ROCm 6 与 NVIDIA CUDA 堆栈的最新版本（它的真正竞争对手）相比如何，将会很有趣。

G593-ZX1/ZX2系列服务器

AMD还展示了一种配置是Gigabyte的G593-ZX1/ZX2系列服务器，它提供多达8个MI300X GPU加速器和两个AMD EPYC 9004 CPU。这些系统将配备多达八个3000W的电源，总功率为18000W。

据介绍，该集成了8个MI300X GPU的加速器平台，相比NVIDIA HGX H100平台，带来的提升包括：

2.4倍更高的HBM3内存（1.5 TB vs. 640 GB）

1.3倍以上的计算FLOPS（10.4 PF vs. 7.9 PF）

类似的双向带宽（896 GB/s vs. 900 GB/s）

类似的单节点环形带宽（448 GB/s vs. 450 GB/s）

类似的网络功能（400 GbE vs. 400 GbE）

类似的PCIe协议（PCIe Gen 5 128 GB/s）

据semianalysis此前报道，微软、Meta、甲骨文、谷歌、Supermicro/Qunta-direct、亚马逊等公司已经向AMD下了不同数量的MI300系列订单。

今天，微软也宣布将评估对AMD的AI加速器产品的需求，评估采用该新品的可行性。Meta公司也宣布将在数据中心采用AMD新推的MI300X芯片产品。甲骨文也表示，公司将在云服务中采用AMD的新款芯片。

此前市场预计AMD的MI300系列在2024年的出货约为30~40万颗，最大客户为微软、谷歌，若非受限台积电CoWoS产能短缺及英伟达早已预订逾四成产能，AMD出货有望再上修。

值得注意的是，在不久前的财报会议上，AMD CEO苏姿丰（Lisa Su）表示，“基于我们在人工智能路线图执行和云客户购买承诺方面取得的快速进展。

根据预计，随着全年收入的增加，数据中心GPU的收入在第四季度将约为4亿美元，2024年将超过20亿美元。这一增长将使MI300系列成为AMD历史上销售额最快增长至10亿美元的产品。

目前，在生成式AI的热潮之下，英伟达凭借其AI芯片的出色性能及CUDA的生态优势，在云端AI芯片市场占据者垄断优势。不过，由于英伟达的AI芯片价格高昂以及供应短缺，云服务及AI技术厂商们处于成本及多元化供应链安全考虑，也使得AMD和英特尔等竞争者有了更多的机会。

Ryzen 8040系列发布：主频高达5.2 GHz，AI性能提升60%

代号为“Hawk Point”的Ryzen 8040系列APU是专为客户端和消费类 PC 设计的处理器，主要针对笔记本电脑市场，其中高端的版本可面向AI PC。

AMD Ryzen 8040系列配备了与上一代相同的4nm Zen 4 CPU 核心架构，最多 8 核/16 线程，只不过主频提高到了5.2 GHz；

拥有相同的 RDNA 3 图形核心架构，高达 Radeon 780M iGPU（12 个计算单元）；

升级了XDNA NPU，拥有16TOPS的AI算力，AI性能相比上一代提升了60%。

TDP 范围为 15-54W。将于2024 年第一季度推出 PC 产品。

该产品线主要分为三个部分，首先是高端 Ryzen 8045HS 系列，它将成为具有最高时钟速度的佼佼者，然后是更主流的 Ryzen 8040HS 系列，以及专为功耗优化平台设计的入门级 Ryzen 8040U 系列。

具体来说，AMD Hawk Point 系列共有 9 个 Ryzen 8040 SKU。首先是Ryzen 8045HS SKU，其中包括 Ryzen 9 8945HS、Ryzen 7 8845HS 和 Ryzen 5 8645HS。

这三款芯片与 Ryzen 9 7940HS、Ryzen 7 7840HS 和 Ryzen 5 7640HS SKU 具有相同的规格，最多 8/6 个核心、Radeon 780M/760M iGPU、高达 5.2 GHz 时钟速度、16 MB 总 L3 缓存和 35- 54W TDP。

AMD Ryzen 8040HS SKU，主要有 Ryzen 7 8840HS 和 Ryzen 5 8640HS。

这两个 SKU 设计为低功耗产品，目标功率为 20-30W。

Ryzen 7 8840HS APU 具有 8 核、16 线程、16 MB 缓存、Radeon 780M iGPU，时钟速度高达 5.1 GHz，而 Ryzen 5 8640HS APU 具有 6 核、12 线程、16 MB 三级缓存、Radeon 760M iGPU和高达 4.9 GHz 的时钟。

这些芯片将配备较低的基本时钟，并具有额外的热量/功率限制，以满足功率受限的 PC 的要求。

最后，AMD Ryzen 8040U SKU，其配置再次与 Ryzen 7040U SKU 相同。

有四种 SKU，包括 Ryzen 7 8840U、Ryzen 5 8640U、Ryzen 5 8540U 和 Ryzen 3 8440U。8540U 和 8440U 缺少 NPU，因为它们基于包含Zen 4 和 Zen 4C 内核的较小混合芯片。

这些低功耗解决方案没有包含专用的 XDNA NPU。这些 SKU 仅配备 Radeon 740M iGPU，其中包含 4 个计算单元。

谈到使用更小的 Zen 4C 内核的优势，最明显的一个是更小的芯片尺寸，这可以带来更高的密度和更高的功率效率。AMD 表示 Zen 4C 核心提供：

更高的效率：具有相同 IPC 的较小内核可以使用更少的功率来提供低于 15W 的更高性能。

高级版的可扩展性：具有相同 IPC 的较小内核开启了高端市场未来内核数量增加的潜力。

入门级的可扩展性：具有相同 IPC 的较小内核使 AMD 能够为消费者提供更多选择。

全新的AMD Ryzen 8040“Hawk Point”APU 系列的一个主要目的是吸引买家进入 AI PC 生态系统。

即将推出的 Windows 版本 Windows 12 在人工智能方面预计将是一件大事，有传言强调，主要要求之一将是具有足够 TOP 的专用 NPU 来处理新操作系统的人工智能处理功能。

因此，AMD 升级了这些新 APU 上的 NPU，可提供多达 16 TOPS 的 AI 计算能力。

AMD 自己也宣称Ryzen 8040系列使用 Llama 2 和 Vision 模型的性能提升了 40%。AMD 还致力于通过驱动程序和 Ryzen AI 软件套件的各种改进来微调其 ML 和 AI 性能。

值得注意的是，很快英特尔即将在美国当地时间12月14日正式发布面向AI PC全新酷睿Ultral处理器。而在此之前，高通也已经推出了面向AI PC的骁龙 X Elite处理器。

据市场研调机构Canalys最新的预测显示，2024年个人电脑（PC）出货量有望同比增长8%至2.67亿台。而这其中，AI PC将是增长动能之一，2024年AI PC比重将达19%，出货量将超过5000台。