AMD MI300X GPU 测试,性能远超英伟达 H100

2024-06-27 www.dnxtw.com

电脑系统网 6 月 27 日新闻,科技博客 Chips and Cheese 于 6 月 25 每天发布博文,详细测试 AMD MI300X GPU,经过高速缓存、延迟、推理等方面的比较,发现其性能远远超过英伟达 H100。

MI300X 简介

AMD Instinct MI300X 基于人工智能加速器 CDNA 3 结构构造,采用混合 5nm 和 6nm 工艺,最多有 1530 亿晶体管。

MI300X在存储方面也有了很大的提高 的 HBM3 与上一代相比,容量 MI250X (128 GB) 高出 50%。

与英伟达 H100 MI300X相比 有以下优点:

内存容量高于 2.4 倍

内存带宽高于 1.6 倍

FP8 性能 (TFLOPS) 高出 1.3 倍

FP16 性能 (TFLOPS) 高出 1.3 倍

在 1v1 在比较测试中,性能可以领先 H100 (Llama 2 70B) 最多 20%

在 1v1 在比较测试中,性能可以领先 H100 (FlashAttention 2) 最多 20%

在 8v8 在服务器比较测试中,性能可以领先 H100 (Llama 2 70B) 最多 40%

在 8v8 在服务器比较测试中,性能可以领先 H100 (Bloom 176B) 最多 60%

高速缓存

AMD MI300X 配备了 32KB L1 缓存、16KB 标量缓存,4MB L2 缓存和巨大 256MB Infinity Cache(作为 L3 缓存)。

hips and Cheese 缓存基准测试表明,MI300X在所有相关缓存级别中 缓存带宽大大优于缓存带宽 Nvidia 的 H100。

一级缓存性能显示 MI300X 的带宽是 H100 的 1.6 倍,二次缓存的带宽是 H100 的 3.49 倍,MI300X 最后一级缓存(即无限缓存)的带宽是 H100 的 3.12 倍。

显存带宽

AMD GPU 的本地 HBM3 内存是 H100 PCIe 的 2.72 倍,VRAM 带宽是 H100 PCIe 的 2.66 倍。

在内存测试中,AMD GPU 唯一的失败是内存延迟,H100 比 AMD GPU 快 57%。

请注意,这是最低规格 H100 PCIe 显卡,拥有 80GB HBM2E。后续版本(如 H200)含高达 141GB 的 HBM3E,最高带宽可达 4.8 TB / s。

Raw 吞吐量

Chips and Cheese 考虑到指令吞吐量的结果 INT32、FP32、FP16 和 INT8 计算。

AMD 芯片的指令吞吐量高得离谱。有时,MI300X 比 H100 快 5 倍,最差时也快 40%。

人工智能推理测试

计算机系统网络附上原始地址,感兴趣的用户可以深入阅读。

广告声明:文本中包含的外部跳转链接(包括不限于超链接、二维码、密码等形式)用于传递更多信息,节省选择时间。结果仅供参考。计算机系统网络上的所有文章都包含了本声明。

相关阅读