巅峰的训练性能:Blackwell 在 MLPerf 测试中将训练性能带到新高度

Blackwell 完成的每一项测试，都为各项 AI 应用树立了训练性能新标杆。

对于使用文本、计算机代码、蛋白质链、摘要、视频甚至 3D 图形的生成式 AI 应用，它们需要数据中心规模的加速计算来高效地训练其背后的大语言模型（LLM）。

在 MLPerf Training 4.1 行业基准测试中，NVIDIA Blackwell 平台在所有参与测试的工作负载上都取得了令人赞叹的测试结果。在 LLM 基准测试中，每块 GPU 的性能提高了 2.2 倍，其中包括 Llama 2 70B 微调和 GPT-3 175B 预训练。

此外，NVIDIA 提交的 NVIDIA Hopper 平台测试结果继续在所有基准测试上保持了规模级的记录，包括使用 11,616 块 Hopper GPU 进行的 GPT-3 175B 基准测试。

Blackwell 带来性能跃升

这是 NVIDIA 首次向 MLCommons 联盟提交 Blackwell 的训练测试结果，其结果突显了该架构是如何提高生成式 AI 训练性能的。MLCommons 联盟为业内公司创建了标准化、公正且经过严格的同行评审的测试。

例如，Blackwell 架构包括新的核函数，它们可以更高效地使用 Tensor Core。这些核函数执行优化的专用数学运算，例如矩阵乘，是许多深度学习算法的主要计算。

Blackwell 拥有更高的每块 GPU 计算吞吐量以及更大、更快的高带宽内存，使其能够在更少的 GPU 上运行 GPT-3 175B 基准测试，同时实现出色的每块 GPU 性能。

通过利用容量更大、带宽更高的 HBM3e 内存，仅仅 64 块 Blackwell GPU 就能够运行 GPT-3 LLM 基准测试，并且不损失每块 GPU 性能。使用 Hopper 进行相同的基准测试时则需要 256 块 GPU。

在提交 Blackwell 的训练测试结果之前，NVIDIA 还提交了 MLPerf Inference 4.1 推理测试结果。在该测试中，Blackwell 的 LLM 推理性能比 Hopper 高出 4 倍。测试结果显示，通过利用 Blackwell 架构的 FP4 精度以及 NVIDIA QUASAR 量化系统，Blackwell 在满足基准测试的精度要求的同时展现出了强大的性能。

持续优化

经过持续的软件开发，NVIDIA 平台在各种框架、模型和应用的训练和推理方面获得了性能提升和功能改进。

在本轮提交的 MLPerf 训练测试结果中，当使用 GPT-3 175B 进行训练时，Hopper 的每块 GPU 训练性能比上次提交该基准测试时提高了 1.3 倍。

NVIDIA 还提交了 GPT-3 175B 基准测试的大规模测试结果，该测试使用了 11,616 块 Hopper GPU，这些 GPU 通过 NVIDIA NVLink 和 NVSwitch 高带宽 GPU 间通信以及 NVIDIA Quantum-2 InfiniBand 网络连接在一起。

自去年以来，NVIDIA Hopper GPU 在 GPT-3 175B 基准测试中的规模和性能提升了三倍多。此外，在 Llama 2 70B LoRA 微调基准测试中，NVIDIA 在使用相同数量的 Hopper GPU 的情况下将性能提高了 26%，这体现了软件方面的持续优化。

NVIDIA 持续优化加速计算平台的努力，使其 MLPerf 测试结果得以不断提升——提高了容器化软件的性能，为使用现有平台的合作伙伴和客户带来更强大的算力，并让他们从平台投资中获得更高的回报。

携手合作

NVIDIA 的合作伙伴——包括华硕、Azure、思科、戴尔、富士通、Giga Computing、Lambda Labs、联想、Oracle Cloud、云达科技和超微等系统制造商和云服务提供商——也在最新一轮 MLPerf 测试中提交了令人印象深刻的测试结果。

作为 MLCommons 的创始成员，NVIDIA 认为，行业标准的基准测试和基准测试最佳实践对于 AI 计算而言至关重要。通过获取经过同行评审、精简的 AI 和 HPC 各个平台的对比信息，企业可以跟上最新的 AI 计算创新步伐，并获得有助于指导其重大平台投资决策的关键数据。