NVIDIA H100 Tensor Core GPU 在 MLPerf 行业标准 AI 基准测试中的首次亮相通过提供比上一代 GPU 高出 4.5 倍的性能，在所有工作负载的推理方面创造了世界纪录。 NVIDIA A100 Tensor Core GPU 和用于人工智能机器人的 NVIDIA Jetson AGX Orin 模块在所有 MLPerf 测试中提供了整体领先的推理性能：图像和语音识别、自然语言处理和推荐系统。
NVIDIA H100 Tensor Core GPU 在 MLPerf 行业标准 AI 基准测试中的首次亮相通过提供比上一代 GPU 高出 4.5 倍的性能，在所有工作负载的推理方面创造了世界纪录。 NVIDIA A100 Tensor Core GPU 和用于人工智能机器人的 NVIDIA Jetson AGX Orin 模块在所有 MLPerf 测试中提供了整体领先的推理性能：图像和语音识别、自然语言处理和推荐系统。
H100，又名 Hopper，提高了所有六个神经网络的每加速器性能标准，在单独的服务器和离线测试中展示了吞吐量和速度方面的领先地位。 部分归功于其 Transformer Engine，Hopper 在用于自然语言处理的 BERT 模型上表现出色。 它是 MLPerf AI 模型中规模最大、性能要求最高的模型之一。
这些推理基准标志着今年晚些时候推出的 H100 GPU 的首次公开演示。 H100 GPU 将参与未来的 MLPerf 轮次训练。
A100 GPU 展现领导力
NVIDIA A100 GPU 今天可从主要的云服务提供商和系统制造商处购买，在 AI 推理的主流性能方面继续表现出整体领先地位，它赢得的测试比数据中心和边缘计算类别和场景中的任何提交都多。 100 月，AXNUMX 还在 MLPerf 培训基准测试中全面领先，展示了其在 AI 工作流程中的能力。
自 2020 年 100 月在 MLPerf 上首次亮相以来，由于 NVIDIA AI 软件的不断改进，A6 GPU 的性能提高了 XNUMX 倍。 NVIDIA AI 是唯一在数据中心和边缘计算中运行所有 MLPerf 推理工作负载和场景的平台。
用户需要多功能的性能
NVIDIA GPU 在所有重要 AI 模型中的性能领先地位为用户验证了该技术，因为现实世界的应用程序通常会使用许多不同类型的神经网络。 例如，AI 应用程序可能需要理解用户的口头请求、对图像进行分类、提出建议，然后以人声语音的口头消息形式提供响应。 每个步骤都需要不同类型的 AI 模型。
MLPerf 基准涵盖这些以及其他流行的 AI 工作负载和场景，包括计算机视觉、自然语言处理、推荐系统和语音识别。 MLPerf 结果可帮助用户根据特定测试做出明智的购买决策，确保用户获得性能可靠且灵活的产品。
MLPerf 基准得到了包括亚马逊、Arm、百度、谷歌、哈佛、英特尔、Meta、微软、斯坦福和多伦多大学在内的广泛团体的支持。
Orin 在边缘领先
在边缘计算方面，NVIDIA Orin 运行了每项 MLPerf 基准测试，赢得了比任何其他低功耗片上系统更多的测试，与 50 月份在 MLPerf 上首次亮相相比，能源效率提高了 5%。 在上一轮中，Orin 的运行速度比上一代 Jetson AGX Xavier 模块快 2 倍，同时能效平均提高 XNUMX 倍。
Orin 将 NVIDIA Ampere 架构 GPU 和一组强大的 Arm CPU 内核集成到单个芯片中。 它现已在 NVIDIA Jetson AGX Orin 开发人员套件和用于机器人和自主系统的生产模块中提供。 它支持完整的 NVIDIA AI 软件堆栈，包括自动驾驶汽车 (NVIDIA Hyperion)、医疗设备 (Clara Holoscan) 和机器人技术 (Isaac) 的平台。
广泛的 NVIDIA AI 生态系统
MLPerf 结果表明，业界最广泛的生态系统在机器学习领域支持 NVIDIA AI。 本轮提交的 70 多篇论文在 NVIDIA 平台上运行，Microsoft Azure 提交了在其云服务上运行 NVIDIA AI 的结果。
此外，本轮还有来自华硕、戴尔科技、富士通、技嘉、惠普、联想、超微等19家系统厂商的10款NVIDIA认证系统亮相。 他们的工作展示了 NVIDIA AI 在云端和本地的出色性能。
MLPerf 是客户评估 AI 平台和供应商的宝贵工具。 最新一轮的结果表明，这些合作伙伴提供的性能将随着 NVIDIA 平台的发展而增长。 用于这些测试的所有软件都可以从 MLPerf 存储库中获得，因此任何人都可以获得这些结果。 优化不断地折叠到可用的容器中 NGC，NVIDIA 的 GPU 加速软件目录。 英伟达 TensorRT，本轮每次提交都用于优化 AI 推理，位于目录中。
我们最近运行了自己的边缘 MLperf 结果 超微 和 联想 Lenovo 内置 T4 和 A2 GPU 的平台。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS订阅
