NVIDIA Hopper 架构在 NVIDIA GTC 期间占据了中心舞台，重点是为下一波 AI 数据中心提供动力。 下一代加速计算平台以美国计算机科学家先驱 Grace Hopper 的名字命名，其性能比其前身 NVIDIA Ampere 高出一个数量级。
NVIDIA Hopper 架构在 NVIDIA GTC 期间占据了中心舞台，重点是为下一波 AI 数据中心提供动力。 下一代加速计算平台以美国计算机科学家先驱 Grace Hopper 的名字命名，其性能比其前身 NVIDIA Ampere 高出一个数量级。
NVIDIA 还发布了其首款基于 Hopper 的 GPU，即 NVIDIA H100，其中包含 80 亿个晶体管。 H100 被誉为世界上最大、最强大的加速器，它配备了一个 Transformer Engine 和一个高度可扩展的 NVIDIA NVLink 互连，用于推进巨大的 AI 语言模型、深度推荐系统、基因组学和复杂的数字孪生。
NVIDIA 创始人兼首席执行官黄仁勋表示：“数据中心正在成为人工智能工厂——处理和提炼海量数据以产生智能。 “NVIDIA H100 是全球 AI 基础设施的引擎，企业用它来加速其 AI 驱动的业务。”
H100科技
H4 采用专为 NVIDIA 的加速计算需求而设计的尖端 TSMC 100N 工艺构建，在加速 AI、HPC、内存带宽、互连和通信方面取得了重大进展，包括近 5TB/s 的外部连接。 Hopper H100 是首款支持 PCIe Gen5 并利用 HBM3（高带宽内存 3）的 GPU，可实现 3TB/s 的内存带宽。 二十个 H100 GPU 可以维持相当于整个世界的互联网流量，使客户能够提供高级推荐系统和大型语言模型，对数据进行实时推理。
作为自然语言处理的选择，Transformer Engine 是有史以来最重要的深度学习模型之一。 H100 加速器的 Transformer Engine 旨在将这些网络的速度提高到与上一代相比的 6 倍，而不会降低准确性。
借助多实例 GPU (MIG) 技术，Hopper 架构允许将单个 GPU 划分为七个更小、完全隔离的实例，以处理不同类型的作业。 通过将 MIG 功能扩展到上一代产品的 7 倍，Hopper 架构在云环境中跨每个 GPU 实例提供安全的多租户配置。
H100 是全球首款具有机密计算能力的加速器，可在处理过程中保护 AI 模型和客户数据。 客户还可以将机密计算应用于医疗保健、金融服务和共享云基础设施等隐私敏感行业的联合学习。
第 4 代 NVIDIA NVLink 结合了一个新的外部 NVLink 交换机，将其扩展为服务器以外的扩展网络，连接多达 256 个 H100 GPU，带宽比使用 NVIDIA HDR Quantum InfiniBand 的上一代高 9 倍。
NVIDIA H100 几乎可以部署在所有数据中心，包括本地、云、混合云和边缘，预计将于今年晚些时候上市。
DGX H100 系统
NVIDIA 宣布推出第四代 DGX 系统 DGX H100，配备八个 H100 GPU，以新的 FP32 精度提供 8 petaflops 的 AI 性能，提供可满足大型语言模型、推荐系统、医疗保健研究和气候科学的大规模计算需求的规模.
每个 DGX H100 系统包含八个 H100 GPU，通过第四代 NVLink 连接为一个，提供 900GB/s 的连接速度，比上一代提高 1.5 倍。 NVIDIA 的 NVLink 是一种低延迟、无损的 GPU 到 GPU 互连，包括弹性功能，例如链路级错误检测和数据包重放机制，以保证成功的数据传输。
除了第四代 NVLink，H100 还引入了新的 NVLink 网络互连。 这个可扩展版本的 NVLink 支持跨多个计算节点的多达 256 个 GPU 之间的 GPU 到 GPU 通信。 NVIDIA 还推出了第三代 NVSwitch 技术，包括节点内部和外部的交换机，以连接服务器、集群和数据中心环境中的多个 GPU。 具有新 NVSwitch 的节点提供 64 个 NVLink 端口以加速多 GPU 连接，使总交换机吞吐量几乎翻了一番，从 7.2 Tbits/s 到 13.6 Tbits/s。 NVSwitch 使所有八个 H100 GPU 都能够通过 NVLink 进行连接。 在下一代 NVIDIA DGX SuperPOD 超级计算机中，外部 NVLink 交换机最多可以联网 32 个 DGX H100 节点。
Grace CPU 超级芯片
NVIDIA 宣布推出 Grace CPU Superchip，在单个插槽中包含 144 个 Arm 内核。 这是首款基于 Arm Neoverse 的离散数据中心 CPU，专为 AI 基础设施和高性能计算而设计，可提供两倍的内存带宽和能效。
内存子系统由带有纠错码的 LPDDR5x 内存组成，以平衡速度和功耗。 LPDDR5x 内存子系统以 5 TB/s 的速度将传统 DDR1 设计的带宽翻倍，同时显着降低功耗。
Grace CPU 超级芯片将运行 NVIDIA 的所有计算软件堆栈，包括 NVIDIA RTX、NVIDIA HPC、NVIDIA AI 和 Omniverse。 Grace CPU Superchip 与 NVIDIA ConnectX-7 NIC 提供了灵活性，可以作为独立的纯 CPU 系统配置到服务器中，也可以作为具有一个、两个、四个或八个基于 Hopper 的 GPU 的 GPU 加速服务器配置，从而使客户能够优化性能针对他们的特定工作负载，同时维护单个软件堆栈。
万能计算系统
为了保持对数据中心的关注，NVIDIA 发布了 NVIDIA OVX，这是一种旨在为大规模数字孪生提供动力的计算系统。 数字孪生是连接到物理世界的虚拟世界。 NVIDIA OVX 旨在运行复杂的数字双胞胎模拟，该模拟将在 NVIDIA Omniverse 中运行，NVIDIA Omniverse 是一个实时物理准确的世界模拟和 3D 设计协作平台。
OVX 系统将高性能 GPU 加速计算、图形和 AI 与低延迟、高速存储访问相结合，将提供创建具有真实世界准确性的数字孪生所需的性能。 OVX 可以模拟复杂的数字双胞胎，为建筑物、工厂、城市和世界建模。
OVX 服务器包括八个 NVIDIA A40 GPU、三个 ConnectX-6 DX 200Gbps NIC、1TB 内存和 16TB NVMe 存储。 OVX 系统可从包含八台 OVX 服务器的单个容器扩展到具有 32 台服务器的 OVX SuperPOD，这些服务器通过 NVIDIA Spectrum-3 交换机或多个 OVX SuperPOD 连接。
Jetson AGX Orin 开发者套件
NVIDIA 还宣布推出 Jetson AGX Orin 开发者套件，这是一款紧凑、节能的 AI 超级计算机，适用于高级机器人、自主机器以及下一代嵌入式和边缘计算。 Jetson AGX Orin 的规格令人印象深刻，每秒可提供 275 万亿次操作，处理能力是之前型号的 8 倍多，同时仍保持手掌大小的外形尺寸。 Jetson AGX Orin 采用 NVIDIA Ampere 架构 GPU、Arm Cortex-A78AE CPU、下一代深度学习和视觉加速器、更快的内存带宽、高速接口和多模态传感器，可以为多个并发 AI 应用程序管道提供支持。
使用 Jetson AGX Orin 的客户可以利用完整的 NVIDIA CUDA-X 加速计算堆栈，并对其库、工具和技术集合进行了 60 次更新。 他们还可以完全访问 NVIDIA JetPack SDK、NVIDIA NGC 目录中的预训练模型，以及用于应用程序开发和优化的最新框架和工具，例如 NVIDIA Isaac on Omniverse、NVIDIA Metropolis 和 NVIDIA TAO Toolkit。
NVIDIA Spectrum-4
NVIDIA 一直专注于数据中心，宣布推出其 NVIDIA Spectrum-4 以太网平台。 下一代交换机提供 400Gbps 的端到端速度，交换吞吐量是前几代产品的 4 倍。 Spectrum-4 包括 ConnectX-7 SmartNIC、BlueField-3 DPLU 和 DOCA 数据中心基础设施软件。
Spectrum-4 交换机专为 AI 打造，可实现纳秒级精度，加速、简化和保护网络结构，与前几代产品相比，每端口带宽快 2 倍，交换机减少 4 倍，功耗降低 40%。 凭借 51.2 Tbps 聚合 ASIC 带宽支持 128 个 400GBE 端口、自适应路由和增强的拥塞控制机制，Spectrum-4 优化了融合以太网结构上的 RDMA，显着加速了数据中心。
包起来
NVIDIA 的 GTC 活动充满了软件、性能和速度方面的新产品更新。 大量关注数据中心，但也针对自主移动机器人 (AMR) 受众，当然还有边缘。 该节目的亮点是 Hopper H100 GPU，但该产品与许多其他公告相关。 NVIDIA 已将所有新闻稿和博客亮点 点击这里，值得一看。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS订阅
