NVIDIA 通过推出 NVIDIA HGX H200，在人工智能计算领域取得了重大飞跃。 该新平台基于 NVIDIA Hopper 架构，配备 NVIDIA H200 Tensor Core GPU，专为生成式 AI 和高性能计算 (HPC) 工作负载而定制，可通过先进的内存功能处理海量数据。
NVIDIA 通过推出 NVIDIA HGX H200，在人工智能计算领域取得了重大飞跃。 该新平台基于 NVIDIA Hopper 架构，配备 NVIDIA H200 Tensor Core GPU，专为生成式 AI 和高性能计算 (HPC) 工作负载而定制，可通过先进的内存功能处理海量数据。
H200 是首款采用高带宽 (HBM3e ) 内存的 GPU，脱颖而出，提供更快、更大的内存，这对于生成 AI 和大型语言模型 (LLM) 以及推进 HPC 工作负载的科学计算至关重要。 它拥有 141GB 内存，速度为每秒 4.8 TB，与前身 NVIDIA A2.4 相比，容量几乎增加了一倍，带宽增加了 100 倍。
顶级服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。 NVIDIA 超大规模和 HPC 副总裁 Ian Buck 强调，H200 将显着增强高速海量数据的处理能力。速度，这对于生成式人工智能和高性能计算应用程序至关重要。
Hopper 架构比前几代产品有了显着的性能改进，并通过持续的软件更新（例如最近发布的 NVIDIA TensorRT-法学硕士。 H200 有望将 Llama 2 等大型语言模型的推理速度提高近一倍，预计未来的软件更新将带来更多性能增强。
H200规格
| NVIDIA H200 张量核心 GPU | |
|---|---|
| 外形 | H200SXM |
| FP64 | 34 TFLOPS |
| FP64 张量核心 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 张量核心 | 989 TFLOPS |
| BFLOAT16 张量核心 | 1,979 TFLOPS |
| FP16 张量核心 | 1,979 TFLOPS |
| FP8 张量核心 | 3,958 TFLOPS |
| INT8 张量核心 | 3,958 TFLOPS |
| GPU内存 | 141GB |
| GPU内存带宽 | 4.8TB/秒 |
| 解码器 | 7 NVDEC 7 格式 |
| 最大热设计功率 (TDP) | 高达 700W（可配置） |
| 多实例 GPU | 最多 7 个 MIG，每个 @16.5GB |
| 互联 | NVIDIA NVLink：900GB/秒 PCIe Gen5：128GB/秒 |
| 服务器选项 | NVIDIA HGX H200 合作伙伴和具有 4 或 8 个 GPU 的 NVIDIA 认证系统 |
适应性强的外形尺寸
NVIDIA H200 将提供多种外形尺寸，包括四路和八路配置的 NVIDIA HGX H200 服务器主板，与 HGX H100 系统兼容。 它也可以在 具有 HBM200e 的 NVIDIA GH3 Grace Hopper 超级芯片。 我们最近在 NVIDIA GH200 Grace Hopper 超级芯片。 这些选项确保了 H200 跨不同数据中心类型的适应性，包括本地、云、混合云和边缘环境。
主要服务器制造商和云服务提供商，包括亚马逊网络服务、谷歌云、微软Azure和甲骨文云基础设施，将从明年开始部署基于H200的实例。
HGX H200 配备 NVIDIA NVLink 和 NVSwitch 高速互连，可为各种工作负载提供顶级性能，包括超过 175 亿个参数的模型的训练和推理。 八路 HGX H200 配置提供超过 32 petaflops 的 FP8 深度学习计算和 1.1TB 高带宽内存，非常适合生成式 AI 和 HPC 应用，与 NVIDIA Grace CPU 和 NVLink-C2C 互连相结合，H200 形成了 GH200 Grace Hopper Superchip 配备 HBM3e，这是一款专为大规模 HPC 和 AI 应用而设计的模块。
NVIDIA 的全栈软件支持，包括 NVIDIA AI 企业套件，使开发人员和企业能够构建并加速 AI 到 HPC 应用程序。 NVIDIA H200 将于 2024 年第二季度开始在全球系统制造商和云服务提供商处上市，标志着 AI 和 HPC 功能的新时代。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
