NVIDIA 透過推出 NVIDIA HGX H200，在人工智慧運算領域取得了重大飛躍。 該新平台基於 NVIDIA Hopper 架構，配備 NVIDIA H200 Tensor Core GPU，專為生成式 AI 和高效能運算 (HPC) 工作負載而定制，可透過先進的記憶體功能處理大量資料。
NVIDIA 透過推出 NVIDIA HGX H200，在人工智慧運算領域取得了重大飛躍。 該新平台基於 NVIDIA Hopper 架構，配備 NVIDIA H200 Tensor Core GPU，專為生成式 AI 和高效能運算 (HPC) 工作負載而定制，可透過先進的記憶體功能處理大量資料。
H200 是首款採用高頻寬 (HBM3e ) 內存的 GPU，脫穎而出，提供更快、更大的內存，這對於生成 AI 和大型語言模型 (LLM) 以及推進 HPC 工作負載的科學計算至關重要。 它擁有 141GB 內存，速度為每秒 4.8 TB，與前身 NVIDIA A2.4 相比，容量幾乎增加了一倍，頻寬增加了 100 倍。
頂級伺服器製造商和雲端服務供應商採用 H200 的系統預計將於 2024 年第二季開始出貨。NVIDIA 超大規模和 HPC 副總裁 Ian Buck 強調，H200 將顯著增強高速海量資料的處理能力。速度，這對於生成式人工智慧和高效能運算應用程式至關重要。
Hopper 架構比前幾代產品有了顯著的效能改進，並透過持續的軟體更新（例如最近發布的 NVIDIA TensorRT-法學碩士。 H200 預計將 Llama 2 等大型語言模型的推理速度提高近一倍，預計未來的軟體更新將帶來更多效能增強。
H200規格
| NVIDIA H200 張量核心 GPU | |
|---|---|
| 外形 | H200SXM |
| FP64 | 34 TFLOPS |
| FP64 張量核心 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 張量核心 | 989 TFLOPS |
| BFLOAT16 張量核心 | 1,979 TFLOPS |
| FP16 張量核心 | 1,979 TFLOPS |
| FP8 張量核心 | 3,958 TFLOPS |
| INT8 張量核心 | 3,958 TFLOPS |
| GPU內存 | 141GB |
| GPU內存帶寬 | 4.8TB/秒 |
| 解碼器 | 7 NVDEC 7 格式 |
| 最大熱設計功率 (TDP) | 高達 700W（可設定） |
| 多實例 GPU | 最多 7 個 MIG，每個 @16.5GB |
| 互連線 | NVIDIA NVLink：900GB/秒 PCIe Gen5：128GB/秒 |
| 服務器選項 | NVIDIA HGX H200 合作夥伴和具有 4 或 8 個 GPU 的 NVIDIA 認證系統 |
適應性強的外形尺寸
NVIDIA H200 將提供多種外形尺寸，包括四路和八路配置的 NVIDIA HGX H200 伺服器主機板，與 HGX H100 系統相容。 它也可以在 具有 HBM200e 的 NVIDIA GH3 Grace Hopper 超級晶片。 我們最近在 NVIDIA GH200 Grace Hopper 超級晶片。 這些選項確保了 H200 跨不同資料中心類型的適應性，包括本地、雲端、混合雲和邊緣環境。
主要伺服器製造商和雲端服務供應商，包括亞馬遜網路服務、Google雲端、微軟Azure和甲骨文雲端基礎設施，將從明年開始部署基於H200的實例。
HGX H200 配備 NVIDIA NVLink 和 NVSwitch 高速互連，可為各種工作負載提供頂級效能，包括超過 175 億個參數的模型的訓練和推理。 八路 HGX H200 配置提供超過 32 petaflops 的 FP8 深度學習計算和 1.1TB 高頻寬內存，非常適合生成式 AI 和 HPC 應用，與 NVIDIA Grace CPU 和 NVLink-C2C 互連相結合，H200 結合了 GH200 Grace Hopper Superchip HBM3e，這是一款專為大規模HPC 和AI 應用而設計的模組。
NVIDIA 的全端軟體支持，包括 NVIDIA AI 企業套件，使開發人員和企業能夠建置並加速 AI 到 HPC 應用程式。 NVIDIA H200 將於 2024 年第二季開始在全球系統製造商和雲端服務供應商上市，標誌著 AI 和 HPC 功能的新時代。
參與 StorageReview
電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
