NVIDIA Hopper 架構在 NVIDIA GTC 期間佔據了中心舞台，重點是為下一波 AI 數據中心提供動力。 下一代加速計算平台以美國計算機科學家先驅 Grace Hopper 的名字命名，其性能比其前身 NVIDIA Ampere 高出一個數量級。
NVIDIA Hopper 架構在 NVIDIA GTC 期間佔據了中心舞台，重點是為下一波 AI 數據中心提供動力。 下一代加速計算平台以美國計算機科學家先驅 Grace Hopper 的名字命名，其性能比其前身 NVIDIA Ampere 高出一個數量級。
NVIDIA 還發布了其首款基於 Hopper 的 GPU，即 NVIDIA H100，其中包含 80 億個晶體管。 H100 被譽為世界上最大、最強大的加速器，它配備了一個 Transformer Engine 和一個高度可擴展的 NVIDIA NVLink 互連，用於推進巨大的 AI 語言模型、深度推薦系統、基因組學和復雜的數字孿生。
NVIDIA 創始人兼首席執行官黃仁勳表示：“數據中心正在成為人工智能工廠——處理和提煉海量數據以產生智能。 “NVIDIA H100 是全球 AI 基礎設施的引擎，企業用它來加速其 AI 驅動的業務。”
H100科技
H4 採用專為 NVIDIA 的加速計算需求而設計的尖端 TSMC 100N 工藝構建，在加速 AI、HPC、內存帶寬、互連和通信方面取得了重大進展，包括近 5TB/s 的外部連接。 Hopper H100 是首款支持 PCIe Gen5 並利用 HBM3（高帶寬內存 3）的 GPU，可實現 3TB/s 的內存帶寬。 二十個 H100 GPU 可以維持相當於整個世界的互聯網流量，使客戶能夠提供高級推薦系統和大型語言模型，對數據進行實時推理。
作為自然語言處理的選擇，Transformer Engine 是有史以來最重要的深度學習模型之一。 H100 加速器的 Transformer Engine 旨在將這些網絡的速度提高到與上一代相比的 6 倍，而不會降低準確性。
借助多實例 GPU (MIG) 技術，Hopper 架構允許將單個 GPU 劃分為七個更小、完全隔離的實例，以處理不同類型的作業。 通過將 MIG 功能擴展到上一代產品的 7 倍，Hopper 架構在雲環境中跨每個 GPU 實例提供安全的多租戶配置。
H100 是全球首款具有機密計算能力的加速器，可在處理過程中保護 AI 模型和客戶數據。 客戶還可以將機密計算應用於醫療保健、金融服務和共享雲基礎設施等隱私敏感行業的聯合學習。
第 4 代 NVIDIA NVLink 結合了一個新的外部 NVLink 交換機，將其擴展為服務器以外的擴展網絡，連接多達 256 個 H100 GPU，帶寬比使用 NVIDIA HDR Quantum InfiniBand 的上一代高 9 倍。
NVIDIA H100 幾乎可以部署在所有數據中心，包括本地、雲、混合雲和邊緣，預計將於今年晚些時候上市。
DGX H100 系統
NVIDIA 宣布推出第四代 DGX 系統 DGX H100，配備八個 H100 GPU，以新的 FP32 精度提供 8 petaflops 的 AI 性能，提供可滿足大型語言模型、推薦系統、醫療保健研究和氣候科學的大規模計算需求的規模.
每個 DGX H100 系統包含八個 H100 GPU，通過第四代 NVLink 連接為一個，提供 900GB/s 的連接速度，比上一代提高 1.5 倍。 NVIDIA 的 NVLink 是一種低延遲、無損的 GPU 到 GPU 互連，包括彈性功能，例如鍊路級錯誤檢測和數據包重放機制，以保證成功的數據傳輸。
除了第四代 NVLink，H100 還引入了新的 NVLink 網絡互連。 這個可擴展版本的 NVLink 支持跨多個計算節點的多達 256 個 GPU 之間的 GPU 到 GPU 通信。 NVIDIA 還推出了第三代 NVSwitch 技術，包括節點內部和外部的交換機，以連接服務器、集群和數據中心環境中的多個 GPU。 具有新 NVSwitch 的節點提供 64 個 NVLink 端口以加速多 GPU 連接，使總交換機吞吐量幾乎翻了一番，從 7.2 Tbits/s 到 13.6 Tbits/s。 NVSwitch 使所有八個 H100 GPU 都能夠通過 NVLink 進行連接。 在下一代 NVIDIA DGX SuperPOD 超級計算機中，一個外部 NVLink 交換機最多可以聯網 32 個 DGX H100 節點。
Grace CPU 超級芯片
NVIDIA 宣布推出 Grace CPU Superchip，在單個插槽中包含 144 個 Arm 內核。 這是首款基於 Arm Neoverse 的離散數據中心 CPU，專為 AI 基礎設施和高性能計算而設計，可提供兩倍的內存帶寬和能效。
內存子系統由帶有糾錯碼的 LPDDR5x 內存組成，以平衡速度和功耗。 LPDDR5x 內存子系統以 5 TB/s 的速度將傳統 DDR1 設計的帶寬翻倍，同時顯著降低功耗。
Grace CPU 超級芯片將運行 NVIDIA 的所有計算軟件堆棧，包括 NVIDIA RTX、NVIDIA HPC、NVIDIA AI 和 Omniverse。 Grace CPU Superchip 與 NVIDIA ConnectX-7 NIC 提供了靈活性，可以作為獨立的純 CPU 系統配置到服務器中，也可以作為具有一個、兩個、四個或八個基於 Hopper 的 GPU 的 GPU 加速服務器配置，從而使客戶能夠優化性能針對他們的特定工作負載，同時維護單個軟件堆棧。
萬能計算系統
為了保持對數據中心的關注，NVIDIA 發布了 NVIDIA OVX，這是一種旨在為大規模數字孿生提供動力的計算系統。 數字孿生是連接到物理世界的虛擬世界。 NVIDIA OVX 旨在運行複雜的數字雙胞胎模擬，該模擬將在 NVIDIA Omniverse 中運行，NVIDIA Omniverse 是一個實時物理準確的世界模擬和 3D 設計協作平台。
OVX 系統將高性能 GPU 加速計算、圖形和 AI 與低延遲、高速存儲訪問相結合，將提供創建具有真實世界準確性的數字孿生所需的性能。 OVX 可以模擬複雜的數字雙胞胎，為建築物、工廠、城市和世界建模。
OVX 服務器包括八個 NVIDIA A40 GPU、三個 ConnectX-6 DX 200Gbps NIC、1TB 內存和 16TB NVMe 存儲。 OVX 系統可從包含八台 OVX 服務器的單個容器擴展到具有 32 台服務器的 OVX SuperPOD，這些服務器通過 NVIDIA Spectrum-3 交換機或多個 OVX SuperPOD 連接。
Jetson AGX Orin 開發者套件
NVIDIA 還宣布推出 Jetson AGX Orin 開發者套件，這是一款緊湊、節能的 AI 超級計算機，適用於高級機器人、自主機器以及下一代嵌入式和邊緣計算。 Jetson AGX Orin 的規格令人印象深刻，每秒可提供 275 萬億次操作，處理能力是之前型號的 8 倍多，同時仍保持手掌大小的外形尺寸。 Jetson AGX Orin 採用 NVIDIA Ampere 架構 GPU、Arm Cortex-A78AE CPU、下一代深度學習和視覺加速器、更快的內存帶寬、高速接口和多模態傳感器，可以為多個並發 AI 應用程序管道提供支持。
使用 Jetson AGX Orin 的客戶可以利用完整的 NVIDIA CUDA-X 加速計算堆棧，並對其庫、工具和技術集合進行了 60 次更新。 他們還可以完全訪問 NVIDIA JetPack SDK、NVIDIA NGC 目錄中的預訓練模型，以及用於應用程序開發和優化的最新框架和工具，例如 NVIDIA Isaac on Omniverse、NVIDIA Metropolis 和 NVIDIA TAO Toolkit。
NVIDIA Spectrum-4
NVIDIA 一直專注於數據中心，宣布推出其 NVIDIA Spectrum-4 以太網平台。 下一代交換機提供 400Gbps 的端到端速度，交換吞吐量是前幾代產品的 4 倍。 Spectrum-4 包括 ConnectX-7 SmartNIC、BlueField-3 DPLU 和 DOCA 數據中心基礎設施軟件。
Spectrum-4 交換機專為 AI 打造，可實現納秒級精度，加速、簡化和保護網絡結構，與前幾代產品相比，每端口帶寬快 2 倍，交換機減少 4 倍，功耗降低 40%。 憑藉 51.2 Tbps 聚合 ASIC 帶寬支持 128 個 400GBE 端口、自適應路由和增強的擁塞控制機制，Spectrum-4 優化了融合以太網結構上的 RDMA，顯著加速了數據中心。
包起來
NVIDIA 的 GTC 活動充滿了軟件、性能和速度方面的新產品更新。 大量關注數據中心，但也針對自主移動機器人 (AMR) 受眾，當然還有邊緣。 該節目的亮點是 Hopper H100 GPU，但該產品與許多其他公告相關。 NVIDIA 已將所有新聞稿和博客亮點 點擊這裡，值得一看。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | 的TikTok | RSS訂閱
