NVIDIA は、NVIDIA HGX H200 の導入により、AI コンピューティングにおいて大きな飛躍を遂げました。 NVIDIA Hopper アーキテクチャに基づくこの新しいプラットフォームは、生成 AI およびハイ パフォーマンス コンピューティング (HPC) ワークロード向けに調整された NVIDIA H200 Tensor コア GPU を備えており、高度なメモリ機能で大量のデータを処理します。
NVIDIA は、NVIDIA HGX H200 の導入により、AI コンピューティングにおいて大きな飛躍を遂げました。 NVIDIA Hopper アーキテクチャに基づくこの新しいプラットフォームは、生成 AI およびハイ パフォーマンス コンピューティング (HPC) ワークロード向けに調整された NVIDIA H200 Tensor コア GPU を備えており、高度なメモリ機能で大量のデータを処理します。
H200 は、高帯域幅 (HBM3e) メモリを組み込んだ最初の GPU として際立っており、生成 AI および大規模言語モデル (LLM) に不可欠な高速かつ大容量のメモリを提供し、HPC ワークロード向けの科学技術コンピューティングを進歩させます。毎秒 141 テラバイトの速度で 4.8 GB のメモリを誇り、前世代の NVIDIA A2.4 に比べて容量がほぼ 100 倍になり、帯域幅が XNUMX 倍になります。
トップ サーバー メーカーやクラウド サービス プロバイダーの H200 を搭載したシステムは、2024 年の第 200 四半期に出荷が開始される予定です。NVIDIA のハイパースケールおよび HPC 担当副社長である Ian Buck 氏は、HXNUMX によって膨大なデータの高速処理が大幅に強化されると強調しています。これは生成 AI および HPC アプリケーションに不可欠です。
Hopper アーキテクチャは、前世代に比べてパフォーマンスが著しく向上しており、最近のリリースのような継続的なソフトウェア アップデートによってさらに強化されています。 NVIDIA TensorRT-LLM。 H200 は、Llama 2 のような大規模な言語モデルで推論速度をほぼ XNUMX 倍にすることが約束されており、将来のソフトウェア アップデートではさらなるパフォーマンスの向上が期待されます。
H200仕様
| NVIDIA H200 Tensor コア GPU | |
|---|---|
| フォームファクター | H200SXM |
| FP64 | 34 TFLOPS |
| FP64テンソルコア | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 テンソル コア | 989 TFLOPS |
| BFLOAT16 テンソル コア | 1,979 TFLOPS |
| FP16テンソルコア | 1,979 TFLOPS |
| FP8テンソルコア | 3,958 TFLOPS |
| INT8テンソルコア | 3,958 TFLOPS |
| GPUメモリ | 141GB |
| GPU メモリ帯域幅 | 4.8TB /秒 |
| デコーダ | 7 NVDEC 7 JPEG |
| 最大熱設計電力 (TDP) | 最大 700W (設定可能) |
| マルチインスタンス GPU | 最大 7 つの MIG @ 各 16.5 GB |
| インターコネクト | NVIDIA NVLink: 900GB/秒 PCIe Gen5: 128GB/秒 |
| サーバーオプション | NVIDIA HGX H200 パートナーおよび 4 または 8 GPU を備えた NVIDIA 認定システム |
適応可能なフォームファクター
NVIDIA H200 は、HGX H200 システムと互換性のある 100 ウェイ構成および XNUMX ウェイ構成の NVIDIA HGX HXNUMX サーバー ボードなど、さまざまなフォーム ファクターで利用可能になります。以下でも入手可能です NVIDIA GH200 Grace Hopper スーパーチップ (HBM3e 搭載)。私たちは最近、 に記事を投稿しました NVIDIA GH200 グレース ホッパー スーパーチップ。これらのオプションにより、オンプレミス、クラウド、ハイブリッド クラウド、エッジ環境など、さまざまなタイプのデータセンターにわたって H200 の適応性が確保されます。
アマゾン ウェブ サービス、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure などの主要なサーバー メーカーとクラウド サービス プロバイダーは、来年から H200 ベースのインスタンスを導入する予定です。
NVIDIA NVLink および NVSwitch 高速インターコネクトを備えた HGX H200 は、175 億パラメータを超えるモデルのトレーニングや推論など、さまざまなワークロードに対して最高のパフォーマンスを提供します。 200 ウェイ HGX H32 構成は、8 ペタフロップスを超える FP1.1 ディープ ラーニング コンピューティングと 2 TB の高帯域幅メモリを提供し、NVIDIA Grace CPU および NVLink-C200C インターコネクトと組み合わせた生成 AI および HPC アプリケーションに最適です。H200 は GH3 Grace を形成します。大規模な HPC および AI アプリケーション向けに設計されたモジュールである HBMXNUMXe を搭載した Hopper Superchip。
NVIDIA のフルスタック ソフトウェア サポート。 NVIDIA AI エンタープライズ スイートにより、開発者や企業は AI を HPC アプリケーションに構築し、高速化できるようになります。 NVIDIA H200 は、2024 年の第 XNUMX 四半期から世界のシステム メーカーやクラウド サービス プロバイダーから発売される予定で、AI および HPC 機能の新時代を迎えます。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード
