NVIDIA hat mit der Einführung des NVIDIA HGX H200 einen bedeutenden Sprung im KI-Computing gemacht. Basierend auf der NVIDIA Hopper-Architektur verfügt diese neue Plattform über die NVIDIA H200 Tensor Core GPU, die auf generative KI und High-Performance-Computing (HPC)-Workloads zugeschnitten ist und riesige Datenmengen mit erweiterten Speicherfunktionen verarbeitet.
NVIDIA hat mit der Einführung des NVIDIA HGX H200 einen bedeutenden Sprung im KI-Computing gemacht. Basierend auf der NVIDIA Hopper-Architektur verfügt diese neue Plattform über die NVIDIA H200 Tensor Core GPU, die auf generative KI und High-Performance-Computing (HPC)-Workloads zugeschnitten ist und riesige Datenmengen mit erweiterten Speicherfunktionen verarbeitet.
Die H200 ist die erste GPU, die über einen Speicher mit hoher Bandbreite (HBM3e) verfügt. Sie bietet einen schnelleren und größeren Speicher, der für generative KI und große Sprachmodelle (LLMs) entscheidend ist und das wissenschaftliche Rechnen für HPC-Workloads vorantreibt. Es verfügt über 141 GB Arbeitsspeicher mit einer Geschwindigkeit von 4.8 Terabyte pro Sekunde, was nahezu eine Verdoppelung der Kapazität und 2.4-mal mehr Bandbreite als sein Vorgänger, der NVIDIA A100, bedeutet.
Mit H200 betriebene Systeme von Top-Serverherstellern und Cloud-Service-Anbietern werden voraussichtlich im zweiten Quartal 2024 ausgeliefert. Ian Buck, NVIDIAs Vizepräsident für Hyperscale und HPC, betont, dass der H200 die Verarbeitung großer Datenmengen bei hoher Geschwindigkeit deutlich verbessern wird Geschwindigkeiten, die für generative KI- und HPC-Anwendungen unerlässlich sind.
Die Hopper-Architektur stellt eine bemerkenswerte Leistungsverbesserung gegenüber früheren Generationen dar, die durch laufende Software-Updates wie die jüngste Version von weiter verbessert wird NVIDIA TensorRT-LLM. Der H200 verspricht eine nahezu verdoppelte Inferenzgeschwindigkeit bei großen Sprachmodellen wie Llama 2, wobei in zukünftigen Software-Updates weitere Leistungsverbesserungen erwartet werden.
H200-Spezifikationen
| NVIDIA H200 Tensor Core GPU | |
|---|---|
| Formfaktor | H200 SXM |
| FP64 | 34 TFLOPS |
| FP64 Tensorkern | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensorkern | 989 TFLOPS |
| BFLOAT16 Tensorkern | 1,979 TFLOPS |
| FP16 Tensorkern | 1,979 TFLOPS |
| FP8 Tensorkern | 3,958 TFLOPS |
| INT8 Tensorkern | 3,958 TFLOPS |
| GPU-Speicher | 141GB |
| GPU-Speicherbandbreite | 4.8 TB / s |
| Decoder | 7 NVDEC 7 JPEG |
| Maximale thermische Designleistung (TDP) | Bis zu 700 W (konfigurierbar) |
| GPUs mit mehreren Instanzen | Bis zu 7 MIGs mit jeweils 16.5 GB |
| Interconnect | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Serveroptionen | NVIDIA HGX H200-Partner und NVIDIA-zertifizierte Systeme mit 4 oder 8 GPUs |
Anpassbare Formfaktoren
NVIDIA H200 wird in verschiedenen Formfaktoren erhältlich sein, einschließlich NVIDIA HGX H200-Serverplatinen in Vier- und Acht-Wege-Konfigurationen, kompatibel mit HGX H100-Systemen. Es ist auch in der erhältlich NVIDIA GH200 Grace Hopper Superchip mit HBM3e. Wir haben kürzlich einen Artikel darüber gepostet NVIDIA GH200 Grace Hopper Supperchip. Diese Optionen gewährleisten die Anpassungsfähigkeit von H200 an verschiedene Rechenzentrumstypen, einschließlich lokaler, Cloud-, Hybrid-Cloud- und Edge-Umgebungen.
Wichtige Serverhersteller und Cloud-Dienstanbieter, darunter Amazon Web Services, Google Cloud, Microsoft Azure und Oracle Cloud Infrastructure, werden ab dem nächsten Jahr H200-basierte Instanzen bereitstellen.
Der HGX H200, ausgestattet mit NVIDIA NVLink- und NVSwitch-Hochgeschwindigkeitsverbindungen, bietet Spitzenleistung für verschiedene Workloads, einschließlich Training und Inferenz für Modelle mit mehr als 175 Milliarden Parametern. Eine Acht-Wege-HGX-H200-Konfiguration bietet über 32 Petaflops FP8-Deep-Learning-Rechenleistung und 1.1 TB Speicher mit hoher Bandbreite, ideal für generative KI- und HPC-Anwendungen. In Kombination mit NVIDIA Grace-CPUs und der NVLink-C2C-Verbindung bildet der H200 den GH200 Grace Hopper Superchip mit HBM3e, einem Modul, das für groß angelegte HPC- und KI-Anwendungen entwickelt wurde.
NVIDIAs Full-Stack-Softwareunterstützung, einschließlich NVIDIA AI Enterprise-Suiteermöglicht es Entwicklern und Unternehmen, KI-zu-HPC-Anwendungen zu entwickeln und zu beschleunigen. Der NVIDIA H200 soll ab dem zweiten Quartal 2024 bei globalen Systemherstellern und Cloud-Dienstanbietern erhältlich sein und eine neue Ära der KI- und HPC-Funktionen einläuten.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
