NVIDIA ha fatto un passo avanti significativo nel campo dell'intelligenza artificiale introducendo NVIDIA HGX H200. Basata sull'architettura NVIDIA Hopper, questa nuova piattaforma presenta la GPU NVIDIA H200 Tensor Core, progettata su misura per carichi di lavoro di intelligenza artificiale generativa e calcolo ad alte prestazioni (HPC), gestendo enormi volumi di dati con capacità di memoria avanzate.
NVIDIA ha fatto un passo avanti significativo nel campo dell'intelligenza artificiale introducendo NVIDIA HGX H200. Basata sull'architettura NVIDIA Hopper, questa nuova piattaforma presenta la GPU NVIDIA H200 Tensor Core, progettata su misura per carichi di lavoro di intelligenza artificiale generativa e calcolo ad alte prestazioni (HPC), gestendo enormi volumi di dati con capacità di memoria avanzate.
L'H200 si distingue come la prima GPU a incorporare memoria a larghezza di banda elevata (HBM3e), offrendo una memoria più veloce e più grande, fondamentale per l'intelligenza artificiale generativa e i modelli LLM (Large Language Models) e per il progresso del calcolo scientifico per i carichi di lavoro HPC. Vanta 141 GB di memoria a una velocità di 4.8 terabyte al secondo, quasi raddoppiando la capacità e offrendo una larghezza di banda 2.4 volte maggiore rispetto al suo predecessore, NVIDIA A100.
Si prevede che i sistemi basati su H200 dei principali produttori di server e fornitori di servizi cloud inizieranno a essere distribuiti nel secondo trimestre del 2024. Ian Buck, vicepresidente Hyperscale e HPC di NVIDIA, sottolinea che l'H200 migliorerà in modo significativo l'elaborazione di grandi quantità di dati ad alta velocità. velocità, che è essenziale per le applicazioni AI e HPC generative.
L'architettura Hopper segna un notevole miglioramento delle prestazioni rispetto alle generazioni precedenti, ulteriormente migliorato dai continui aggiornamenti software come il recente rilascio di NVIDIA TensorRT-LLM. L'H200 promette di raddoppiare quasi la velocità di inferenza su modelli linguistici di grandi dimensioni come Llama 2, con ulteriori miglioramenti delle prestazioni previsti nei futuri aggiornamenti software.
Specifiche H200
| GPU NVIDIA H200 Tensor Core | |
|---|---|
| Fattore di forma | H200SXM |
| FP64 | 34 TFLOPS |
| Nucleo tensoriale FP64 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| Nucleo Tensoriale TF32 | 989 TFLOPS |
| BFLOAT16 Nucleo Tensoriale | 1,979 TFLOPS |
| Nucleo tensoriale FP16 | 1,979 TFLOPS |
| Nucleo tensoriale FP8 | 3,958 TFLOPS |
| Nucleo Tensoriale INT8 | 3,958 TFLOPS |
| Memoria GPU | 141GB |
| Larghezza di banda della memoria della GPU | 4.8 TB/s |
| decoder | 7 NVDEC 7JPEG |
| Potenza massima di progettazione termica (TDP) | Fino a 700 W (configurabile) |
| GPU multiistanza | Fino a 7 MIG da 16.5 GB ciascuno |
| Collegamenti | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Opzioni server | Partner NVIDIA HGX H200 e sistemi certificati NVIDIA con 4 o 8 GPU |
Fattori di forma adattabili
NVIDIA H200 sarà disponibile in vari fattori di forma, comprese le schede server NVIDIA HGX H200 in configurazioni a quattro e otto vie, compatibili con i sistemi HGX H100. È disponibile anche in Superchip NVIDIA GH200 Grace Hopper con HBM3e. Recentemente abbiamo pubblicato un pezzo su Supperchip NVIDIA GH200 Grace Hopper. Queste opzioni garantiscono l'adattabilità di H200 a diversi tipi di data center, inclusi ambienti on-premise, cloud, cloud ibrido ed edge.
I principali produttori di server e fornitori di servizi cloud, tra cui Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure, sono pronti a implementare istanze basate su H200 a partire dal prossimo anno.
L'HGX H200, dotato di interconnessioni ad alta velocità NVIDIA NVLink e NVSwitch, offre prestazioni massime per vari carichi di lavoro, inclusi training e inferenza per modelli oltre 175 miliardi di parametri. Una configurazione HGX H200 a otto vie fornisce oltre 32 petaflop di elaborazione di deep learning FP8 e 1.1 TB di memoria a larghezza di banda elevata, ideale per applicazioni AI e HPC generative combinate con CPU NVIDIA Grace e interconnessione NVLink-C2C, l'H200 costituisce il GH200 Grace Hopper Superchip con HBM3e, un modulo progettato per applicazioni HPC e AI su larga scala.
Il supporto software full-stack di NVIDIA, incluso Suite aziendale NVIDIA AI, consente agli sviluppatori e alle imprese di creare e accelerare l'intelligenza artificiale per le applicazioni HPC. NVIDIA H200 sarà disponibile presso i produttori di sistemi globali e i fornitori di servizi cloud a partire dal secondo trimestre del 2024, segnando una nuova era nelle funzionalità AI e HPC.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
