L'architettura NVIDIA Hopper è stata al centro dell'attenzione durante NVIDIA GTC con l'obiettivo di potenziare la prossima ondata di data center IA. Prende il nome da Grace Hopper, una pionieristica scienziata informatica statunitense, la piattaforma di calcolo accelerato di prossima generazione offre prestazioni di un ordine di grandezza rispetto al suo predecessore, NVIDIA Ampere.
L'architettura NVIDIA Hopper è stata al centro dell'attenzione durante NVIDIA GTC con l'obiettivo di potenziare la prossima ondata di data center IA. Prende il nome da Grace Hopper, una pionieristica scienziata informatica statunitense, la piattaforma di calcolo accelerato di prossima generazione offre prestazioni di un ordine di grandezza rispetto al suo predecessore, NVIDIA Ampere.
NVIDIA ha anche annunciato la sua prima GPU basata su Hopper, la NVIDIA H100, dotata di 80 miliardi di transistor. Presentato come l'acceleratore più grande e potente del mondo, l'H100 è dotato di un Transformer Engine e di un'interconnessione NVIDIA NVLink altamente scalabile per far avanzare giganteschi modelli linguistici di intelligenza artificiale, sistemi di raccomandazione profondi, genomica e gemelli digitali complessi.
"I data center stanno diventando fabbriche di intelligenza artificiale: elaborano e perfezionano montagne di dati per produrre intelligenza", ha affermato Jensen Huang, fondatore e CEO di NVIDIA. "NVIDIA H100 è il motore dell'infrastruttura IA mondiale che le aziende utilizzano per accelerare le proprie attività basate sull'intelligenza artificiale."
Tecnologia H100
Costruito utilizzando un processo TSMC 4N all'avanguardia progettato per le esigenze di elaborazione accelerata di NVIDIA, H100 presenta progressi significativi per accelerare AI, HPC, larghezza di banda della memoria, interconnessione e comunicazione, inclusa una connettività esterna di quasi 5 TB/s. Hopper H100 è la prima GPU a supportare PCIe Gen5 e a utilizzare HBM3 (High Bandwidth Memory 3) che consente 3 TB/s di larghezza di banda della memoria. Venti GPU H100 possono sostenere l'equivalente del traffico Internet mondiale, consentendo ai clienti di fornire sistemi di raccomandazione avanzati e modelli linguistici di grandi dimensioni che eseguono inferenze sui dati in tempo reale.
La scelta per l'elaborazione del linguaggio naturale, Transformer Engine è uno dei modelli di deep learning più importanti mai inventati. Il Transformer Engine dell'acceleratore H100 è progettato per accelerare queste reti fino a 6 volte rispetto alla generazione precedente senza perdere la precisione.
Con la tecnologia Multi-Instance GPU (MIG), l'architettura Hopper consente di partizionare una singola GPU in sette istanze più piccole e completamente isolate per gestire diversi tipi di lavori. Estendendo le funzionalità MIG fino a 7 volte rispetto alla generazione precedente, l'architettura Hopper offre configurazioni multi-tenant sicure in ambienti cloud su ciascuna istanza GPU.
L'H100 è il primo acceleratore al mondo con capacità di elaborazione riservate per proteggere i modelli di intelligenza artificiale e i dati dei clienti durante l'elaborazione. I clienti possono anche applicare l'elaborazione riservata all'apprendimento federato per settori sensibili alla privacy come sanità, servizi finanziari e infrastrutture cloud condivise.
NVIDIA NVLink di quarta generazione si combina con un nuovo switch NVLink esterno estendendolo come rete scale-up oltre il server, collegando fino a 4 GPU H256 con una larghezza di banda 100 volte superiore rispetto alla generazione precedente utilizzando NVIDIA HDR Quantum InfiniBand.
NVIDIA H100 può essere implementato praticamente in tutti i data center, inclusi on-premise, cloud, cloud ibrido ed edge, e la sua disponibilità è prevista entro la fine dell'anno.
Sistema DGX H100
NVIDIA ha annunciato il sistema DGX di quarta generazione, DGX H100, dotato di otto GPU H100 che offrono 32 petaflop di prestazioni AI con la nuova precisione FP8, fornendo la scalabilità necessaria per soddisfare gli enormi requisiti di elaborazione di modelli linguistici di grandi dimensioni, sistemi di raccomandazione, ricerca sanitaria e scienza del clima .
Ogni sistema DGX H100 racchiude otto GPU H100, collegate come una sola tramite NVLink di quarta generazione, offrendo una connettività di 900 GB/s, un aumento di 1.5 volte superiore rispetto alla generazione precedente. NVLink di NVIDIA è un'interconnessione GPU-GPU a bassa latenza e senza perdite che include funzionalità di resilienza, come il rilevamento degli errori a livello di collegamento e meccanismi di riproduzione dei pacchetti per garantire la corretta consegna dei dati.
Oltre all'NVLink di quarta generazione, l'H100 introduce anche la nuova interconnessione di rete NVLink. Questa versione scalabile di NVLink consente la comunicazione da GPU a GPU fino a 256 GPU su più nodi di elaborazione. NVIDIA ha inoltre introdotto la tecnologia NVSwitch di terza generazione che include switch sia all'interno che all'esterno dei nodi per connettere più GPU in server, cluster e ambienti data center. Un nodo con il nuovo NVSwitch fornisce 64 porte di NVLink per accelerare la connettività multi-GPU, quasi raddoppiando il throughput totale dello switch da 7.2 Tbit/s a 13.6 Tbit/s. NVSwitch consente a tutte e otto le GPU H100 di connettersi tramite NVLink. Uno switch NVLink esterno può collegare in rete fino a 32 nodi DGX H100 nei supercomputer NVIDIA DGX SuperPOD di nuova generazione.
Superchip CPU Grace
NVIDIA ha annunciato Grace CPU Superchip, dotato di 144 core Arm in un unico socket. Si tratta della prima CPU per data center discreta basata su Arm Neoverse progettata per l'infrastruttura AI e il calcolo ad alte prestazioni, che offre il doppio della larghezza di banda della memoria e dell'efficienza energetica.
Il sottosistema di memoria è costituito da memoria LPDDR5x con codice di correzione degli errori per bilanciare velocità e consumo energetico. Il sottosistema di memoria LPDDR5x raddoppia la larghezza di banda dei tradizionali design DDR5 a 1 TB/s consumando una quantità di energia notevolmente inferiore.
Il Grace CPU Superchip eseguirà tutti gli stack software di elaborazione di NVIDIA, tra cui NVIDIA RTX, NVIDIA HPC, NVIDIA AI e Omniverse. Il Grace CPU Superchip insieme alle schede NIC NVIDIA ConnectX-7 offrono la flessibilità di essere configurati in server come sistemi autonomi solo CPU o come server accelerati da GPU con una, due, quattro o otto GPU basate su Hopper, consentendo ai clienti di ottimizzare le prestazioni per i loro carichi di lavoro specifici mantenendo un unico stack software.
Sistema informatico omniverso
Mantenendo il focus sui data center, NVIDIA ha annunciato NVIDIA OVX, un sistema informatico progettato per alimentare gemelli digitali su larga scala. Un gemello digitale è un mondo virtuale connesso al mondo fisico. NVIDIA OVX è progettato per gestire complesse simulazioni di gemelli digitali che verranno eseguite all'interno di NVIDIA Omniverse, una simulazione del mondo fisicamente accurata in tempo reale e una piattaforma di collaborazione di progettazione 3D.
Combinando elaborazione, grafica e intelligenza artificiale accelerate da GPU ad alte prestazioni con accesso allo storage ad alta velocità e a bassa latenza, il sistema OVX fornirà le prestazioni necessarie per la creazione di gemelli digitali con precisione nel mondo reale. OVX può simulare gemelli digitali complessi per modellare edifici, fabbriche, città e il mondo.
Il server OVX include otto GPU NVIDIA A40, tre NIC ConnectX-6 DX da 200 Gbps, memoria da 1 TB e spazio di archiviazione NVMe da 16 TB. Il sistema OVX è scalabile da un singolo pod di otto server OVX a un OVX SuperPOD con 32 server collegati tramite switch NVIDIA Spectrum-3 o più OVX SuperPOD.
Kit per sviluppatori Jetson AGX Orin
NVIDIA ha inoltre annunciato la disponibilità del kit Jetson AGX Orin Developer, un supercomputer AI compatto ed efficiente dal punto di vista energetico per robotica avanzata, macchine autonome e computing embedded ed edge di nuova generazione. Le specifiche del Jetson AGX Orin sono impressionanti e offrono 275 trilioni di operazioni al secondo, oltre 8 volte la potenza di elaborazione del modello precedente, pur mantenendo un fattore di forma palmare. Dotato di GPU con architettura NVIDIA Ampere, CPU Arm Cortex-A78AE, deep learning e acceleratori di visione di nuova generazione, larghezza di banda di memoria più veloce, interfacce ad alta velocità e sensore multimodale, Jetson AGX Orin può alimentare più pipeline di applicazioni AI simultanee.
I clienti che utilizzano Jetson AGX Orin possono sfruttare l'intero stack di calcolo accelerato NVIDIA CUDA-X, con 60 aggiornamenti alla sua raccolta di librerie, strumenti e tecnologie. Avranno inoltre pieno accesso all'SDK di NVIDIA JetPack, ai modelli pre-addestrati dal catalogo NVIDIA NGC e ai framework e agli strumenti più recenti per lo sviluppo e l'ottimizzazione delle applicazioni, come NVIDIA Isaac su Omniverse, NVIDIA Metropolis e NVIDIA TAO Toolkit.
NVIDIA Spectrum-4
Rimanendo concentrata sul data center, NVIDIA ha annunciato la sua piattaforma Ethernet NVIDIA Spectrum-4. Lo switch di nuova generazione offre 400 Gbps end-to-end con un throughput di commutazione 4 volte superiore rispetto alle generazioni precedenti. Spectrum-4 include il software per l'infrastruttura del data center ConnectX-7 SmartNIC, BlueField-3 DPLU e DOCA.
Realizzati per l'intelligenza artificiale, gli switch Spectrum-4 consentono una precisione nell'ordine dei nanosecondi, accelerano, semplificano e proteggono la struttura della rete con una larghezza di banda per porta 2 volte più veloce, 4 volte in meno di switch e un consumo energetico inferiore del 40% rispetto alle generazioni precedenti. Con il supporto della larghezza di banda ASIC aggregata da 51.2 Tbps, 128 porte da 400 GBE, routing adattivo e meccanismi di controllo della congestione avanzati, Spectrum-4 ottimizza RDMA su strutture Ethernet convergenti, accelerando notevolmente i data center.
Avvolgere
L'evento GTC di NVIDIA era ricco di aggiornamenti di nuovi prodotti in termini di software, prestazioni e velocità. Molta attenzione al data center, ma anche al pubblico dei robot mobili autonomi (AMR) e, ovviamente, all'edge. Il pezzo forte dello spettacolo è stata la GPU Hopper H100, ma quel prodotto era presente in tanti altri annunci. NVIDIA ha inserito tutti i comunicati stampa e gli highlights del blog quie vale la pena dargli un'occhiata.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | RSS feed
