Supermicro ha lanciato una nuova serie di soluzioni per promuovere l'implementazione dell'intelligenza artificiale generativa, segnando un passo significativo nell'evoluzione dell'infrastruttura per i modelli linguistici di grandi dimensioni (LLM). Queste soluzioni SuperCluster sono progettate come componenti fondamentali per supportare le esigenze attuali e future dell'intelligenza artificiale.
Supermicro ha lanciato una nuova serie di soluzioni per promuovere l'implementazione dell'intelligenza artificiale generativa, segnando un passo significativo nell'evoluzione dell'infrastruttura per i modelli linguistici di grandi dimensioni (LLM). Queste soluzioni SuperCluster sono progettate come componenti fondamentali per supportare le esigenze attuali e future dell'intelligenza artificiale.
Questa nuova versione include tre distinte configurazioni SuperCluster su misura per attività di intelligenza artificiale generativa. Le opzioni includono un sistema raffreddato a liquido 4U e una configurazione raffreddata ad aria 8U progettata per la formazione LLM intensiva e l'inferenza LLM ad alta capacità. Inoltre, una variante 1U raffreddata ad aria con sistemi Supermicro NVIDIA MGX è orientata verso applicazioni di inferenza su scala cloud. Questi sistemi sono costruiti per offrire prestazioni senza precedenti nella formazione LLM, vantando funzionalità come lotti di grandi dimensioni e notevoli capacità di gestione dei volumi per l'inferenza LLM.
Espansione della capacità per i cluster AI
Con la capacità di produrre fino a 5,000 rack al mese, Supermicro è posizionata per fornire rapidamente cluster di intelligenza artificiale generativa completi, promettendo velocità di consegna più elevate ai propri clienti. Un cluster da 64 nodi, ad esempio, può incorporare 512 GPU NVIDIA HGX H200, utilizzando la rete NVIDIA Quantum-2 InfiniBand e Spectrum-X Ethernet ad alta velocità per ottenere un solido ambiente di formazione AI. Insieme al software NVIDIA AI Enterprise, questa configurazione è una soluzione ideale per le infrastrutture aziendali e cloud che mirano ad addestrare LLM sofisticati con trilioni di parametri.
Innovazione nel raffreddamento e nelle prestazioni
I nuovi sistemi Supermicro 4U NVIDIA HGX H100/H200 a 8 GPU sfruttano il raffreddamento a liquido per raddoppiare la densità rispetto alle alternative 8U raffreddate ad aria, con conseguente minore consumo energetico e una diminuzione del costo totale di proprietà per i data center. Questi sistemi supportano le GPU basate sull'architettura NVIDIA Blackwell di nuova generazione, dotate di tecnologie di raffreddamento efficienti che mantengono temperature ottimali per le massime prestazioni.
Specifiche del SuperCluster
I Supermicro SuperClusters sono soluzioni scalabili per l'addestramento di massicci modelli di base e la creazione di infrastrutture di inferenza LLM su scala cloud. Con un'architettura di rete altamente scalabile, questi sistemi possono espandersi da 32 nodi a migliaia, garantendo una scalabilità senza soluzione di continuità. L'integrazione del raffreddamento a liquido avanzato e dei processi di test completi garantisce efficienza ed efficacia operativa.
Supermicro descrive in dettaglio due configurazioni principali: il SuperCluster con sistema 4U raffreddato a liquido, in grado di supportare fino a 512 GPU in un ingombro compatto, e il SuperCluster con sistema NVIDIA MGX raffreddato ad aria 1U, progettato per attività di inferenza ad alto volume e a bassa latenza . Entrambe le configurazioni si distinguono per le elevate prestazioni di rete, essenziali per la formazione e l'inferenza LLM.
Ecco un breve riepilogo delle loro specifiche:
SuperCluster con sistema raffreddato a liquido 4U in 5 rack o sistema raffreddato ad aria 8U in 9 rack
- 256 GPU NVIDIA H100/H200 Tensor Core in un'unità scalabile
- Il raffreddamento a liquido consente di avere 512 GPU, 64 nodi, con lo stesso ingombro della soluzione da 256 GPU raffreddate ad aria, a 32 nodi
- 20 TB di HBM3 con NVIDIA H100 o 36 TB di HBM3e con NVIDIA H200 in un'unica unità scalabile
- La rete 1:1 offre fino a 400 Gbps a ciascuna GPU per abilitare GPUDirect RDMA e Storage per l'addestramento di modelli linguistici di grandi dimensioni con un massimo di trilioni di parametri
- Fabric switch Ethernet 400G InfiniBand o 400GbE con topologia di rete spine-leaf altamente scalabile, tra cui NVIDIA Quantum-2 InfiniBand e la piattaforma Ethernet NVIDIA Spectrum-X.
- Fabric di storage della pipeline di dati AI personalizzabile con opzioni di file system parallelo leader del settore
- Software NVIDIA AI Enterprise 5.0, che offre supporto per i nuovi microservizi di inferenza NVIDIA NIM che accelerano l'implementazione di modelli AI su larga scala
SuperCluster con sistema NVIDIA MGX 1U raffreddato ad aria in 9 rack
- 256 superchip GH200 Grace Hopper in un'unica unità scalabile
- Fino a 144 GB di HBM3e + 480 GB di memoria unificata LPDDR5X adatta per inferenza su scala cloud, volume elevato, bassa latenza e dimensioni batch elevate, in grado di adattarsi a un modello di parametri da 70B+ in un nodo.
- Fabric switch 400G InfiniBand o 400G Ethernet con topologia di rete spine-leaf altamente scalabile
- Fino a 8 dispositivi di storage E1.S NVMe integrati per nodo
- Fabric di storage di pipeline di dati AI personalizzabile con DPU NVIDIA BlueField-3 e opzioni di file system parallelo leader del settore per fornire accesso allo storage a throughput elevato e bassa latenza a ciascuna GPU
- Software NVIDIA AI Enterprise 5.0
Supermicro espande il portafoglio AI con nuovi sistemi e rack utilizzando l'architettura NVIDIA Blackwell
Supermicro annuncia inoltre l'espansione delle sue offerte di sistemi IA, comprese le ultime innovazioni per i data center di NVIDIA mirate all'IA generativa su larga scala. Tra queste nuove tecnologie ci sono il Superchip NVIDIA GB200 Grace Blackwell e le GPU Tensor Core B200 e B100.
Per accogliere questi progressi, Supermicro sta aggiornando senza soluzione di continuità i suoi prodotti esistenti NVIDIAHGXH100/H200 Sistemi a 8 GPU per integrare NVIDIA HGX B100 8 GPU e B200. Inoltre, la gamma NVIDIA HGX sarà rafforzata con i nuovi modelli dotati di NVIDIA GB200, inclusa una soluzione completa a livello rack dotata di 72 GPU NVIDIA Blackwell. Oltre a questi progressi, Supermicro sta introducendo un nuovo sistema 4U NVIDIA HGX B200 a 8 GPU raffreddato a liquido, sfruttando la tecnologia di raffreddamento a liquido direct-to-chip per gestire le crescenti richieste termiche delle GPU più recenti e sbloccare tutte le capacità prestazionali delle soluzioni NVIDIA Tecnologia Blackwell.
I nuovi sistemi ottimizzati per GPU di Supermicro saranno presto disponibili, completamente compatibili con le GPU NVIDIA Blackwell B200 e B100 Tensor Core e certificati per l'ultimo software NVIDIA AI Enterprise. La linea Supermicro comprende diverse configurazioni, dai sistemi NVIDIA HGX B100 e B200 a 8 GPU ai SuperBlade in grado di ospitare fino a 20 GPU B100, garantendo versatilità e prestazioni elevate in un'ampia gamma di applicazioni IA. Questi sistemi includono i primi modelli NVIDIA HGX B200 e B100 a 8 GPU dotati dell'avanzata tecnologia di interconnessione NVIDIA NVLink. Supermicro indica che è pronta a fornire risultati di formazione per LLM (3 volte più velocemente) e a supportare il clustering scalabile per carichi di lavoro IA impegnativi, segnando un significativo passo avanti nell'efficienza e nelle prestazioni computazionali dell'IA.
Tecnologia di raffreddamento a liquido supermicro
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
