I server GPU AMD EPYC 4U Supermicro offrono flessibilità AI (AS-4125GS-TNRT)

Il Supermicro AS-4125GS-TNRT è un server GPU raffreddato ad aria 4U che supporta due CPU AMD EPYC serie 9004, PCIe Gen5 e 8 GPU a doppia larghezza.

Supermicro offre da tempo server GPU in più forme e dimensioni di quelle che abbiamo tempo di discutere in questa recensione. Oggi esaminiamo il loro relativamente nuovo server GPU 4U raffreddato ad aria che supporta due CPU AMD EPYC serie 9004, PCIe Gen5 e una scelta di otto schede GPU aggiuntive a doppia larghezza o 12 a larghezza singola. Sebbene Supermicro offra anche varianti basate su Intel di questi server, la famiglia AS-4125GS-TNRT basata su AMD è gli unici server di questa classe che supportano le GPU NVIDIA H100 e AMD Instinct Mi210.

Il server GPU Supermicro AS-4125GS-TNRT ha alcuni altri punti salienti hardware come rete 10GbE integrata, gestione fuori banda, 9 slot FHFL PCIe Gen5, 24 alloggiamenti da 2.5", di cui quattro NVMe e il resto SATA/SAS. Sono inoltre disponibili 4 alimentatori ridondanti di livello titanio da 2000 W. Sulla scheda madre è presente un singolo slot M.2 NVMe per l'avvio.

Prima di spingerci troppo oltre su questa strada, vale anche la pena ricordare che Supermicro offre altre due varianti della configurazione del server AS-4125GS-TNRT. Sebbene utilizzino la stessa scheda madre, AS-4125GS-TNRT1 è una configurazione a socket singolo con uno switch PCIe che supporta fino a 10 GPU a doppia larghezza e 8 alloggiamenti SSD NVMe. L'AS -4125GS-TNRT2 è una configurazione a doppio processore che è più o meno la stessa cosa, sempre con lo switch PCIe.

Indipendentemente dalla configurazione, Supermicro AS-4125GS-TNRT è incredibilmente flessibile grazie al suo design e alla capacità di selezionare modelli con lo switch PCIe. Questo stile di server GPU è popolare perché consente alle organizzazioni di iniziare in piccolo ed espandersi, combinare e abbinare GPU per esigenze diverse o fare qualsiasi cosa desiderino. I sistemi GPU con socket offrono la possibilità di aggregare meglio le GPU per grandi carichi di lavoro AI, ma i sistemi con schede aggiuntive non possono essere battuti per la flessibilità del carico di lavoro.

Supermicro AS-4125GS-TNRT con GPU AMD e NVIDIA di SC23

Inoltre, anche se per alcuni ciò potrebbe sembrare una bestemmia, i server GPU delle schede aggiuntive Supermicro possono essere utilizzati anche con le schede AMD e NVIDIA nella stessa confezione! Sussulta, se vuoi, ma molti clienti hanno capito che alcuni carichi di lavoro preferiscono un Instinct, mentre altri carichi di lavoro come la GPU NVIDIA. Infine, sebbene siano meno popolari dei server GPU pieni di branchie, vale la pena ricordare che questi slot sono solo slot PCIe; non è irragionevole immaginare scenari in cui i clienti potrebbero preferire FPGA, DPU o qualche altra forma di acceleratore in questo impianto. Ancora una volta, la flessibilità è il vantaggio principale e clamoroso di questo design.

Ai fini della nostra recensione, il Supermicro AS-4125GS-TNRT è arrivato semplice, pronto per aggiungere CPU, DRAM, spazio di archiviazione e, ovviamente, GPU. Abbiamo collaborato con Supermicro per prendere in prestito 4 GPU NVIDIA H100 per questa recensione.

Specifiche Supermicro AS-4125GS-TNRT

Configurazione di revisione Supermicro AS-4125GS-TNRT

Abbiamo configurato il nostro sistema da Supermicro come barebone, sebbene lo vendano in gran parte come sistema configurato. Quando è arrivato in laboratorio, la prima cosa che abbiamo fatto è stata popolarlo con una coppia di CPU AMD EPYC 9374F 32c 64t. Questi sono stati selezionati per la loro elevata velocità di clock e le rispettabili prestazioni multi-core.

Per gli acceleratori, avevamo un ampio scaffale tra cui scegliere, dai vecchi coprocessori Intel Phi alle ultime schede PCIe H100 fino alle GPU per workstation RTX 6000 ada di fascia alta. Il nostro obiettivo era bilanciare la potenza computazionale grezza con efficienza e versatilità. Alla fine, abbiamo deciso di iniziare con quattro GPU NVIDIA RTX A6000 e poi di passare a quattro schede NVIDIA H100 PCIe per i nostri test iniziali. Questa combinazione dimostra la flessibilità della piattaforma Supermicro e delle schede acceleratrici NVIDIA.

L'RTX A6000, progettata principalmente per le prestazioni con carichi di lavoro ad alta intensità grafica, eccelle anche nelle applicazioni AI e HPC con la sua architettura Ampere. Offre 48 GB di memoria GDDR6, che lo rendono ideale per gestire set di dati di grandi dimensioni e simulazioni complesse. I suoi 10,752 CUDA e 336 Tensor core consentono un calcolo accelerato, che è fondamentale per i nostri test di intelligenza artificiale e deep learning.

D'altra parte, le schede NVIDIA H100 PCIe sono le ultime schede disponibili nella gamma di architetture Hopper, progettate principalmente per carichi di lavoro AI. Ogni scheda presenta ben 80 miliardi di transistor, 80 GB di memoria HBM3 e l'innovativo Transformer Engine, su misura per modelli AI come GPT-4. I Tensor Core di quarta generazione dell'H100 e le istruzioni DPX migliorano significativamente le attività di inferenza e addestramento dell'IA.

Integrando queste GPU nel nostro sistema barebone Supermicro, ci siamo concentrati sul garantire una gestione termica e una distribuzione energetica ottimali, dato il sostanziale assorbimento di potenza e la generazione di calore da questi componenti di fascia alta. Il telaio Supermicro, pur non supportando ufficialmente tale configurazione, si è dimostrato sufficientemente versatile per adattarsi al nostro setup. Per tenere sotto controllo la temperatura degli A6000, abbiamo dovuto distanziarli di una larghezza di scheda a causa del design della ventola a gabbia di scoiattolo, ma gli H100 possono essere integrati con le loro alette di raffreddamento passive passthrough.

La nostra suite di benchmarking includeva un mix di casi d'uso specifici per HPC e intelligenza artificiale. Questi spaziavano dai tradizionali carichi di lavoro di benchmarking all'addestramento dell'intelligenza artificiale e alle attività di inferenza utilizzando modelli di rete neurale convoluzionale. Il nostro obiettivo era spingere questi acceleratori al limite, valutandone le prestazioni e l'efficienza, la scalabilità e la facilità di integrazione con il nostro server Supermicro A+.

Test GPU Supermicro AS-4125GS-TNRT

Mentre ci muoviamo tra le GPU di punta di NVIDIA mentre lavoriamo su un modello fondamentale della CNN in laboratorio, abbiamo iniziato con una formazione a livello di workstation su una coppia di GPU più vecchie ma altamente capaci RTX8000 GPU.

Durante la nostra analisi delle prestazioni dell'intelligenza artificiale, abbiamo osservato una progressione notevole ma attesa nelle capacità, passando dalla NVIDIA RTX 8000 a quattro GPU RTX A6000 e infine a quattro schede NVIDIA H100 PCIe. Questa progressione ha messo in mostra la potenza pura di questi acceleratori e l'evoluzione degli acceleratori NVIDIA nel corso degli ultimi anni, man mano che l'attenzione viene posta sempre di più sui carichi di lavoro IA.

A partire dall'RTX 8000, abbiamo notato livelli di prestazioni decenti. Con questa configurazione, l'addestramento del nostro modello AI su un set di dati di immagini da 6.36 GB ha richiesto circa 45 minuti per epoca. Tuttavia, i limiti dell’RTX 8000 erano evidenti in termini di dimensioni del batch e complessità delle attività che poteva gestire. Eravamo vincolati a lotti di dimensioni più piccole e limitati nella complessità dei modelli di rete neurale che potevamo addestrare efficacemente.

Il passaggio a quattro GPU RTX A6000 ha segnato un significativo salto di prestazioni. La larghezza di banda di memoria superiore dell'A6000 e la memoria GDDR6 più grande ci hanno permesso di quadruplicare la dimensione del batch mantenendo la stessa durata epocale e complessità del modello. Questo miglioramento ha migliorato il processo di formazione e ci ha permesso di sperimentare modelli più sofisticati senza estendere i tempi di formazione.

Tuttavia, il progresso più sorprendente è arrivato con l’introduzione di quattro schede PCIe NVIDIA H100. Sfruttando le capacità di intelligenza artificiale avanzate dell’architettura Hopper, queste carte ci hanno permesso di raddoppiare nuovamente la dimensione del batch. Ancora più impressionante, potremmo aumentare significativamente la complessità dei nostri modelli di intelligenza artificiale senza alcun cambiamento notevole nella durata dell’epoca. Questa capacità testimonia le funzionalità avanzate specifiche dell’IA dell’H100, come il Transformer Engine e i Tensor Core di quarta generazione, ottimizzati per gestire in modo efficiente operazioni AI complesse.

Nel corso di questi test, il set di dati dell'immagine da 6.36 GB e i parametri del modello sono serviti come punto di riferimento coerente, permettendoci di confrontare direttamente le prestazioni tra diverse configurazioni della GPU. Il passaggio dall'RTX 8000 agli A6000, e poi agli H100, ha evidenziato miglioramenti nella potenza di elaborazione pura e nella capacità delle GPU di gestire carichi di lavoro AI più grandi e complessi senza compromettere la velocità o l'efficienza. Ciò rende queste GPU particolarmente adatte per la ricerca sull’intelligenza artificiale all’avanguardia e per applicazioni di deep learning su larga scala.

Il server Supermicro utilizzato nei nostri test presenta una connessione PCIe diretta alle CPU, evitando la necessità di uno switch PCIe. Questo collegamento diretto garantisce che ciascuna GPU abbia un percorso dedicato alla CPU, facilitando un trasferimento dati rapido ed efficiente. Questa architettura è fondamentale in alcuni carichi di lavoro in AI e HPC per ridurre al minimo la latenza e massimizzare l'utilizzo della larghezza di banda, particolarmente utile quando si affrontano attività ad alto rendimento come l'addestramento del modello AI o ambienti VDI complessi quando tutto il lavoro è locale sul server.

Conclusione

La scalabilità e la flessibilità del server Supermicro GPU A+ Server AS-4125GS-TNRT sono le caratteristiche principali in questo caso. È particolarmente vantaggioso per i clienti che devono adattarsi alle esigenze in evoluzione dei carichi di lavoro, sia nell'intelligenza artificiale, VDI o altre attività ad alte prestazioni. Partendo da una configurazione modesta, gli utenti possono gestire in modo efficace attività AI o VDI entry-level, offrendo una soluzione economicamente vantaggiosa per carichi di lavoro più piccoli o per coloro che stanno appena iniziando ad avventurarsi nell'intelligenza artificiale e nell'infrastruttura desktop virtuale. Questa configurazione iniziale fornisce una base solida e scalabile, consentendo agli utenti di interagire con applicazioni AI e VDI di base ma essenziali.

Inoltre, anche se sappiamo che molte aziende desiderano trarre vantaggio dalle GPU H100 con socket, i tempi di attesa per queste piattaforme sono eccessivi: molte fonti ci hanno detto che l'attesa è di quasi un anno. La logistica della catena di fornitura sottolinea il bello di questo server, può gestire qualsiasi cosa. Le GPU L40S sono disponibili "adesso" in modo che i clienti possano almeno spostare i loro carichi di lavoro AI il prima possibile insieme a questa combinazione. E man mano che le esigenze cambiano, i clienti possono facilmente scambiare le carte. Ciò garantisce che il server Supermicro GPU A+ Server AS-4125GS-TNRT non sia solo per le esigenze immediate ma sia a prova di futuro, soddisfacendo il panorama tecnologico in evoluzione.

Pagina del prodotto del server GPU Supermicro 4U

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed