Recensione Dell PowerEdge XE9680: il mio server preferito mai testato

Di solito aspettiamo fino alla fine dell'articolo per dipingere il quadro completo e completare la recensione. Tuttavia, il Dell PowerEdge XE9680 presenta un hardware così entusiasmante che non vedevamo l'ora di condividere il nostro entusiasmo con questa recensione positiva. Il design di Dell è incentrato sulle esigenze dell'intelligenza artificiale, fornendo un'enorme quantità di potenza di calcolo in un fattore di forma 6U. Grazie alla partnership di Dell con Intel e NVIDIA sull'XE9680, hanno messo a punto un'offerta che non è solo potente ma altamente efficiente.

Di solito aspettiamo fino alla fine dell'articolo per dipingere il quadro completo e completare la recensione. Tuttavia, il Dell PowerEdge XE9680 presenta un hardware così entusiasmante che non vedevamo l'ora di condividere il nostro entusiasmo con questa recensione positiva. Il design di Dell è incentrato sulle esigenze dell'intelligenza artificiale, fornendo un'enorme quantità di potenza di calcolo in un fattore di forma 6U. Grazie alla partnership di Dell con Intel e NVIDIA sull'XE9680, hanno messo a punto un'offerta che non è solo potente ma altamente efficiente.

Dell PowerEdge XE9680

Le sue specifiche sono a dir poco impressionanti; due processori scalabili Intel Xeon di quarta generazione, 4 core ciascuno e 56 TB di RAM DDR2 forniscono la struttura portante della CPU per gli acceleratori AI. Aggiungendo poi le otto GPU NVIDIA HGX H5 o A100, collegate su SXM e insieme tramite NVLink, il server è attrezzato per gestire i modelli e i carichi di lavoro di dati più grandi.

La capacità di PowerEdge XE9680 per grandi volumi di RAM (fino a 4 TB) offre un vantaggio competitivo significativo nella gestione dei carichi di lavoro AI. Impronte di memoria così grandi consentono l'addestramento di modelli più complessi, portando a prestazioni più elevate e risultati più accurati.

Le nostre configurazioni includono 8 alloggiamenti SSD U.2 NVMe nella parte anteriore. Ma proprio come abbiamo visto con il R660, Dell intende offrire anche un backplane E3.S, con 16x SSD E3.S. Il server supporta anche l'unità di avvio NVMe BOSS-N1 sul retro del server.

Non si tratta solo di potere

PowerEdge XE9680 non è solo una questione di potenza; dà inoltre priorità alla sicurezza e alla gestibilità. Con funzionalità come firmware firmato crittograficamente, crittografia dei dati a riposo e avvio sicuro, il server garantisce che i tuoi dati siano sempre protetti. Il sistema iDRAC9 integrato fornisce un'interfaccia di gestione facile da usare, offrendo una varietà di strumenti e integrazioni che rendono la gestione del server semplice e senza problemi.

Abbiamo messo alla prova questo sistema quando volevamo cambiare l'installazione del sistema operativo (ne parleremo più avanti) sul server ed è stato più semplice utilizzare la funzione di cancellazione crittografica dell'iDRAC con solo pochi clic per iniziare con un sistema pulito lavorare con.

nvidia-smi sull'XE9680 con schede H100

In precedenza abbiamo esaminato il white paper di Dell sul XE9680 e le prestazioni del server Dell PowerEdge XE9680 se valutate rispetto ai benchmark di latenza di generazione delle immagini impostati da Lambda. Il server ha fornito circa il doppio del throughput, a testimonianza della potenza e dell'efficienza di PowerEdge XE9680.

I punteggi MLPerf sono ampiamente conosciuti e accettati come un buon posizionamento in termini di prestazioni dei sistemi di questa classe, quindi per sfruttare il nostro tempo pratico con i server XE9680 A100 e H100, abbiamo deciso di eseguire un confronto testa a testa tra i server XE4 A100 e HXNUMX. sintonizzazione di LLaMa di Meta con i due sistemi. Per fare ciò, abbiamo seguito le fasi di formazione dell’Alpaca di Stanford, che hanno realizzato utilizzando XNUMX sistemi AXNUMX.

Addestramento degli alpaca sull'XE9680

Vogliamo ringraziare i team di NVIDIA e Dell per la loro assistenza con questo progetto. Si tratta di una tecnologia così all’avanguardia dal punto di vista hardware e software che senza la guida degli esperti del settore di entrambe le società, il processo sarebbe stato molto più lungo e intenso.

Sul sistema A100, utilizzando il processo delineato sullo Stanford Alpaca Git Hub, abbiamo potuto riprodurre i passaggi per creare i checkpoint Alpaca completando le tre epoche di addestramento, con una media di circa 90 minuti.

Passando al sistema H100, abbiamo riscontrato un miglioramento con corse completate in circa 70 minuti per corsa. A causa dell'elevata domanda e della natura limitata di questi sistemi, non abbiamo avuto l'opportunità di mettere a punto il codice stesso per esplorare possibili miglioramenti delle prestazioni ed era chiaro che con il perfezionamento e il tempo dedicato allo sviluppo, un team aziendale avrebbe potuto ottenere una rapida svolta tempo con la messa a punto.

Ufficialmente non ufficiale

Sull'XE100 con versione A9680, abbiamo avuto l'opportunità di eseguire alcuni test fuori dagli schemi e altamente non ortodossi. Abbiamo installato Windows Server 2022 sul sistema! Ciò ha comportato la pulizia dell'unità iDRAC per rimuovere l'installazione di Linux, alcuni trucchi con i file iDRAC .iso e i supporti virtuali per eseguire il sideload dei driver della rete Intel e da lì si è partiti per le gare. Utilizzando le unità chipset di un sistema Dell PowerEdge comparabile e quindi i driver NVIDIA A100 ufficiali.

Il sistema funziona ed è stabile senza problemi. Tuttavia, questo è un caso d'uso molto insolito che Dell non supporta ufficialmente. Quindi, armati della nostra nuova installazione di Windows e di otto delle migliori GPU sul mercato, l'abbiamo fatto ciò che sappiamo fare meglio, benchmark Pi!

Le otto schede NVIDIA A100 hanno infranto facilmente i record mondiali GPU-Pi senza alcuna messa a punto e le CPU Xeon Platinum hanno ottenuto ottimi numeri sia su y-cruncher che su Cinebench. Abbiamo provato alcuni dei nostri altri benchmark standard di CPU/GPU con poche speranze che funzionassero e, come previsto, ci siamo imbattuti in problemi di software/codificatore che hanno impedito il successo delle esecuzioni. Procyon, ad esempio, non aveva nemmeno capito di avere a disposizione GPU Tensor per effettuare il test.

Ancora una volta dobbiamo ribadire che si è trattato semplicemente di un test di una configurazione non supportata e il fatto che siamo riusciti a far funzionare qualcosa è impressionante e testimonia la capacità di Dell di produrre hardware coerente su tutte le piattaforme. Utilizzare Windows Server su questo tipo di sistema in qualsiasi ambiente di produzione non sarebbe saggio.

Vale la pena notare che prestazioni così impressionanti non si traducono solo in velocità, ma influiscono anche sull’applicazione pratica dell’intelligenza artificiale. Grazie a capacità di riqualificazione e messa a punto più rapide, le aziende possono migliorare significativamente la propria agilità, consentendo loro di rispondere rapidamente ai cambiamenti del mercato, alle esigenze dei clienti e ai requisiti interni. Ad esempio, i team di progettazione possono valutare e perfezionare i concetti in tempo reale, riducendo significativamente il time-to-market, oppure i team di conformità possono addestrare e perfezionare continuamente modelli aggiornati con le politiche e le procedure più recenti per un LLM di tipo assistente.

Trasformare le operazioni utilizzando l'intelligenza artificiale generativa

Dell PowerEdge XE9680 può facilitare l'intelligenza artificiale generativa nella trasformazione di diverse operazioni di settore. Immagina uno scenario di vendita al dettaglio in cui l'intelligenza artificiale può generare rapidamente immagini realistiche di varie configurazioni di prodotto o opzioni di colore in base alle preferenze del cliente o un'impresa di costruzioni che crea visualizzazioni di nuovi edifici per la pianificazione e le presentazioni di vendita. Le possibilità sono affascinanti.

Dell PowerEdge XE9680 offre una fantastica combinazione di potenza, efficienza e versatilità. È un server ad alte prestazioni in grado di gestire con facilità carichi di lavoro AI impegnativi. E sebbene sia progettato specificamente per soddisfare i carichi di lavoro dell’intelligenza artificiale, le sue capacità gli danno il potenziale per essere utile per altre applicazioni.

Insieme all'impegno di Dell nell'aiutare le organizzazioni a eseguire i propri progetti di intelligenza artificiale tramite Progetto Elica, PowerEdge XE9680 è una proposta entusiasmante e una delle migliori innovazioni hardware che abbiamo visto tutto l'anno. Con la sua capacità di fornire potenza pura, raffinatezza e gestione del ciclo di vita di livello aziendale, non c'è da meravigliarsi che Dell PowerEdge XE9680 stia rapidamente diventando uno dei preferiti tra i server aziendali.

DellXE9680

Nvidia A100

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed