CoolIT dispone di piastre fredde, collettori e unità di distribuzione del raffreddamento progettate per aiutare le aziende ad adottare il raffreddamento a liquido per server assetati di energia.
Abbiamo collaborato con CoolIT Systems per portare il raffreddamento a liquido nel nostro laboratorio. Nell'ambito di questo impegno, abbiamo messo insieme un mini impianto di raffreddamento a liquido e abbiamo adattato un Dell PowerEdge R760, convertendolo da raffreddamento ad aria a raffreddamento a liquido. Abbiamo appena iniziato il nostro viaggio nel raffreddamento a liquido, ma abbiamo già fatto importanti scoperte sui vantaggi offerti dal raffreddamento a liquido diretto (DLC).
Dell PowerEdge R760 dopo la conversione DLC
Il raffreddamento a liquido, in una forma o nell’altra, sarà necessario per supportare i carichi di lavoro moderni. I conti non funzionano più per i server con raffreddamento ad aria con un'enorme potenza di progettazione termica di CPU e GPU (TDP). Il DLC fornito tramite piastre fredde è la soluzione più comune, ogni fornitore di server ha almeno un'opzione. Per quanto riguarda Dell, ha collaborato con CoolIT Systems per fornire il raffreddamento a liquido in tutto il portafoglio PowerEdge.
Il nostro laboratorio, come la maggior parte dei data center, non è stato progettato inizialmente per sfruttare il raffreddamento a liquido. Ma, come molti data center, stiamo vedendo che i server ad alta potenza richiedono in qualche modo un raffreddamento a liquido e, se vogliamo trarre vantaggio da questi sistemi, dobbiamo adattarci. È una storia che sentiamo spesso in ambito aziendale in questi giorni, poiché i data center stanno investendo nell'intelligenza artificiale e la scoperta della maggior parte di questi sistemi richiederà presto un circuito liquido di qualche tipo per il funzionamento.
Nel nostro caso, abbiamo deciso di iniziare aggiornando uno dei server Dell PowerEdge R760 in laboratorio. Per essere chiari, quando i clienti desiderano server raffreddati a liquido, vengono ordinati da Dell in questo modo. Dell gestisce l'integrazione con CoolIT e i clienti ricevono un server con piastre fredde installate e tubi collegati per il raffreddamento a liquido. I sistemi DLC PowerEdge hanno alcune sfumature che li rendono diversi dai server raffreddati ad aria, con questo lavoro ci siamo spinti in un territorio relativamente inesplorato. La scheda iDRAC è diversa, ad esempio la versione DLC ha un cavo per il rilevamento delle perdite. Il processo di conversione è riuscito con successo, ma l'installazione delle tue piastre fredde non è un'attività supportata.
Kit DLC CoolIT
CoolIT ci ha fornito un mini sistema che viene generalmente utilizzato per una piccola prova di concetto mentre i loro clienti lavorano attraverso il processo di aggiunta del raffreddamento a liquido ai loro data center. Detto questo, questo sistema può scalare fino a 10 kW, quindi è un ottimo modo per chi è nuovo al raffreddamento a liquido di acquisire esperienza con mezzo rack o giù di lì. Ci sono tre componenti chiave di questa configurazione: le piastre fredde, il collettore a rack e l'unità di distribuzione del refrigerante (CDU).
CoolIT R760 Piatti freddi
Le piastre fredde sono progettate per casi d'uso TDP specifici e si adattano perfettamente alla CPU o alla GPU da raffreddare. Sembrano ingannevolmente semplici e, anche se non ci sono pompe o parti mobili sulle piastre stesse, la progettazione non è banale grazie all'aumento dei TDP. Per prospettiva, CoolIT ha recentemente lanciato a nuova linea di piatti freddi che può supportare fino a 1500W. Le CPU del nostro R760 sono un po' banali in confronto, le CPU Intel Xeon 8580 hanno "solo" un TDP di 350 W ciascuna.
Dell R760 con piastre fredde CoolIT
L'installazione delle piastre fredde è molto semplice, i blocchi hanno anche la pasta termica preapplicata, è un kit drop-in molto semplice. Come notato in precedenza, esiste una scheda iDRAC diversa per i sistemi DLC che ha il punto di connessione per il cavo di rilevamento perdite che parte dalle piastre fredde. I tubi vengono instradati fuori dal retro dell'R760, attraverso una staffa diversa fornita con il kit DLC iDRAC.
Collettore CoolIT
Le piastre fredde sono collegate al collettore tramite collegamenti caldo/freddo etichettati. Il collettore stesso è realizzato in acciaio inossidabile e i raccordi sono a disconnessione rapida antigoccia. Sono necessari alcuni secondi per connettere il server al collettore, che viene fornito precompilato. Per inciso, il nostro collettore è stato posizionato nella parte posteriore del rack, ma se necessario può essere configurato nella parte anteriore. Abbiamo un mini collettore per questo caso d'uso, un rack DLC più tradizionale avrebbe un collettore che copre l'intero rack. Il collettore si collega direttamente alla CDU.
CoolIT AHx10CDU
La CDU fa il lavoro pesante in questo ciclo, noi usiamo il file CoolIT AHx10. Si tratta di una CDU liquido-aria da 5U in grado di gestire 7 kW di carico a una temperatura ambiente di 25°C. CoolIT offre un kit di espansione che ridurrà questa unità a 10kW. All'interno del telaio è presente uno scambiatore di calore liquido-aria e pompe ridondanti. La CDU, come il collettore, viene fornita preriempita. Abbiamo posizionato la nostra unità relativamente in basso nel rack, ma la CDU può andare ovunque, a seconda di come è impostato il rack.
Interfaccia CoolIT AHx10
L'AHx10 ha un consumo energetico massimo di 750 W, il che aiuta nella conversazione economica generale sul risparmio energetico. Il sistema è dotato di un display touchscreen intuitivo che offre supporto per l'accesso remoto. A parte impostare inizialmente la pressione della pompa, c'è davvero ben poco da fare con la CDU, è praticamente impostarla e dimenticarsene, la nostra è in funzione da alcune settimane senza ulteriori interventi.
Vale la pena notare che con questa attrezzatura CoolIT non risolviamo il caldo in sé. Stiamo in effetti spostando il calore dalle CPU dell'R760 allo scambiatore di calore all'interno della CDU. Dobbiamo ancora raffreddare il laboratorio come prima poiché non disponiamo di acqua per poter trasferire il calore all'esterno del laboratorio. Detto questo, un piccolo sistema come questo è perfetto per alcuni server raffreddati a liquido e potrebbe essere la soluzione ideale per un'azienda con una piccola implementazione di intelligenza artificiale, qualcosa come Dell PowerEdge XE9640 si accoppierebbe bene.
Dell PowerEdge XE9640 raffreddato a liquido
Anche se dobbiamo ancora fare i conti con il calore del DLC R760 nel nostro laboratorio, ci sono diversi vantaggi nel passare al raffreddamento a liquido.
Vantaggi del DLC
Quando si passa al raffreddamento a liquido dal raffreddamento ad aria, il vantaggio più grande e più evidente è la riduzione dell’utilizzo delle ventole. L'R760 necessita ancora di flusso d'aria per i componenti di sistema come DRAM e storage, ma non è necessario che girino così velocemente. Sebbene ciò renda il server più silenzioso, la parte migliore del ciclo DLC è la riduzione del consumo di elettricità. L'altra cosa che abbiamo riscontrato è stata un po' sorprendente, il DLC R760 ha funzionato leggermente meglio rispetto a quando era raffreddato ad aria.
Per osservare più da vicino il consumo di elettricità dell'R760, abbiamo impostato il nostro Modulo di analisi della potenza di rete Quarch QTL2843. Abbiamo utilizzato il server sia con i dissipatori di calore raffreddati ad aria di fabbrica sia con le piastre fredde CoolIT. Per mettere sotto pressione le CPU, abbiamo eseguito un calcolo Pi a 50 miliardi di cifre, che sottopone a un carico molto pesante CPU e DRAM. Il nostro intento era quello di spingere le CPU il più forte possibile per garantire che le ventole venissero chiamate al massimo del loro servizio richiesto.
Configurazione DLC iDRAC R760
L'impatto dell'implementazione del DLC è stato immediatamente evidente. Quando si utilizza l'R760 nella configurazione raffreddata ad aria, le ventole girano al 100% durante il carico di lavoro, come previsto. Con la configurazione DLC, l'R760 ha scelto di far girare le ventole al 32%, un calo drammatico. Ciò equivale a un risparmio di 200 watt, in un solo server. Non è solo la velocità della ventola a risaltare, le CPU stesse hanno riportato circa la metà della temperatura con DLC, 41/42°C rispetto a 88/89°C con raffreddamento ad aria.
R760 iDRAC raffreddato ad aria Configurazione
Ma non è solo il risparmio energetico che viene fuori dall'altra parte quando si passa al raffreddamento a liquido. Abbiamo notato un piccolo aumento delle prestazioni, cosa che non ci aspettavamo. Grazie alle piastre fredde che garantiscono un raffreddamento migliore, la CPU può funzionare al meglio. Nella configurazione raffreddata ad aria, l'R760 ha completato il calcolo di 50 miliardi di Pi in 369 secondi. Nella configurazione DLC, l'R760 è andato un po' più veloce, consegnando il calcolo in 347 secondi. Si tratta di un aumento delle prestazioni di circa il 6%, che ci consente di sfruttare un po' di più le CPU Intel.
Considerazioni finali
Abbiamo appena iniziato con il raffreddamento a liquido in laboratorio e siamo entusiasti di aver lavorato con CoolIT su questo sforzo iniziale. Le piastre fredde funzionano perfettamente sul PowerEdge R760 e il collettore e la CDU si uniscono e "funzionano" senza preoccupazioni o continui ritocchi. Per coloro che temono di portare liquidi nel data center, la semplicità costante è fondamentale. Inoltre, non abbiamo avuto perdite o altri eventi più catastrofici, come previsto, si tratta di apparecchiature aziendali con un tasso di guasto estremamente basso.
Parte posteriore Dell R760 con tubi DLC
Per le aziende che desiderano introdurre sistemi di intelligenza artificiale ad alta potenza nei data center, il raffreddamento a liquido è una conclusione scontata. I server GPU a 8 vie abbandoneranno il raffreddamento ad aria, optando per loop DLC come questo o come minimo, un loop chiuso e un radiatore. In ogni caso, una certa quantità di liquido finirà nel data center. Con il sostanziale risparmio energetico e il modesto incremento delle prestazioni, ci sono molte ragioni per cui le aziende dovrebbero adottare i server DLC.
CoolIT è un chiaro leader in questo spazio e il suo rapporto con Dell porta sul mercato un'ampia varietà di soluzioni di raffreddamento a liquido in un modo facilmente consumabile, con ben poco di cui preoccuparsi. Non vediamo l'ora di esplorare ulteriormente il nostro piccolo circuito e di vedere altri server raffreddati a liquido in laboratorio.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
