CoolIT verfügt über Kühlplatten, Verteiler und Kühlverteilungseinheiten, die Unternehmen bei der Einführung einer Flüssigkeitskühlung für stromhungrige Server unterstützen sollen.
Wir haben uns mit CoolIT Systems zusammengetan, um Flüssigkeitskühlung in unser Labor zu bringen. Im Rahmen dieser Bemühungen haben wir eine Mini-Flüssigkeitskühlungsanlage zusammengestellt und einen Dell PowerEdge R760 nachgerüstet und ihn von luftgekühlt auf flüssigkeitsgekühlt umgestellt. Wir stehen erst am Anfang unserer Reise zur Flüssigkeitskühlung, haben aber bereits wichtige Erkenntnisse über die Vorteile der direkten Flüssigkeitskühlung (DLC) gewonnen.
Dell PowerEdge R760 nach DLC-Konvertierung
Zur Unterstützung moderner Arbeitslasten wird eine Flüssigkeitskühlung in irgendeiner Form erforderlich sein. Bei luftgekühlten Servern mit enormer Thermal Design Power (TDP) von CPU und GPU funktioniert die Rechnung nicht mehr. Über Kühlplatten bereitgestellter DLC ist die gebräuchlichste Lösung, jeder Serveranbieter hat mindestens eine Option. Dell hat sich mit CoolIT Systems zusammengetan, um Flüssigkeitskühlung für das gesamte PowerEdge-Portfolio bereitzustellen.
Unser Labor war, wie die meisten Rechenzentren, von Anfang an nicht darauf ausgelegt, die Vorteile der Flüssigkeitskühlung zu nutzen. Aber wie in vielen Rechenzentren sehen auch wir, dass die Server mit der höchsten Leistung in irgendeiner Form eine Flüssigkeitskühlung benötigen, und wenn wir die Vorteile dieser Systeme nutzen wollen, müssen wir uns anpassen. Es ist eine Geschichte, die wir heutzutage in Unternehmen oft hören, da Rechenzentren in KI investieren und die meisten dieser Systeme bald eine Art Flüssigkeitskreislauf für den Betrieb erfordern werden.
In unserem Fall haben wir uns entschieden, zunächst einen der Dell PowerEdge R760-Server im Labor nachzurüsten. Um es klarzustellen: Wenn Kunden flüssigkeitsgekühlte Server wünschen, werden sie auf diese Weise bei Dell bestellt. Dell kümmert sich um die Integration mit CoolIT und Kunden erhalten einen Server mit installierten Kühlplatten und angeschlossenen Schläuchen für die Flüssigkeitskühlung. DLC PowerEdge-Systeme weisen einige Nuancen auf, die sie von luftgekühlten Servern unterscheiden. Mit dieser Arbeit sind wir auf relativ unbekanntes Terrain vorgedrungen. Die iDRAC-Karte ist beispielsweise anders, die DLC-Version verfügt über einen Anschluss zur Leckerkennung. Der Umstellungsprozess war erfolgreich, die Installation eigener Kühlplatten wird jedoch nicht unterstützt.
CoolIT DLC-Kit
CoolIT hat uns mit einem Minisystem ausgestattet, das normalerweise für einen kleinen Proof of Concept verwendet wird, während seine Kunden den Prozess der Erweiterung ihrer Rechenzentren mit Flüssigkeitskühlung durchführen. Allerdings kann dieses System auf 10 kW skaliert werden, sodass es für Einsteiger in die Flüssigkeitskühlung eine großartige Möglichkeit ist, Erfahrungen mit etwa einem halben Rack zu sammeln. Es gibt drei Schlüsselkomponenten dieses Aufbaus: die Kühlplatten, den Rackverteiler und die Kühlmittelverteilungseinheit (CDU).
CoolIT R760 Kühlplatten
Die Kühlplatten sind für bestimmte TDP-Anwendungsfälle konzipiert und passen perfekt zu der zu kühlenden CPU oder GPU. Sie sehen täuschend einfach aus, und obwohl sich auf den Platten selbst keine Pumpen oder beweglichen Teile befinden, ist die Technik dank steigender TDPs nicht trivial. Zur Veranschaulichung: CoolIT hat kürzlich eine gestartet neue Linie von Kühlplatten das bis zu 1500 W unterstützen kann. Die CPUs in unserem R760 sind im Vergleich etwas fußläufig, die Intel Xeon 8580 CPUs haben „nur“ jeweils eine TDP von 350W.
Dell R760 mit CoolIT-Kühlplatten
Die Installation der Kühlplatten ist sehr einfach, auf die Blöcke ist sogar bereits Wärmeleitpaste aufgetragen, es handelt sich um einen sehr einfachen Einbausatz. Wie bereits erwähnt, gibt es für DLC-Systeme eine andere iDRAC-Karte, die über den Verbindungspunkt für das Leckerkennungskabel verfügt, das von den Kühlplatten verläuft. Die Schläuche werden durch eine andere Halterung, die im DLC-iDRAC-Kit enthalten ist, an der Rückseite des R760 herausgeführt.
CoolIT-Verteiler
Die Kaltplatten werden über gekennzeichnete Warm-/Kaltanschlüsse mit dem Verteiler verbunden. Der Verteiler selbst besteht aus Edelstahl und die Anschlüsse sind tropffreie Schnellkupplungen. Es dauert ein paar Sekunden, den Server an den Verteiler anzuschließen, der bereits vorgefüllt ist. Unser Verteiler passte übrigens hinten in das Rack, kann aber bei Bedarf auch vorne konfiguriert werden. Für diesen Anwendungsfall haben wir einen Mini-Verteiler, ein traditionelleres DLC-Rack hätte einen Verteiler, der das gesamte Rack abdeckt. Der Verteiler wird direkt an die CDU angeschlossen.
CoolIT AHx10 CDU
Die CDU übernimmt in dieser Schleife die Hauptarbeit, wir nutzen die CoolIT AHx10. Hierbei handelt es sich um eine 5-HE-Flüssigkeit-Luft-CDU, die eine Last von 7 kW bei einer Umgebungstemperatur von 25 °C bewältigen kann. CoolIT bietet ein Erweiterungskit an, mit dem dieses Gerät auf 10 kW skaliert werden kann. Im Inneren des Gehäuses befinden sich ein Flüssigkeit-Luft-Wärmetauscher und redundante Pumpen. Die CDU wird, wie auch der Krümmer, vorgefüllt geliefert. Wir haben unsere CDU relativ tief im Rack platziert, aber die CDU kann überall platziert werden, je nachdem, wie das Rack aufgebaut ist.
CoolIT AHx10-Schnittstelle
Der AHx10 hat einen maximalen Stromverbrauch von 750 W, was bei der gesamtwirtschaftlichen Diskussion über Stromeinsparungen hilfreich ist. Das System verfügt über ein intuitives Touchscreen-Display, das Fernzugriffsunterstützung bietet. Abgesehen von der anfänglichen Einstellung des Pumpendrucks gibt es bei der CDU wirklich sehr wenig zu tun, man muss sie nur einstellen und vergessen, unsere läuft seit ein paar Wochen ohne zusätzliche Eingriffe.
Es ist erwähnenswert, dass wir mit dieser CoolIT-Ausrüstung keine Lösung für die Hitze selbst finden. Wir verlagern praktisch die Wärme von den CPUs des R760 zum Wärmetauscher innerhalb der CDU. Wir müssen das Labor immer noch wie zuvor kühlen, da wir kein Betriebswasser haben, um die Wärme außerhalb des Labors abzuführen. Allerdings ist ein kleines System wie dieses perfekt für ein paar flüssigkeitsgekühlte Server und möglicherweise ideal für ein Unternehmen mit einer kleinen KI-Bereitstellung, etwa dem Dell PowerEdge XE9640 würde gut zusammenpassen.
Flüssigkeitsgekühlter Dell PowerEdge XE9640
Auch wenn wir in unserem Labor immer noch mit der Hitze des DLC R760 zu kämpfen haben, bietet die Umstellung auf Flüssigkeitskühlung mehrere Vorteile.
Vorteile von DLC
Bei der Umstellung von Luftkühlung auf Flüssigkeitskühlung ist der größte und offensichtlichste Vorteil die Reduzierung des Lüfterverbrauchs. Der R760 benötigt immer noch Luftzirkulation für Systemkomponenten wie DRAM und Speicher, diese müssen sich jedoch nicht so schnell drehen. Dadurch wird der Server zwar leiser, das Beste an der DLC-Schleife ist jedoch die Reduzierung des Stromverbrauchs. Das andere, was wir fanden, war ein wenig überraschend: Der DLC R760 schnitt etwas besser ab als mit Luftkühlung.
Um den Stromverbrauch des R760 genauer zu betrachten, haben wir unseren eingerichtet Quarch QTL2843 Netzstrom-Analysemodul. Wir haben den Server sowohl mit seinen werkseitig luftgekühlten Kühlkörpern als auch erneut mit den CoolIT-Kühlplatten betrieben. Um die CPUs unter Druck zu setzen, haben wir eine Pi-Berechnung mit 50 Milliarden Stellen durchgeführt, was eine sehr hohe Belastung für CPU und DRAM darstellt. Unser Ziel war es, die CPUs so stark wie möglich zu beanspruchen, um sicherzustellen, dass die Lüfter ihre maximale Leistung erbringen müssen.
R760 iDRAC DLC-Konfiguration
Die Auswirkungen der DLC-Implementierung waren sofort offensichtlich. Beim Betrieb des R760 in der luftgekühlten Konfiguration drehen die Lüfter während der Auslastung erwartungsgemäß auf 100 %. Mit der DLC-Konfiguration entschied sich der R760 dafür, die Lüfter auf 32 % zu drehen, was einen dramatischen Rückgang darstellt. Das entspricht einer Einsparung von 200 Watt bei nur einem einzigen Server. Es ist nicht nur die Lüftergeschwindigkeit, die auffällt, auch die CPUs selbst meldeten mit DLC etwa die Hälfte der Temperatur, nämlich 41/42 °C im Vergleich zu 88/89 °C bei Luftkühlung.
R760 iDRAC luftgekühlte Konfiguration
Aber es sind nicht nur die Energieeinsparungen, die sich bei der Umstellung auf Flüssigkeitskühlung ergeben. Wir haben einen kleinen Leistungsschub gesehen, den wir nicht erwartet hatten. Da die Kühlplatten für eine bessere Kühlung sorgen, kann die CPU voll ausgelastet werden. In der luftgekühlten Konfiguration erledigte der R760 die 50-Milliarden-Pi-Berechnung in 369 Sekunden. In der DLC-Konfiguration war der R760 etwas schneller und lieferte die Berechnung in 347 Sekunden. Das ist ein Leistungszuwachs von rund 6 %, sodass wir noch etwas mehr aus den Intel-CPUs herausholen können.
Abschließende Überlegungen
Wir fangen gerade erst mit der Flüssigkeitskühlung im Labor an und freuen uns, bei diesem ersten Projekt mit CoolIT zusammengearbeitet zu haben. Die Kühlplatten funktionieren beim PowerEdge R760 perfekt und der Verteiler und die CDU passen zusammen und „funktionieren“ ohne Bedenken oder ständige Bastelei. Für diejenigen, die Angst davor haben, Flüssigkeit in das Rechenzentrum zu bringen, ist kontinuierliche Einfachheit von entscheidender Bedeutung. Wir hatten auch keine Lecks oder andere katastrophalere Ereignisse, was zu erwarten ist, da es sich hierbei um Enterprise-Geräte mit einer äußerst niedrigen Ausfallrate handelt.
Dell R760 hinten mit DLC-Schläuchen
Für Unternehmen, die leistungsstarke KI-Systeme in ihr Rechenzentrum integrieren möchten, ist die Flüssigkeitskühlung eine Selbstverständlichkeit. Die 8-Wege-GPU-Server werden auf die Luftkühlung verzichten und sich für DLC-Schleifen wie diesen oder zumindest einen geschlossenen Kreislauf und Kühler entscheiden. In jedem Fall gelangt eine gewisse Menge Flüssigkeit in das Rechenzentrum. Angesichts der erheblichen Stromeinsparungen und der bescheidenen Leistungssteigerung gibt es viele Gründe, warum Unternehmen auf DLC-Server setzen sollten.
CoolIT ist in diesem Bereich eindeutig führend und seine Zusammenarbeit mit Dell bringt eine große Auswahl an Flüssigkeitskühlungslösungen auf den Markt, die leicht zu verbrauchen sind und kaum einen Grund zur Sorge bieten. Wir freuen uns darauf, unseren kleinen Kreislauf weiter zu erkunden und können es kaum erwarten, weitere flüssigkeitsgekühlte Server im Labor zu sehen.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
