Die zweiphasige Kühlung von ZutaCore auf einem Supermicro-Server mit AMD EPYC bietet verbesserte Kühlung, Effizienz und rekordverdächtige Leistung.
Im Rahmen unserer laufenden Evaluierung fortschrittlicher Kühltechnologien für Hochleistungsserver haben wir die zweiphasige Direct-to-Chip-Kühllösung (DTC) ZutaCore® auf einem Supermicro-Server mit zwei AMD EPYC Bergamo-CPUs getestet. Dieser Test fand im Centersquare-Rechenzentrum in Reading, Berkshire, Großbritannien, in Zusammenarbeit mit dem Integrator Boston Limited statt.
Der Bedarf an effizienten Kühllösungen
Da die Anzahl der CPU-Kerne und der Stromverbrauch immer weiter zunehmen, können herkömmliche Luftkühlungslösungen mit den thermischen Anforderungen hochmoderner Prozessoren kaum Schritt halten. Dies zeigt sich insbesondere bei hochdichten Rechenknoten, bei denen Luftkühlungsmethoden die erhebliche Wärmeentwicklung von Hochleistungs-Multicore-CPUs wie AMDs 128-Core-Prozessor EPYC Bergamo nicht effektiv bewältigen können.
Da diese leistungsstarken Prozessoren eine beträchtliche Wärmeleistung erzeugen, treten die Einschränkungen der Luftkühlung immer deutlicher zutage. Selbst die fortschrittlichsten Kühlkörper haben Probleme, eine optimale Wärmeleistung aufrechtzuerhalten, ohne Lärm zu verursachen oder zu viel Strom zu verbrauchen.
Bei diesem Projekt geht es um die Aufrüstung eines Dual-Socket-Supermicro-Gehäuses von herkömmlicher Luftkühlung auf die zweiphasige DTC-Lösung von ZutaCore. Wir haben das System vor der Umstellung getestet, erhebliche Einschränkungen bei der Kühlleistung festgestellt und den Server nach der DTC-Installation einem Benchmarking unterzogen.
Das Hardware-Setup
Das Testsystem bestand aus einem 1U-Supermicro-Gehäuse mit zwei AMD EPYC Bergamo-CPUs, die jeweils über 128 Kerne verfügten. Mit 256 Kernen unter der Haube und 768 GB RAM ist dieser Server für die Bewältigung hoher Arbeitslasten ausgelegt, insbesondere in KI- und datenintensiven Umgebungen. Selbst mit großen herkömmlichen Luftkühlungskühlkörpern hatte das System jedoch Schwierigkeiten, die Temperaturen während des Stresstests unter Kontrolle zu halten, was zu einer thermischen Drosselung führte.
Wir haben uns für das zweiphasige Flüssigkeitskühlsystem von ZutaCore entschieden, um die Kühlung zu verbessern und die Leistung zu steigern. Dieses innovative System verwendet eine Wärmeübertragungsflüssigkeit, die in den direkt an den CPUs angebrachten Kühlplatten von flüssig zu verdampfen beginnt. Dieser Phasenwechsel ermöglicht eine viel höhere thermische Effizienz als herkömmliche Flüssigkeits- oder Luftkühler, da die latente Wärme aus der Flüssigkeitsverdampfung dazu beiträgt, die Wärme effektiver von den CPU-Kernen abzuleiten.
Der Konvertierungsprozess
Vorbereiten des Servers
Der Umbauprozess begann mit der Demontage der serienmäßigen Luftkühlungskomponenten. Durch das Entfernen der herkömmlichen Kühlkörper kamen die kleinen, dichten Kühlkörper der Bergamo-CPUs zum Vorschein, die eindeutig zu klein waren, um die thermische Belastung dieser stromhungrigen Chips zu bewältigen. Während der ersten Tests stellten wir fest, dass die CPUs hohe Temperaturen erreichten und unter Belastung Probleme mit der dauerhaften Leistung hatten.
Installieren der ZutaCore-Kühlplatten
Der nächste Schritt war die Einführung des Herzstücks des Zweiphasen-Kühlsystems: die maßgeschneiderten Kühlplatten von ZutaCore. Diese Kühlplatten sind mit internen Verdampfern ausgestattet, die es der Wärmeträgerflüssigkeit ermöglichen, Wärme aufzunehmen und zu verdampfen, während sie durch das System fließt. Die verdampfte Flüssigkeit wird dann zum Kondensator zurückgeführt, gekühlt und wieder in das System eingeführt, um den Zyklus fortzusetzen.
Eines der faszinierendsten Merkmale dieses Systems ist seine mechanische Selbstregulierung. Der Schwimmermechanismus jedes Verdampfers passt den Wärmeträgerflüssigkeitsfluss basierend auf der thermischen Belastung der CPU an. Ein geschlossenes System wie dieses stellt sicher, dass jede CPU ohne manuelles Eingreifen die erforderliche Flüssigkeitsmenge erhält.
Die Kühlplatten wurden sorgfältig auf die CPUs gesetzt, um einen gleichmäßigen Druck und optimalen thermischen Kontakt sicherzustellen. Die Schläuche, die die Wärmeübertragungsflüssigkeit transportieren, wurden an die Kühlplatten angeschlossen, und wir führten eine Reihe von Drucktests durch, um sicherzustellen, dass es keine Lecks gab, bevor wir mit der vollständigen Installation fortfuhren.
Integration mit den Energie- und Wärmemanagementsystemen des Servers
Die nächste Herausforderung bestand darin, das Kühlsystem in die umfassendere Infrastruktur des Rechenzentrums zu integrieren. Das DTC-System von ZutaCore lässt sich in die vorhandenen Wärmemanagementsysteme des Servers integrieren und bietet eine verbesserte Kontrolle durch die Kühlmanagementsoftware von ZutaCore. Diese Software ermöglicht die Echtzeitüberwachung wichtiger Kennzahlen wie Kühlmitteldruck, Temperatur an verschiedenen Punkten im System und CPU-Übergangstemperaturen.
Die Software verbindet sich mit dem IPMI (Intelligent Platform Management Interface) des Servers und ermöglicht so eine nahtlose Überwachung und Steuerung der Kühlparameter. Besonders beeindruckt waren wir von den bereitgestellten Details, darunter Lüftergeschwindigkeiten, Dampftemperaturen und Pumpenarbeitszyklen. Diese detaillierte Einsicht in den Kühlprozess ermöglicht eine Feinabstimmung der Systemleistung, um sie an die Arbeitslast anzupassen.
Nachdem das System mit den Schnellkupplungen an die Wärmeabgabeeinheit angeschlossen und die Atmosphärengase mithilfe des mitgelieferten Servicekits schnell aus dem Kreislauf entfernt wurden, war das System zum Einschalten bereit.
Performance-Highlights
Ergebnisse vor der Konvertierung
Wie oben erwähnt, führten wir vor der Umstellung auf das Zweiphasensystem von ZutaCore eine Reihe von Benchmarks mit der Standard-Luftkühlung durch. Bei Arbeitslasten, die alle 256 Kerne beanspruchen sollten, erreichte das System schnell seine thermischen Grenzen, was dazu führte, dass die CPUs ihre Leistung drosselten, um innerhalb sicherer Betriebstemperaturen zu bleiben. Dauerhaft hohe Belastungen führten dazu, dass die CPU-Temperaturen bei etwa 85 °C lagen und die Taktraten spürbar abfielen.
Ergebnisse nach der Konvertierung
Nach der Installation der DTC-Lösung haben wir diese Benchmarks erneut ausgeführt und die Ergebnisse waren dramatisch. Die CPU-Temperaturen sanken unter Volllast deutlich und blieben in Spitzen unter 65 °C. Noch wichtiger ist, dass die thermische Drosselung eliminiert wurde. Das Zweiphasensystem sorgte dafür, dass die Bergamo-CPUs während des gesamten Tests mit höheren, konstanten Taktraten liefen.
Wenig überraschend sank der Stromverbrauch des Systems, da die Lüfter nicht mehr auf die maximale Drehzahl hochdrehen mussten, um die hohen Temperaturen auszugleichen. Der leisere Betrieb war selbst in einer lauten Rechenzentrumsumgebung sofort spürbar.
Da diese Übung auf praktische Erfahrungen mit der ZutaCore-Lösung abzielte, waren alle Messungen qualitativer Natur. Es ist erwähnenswert, dass das mit ZutaCore gekühlte Bergamo-System zum Zeitpunkt des Filmens und Schreibens einige Weltrekorde in den Y-Cruncher-BBP-Kategorien erzielte und auf HWBot.org verifiziert wurde.
Leistungs- und Kühleffizienz
Einer der herausragenden Vorteile des ZutaCore-Systems ist das Energiesparpotenzial. Durch die geringere Abhängigkeit von Luftkühlung sinkt der Bedarf an Lüftern mit hoher Drehzahl und Klimaanlagen, was zu realen Energiekosteneinsparungen führt. Darüber hinaus ermöglicht das System den Betrieb des Servers bei höheren Umgebungstemperaturen ohne Überhitzungsgefahr. Diese Funktion ist von unschätzbarem Wert für Rechenzentren, die ihre PUE (Power Usage Effectiveness) durch Erhöhung der Temperatur ihrer Anlagen optimieren möchten.
Langfristige Auswirkungen auf Rechenzentren
Die zweiphasige Kühllösung von ZutaCore bewältigt hohe thermische Belastungen effektiv und bietet Rechenzentren langfristige Vorteile. Aufgrund ihrer verbesserten Energieeffizienz und niedrigeren Kühlkosten könnte sie für hochdichte Computerumgebungen unverzichtbar sein.
Für Rechenzentren, die Prozessoren und GPUs der nächsten Generation wie etwa AMDs EPYC und NVIDIAs H100 einsetzen, stellt die ZutaCore-Kühllösung eine skalierbare Option dar, um die zunehmende Wärmeabgabe zu bewältigen, ohne dass wesentliche Änderungen an der vorhandenen Infrastruktur erforderlich sind.
Darüber hinaus ist die Zweiphasenkühlung relativ umweltfreundlich. Die Wärmeträgerflüssigkeiten von ZutaCore sind ungiftig und weisen ein geringes Treibhauspotenzial (GWP) auf. Die Verwendung dielektrischer Flüssigkeiten stellt sicher, dass selbst im Falle eines Lecks keine Gefahr eines Kurzschlusses oder einer Beschädigung der Ausrüstung besteht.
Schlussfolgerung
Die Umstellung des Supermicro Dual AMD EPYC Bergamo-Servers auf die zweiphasige Direct-to-Chip-Kühllösung von ZutaCore zeigte eine deutliche Verbesserung der Wärmeleistung, der Geräuschreduzierung und der Energieeffizienz. Da Rechenzentren immer weiter wachsen und die Grenzen der Serverleistung verschieben, bieten fortschrittliche Kühltechnologien wie ZutaCore einen vielversprechenden Weg, um die wachsenden Wärmeanforderungen moderner Computerumgebungen zu bewältigen.
Wenn Sie hochdichte Workloads verarbeiten und Ihre Hardware an ihre Grenzen bringen, können Investitionen in fortschrittliche Kühllösungen wie die von ZutaCore die Leistung verbessern und auf lange Sicht Betriebskosten sparen.
Großer Ruf an Boston Limited für die Bereitstellung der Hardware und Centersquare für die Bereitstellung des Rechenzentrums!
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
