De tweefasenkoeling van ZutaCore op een Supermicro-server met AMD EPYC levert verbeterde koeling, efficiëntie en recordbrekende prestaties.
Als onderdeel van onze voortdurende evaluatie van geavanceerde koeltechnologieën voor servers met hoge prestaties, hebben we de ZutaCore® twee-fase direct-to-chip (DTC) koeloplossing getest op een Supermicro-server met dubbele AMD EPYC Bergamo CPU's. Deze test vond plaats in het Centersquare Datacenter in Reading, Berkshire, VK, in samenwerking met integrator Boston Limited.
De noodzaak van efficiënte koeloplossingen
Naarmate CPU's blijven groeien in core-aantal en stroomverbruik, worstelen traditionele luchtkoeloplossingen om gelijke tred te houden met de thermische eisen van geavanceerde processors. Dit is met name duidelijk in high-density compute nodes, waar luchtkoelmethoden er niet in slagen om de aanzienlijke hitte die wordt geproduceerd door high-performance multi-core CPU's, zoals AMD's 128-core EPYC Bergamo, effectief te beheren.
Omdat deze krachtige processors een aanzienlijke thermische output genereren, worden de beperkingen van luchtkoeling duidelijker. Zelfs de meest geavanceerde heatsinks hebben moeite om optimale thermische prestaties te behouden zonder ruis toe te voegen of overtollig vermogen te verbruiken.
Dit project draait om het upgraden van een dual-socket Supermicro-chassis van traditionele luchtkoeling naar ZutaCore's tweefasen DTC-oplossing. We hebben het systeem getest vóór de conversie, aanzienlijke beperkingen in de koelefficiëntie waargenomen en de server na de DTC-installatie gebenchmarkt.
De hardware-installatie
Het testsysteem bevatte een 1U Supermicro-chassis met twee AMD EPYC Bergamo-CPU's, elk met 128 cores. Met 256 cores onder de motorkap en 768 GB RAM is deze server ontworpen om zware workloads aan te kunnen, met name in AI- en data-intensieve omgevingen. Echter, zelfs met grote traditionele luchtgekoelde heatsinks had het systeem moeite om de temperaturen onder controle te houden tijdens stresstests, wat resulteerde in thermische throttling.
We hebben gekozen voor het tweefasen vloeistofkoelsysteem van ZutaCore om de koeling te verbeteren en de prestaties te verbeteren. Dit innovatieve systeem maakt gebruik van een warmteoverdrachtsvloeistof die van vloeistof naar damp overgaat in de koude platen die direct aan de CPU's zijn bevestigd. Deze faseverandering zorgt voor een veel hogere thermische efficiëntie dan traditionele vloeistof- of luchtkoelers, omdat de latente warmte van de vloeistofverdamping helpt om warmte effectiever van de CPU-kernen af te voeren.
Het conversieproces
De server voorbereiden
Het conversieproces begon met het demonteren van de standaard luchtkoelcomponenten. Het verwijderen van de traditionele heatsinks onthulde de kleine, dichte warmteverspreiders op de Bergamo CPU's, duidelijk te klein voor het beheren van de thermische belasting van deze energieverslindende chips. Tijdens de eerste tests merkten we dat de CPU's hoge temperaturen bereikten en moeite hadden met aanhoudende prestaties onder stress.
Installatie van de ZutaCore-koelplaten
De volgende stap was het introduceren van het hart van het tweefasenkoelsysteem: ZutaCore's op maat ontworpen koude platen. Deze koude platen zijn uitgerust met interne verdampers die de warmteoverdrachtsvloeistof in staat stellen warmte te absorberen en te verdampen terwijl deze door het systeem stroomt. De verdampte vloeistof wordt vervolgens teruggevoerd naar de condensor, gekoeld en opnieuw in het systeem geïntroduceerd om de cyclus voort te zetten.
Een van de meest fascinerende kenmerken van dit systeem is de mechanische zelfregulering. Het vlottermechanisme van elke verdamper past de warmteoverdrachtsvloeistofstroom aan op basis van de thermische belasting van de CPU. Een gesloten-lussysteem als dit zorgt ervoor dat elke CPU de benodigde hoeveelheid vloeistof ontvangt zonder handmatige tussenkomst.
De koude platen werden zorgvuldig op de CPU's geplaatst, wat zorgde voor een consistente druk en optimaal thermisch contact. De buis die de warmteoverdrachtsvloeistof vervoert, werd aangesloten op de koude platen en we voerden een reeks druktests uit om te verzekeren dat er geen lekken waren voordat we verder gingen met de volledige installatie.
Integratie met de energie- en thermische beheersystemen van de server
De volgende uitdaging was het integreren van het koelsysteem in de bredere datacenterinfrastructuur. Het DTC-systeem van ZutaCore integreert met de bestaande thermische beheersystemen van de server en biedt verbeterde controle via de koelbeheersoftware van ZutaCore. Deze software maakt realtime monitoring van belangrijke statistieken mogelijk, zoals koelmiddeldruk, temperatuur op verschillende punten in het systeem en CPU-junctietemperaturen.
De software maakt verbinding met de IPMI (Intelligent Platform Management Interface) van de server, waardoor naadloze monitoring en controle van koelparameters mogelijk is. We waren vooral onder de indruk van de verstrekte details, waaronder ventilatorsnelheden, damptemperaturen en pompbedrijfscycli. Deze gedetailleerde zichtbaarheid in het koelproces maakt het mogelijk om de systeemprestaties nauwkeurig af te stemmen op de werklast.
Nadat het systeem met de snelkoppelingen op de warmteafvoereenheid was aangesloten en de atmosferische gassen snel uit de lus waren verwijderd met behulp van de meegeleverde servicekit, was het systeem klaar om te worden ingeschakeld.
Prestaties Highlights
Resultaten vóór de conversie
Zoals hierboven vermeld, hebben we, voordat we overschakelden op het tweefasensysteem van ZutaCore, een reeks benchmarks uitgevoerd met standaard luchtkoeling. Met behulp van workloads die waren ontworpen om alle 256 cores te belasten, bereikte het systeem snel thermische limieten, waardoor de CPU's de prestaties moesten beperken om binnen veilige bedrijfstemperaturen te blijven. Aanhoudende zware belastingen resulteerden in CPU-temperaturen die rond de 85°C schommelden, met merkbare dalingen in kloksnelheden.
Resultaten na conversie
Na het installeren van de DTC-oplossing hebben we die benchmarks opnieuw uitgevoerd en de resultaten waren dramatisch. De CPU-temperaturen daalden aanzienlijk onder volledige belasting, met piektemperaturen die onder de 65°C bleven. Belangrijker nog, thermische throttling werd geëlimineerd. Het tweefasensysteem hield de Bergamo-CPU's draaiende op hogere aanhoudende kloksnelheden gedurende de test.
Het is geen verrassing dat het stroomverbruik van het systeem daalde, omdat de ventilatoren niet langer op maximaal toerental hoefden te draaien om de hoge temperaturen te compenseren. De stillere werking was direct merkbaar, zelfs in een lawaaierige datacenteromgeving.
Omdat deze oefening bedoeld was voor hands-on ervaring met de ZutaCore-oplossing, waren alle metingen kwalitatief. Het is vermeldenswaard dat op het moment van filmen en schrijven het ZutaCore-gekoelde Bergamo-systeem een paar wereldrecords behaalde in de y-cruncher BBP-categorieën en geverifieerd werd op HWBot.org.
Vermogen en koelefficiëntie
Een van de opvallende voordelen van het systeem van ZutaCore is de potentie voor energiebesparing. De verminderde afhankelijkheid van luchtkoeling verlaagt de behoefte aan ventilatoren met een hoog toerental en airconditioning, wat zich vertaalt in besparingen op energiekosten in de echte wereld. Bovendien stelt het systeem de server in staat om te werken bij hogere omgevingstemperaturen zonder risico op oververhitting. Deze functie is van onschatbare waarde voor datacenters die hun PUE (Power Usage Effectiveness) willen optimaliseren door de temperatuur van hun faciliteiten te verhogen.
Langetermijngevolgen voor datacenters
De tweefasenkoeloplossing van ZutaCore beheert effectief hoge thermische belastingen en biedt datacenters voordelen op de lange termijn. De verbeterde energie-efficiëntie en lagere koelkosten kunnen het cruciaal maken voor high-density computing-omgevingen.
Voor datacenters die gebruikmaken van next-generation processors en GPU's, zoals AMD's EPYC en NVIDIA's H100, biedt de ZutaCore-koeloplossing een schaalbare optie om de toenemende warmteafgifte te beheren zonder dat er ingrijpende wijzigingen in de bestaande infrastructuur nodig zijn.
Bovendien is de tweefasenkoelmethode redelijk milieuvriendelijk. De warmteoverdrachtsvloeistoffen van ZutaCore zijn niet-toxisch en hebben een laag GWP (Global Warming Potential). Het gebruik van diëlektrische vloeistoffen zorgt ervoor dat er, zelfs in het geval van een lek, geen risico is op kortsluiting of schade aan apparatuur.
Conclusie
De conversie van de Supermicro dual AMD EPYC Bergamo-server naar ZutaCore's tweefasen direct-to-chip-koeloplossing toonde een duidelijke verbetering in thermische prestaties, geluidsreductie en energie-efficiëntie. Naarmate datacenters blijven opschalen en de grenzen van serverprestaties verleggen, bieden geavanceerde koeltechnologieën zoals ZutaCore een veelbelovende weg voorwaarts voor het beheren van de groeiende thermische eisen van moderne computeromgevingen.
Als u met een hoge werkdichtheid werkt en uw hardware tot het uiterste drijft, kan investeren in geavanceerde koeloplossingen zoals die van ZutaCore op de lange termijn de prestaties verbeteren en operationele kosten besparen.
Grote shout-out naar Boston beperkt voor het leveren van de hardware en Centersquare voor het leveren van het datacenter!
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
