CoolIT har kylplattor, grenrör och kyldistributionsenheter utformade för att hjälpa företag att använda flytande kylning för kraftkrävande servrar.
Vi har samarbetat med CoolIT Systems för att föra in flytande kylning i vårt labb. Som en del av det arbetet satte vi ihop en mini vätskekylningsrigg och eftermonterade en Dell PowerEdge R760, och konverterade den från luftkyld till vätskekyld. Vi har precis börjat vår vätskekylningsresa men har redan gjort viktiga upptäckter om fördelarna med direkt vätskekylning (DLC).
Dell PowerEdge R760 efter DLC-konvertering
Vätskekylning i någon eller annan form kommer att krävas för att stödja moderna arbetsbelastningar. Matematiken fungerar inte längre för luftkylningsservrar med massiv CPU och GPU termisk designkraft (TDP). DLC levererad via kalla plattor är den vanligaste lösningen, varje serverleverantör har minst ett alternativ. När det kommer till Dell har de samarbetat med CoolIT Systems för att leverera vätskekylning över hela PowerEdge-portföljen.
Vårt labb, som de flesta datacenter, var inte designat från början för att dra fördel av vätskekylning. Men, precis som många datacenter, ser vi att servrarna med högsta effekt kräver vätskekylning i någon form, och om vi vill dra fördel av dessa system måste vi anpassa oss. Det är en historia vi hör mycket i företaget nu för tiden, eftersom datacenter investerar i AI, och att hitta de flesta av dessa system kommer snart att kräva en vätskeslinga av något slag för drift.
I vårt fall bestämde vi oss för att börja med att eftermontera en av Dell PowerEdge R760-servrarna i labbet. För att vara tydlig, när kunder vill ha vätskekylda servrar, beställs de från Dell på det sättet. Dell sköter integrationen med CoolIT och kunderna får en server med kylplattor installerade och slangar för vätskekylning. DLC PowerEdge-system har några nyanser som skiljer dem från luftkylda servrar, vi drev in på relativt okänt territorium med detta arbete. iDRAC-kortet är annorlunda till exempel, DLC-versionen har en ledning för läcksökning. Vi var framgångsrika i konverteringsprocessen, men att installera dina egna kylplattor är inte en aktivitet som stöds.
CoolIT DLC Kit
CoolIT utrustade oss med ett minisystem som vanligtvis används för ett litet proof of concept när deras kunder arbetar genom processen med att lägga till vätskekylning till sina datacenter. Som sagt, det här systemet kan skalas till 10kW, så det är ett bra sätt för de som är nybörjare med flytande kylning att få lite erfarenhet med ett halvt rack eller så. Det finns tre nyckelkomponenter i den här installationen, kylplattorna, rackgrenröret och kylvätskedistributionsenheten (CDU).
CoolIT R760 Kallplattor
De kalla plattorna är designade för specifika TDP-användningsfall och passar perfekt till CPU eller GPU som kyls. De ser bedrägligt enkla ut, och även om det inte finns några pumpar eller rörliga delar på själva plattorna, är ingenjörskonsten inte trivial tack vare stigande TDP:er. För perspektiv lanserade CoolIT nyligen en ny linje av kallplattor som kan stödja upp till 1500W. CPU:erna i vår R760 är lite fotgängare i jämförelse, Intel Xeon 8580-processorerna har "bara" en TDP på 350W vardera.
Dell R760 med CoolIT Cold-plattor
Att installera de kalla plattorna är mycket enkelt, blocken har till och med termisk pasta påförd, det är ett väldigt enkelt drop-in-kit. Som nämnts tidigare finns det ett annat iDRAC-kort för DLC-system som har anslutningspunkten för läckagedetekteringskabeln från de kalla plattorna. Slangarna dras ut på baksidan av R760, genom ett annat fäste som medföljer DLC iDRAC-satsen.
CoolIT grenrör
De kalla plattorna är anslutna till grenröret via märkta varm/kall anslutningar. Själva grenröret är tillverkat av rostfritt stål och beslagen är droppfria snabbkopplingar. Det tar några sekunder att ansluta servern till grenröret, som är förfyllt. Vårt grenrör gick för övrigt i baksidan av racket, men det kan konfigureras i fronten vid behov. Vi har ett minigrenrör för detta användningsfall, ett mer traditionellt DLC-ställ skulle ha ett grenrör som täcker hela racket. Förgreningsröret ansluts direkt till CDU.
CoolIT AHx10 CDU
CDU gör det tunga lyftet i den här slingan, vi använder CoolIT AHx10. Detta är en 5U vätske-till-luft CDU som kan hantera 7kW belastning vid 25C omgivning. CoolIT erbjuder ett expansionspaket som kommer att skala denna enhet till 10kW. Inuti chassit finns en vätske-till-luft värmeväxlare och redundanta pumpar. CDU, liksom grenröret, kommer förfylld. Vi har placerat vår relativt lågt i racket, men CDU kan gå var som helst, beroende på hur racket är uppsatt.
CoolIT AHx10-gränssnitt
AHx10 har en maximal strömförbrukning på 750W, vilket hjälper till i den övergripande ekonomikonversationen kring energibesparingar. Systemet har en intuitiv pekskärm som erbjuder fjärråtkomststöd. Förutom att ställa in pumptrycket initialt, är det egentligen väldigt lite som behöver göras med CDU, det är ganska mycket inställt och glöm det, vår har varit igång i några veckor utan ytterligare ingrepp.
Det är värt att notera att med denna CoolIT-utrustning löser vi inte själva värmen. Vi flyttar i själva verket värmen från R760:s processorer till värmeväxlaren i CDU. Vi behöver fortfarande kyla labbet på samma sätt som tidigare eftersom vi inte har anläggningsvatten för att kunna överföra värmen utanför labbet. Som sagt, ett litet system som detta är perfekt för ett fåtal vätskekylda servrar och kan vara en idealisk passform för ett företag med en liten AI-distribution, ungefär som Dell PowerEdge XE9640 skulle passa bra.
Vätskekyld Dell PowerEdge XE9640
Även om vi fortfarande måste brottas med värmen från DLC R760 i vårt labb, finns det flera fördelar med att gå över till vätskekylning.
Fördelar med DLC
När man går över till vätskekylning från luftkylning är den största och mest uppenbara fördelen minskningen av fläktanvändningen. R760 behöver fortfarande luftflöde för systemkomponenter som DRAM och lagring, men de behöver inte snurra lika snabbt. Även om detta gör servern tystare, är den bästa delen av DLC-slingan minskningen av elförbrukningen. Det andra vi hittade var lite överraskande, DLC R760 presterade lite bättre än när den var luftkyld.
För att titta närmare på R760:s elförbrukning satte vi upp vår Quarch QTL2843 Nätströmanalysmodul. Vi körde servern både med sina fabriksluftkylda kylflänsar och igen med CoolIT-kylplattorna. För att pressa processorerna körde vi en Pi-beräkning på 50 miljarder siffror, vilket belastar processorn och DRAM mycket hårt. Vår avsikt var att pressa processorerna så hårt som möjligt för att säkerställa att fläktarna var tvungna att användas för maximalt erforderligt arbete.
R760 iDRAC DLC Config
Effekten av DLC-implementeringen var omedelbart uppenbar. När R760 körs i luftkyld konfiguration snurrar fläktarna till 100 % under arbetsbelastningen, som förväntat. Med DLC-konfigurationen valde R760 att snurra fläktarna med 32 %, en dramatisk minskning. Det motsvarar en besparing på 200 watt, på bara en enda server. Det är inte bara fläkthastigheten som sticker ut, processorerna själva rapporterade ungefär halva temperaturen med DLC, 41/42C jämfört med 88/89C när de var luftkylda.
R760 iDRAC luftkyld konfig
Men det är inte bara energibesparingar som kommer ut på andra sidan när man går till vätskekylning. Vi såg en liten prestationshöjning, vilket vi inte förväntade oss. Med de kalla plattorna som ger bättre kylning kan CPU:n fungera till fullo. I den luftkylda konfigurationen slutförde R760 50 miljarder Pi-beräkningen på 369 sekunder. I DLC-konfigurationen gick R760 lite snabbare och levererade beräkningen på 347 sekunder. Det är en prestandavinst på cirka 6 %, vilket låter oss mjölka lite mer av Intels processorer.
Avslutande tankar
Vi har precis börjat med vätskekylning i labbet och är glada över att ha arbetat med CoolIT med denna första insats. De kalla plattorna fungerar perfekt på PowerEdge R760 och grenröret och CDU går samman och "bara fungerar" utan några problem eller pågående mixtrande. För dem som är oroliga för att ta med vätska till datacentret är fortsatt enkelhet avgörande. Vi har inte heller haft några läckor eller andra mer katastrofala händelser, vilket förväntas, detta är företagsutrustning med en extremt låg felfrekvens.
Dell R760 bak med DLC-slangar
För företag som vill ta in kraftfulla AI-system i datacentret är vätskekylning en given slutsats. 8-vägs GPU-servrarna kommer att överge luftkylning och välja DLC-slingor som denna eller åtminstone en sluten slinga och radiator. Oavsett vilket kommer en viss mängd vätska att leta sig in i datacentret. Med de avsevärda elbesparingarna och blygsamma prestandaökningen finns det många anledningar till att företag bör anamma DLC-servrar.
CoolIT är en tydlig ledare inom detta område och dess relation med Dell ger en mängd olika lösningar för flytande kylning till marknaden på ett lättanvänt sätt, med mycket lite att oroa sig för. Vi ser fram emot att utforska vår lilla slinga ytterligare och kan inte vänta med att se fler vätskekylda servrar i labbet.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
