Verbeter de efficiëntie van datacenters met Solidigm SSD's en vloeistofgekoelde servers

De combinatie van vloeistofkoeling en efficiënt SSD-beheer biedt datacenters die de prestaties en opslagdichtheid willen opschalen, een oplossing voor de toekomst.

Omdat datacenters streven naar een grotere energie-efficiëntie, met name met de eisen van AI-workloads, wenden velen zich tot vloeistofkoeling om de prestaties te optimaliseren en het energieverbruik te beheren. Vloeistofkoeling kan de warmte die wordt gegenereerd door servers met hoge prestaties efficiënt beheren, waardoor ze op piekcapaciteit kunnen werken zonder de energie-intensieve kosten die gepaard gaan met traditionele luchtkoeling. De SSD's met hoge dichtheid van Solidigm zijn bij uitstek geschikt voor deze omgevingen en bieden een uitzonderlijke efficiëntie van terabyte tot watt.

Hoewel AI veel datacenterbeheerders dwingt om vloeistofkoeling te overwegen, reikt de impact ervan veel verder. In een eerder rapport onderzochten we de effect van vloeistofkoeling op een 2U Dell PowerEdge R760. CoolIT's directe vloeistofkoeling (DLC) verminderde het energieverbruik van de server aanzienlijk door de ventilatorsnelheden te verlagen, een energiebesparing van 200 watt. Die test was volledig gericht op CPU-prestaties; deze keer wilden we een meer opslaggerichte blik werpen om de impact van SSD's op het energieverbruik van de server te begrijpen.

Wat zijn NVMe actieve vermogenstoestanden?

NVMe-stroomstatussen zijn vooraf gedefinieerde statussen waar een NVMe-apparaat naar kan overgaan om het stroomverbruik en de prestaties te beheren. De NVMe-specificatie staat maximaal 32 stroomstatussen toe, elk gekenmerkt door maximaal stroomverbruik, entry-latentie (ENLAT), exit-latentie (EXLAT) en relatieve prestatiewaarden. Deze stroomstatussen zijn onderverdeeld in operationele en niet-operationele statussen. Operationele stroomstatussen, of P-States, stellen het apparaat in staat om I/O-bewerkingen te verwerken. Niet-operationele statussen, of F-States, worden gebruikt wanneer het apparaat inactief is en geen I/O-bewerkingen verwerkt.

Het beheren van deze energiestatussen is cruciaal voor het optimaliseren van de energie-efficiëntie van NVMe-apparaten, met name in omgevingen waar stroomverbruik een kritieke zorg is, zoals edge-apparaten en gespecialiseerde toepassingen zoals de SSD's op het International Space Station. De NVMe-specificatie bevat bijvoorbeeld functies zoals Autonomous Power State Transition (APST), waarmee het apparaat automatisch kan overschakelen tussen energiestatussen op basis van het huidige gebruik en thermische omstandigheden. Dit helpt de prestaties in evenwicht te brengen met het stroomverbruik, wat zorgt voor een betrouwbare werking in afgelegen of beperkte omgevingen. Runtime D3 (RTD3)-ondersteuning stelt het apparaat in staat om een ​​inactieve status van nul stroom in te gaan, wat nog meer energie bespaart wanneer het apparaat niet in gebruik is.

NVMe-stroomstatussen zijn met name gunstig wanneer energie-efficiëntie en thermisch beheer van het grootste belang zijn. In edge-apparaten kan bijvoorbeeld de mogelijkheid om snel over te schakelen naar lagere stroomstatussen wanneer deze inactief zijn, het energieverbruik aanzienlijk verminderen, wat cruciaal is voor apparaten die werken in afgelegen of zware omgevingen met beperkte stroombeschikbaarheid. Dit wordt bereikt door functies zoals PCIe Active State Power Management (ASPM) en lage stroomstatussen zoals L1.1 en L1.2, die het stroomverbruik tot een minimum beperken. Het beheren van stroom en thermische output op het ISS is cruciaal vanwege de beperkte en gecontroleerde omgeving. NVMe-stroomstatussen kunnen helpen bij het beperken van het stroomverbruik van SSD's om het thermische ontwerpvermogen (TDP) te beheren en het algehele energiebudget te optimaliseren, zodat de SSD's efficiënt werken zonder oververhitting.

In deze gespecialiseerde omgevingen bieden NVMe-stroomstatussen een flexibele en efficiënte manier om het stroomverbruik van NVMe-apparaten te beheren. Door deze statussen te benutten, kunnen apparaten prestaties en energie-efficiëntie in evenwicht brengen, waardoor ze geschikt zijn voor verschillende toepassingen, van edge computing tot ruimtemissies. Het vermogen om stroomstatussen dynamisch aan te passen op basis van realtime-omstandigheden zorgt ervoor dat NVMe-apparaten kunnen voldoen aan de verschillende eisen van verschillende omgevingen, terwijl ze worden geoptimaliseerd voor energie-efficiëntie en thermisch beheer.

Naast NVMe-vermogensstatussen spelen het concept van Composite Temperature en Touch Temperature een cruciale rol bij het beheren van de thermische prestaties van NVMe SSD's in nieuwe enterprise SSD's. Touch Temperature vertegenwoordigt de externe behuizingstemperatuur van de SSD. Solidigm is een leider geweest in het omarmen van nieuwe hogere Touch Temperature-normen. De fabrieksmatig ingestelde Touch Temperature voor Solidigm D5-P5336 is bijvoorbeeld 80 °C. Deze hogere touch temperature-limiet zorgt ervoor dat SSD's kunnen worden gekoeld met een lagere luchtstroom of kunnen werken bij hogere omgevingstemperaturen. Deze flexibiliteit stelt datacenters in staat om koelstrategieën te optimaliseren en het algehele thermische beheer te verbeteren, wat mogelijk de koelkosten verlaagt en de betrouwbaarheid en levensduur van de SSD's verbetert.

Beheer van NVMe actieve vermogenstoestanden

In een Linux-testomgeving met Ubuntu 22.04 kunnen we de NVMe-toolset gebruiken om de drive te pollen om de power states van de D5-P5336 te bekijken en te wijzigen. Zoals u hieronder kunt zien, ondersteunt de drive de states 0,1 en 2, waarbij stage 0 het minst beperkend is en stage 2 het meest beperkend.

Voor de Solidigm 61.44 TB D5-P5336 is PS0 25W, PS1 15W en PS2 10W. De drive draait inactief op ongeveer 5.5W, dus met elke versnelling van de energiemodus heeft de SSD steeds minder energie overhead om te wijden aan NAND lees- en schrijfbewerkingen. Schrijfbewerkingen krijgen de grootste klap, omdat het meer energie verbruikt om naar NAND te schrijven dan om ervan te lezen.

Het commando om de huidige energiestatus op onze Solidigm D5-P5336 SSD te controleren, wordt hieronder weergegeven. De huidige waarde van 00000000 geeft aan dat de drive in PS0 staat, wat de hoogste 25W-modus is.

Een vergelijkbare opdracht wordt gegeven om de energiestatus te wijzigen, waarbij het laatste getal de energiemodus vertegenwoordigt waarin u de SSD wilt hebben. De volgende opdracht stelt bijvoorbeeld de energiemodus in op PS0 op de Soldigim D5-P5336 SSD. Als u energiemodi 1 of 2 gebruikt, wijzigt u het cijfer—-value= zodat het overeenkomt met de juiste energiemodus.

Impact van vermogenstoestanden op prestaties

Om de impact van de stroom en de prestatie van de stroomstatussen op de Solidigm D5-P5336 61.44TB SSD te meten, hebben we een Dell PowerEdge R760 uitgerust met 24 SSD's. Met Ubuntu en de FIO workload generator konden we eenvoudig een consistente workload op alle SSD's uitvoeren en de stroommodus on the fly updaten.

We hebben gebruikgemaakt van Dell's ingebouwde energiebewaking in het iDRAC9-beheersysteem van de server om het vermogen op systeemniveau te bewaken.

We hebben ons gericht op sequentiële lees- en schrijfbandbreedte-workloads, met een blokgrootte van 128K over elke schijf, en vervolgens de totale prestaties gemeten over alle 24 SSD's. Opgemerkt moet worden dat deze specifieke Dell PowerEdge R760-configuratie met 24 NVMe-bays gebruikmaakt van een PCIe-switch versus direct aangesloten NVMe-bays. De totale gemeten bandbreedte verzadigt dus de beschikbare PCIe-switchlanes voordat deze de schijven bereikt. Dit heeft invloed op de totale leesprestaties die we hebben gemeten in vergelijking met het specificatieblad van de Soldigim P5536, maar de totale schrijfsnelheden lagen allemaal onder die limiet.

Terugkijkend op ons artikel over de voordelen van het omzetten van een luchtgekoeld platform naar directe vloeistofkoeling, zagen we een lichte prestatieverbetering met betrekking tot de CPU's, maar bespaarden we ook 200 W aan stroom. Stroom is een kostbaar goed in de nieuwe golf van AI-gecentreerde servers die vaak alle beschikbare bronnen toewijzen aan GPU's en high-end CPU's. In een datacenter met of nabij een stroombudgetlimiet voor luchtkoeling, levert overschakelen naar DLC een stroombudget op waarmee de server kan worden gevuld met meer SSD's voor dezelfde stroomvoetafdruk als een luchtgekoelde server.

Een energiebesparing van 200 W kan een groot verschil maken wat betreft opslagdichtheid; met die besparing kunt u de opslagvoetafdruk verdubbelen van 12 naar 24 SSD's in een vloeistofgekoelde server ten opzichte van een luchtgekoelde server als u workloads hebt die gericht zijn op leesintensieve workloads. Met de Solidigm D5-P5336 heeft deze 24-bay server een verhoogde opslagcapaciteit van 737 TB naar 1,474 TB dankzij de vloeistoflus. Als de workload schrijfintensief is, kunt u de server uitrusten met ongeveer acht extra SSD's. Deze cijfers zijn echter met de basisvermogensmodi, dus als u bereid bent om wat schrijfprestaties van de bovenkant af te halen, kunt u uw server gemakkelijk vullen met 24 SSD's met een schrijfintensieve workload met verminderde prestaties.

Conclusie

Door onze tests van de Solidigm D5-P5336 SSD's hebben we gezien hoe het beheren van NVMe-stroomstatussen de energie-efficiëntie aanzienlijk kan beïnvloeden zonder de prestaties dramatisch te beïnvloeden. Datacenterbeheerders die de energie-efficiëntie willen maximaliseren, kunnen deze stroomstatussen gebruiken om een ​​hogere opslagdichtheid te bereiken of operationele kosten te verlagen, met name in AI-centrische omgevingen waar stroom schaars is. De SSD's met hoge dichtheid van Solidigm zijn hier goed voor gepositioneerd en bieden een uitstekende terabyte-tot-watt-efficiëntie, met name met moderne vloeistofkoelingstechnologieën.

Onze bevindingen laten zien dat zelfs kleine aanpassingen aan de stroomstatussen aanzienlijke energiebesparingen kunnen opleveren, wat cruciaal kan zijn in omgevingen die beperkt zijn door de beschikbaarheid van stroom. Optimalisatie van het totale stroomverbruik van servers verbetert de opslagdichtheid en ondersteunt duurzamere datacenteractiviteiten.

Powermanagement wordt steeds belangrijker naarmate moderne servers tot het uiterste worden gedreven, vooral in AI-gestuurde workloads. Het combineren van vloeistofkoeling en efficiënte SSD-beheeropties biedt een pad voorwaarts voor datacenters die prestaties en opslagdichtheid willen schalen zonder de energiebudgetten te overschrijden.

U kunt de volledige demo van deze technologieën live bekijken op OCP 2024. We laten zien hoe vloeistofkoeling en Solidigm's SSD's de hoekstenen kunnen zijn van energie-efficiëntie in het moderne datacenter.

Solidigm Opslagoplossingen

Dit rapport is gesponsord door Solidigm. Alle standpunten en meningen in dit rapport zijn gebaseerd op onze onbevooroordeelde kijk op het (de) product(en) in kwestie.

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed