Dell PowerEdge XE9680 – De ultieme AI-krachtpatser

De Dell PowerEdge XE9680 is een toonbeeld van innovatie op het gebied van zakelijk computergebruik en biedt klanten de ultieme GPU-flexibiliteit.

De PowerEdge XE9680 vertegenwoordigt Dell's meest veelzijdige AI-infrastructuurplatform tot nu toe. Het combineert een PowerEdge R760-stijl 2U compute node met een enorme 4U GPU-lade. Dit innovatieve 6U-ontwerp combineert het beste van Dell's enterprise server engineering met ongekende GPU-dichtheid en flexibiliteit.

In de kern ondersteunt de XE9680 dual Intel Xeon Scalable processors, wat een keuze biedt tussen de 5e generatie met maximaal 64 cores per CPU of de 4e generatie met maximaal 56 cores. De geheugencapaciteit is substantieel, met ondersteuning voor maximaal 4TB DDR5-geheugen over 32 DIMM-slots, draaiend op maximaal 5600 MT/s met de nieuwste processors.

Wat de XE9680 echt onderscheidt, zijn de GPU-mogelijkheden. Het platform ondersteunt acht krachtige GPU's. Beschikbare configuraties zijn onder andere NVIDIA's HGX H200 (141 GB) en H100 (80 GB), AMD's Instinct MI300X (192 GB) en Intel's Gaudi3 (128 GB). De onlangs geïntroduceerde XE9680L variant ondersteunt NVIDIA's volgende generatie B200 GPU's en directe vloeistofkoeling, waardoor de grenzen van dichtheid en prestaties worden verlegd.

Opslagconfiguraties zijn even flexibel en bieden 8x 2.5" NVMe/SAS/SATA-schijven of 16x E3.S NVMe-schijven. Het systeem kan worden uitgerust met Dell's H965i NVMe PERC RAID-kaart, wat de opslagredundantie aanzienlijk vereenvoudigt voor grote KV-caches tijdens inferentiewerklasten.

De stroomtoevoer is ontworpen voor maximale betrouwbaarheid. Zes voedingen met een totaal van 19200 W zijn geconfigureerd in een 3+3 fouttolerante redundante (FTR) opstelling. Wanneer twee of meer PSU's uitvallen, gaat het systeem over op een fouttolerante redundante modus in plaats van dat het wordt uitgeschakeld. In deze modus wordt de GPU-stroomrem geactiveerd, waardoor de GPU-klokken worden teruggebracht tot een kwart, wat resulteert in ongeveer een vijfde van de typische GPU-prestaties.

Deze doordachte ontwerpkeuze is van onschatbare waarde in grootschalige trainingsomgevingen waar honderden of duizenden GPU's samenwerken. In plaats van dat een knooppunt volledig offline gaat - wat het opnieuw plannen en herhalen van trainingsiteraties op een ander knooppunt zou vereisen - kan het systeem blijven werken met een verminderde prestatie tot het volgende onderhoudsvenster. Dergelijke aandacht voor detail in power management helpt om een ​​hoge modeltrainingsdoorvoer (MFU) te behouden door verstoringen te minimaliseren.

Uitbreidingsmogelijkheden zijn uitgebreid, met maximaal 10 PCIe Gen5 x16 full-height, half-length slots, waarvan er twee kaarten met een hoger vermogen dan 75W ondersteunen. Deze overvloed aan PCIe-connectiviteit maakt verschillende netwerkconfiguraties mogelijk, waaronder DPU's en SmartNIC's, essentieel voor het bouwen van moderne AI-infrastructuur.

Volledige specificaties:

Dell PowerEdge XE9680 Bouw en ontwerp

De PowerEdge XE9680 is een indrukwekkend stuk hardware, met een hoogte van 10.36 inch (263.20 mm), een breedte van 18.97 inch (482.00 mm) en een diepte van 39.71 inch (1008.77 mm) met de rand bevestigd. Als hij volledig is geladen, weegt hij 251.44 lbs (114.05 kg). De GPU-selectie zal het laatste woord hebben over het gewicht, waarbij het NVIDIA H100/H200-model op 238 lbs uitkomt, terwijl de AMD MI300X-eenheid de weegschaal op 251 lbs zet.

Dit was de eerste server die zorgvuldige overweging vereiste om goed te laden in onze testomgeving. Als je het gewicht van de server en het aantal mensen dat nodig is om hardware te racken in ogenschouw neemt, is er wat ruimte om buiten de grenzen te gaan, maar op een gegeven moment tillen een of twee mensen hem niet meer alleen op. Dell is zo vriendelijk om je een "lifttabel" te geven om je te helpen begrijpen hoe dit platform past. Voor iedereen die zich afvraagt: Kevin heeft de XE9680 zelf in het rek geladen.

Ondanks de complexiteit en de aanbeveling van Dell voor gespecialiseerde servicetechnici, beschikt de XE9680 over opmerkelijk gebruiksvriendelijke service-elementen. De panelen van de server bevatten gedetailleerde service-instructies en duidelijke afbeeldingen, waardoor onderhoudsprocedures verrassend toegankelijk zijn voor ervaren IT-personeel. Deze visuele gidsen bleken van onschatbare waarde tijdens onze hands-on tijd met het systeem, waardoor we verschillende componenten vol vertrouwen konden onderhouden.

Nadat je de cover van de PowerEdge XE9680 hebt geopend, en je voorbij de vele stroomkabels van het kleine stroomstation aan de bovenkant bent, lijkt het veel op een PowerEdge R760. Onze unit werd aangestuurd door twee Intel Xeon Platinum 8468-processors, elk met 48 cores op 2.1 GHz. Elke processor biedt 80 PCIe-lanes, die door een behoorlijk aantal PCIe-switches in deze unit stromen om de GPU's, NIC's en andere hardware te ondersteunen die in de XE9680 zijn geladen.

Een van de meest indrukwekkende technische kenmerken is het PCIe Switch Board (PSB)-ontwerp. Deze borden bieden connectiviteit voor maximaal 10 extra full-height, half-length PCIe-kaarten (waarvan er twee meer dan 75 W stroomverbruik kunnen hebben) en integreren direct met het GPU-basisbord. Deze directe integratie maakt GPU-direct-technologie mogelijk, waardoor SSD's en netwerkkaarten direct met de GPU's kunnen communiceren, de CPU omzeilen en de latentie voor I/O-intensieve AI-workloads verminderen.

Elke uitbreidingssleuf ondersteunt een volledige PCIe Gen5 x16-interface, inclusief de twee onderste sleuven helemaal links en rechts van de lay-out. Terwijl de bovenste acht sleuven via hun eigen PSB zijn verbonden, maken de twee onderste sleuven rechtstreeks verbinding met het PCIe Base Board (PBB). Deze twee sleuven ondersteunen ook high-power draw-kaarten. Bovendien moet worden opgemerkt dat de PCIe-lay-out enigszins varieert, afhankelijk van het gekozen GPU-type voor de PowerEdge XE9680. De met AMD uitgeruste modellen ondersteunen geen SmartNIC/DPU's en de Intel Gaudi3-modellen hebben twee sleuven die zijn geblokkeerd vanwege problemen met de luchtstroom.

Koeling is een ander gebied waar de technische expertise van Dell schittert. Het systeem maakt gebruik van maximaal 16 high-performance gold-grade fans: zes in de mid-tray en tien aan de achterkant. De PowerEdge XE9680 ondersteunt een breed scala aan installatiescenario's, met omgevingstemperaturen variërend van 10 tot 35C (30C met de Intel Gaudi3 GPU's). Op volle toeren verplaatst de server een indrukwekkende 1,200CFM naar het hete gangpad.

Deze robuuste koeloplossing kan zelfs de meest veeleisende thermische belastingen aan, waaronder de AMD MI300X, Intel Gaudi3 of NVIDIA H100 GPU's, terwijl de optimale bedrijfstemperaturen behouden blijven. De PowerEdge XE9680 zingt behoorlijk wat onder belasting in termen van geluidsoutput. Dell biedt een volledig akoestisch specificatieblad voor de XE9680 onder verschillende situaties, maar het is vrij eenvoudig om te zeggen dat het een luid platform zal zijn onder belasting.

beheer

De beheermogelijkheden van de XE9680 zijn gebaseerd op Dell's bewezen iDRAC9, dat uitgebreid serverlevenscyclusbeheer en -bewaking biedt. Deze iteratie van iDRAC brengt verschillende AI-geoptimaliseerde functies, waaronder gedetailleerde GPU-telemetrie, stroomverbruikanalyses en uitgebreide thermische bewaking die zijn ontworpen voor AI-workloads met hoge dichtheid.

De managementstack van het platform is met name opmerkelijk voor AI-infrastructuurimplementaties. Via de RESTful API van iDRAC9 met Redfish-ondersteuning kunnen organisaties programmatisch GPU-gebruik, geheugenbandbreedte en thermische omstandigheden bewaken en beheren: cruciale statistieken voor het handhaven van optimale AI-training en inferentieprestaties. De integratie van het systeem met OpenManage Enterprise maakt vlootbreed beheer van meerdere XE9680's mogelijk via een uniforme console, wat essentieel is voor grootschalige AI-clusters.

Beveiliging en naleving zijn fundamentele elementen van de beheerarchitectuur. Het platform implementeert Silicon Root of Trust en Secure Component Verification, waarmee de hardware-integriteit wordt gewaarborgd van opstarten tot en met de werking. Deze functies zijn vooral waardevol bij het uitvoeren van gevoelige AI-workloads of het verwerken van gepatenteerde modelgewichten.

De predictieve storingsanalysemogelijkheid, aangestuurd door CloudIQ-integratie, gebruikt machine learning om potentiële hardwareproblemen te voorspellen voordat ze van invloed zijn op workloads. Deze proactieve aanpak is vooral cruciaal voor langlopende AI-trainingstaken, waarbij onverwachte downtime kan resulteren in dagen van verloren berekeningen. In combinatie met de ProSupport Plus-service van Dell, activeert deze predictieve mogelijkheid automatische casecreatie en onderdelenverzending, wat vaak resulteert in preventief onderhoud voordat systeemdegradatie optreedt.

Voor organisaties die integratie met bestaande beheertools nodig hebben, ondersteunt de XE9680 verschillende beheerframeworks via OpenManage-integraties, waaronder ServiceNow en BMC TrueSight, waardoor naadloze integratie in bestaande IT-servicemanagementworkflows mogelijk is.

De iDRAC9-interface biedt gedetailleerde realtime monitoring van kritieke componenten via een intuïtief dashboard. GPU-monitoring geeft uitgebreide statistieken weer, waaronder temperatuur, stroomverbruik en gebruikspercentages in alle acht accelerators, essentieel voor het optimaliseren van AI-werklastverdeling.

De interface voor opslagbewaking biedt direct inzicht in de status van de schijf, de temperatuur en prestatiegegevens in de NVMe-array. Dit is vooral handig bij het beheren van inferentiecaches met hoge doorvoer en trainingsdatasets.

Geheugen, opslag en schaal

De acht AMD MI300X GPU's in de Dell PowerEdge XE9680 vertegenwoordigen een significante sprong in GPU-geheugencapaciteit, met 192 GB HBM3-geheugen per kaart vergeleken met de 200 GB van de NVIDIA H141. Deze toename van 36% in geheugencapaciteit is niet zomaar een getal op een specificatieblad - het is cruciaal voor de implementatie van grote taalmodellen.

Dankzij deze enorme hoeveelheid geheugen en de geheugenbandbreedte van 300 TB/s van de MI5.3X kunnen organisaties meerdere exemplaren van kleinere modellen uitvoeren of grotere modellen partitioneren over GPU's, terwijl een hoge doorvoer en lage latentie behouden blijven.

Om dit in perspectief te plaatsen: Meta's Llama 3.1 405B-model, dat meer dan 1 TB VRAM nodig heeft in BF16, kan comfortabel worden verdeeld over een enkele XE9680 met MI300X GPU's zonder kwantisering en volledige 128k contextlengte. Dit elimineert potentieel kwaliteitsverlies dat geassocieerd wordt met kwantiseringstechnieken en staat meer tokens/seconde toe vergeleken met het model dat verdeeld is over twee servers.

Om onze opslagcapaciteit te maximaliseren, hebben we gebruik gemaakt van de Solide 61.44TB drives om te dienen als een geavanceerde uitbreiding van het geheugen, waarmee de kloof tussen supersnel GPU-geheugen en traditionele opslag wordt overbrugd. De SSD's zijn uitstekend geschikt voor het opslaan van sleutel-waarde-cacheparen tijdens inferentie, waardoor de geheugencapaciteit van de GPU effectief wordt uitgebreid voor generaties met lange context. Hun enorme capaciteit en NVMe-prestaties maken ze ideaal voor snelle toegang tot modelgewichten, waardoor efficiënte modelwisseling en warme starts mogelijk zijn.

In toepassingen zoals de Metrum AI-implementatie die we hieronder beschrijven, vervullen de SSD's een dubbele functie als opslagbackend voor vectordatabases. Ze leveren de prestaties die nodig zijn voor realtime overeenkomstenzoekopdrachten en behouden tegelijkertijd de capaciteit voor uitgebreide insluitingsopslag.

De waarde van deze schijven met hoge capaciteit reikt verder dan alleen de inferentie voor trainingsworkflows. Ze bieden ideale lokale opslag voor het in de wachtrij plaatsen van trainingsbatches, waardoor de netwerkoverhead wordt verminderd door gegevens dichter bij de computerbronnen te houden. Tijdens de training zijn deze schijven uitstekend in het lokaal opslaan van modelcontrolepunten, wat cruciaal is voor het behouden van de trainingsvoortgang en het mogelijk maken van snel herstel. Deze lokale opslagstrategie helpt ook om het netwerkgebruik te optimaliseren door het directe netwerkverkeer na elke verwerkte laag en batch te verminderen.

Hoewel de capaciteit van 61.44 TB verdeeld over acht bays in de XE9680 veelbelovend klinkt, komt er nog veel meer capaciteit. Met De onlangs aangekondigde 122.88TB-schijf van Solidigmkan de opslagdichtheid in de XE worden verdubbeld tot bijna een petabyte voor verdere trainingsoptimalisaties en inferentiecaches met een langere levensduur.

Metrum AI-zorgassistent – ​​Een revolutie in de patiëntenzorg

De gezondheidszorgsector staat voortdurend voor een uitdaging bij het beheren van tijdrovende patiëntdocumentatie en dossierbeheer, wat vaak afleidt van directe patiëntenzorg. Metrum AI's Healthcare Assistant, geïmplementeerd op Dell PowerEdge XE9680-servers met AMD-accelerators, is een voorbeeld van hoe geavanceerde AI-infrastructuur workflows in de gezondheidszorg kan transformeren, de efficiëntie kan verbeteren en patiëntresultaten kan verbeteren.

Het systeem gebruikt Llama 3.1 70B Instruct als primair taalmodel, dat bekendstaat om zijn begrip van medische contexten. Hierdoor kan het complexe patiëntgegevens eenvoudig verwerken. Dit taalmodel is gekoppeld aan het gte-v1.5-embeddingmodel en Milvus Vector DB, wat een robuuste basis biedt voor natuurlijke taalverwerking en contextueel begrip, essentieel voor het verwerken van medische gegevens.

Metrum AI's Healthcare Assistant omvat ook een multimodale aanpak met HistoGPT voor histopathologische beeldanalyse en OpenAI's Whisper voor realtime transcriptie van doktersnotities. Samen stroomlijnen deze modellen klinische workflows, waardoor dokters op natuurlijke wijze kunnen spreken terwijl het systeem informatie in realtime transcribeert, categoriseert en integreert in patiëntendossiers.

Metrum AI erkent dat, hoewel individuele patiëntgegevens relatief klein kunnen zijn, de gecombineerde opslagvereisten van ziekenhuizen met veel verkeer kunnen oplopen tot honderden terabytes. De Dell PowerEdge XE9680 kan dit aanpakken met zijn lokale onboard NVMe-opslag. Onze configuratie biedt acht 2.5" U.2 NVMe-opslagsleuven die werken op PCIe Gen4-snelheden. Terwijl we de XE9680 testten met 61.44TB Soldigim D5-P5336 QLC SSD's, deze capaciteit kan nog verder worden opgeschaald. Soldigim lanceerde onlangs hun nieuwe D5-P5336 122.88TB QLC-modellen, waardoor de capaciteit van hun toch al enorme SSD's wordt verdubbeld, terwijl dezelfde prestaties behouden blijven.

Metrum gaf schattingen van hoe patiëntgegevens zich in de loop van de tijd vertalen in verschillende scenario's. Wanneer u dat uitrekent naar totale opslagcapaciteit, kunt u zien hoeveel extra patiënten een eenheid zou kunnen ondersteunen met behulp van SSD's met de hoogste capaciteit. Als we de geschatte datafootprint per patiënt nemen en deze vergelijken met de bruikbare capaciteit voor elke SSD (57 TB voor de 61 TB SSD en 114 TB voor de 122 TB SSD), kunnen we zien dat het hebben van dichte SSD's aanzienlijk vergroot wat u op een zinvolle manier per jaar op de server kunt opslaan.

Hoewel de eerste schattingen voor 1 jaar vrij hoog lijken, is het belangrijk om op te merken dat patiëntgegevens niet statisch zijn. U krijgt nieuwe gegevens vastgelegd en nieuwe bezoeken gepland, waardoor de vraag naar opslag toeneemt. Dit is waar opslag een belangrijke rol speelt in de medische beeldvormingsruimte. Extra opslagcapaciteit heeft direct invloed op het aantal patiënten dat een oplossing effectief kan ondersteunen.

De Dell PowerEdge XE9680, uitgerust met AMD MI300X-accelerators en geïntegreerd met Metrum AI's Healthcare Assistant, biedt een schaalbare en efficiënte oplossing voor zorgverleners. Door tijdrovende taken te automatiseren en snelle toegang tot kritieke inzichten mogelijk te maken, kunnen clinici zich met deze opstelling meer richten op patiëntenzorg terwijl ze de groeiende vraag beheren. Door naadloze integratie van AI-componenten in taal-, beeld- en spraakmodaliteiten, vertegenwoordigt de Healthcare Assistant een aanzienlijke vooruitgang in AI-gestuurde gezondheidszorgoplossingen, waardoor administratieve lasten worden verminderd en de algehele patiëntresultaten worden verbeterd.

Conclusie

In het veranderende landschap van enterprise AI zet Dell PowerEdge XE9680 een nieuwe standaard, die laat zien hoe speciaal gebouwde hardware verschillende industrieën kan revolutioneren. De Metrum AI Healthcare Assistant-implementatie toont een van de talloze mogelijkheden: stel je financiële instellingen voor die complexe risicoanalysemodellen in realtime uitvoeren of onderzoekslaboratoria die enorme datasets verwerken voor medicijnontdekking, allemaal aangestuurd door dit opmerkelijke systeem.

De XE9680 biedt uitzonderlijke veelzijdigheid in GPU-opties, van NVIDIA's H100s tot AMD's MI300X en Intel's Gaudi3. Deze flexibiliteit, gecombineerd met zijn robuuste geheugencapaciteit, opslagopties en innovatieve koeloplossingen, maakt het meer dan alleen een AI-server: het is een compleet enterprise computing-platform dat de meest veeleisende workloads in verschillende applicaties aankan, of het nu in het datacenter of de medische praktijk is.

Vanuit een opslagperspectief heeft de server slechts acht NVMe-bays, maar dankzij Solidigm kunnen we hun 61.44TB SSD's gebruiken om bijna een halve petabyte in het systeem te krijgen als werkruimte voor de zorgassistent die we hierboven hebben beschreven. Alsof dat nog niet genoeg is, heeft Solidigm zojuist aangekondigd dat ze de capaciteit van de D5-P5336 hebben verdubbeld tot 122.88TB, wat betekent dat systemen als deze ongeveer een petabyte aan flashopslag naast hun accelerator kunnen bevatten, wat efficiënte AI-workloads mogelijk maakt.

Dell's engineering schittert in elk aspect van de XE9680, van de doordachte power management-functies tot de gebruiksvriendelijke service. Het vermogen van het platform om de werking te behouden, zelfs tijdens gedeeltelijke stroomuitval, toont Dell's diepgaande begrip van AI-vereisten, waarbij systeembetrouwbaarheid en continue werking van het grootste belang zijn.

Gesteund door Dell's uitgebreide ondersteuningsinfrastructuur en toewijding aan het verbeteren van AI-mogelijkheden via verschillende initiatieven, staat de PowerEdge XE9680 symbool voor innovatie in enterprise computing. Dankzij de combinatie van pure rekenkracht, architecturale flexibiliteit en betrouwbaarheid op enterprise-niveau, heeft het een vernieuwde Best of 2024-award ontvangen.

Metrum-AI

Dell XE9680 productpagina

Solidigm-opslag

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed

Deze recensie is mede geschreven door Kevin O'Brien en Divyansh Jain