Dell PowerEdge XE9680 – Das ultimative KI-Kraftpaket

Der Dell PowerEdge XE9680 ist ein Beweis für Innovation im Enterprise-Computing und bietet Kunden ein Höchstmaß an GPU-Flexibilität.

Der PowerEdge XE9680 ist Dells bislang vielseitigste KI-Infrastrukturplattform. Er kombiniert einen 760U-Rechenknoten im PowerEdge R2-Stil mit einer massiven 4U-GPU-Schublade. Dieses innovative 6U-Design kombiniert das Beste der Enterprise-Server-Technik von Dell mit beispielloser GPU-Dichte und Flexibilität.

Der XE9680 unterstützt im Kern zwei Intel Xeon Scalable-Prozessoren und bietet die Wahl zwischen der 5. Generation mit bis zu 64 Kernen pro CPU oder der 4. Generation mit bis zu 56 Kernen. Die Speicherkapazität ist beträchtlich und unterstützt bis zu 4 TB DDR5-Speicher auf 32 DIMM-Steckplätzen, der mit den neuesten Prozessoren mit bis zu 5600 MT/s läuft.

Was den XE9680 wirklich auszeichnet, sind seine GPU-Fähigkeiten. Die Plattform unterstützt acht leistungsstarke GPUs. Verfügbare Konfigurationen sind NVIDIAs HGX H200 (141 GB) und H100 (80 GB), AMDs Instinct MI300X (192 GB) und Intels Gaudi3 (128 GB). Die neu eingeführte XE9680L Die Variante unterstützt NVIDIAs B200-GPUs der nächsten Generation und direkte Flüssigkeitskühlung und erweitert so die Grenzen in puncto Dichte und Leistung.

Die Speicherkonfigurationen sind ebenso flexibel und bieten 8x 2.5″ NVMe/SAS/SATA-Laufwerke oder 16x E3.S NVMe-Laufwerke. Das System kann mit Dells H965i NVMe PERC RAID-Karte ausgestattet werden, was die Speicherredundanz vereinfacht, die für große KV-Caches bei Inferenz-Workloads von Bedeutung ist.

Die Stromversorgung ist auf maximale Zuverlässigkeit ausgelegt. Sechs Netzteile mit insgesamt 19200 W sind in einer fehlertoleranten redundanten 3+3-Anordnung (FTR) konfiguriert. Wenn zwei oder mehr Netzteile ausfallen, wechselt das System in einen fehlertoleranten redundanten Modus, anstatt herunterzufahren. In diesem Modus wird die GPU-Leistungsbremse aktiviert und drosselt die GPU-Taktung auf ein Viertel, was zu etwa einem Fünftel der typischen GPU-Leistung führt.

Diese durchdachte Designentscheidung ist in großen Trainingsumgebungen, in denen Hunderte oder Tausende von GPUs zusammenarbeiten, von unschätzbarem Wert. Anstatt einen Knoten vollständig offline zu nehmen – was eine Neuplanung und Wiederholung der Trainingsiterationen auf einem anderen Knoten erfordern würde – kann das System bis zum nächsten Wartungsfenster mit reduzierter Leistung weiterarbeiten. Diese Liebe zum Detail bei der Energieverwaltung trägt dazu bei, einen hohen Modelltrainingsdurchsatz (MFU) aufrechtzuerhalten, indem Störungen minimiert werden.

Die Erweiterungsmöglichkeiten sind umfangreich und umfassen bis zu 10 PCIe Gen5 x16-Steckplätze in voller Höhe und halber Länge, von denen zwei leistungsstärkere Karten mit mehr als 75 W unterstützen. Diese Fülle an PCIe-Konnektivität ermöglicht verschiedene Netzwerkkonfigurationen, einschließlich DPUs und SmartNICs, die für den Aufbau einer modernen KI-Infrastruktur unerlässlich sind.

Vollständige Spezifikationen:

Aufbau und Design des Dell PowerEdge XE9680

Der PowerEdge XE9680 ist ein imposantes Stück Hardware mit einer Höhe von 10.36 Zoll (263.20 mm), einer Breite von 18.97 Zoll (482.00 mm) und einer Tiefe von 39.71 Zoll (1008.77 mm) mit angebrachter Blende. Voll beladen wiegt er 251.44 Pfund (114.05 kg). Die GPU-Auswahl bestimmt das endgültige Gewicht: Das Modell NVIDIA H100/H200 bringt 238 Pfund auf die Waage, während die AMD MI300X-Einheit 251 Pfund auf die Waage bringt.

Dies war der erste Server, bei dem sorgfältige Überlegungen erforderlich waren, um ihn richtig in unsere Testumgebung zu laden. Wenn man das Gewicht des Servers und die Anzahl der Personen berücksichtigt, die zum Einrichten der Hardware erforderlich sind, gibt es etwas Spielraum, um die Grenzen zu überschreiten, aber ab einem bestimmten Punkt können ein oder zwei Personen ihn nicht mehr alleine anheben. Dell ist so freundlich, Ihnen einen „Hebetisch“ zur Verfügung zu stellen, damit Sie verstehen, wie diese Plattform hineinpasst. Für alle, die sich fragen: Kevin hat den XE9680 selbst in das Rack geladen.

Trotz seiner Komplexität und Dells Empfehlung für spezialisierte Servicetechniker verfügt der XE9680 über bemerkenswert benutzerfreundliche Serviceelemente. Die Bedienfelder des Servers enthalten detaillierte Serviceanweisungen und klare Grafiken, sodass Wartungsvorgänge für erfahrenes IT-Personal überraschend leicht zugänglich sind. Diese visuellen Anleitungen erwiesen sich während unserer praktischen Erfahrung mit dem System als von unschätzbarem Wert und ermöglichten uns die sichere Wartung verschiedener Komponenten.

Nachdem man die Abdeckung des PowerEdge XE9680 geöffnet hat und die zahlreichen Stromkabel des kleinen Umspannwerks oben überwunden hat, sieht er sehr nach einem PowerEdge R760 aus. Unser Gerät wurde von zwei Intel Xeon Platinum 8468-Prozessoren mit jeweils 48 Kernen bei 2.1 GHz angetrieben. Jeder Prozessor bietet 80 PCIe-Lanes, die durch eine ganze Reihe von PCIe-Switches in diesem Gerät fließen, um die GPUs, NICs und andere im XE9680 geladene Hardware zu unterstützen.

Eines der beeindruckendsten technischen Merkmale ist das PCIe Switch Board (PSB)-Design. Diese Boards bieten Konnektivität für bis zu 10 zusätzliche PCIe-Karten in voller Höhe und halber Länge (von denen zwei eine Leistungsaufnahme von über 75 W haben können) und lassen sich direkt in das GPU-Baseboard integrieren. Diese direkte Integration ermöglicht die GPU-Direkttechnologie, sodass SSDs und Netzwerkkarten direkt mit den GPUs kommunizieren können, die CPU umgehen und die Latenz für I/O-intensive KI-Workloads reduzieren.

Jeder Erweiterungssteckplatz unterstützt eine vollständige PCIe Gen5 x16-Schnittstelle, einschließlich der beiden unteren Steckplätze ganz links und rechts im Layout. Während die oberen acht Steckplätze über ihr eigenes PSB verbunden sind, sind die beiden unteren Steckplätze direkt mit dem PCIe Base Board (PBB) verbunden. Diese beiden Steckplätze unterstützen auch Hochleistungs-Zugkarten. Darüber hinaus ist zu beachten, dass das PCIe-Layout je nach dem für den PowerEdge XE9680 gewählten GPU-Typ leicht variiert. Die mit AMD ausgestatteten Modelle unterstützen keine SmartNIC/DPUs, und bei den Intel Gaudi3-Modellen sind zwei Steckplätze aufgrund von Luftstromproblemen blockiert.

Auch die Kühlung ist ein Bereich, in dem Dells technisches Know-how glänzt. Das System verfügt über bis zu 16 Hochleistungslüfter der Goldklasse – sechs im mittleren Fach und zehn an der Rückseite. Der PowerEdge XE9680 unterstützt eine Vielzahl von Installationsszenarien bei Umgebungstemperaturen von 10 bis 35 °C (30 °C mit den Intel Gaudi3-GPUs). Bei voller Leistung bewegt der Server beeindruckende 1,200 CFM in den Warmgang.

Diese robuste Kühllösung bewältigt selbst die anspruchsvollsten thermischen Belastungen, einschließlich der AMD MI300X-, Intel Gaudi3- oder NVIDIA H100-GPUs, und hält dabei optimale Betriebstemperaturen aufrecht. Der PowerEdge XE9680 ist unter Belastung ziemlich laut, was die Geräuschentwicklung betrifft. Dell bietet ein vollständiges akustisches Datenblatt für den XE9680 unter verschiedenen Situationen an, aber es lässt sich ziemlich leicht sagen, dass es unter Belastung eine laute Plattform sein wird.

Management

Die Verwaltungsfunktionen des XE9680 basieren auf Dells bewährtem iDRAC9, das umfassendes Server-Lebenszyklusmanagement und -überwachung bietet. Diese Iteration von iDRAC bietet mehrere KI-optimierte Funktionen, darunter detaillierte GPU-Telemetrie, Stromverbrauchsanalyse und umfassendes thermisches Monitoring für KI-Workloads mit hoher Dichte.

Der Management-Stack der Plattform ist besonders für die Bereitstellung von KI-Infrastrukturen bemerkenswert. Über die RESTful API von iDRAC9 mit Redfish-Unterstützung können Unternehmen die GPU-Auslastung, Speicherbandbreite und thermischen Bedingungen programmgesteuert überwachen und verwalten – wichtige Kennzahlen für die Aufrechterhaltung einer optimalen KI-Trainings- und Inferenzleistung. Die Integration des Systems mit OpenManage Enterprise ermöglicht die flottenweite Verwaltung mehrerer XE9680s über eine einheitliche Konsole, was für große KI-Cluster unerlässlich ist.

Sicherheit und Compliance sind grundlegende Elemente der Managementarchitektur. Die Plattform implementiert Silicon Root of Trust und Secure Component Verification und gewährleistet so die Hardwareintegrität vom Start bis zum Betrieb. Diese Funktionen sind besonders wertvoll, wenn sensible KI-Workloads ausgeführt oder proprietäre Modellgewichte verarbeitet werden.

Die prädiktive Fehleranalysefunktion, die durch die CloudIQ-Integration unterstützt wird, verwendet maschinelles Lernen, um potenzielle Hardwareprobleme vorherzusagen, bevor sie sich auf die Arbeitslast auswirken. Dieser proaktive Ansatz ist besonders wichtig für lang andauernde KI-Trainingsjobs, bei denen unerwartete Ausfallzeiten zu tagelangen Rechenverlusten führen können. In Kombination mit dem ProSupport Plus-Service von Dell löst diese Vorhersagefunktion die automatische Fallerstellung und Teilelieferung aus, was häufig zu vorbeugender Wartung führt, bevor es zu einer Systemverschlechterung kommt.

Für Organisationen, die eine Integration mit vorhandenen Verwaltungstools benötigen, unterstützt der XE9680 verschiedene Verwaltungsframeworks durch OpenManage-Integrationen, einschließlich ServiceNow und BMC TrueSight, und ermöglicht so eine nahtlose Einbindung in etablierte IT-Servicemanagement-Workflows.

Die iDRAC9-Schnittstelle ermöglicht eine detaillierte Echtzeitüberwachung kritischer Komponenten über ein intuitives Dashboard. Die GPU-Überwachung zeigt umfassende Kennzahlen an, darunter Temperatur, Stromverbrauch und Auslastungsraten aller acht Beschleuniger, was für die Optimierung der KI-Arbeitslastverteilung unerlässlich ist.

Die Speicherüberwachungsschnittstelle bietet sofortigen Einblick in den Laufwerkszustand, die Temperatur und die Leistungsmetriken im gesamten NVMe-Array, was besonders bei der Verwaltung von Inferenz-Caches und Trainingsdatensätzen mit hohem Durchsatz wertvoll ist.

Arbeitsspeicher, Speicherplatz und Skalierung

Die acht AMD MI300X GPUs im Dell PowerEdge XE9680 bedeuten einen deutlichen Sprung in der GPU-Speicherkapazität und bieten 192 GB HBM3-Speicher pro Karte im Vergleich zu den 200 GB der NVIDIA H141. Diese 36 % höhere Speicherkapazität ist nicht nur eine Zahl auf einem Datenblatt – sie ist entscheidend für die Bereitstellung großer Sprachmodelle.

Dieser riesige Speicherpool ermöglicht es Unternehmen zusammen mit der Speicherbandbreite von 300 TB/s des MI5.3X, mehrere Instanzen kleinerer Modelle auszuführen oder größere Modelle auf mehrere GPUs zu verteilen und dabei einen hohen Durchsatz und geringe Latenz aufrechtzuerhalten.

Um dies ins rechte Licht zu rücken: Metas Llama 3.1 405B-Modell, das in BF1 mehr als 16 TB VRAM benötigt, kann bequem auf einen einzigen XE9680 mit MI300X-GPUs ohne Quantisierung und voller 128k-Kontextlänge verteilt werden. Dies eliminiert potenzielle Qualitätsverluste, die mit Quantisierungstechniken verbunden sind, und ermöglicht mehr Tokens/Sekunde im Vergleich zur Verteilung des Modells auf zwei Server.

Um unseren Speicherplatz zu maximieren, nutzten wir die Solidigm 61.44 TB Laufwerke dienen als anspruchsvolle Erweiterung des Speichers und schließen die Lücke zwischen Hochgeschwindigkeits-GPU-Speicher und herkömmlichem Speicher. Die SSDs eignen sich hervorragend zum Speichern von Schlüssel-Wert-Cache-Paaren während der Inferenz und erweitern so effektiv die Speicherkapazität der GPU für lange Kontextgenerierungen. Ihre enorme Kapazität und NVMe-Leistung machen sie ideal für den schnellen Zugriff auf Modellgewichte und ermöglichen effiziente Modellwechsel und Warmstarts.

In Anwendungen wie der Metrum AI-Bereitstellung, die wir weiter unten näher beschreiben, übernehmen die SSDs eine Doppelfunktion als Speicher-Backend für Vektordatenbanken. Sie liefern die für Ähnlichkeitssuchen in Echtzeit erforderliche Leistung und behalten gleichzeitig die Kapazität für umfangreichen eingebetteten Speicher bei.

Der Wert dieser Laufwerke mit hoher Kapazität geht über die Inferenz hinaus und erstreckt sich auch auf Trainings-Workflows. Sie bieten einen idealen lokalen Speicher für die Warteschlangenbildung von Trainings-Batches und reduzieren den Netzwerk-Overhead, indem sie die Daten näher an den Rechenressourcen halten. Während des Trainings sind diese Laufwerke hervorragend geeignet, um Modellprüfpunkte lokal zu speichern, was für die Aufrechterhaltung des Trainingsfortschritts und die Ermöglichung einer schnellen Wiederherstellung entscheidend ist. Diese lokale Speicherstrategie trägt auch zur Optimierung der Netzwerkauslastung bei, indem sie den unmittelbaren Netzwerkverkehr nach jeder verarbeiteten Schicht und jedem verarbeiteten Batch reduziert.

Während die 61.44 TB Kapazität auf acht Schächten des XE9680 vielversprechend klingt, ist noch viel mehr Kapazität in Planung. Mit Solidigms neu angekündigtes 122.88-TB-Laufwerkkann die Speicherdichte im XE für weitere Trainingsoptimierungen und langlebigere Inferenz-Caches auf fast ein Petabyte verdoppelt werden.

Metrum AI Healthcare Assistant – Revolutionierung der Patientenversorgung

Der Gesundheitssektor steht ständig vor der Herausforderung, zeitaufwändige Patientendokumentationen und -akten zu verwalten, was häufig von der direkten Patientenversorgung ablenkt. Der Healthcare Assistant von Metrum AI, der auf Dell PowerEdge XE9680-Servern mit AMD-Beschleunigern bereitgestellt wird, ist ein Beispiel dafür, wie eine fortschrittliche KI-Infrastruktur Arbeitsabläufe im Gesundheitswesen verändern, die Effizienz steigern und die Behandlungsergebnisse verbessern kann.

Das System verwendet Llama 3.1 70B Instruct als primäres Sprachmodell, das für sein Verständnis medizinischer Zusammenhänge bekannt ist. Dadurch kann es komplexe Patientendaten problemlos verarbeiten. Dieses Sprachmodell ist mit dem Einbettungsmodell gte-v1.5 und Milvus Vector DB gepaart und bietet eine robuste Grundlage für die Verarbeitung natürlicher Sprache und das Kontextverständnis, das für den Umgang mit medizinischen Daten unerlässlich ist.

Der Healthcare Assistant von Metrum AI umfasst außerdem einen multimodalen Ansatz, der HistoGPT für die histopathologische Bildanalyse und OpenAIs Whisper für die Echtzeittranskription von Arztnotizen umfasst. Zusammen optimieren diese Modelle klinische Arbeitsabläufe und ermöglichen es Ärzten, natürlich zu sprechen, während das System Informationen in Echtzeit transkribiert, kategorisiert und in Patientenakten integriert.

Metrum AI erkennt, dass die Daten einzelner Patienten zwar relativ klein sein können, der kombinierte Speicherbedarf von Krankenhäusern mit hohem Datenverkehr jedoch auf Hunderte von Terabyte ansteigen kann. Der Dell PowerEdge XE9680 kann dies mit seinem lokalen integrierten NVMe-Speicher bewältigen. Unsere Konfiguration bietet acht 2.5-Zoll-U.2-NVMe-Speicherschächte, die mit PCIe Gen4-Geschwindigkeiten arbeiten. Während wir den XE9680 mit 61.44 TB Soldigim D5-P5336 QLC SSDskann diese Kapazität noch weiter skaliert werden. Soldigim hat kürzlich sein neues D5-P5336 122.88 TB QLC-Modelle, wodurch die Kapazität Ihrer ohnehin schon riesigen SSDs bei gleicher Leistung verdoppelt wird.

Metrum hat Schätzungen zur Verfügung gestellt, wie sich Patientendaten im Laufe der Zeit in verschiedenen Szenarien entwickeln. Wenn Sie das in die Gesamtspeicherkapazität umrechnen, können Sie sehen, wie viele zusätzliche Patienten eine Einheit mit SSDs mit der höchsten Kapazität versorgen könnte. Wenn wir den geschätzten Datenbedarf pro Patient mit der nutzbaren Kapazität jeder SSD vergleichen (57 TB für die 61-TB-SSD und 114 TB für die 122-TB-SSD), können wir sehen, dass dichte SSDs die Menge, die Sie pro Jahr auf dem Server speichern können, erheblich erhöhen.

Obwohl die anfänglichen Schätzungen für ein Jahr ziemlich hoch erscheinen, ist es wichtig zu beachten, dass Patientendaten nicht statisch sind. Es werden neue Daten erfasst und neue Besuche geplant, wodurch der Speicherbedarf steigt. Hier spielt der Speicher im Bereich der medizinischen Bildgebung eine wichtige Rolle. Zusätzliche Speicherkapazität wirkt sich direkt darauf aus, wie viele Patienten eine Lösung effektiv unterstützen kann.

Der Dell PowerEdge XE9680, ausgestattet mit AMD MI300X-Beschleunigern und integriert mit Metrum AIs Healthcare Assistant, bietet eine skalierbare und effiziente Lösung für Gesundheitsdienstleister. Durch die Automatisierung zeitaufwändiger Aufgaben und den schnellen Zugriff auf wichtige Erkenntnisse ermöglicht diese Konfiguration es Ärzten, sich stärker auf die Patientenversorgung zu konzentrieren und gleichzeitig den wachsenden Anforderungen gerecht zu werden. Durch die nahtlose Integration von KI-Komponenten über Sprach-, Bild- und Sprachmodalitäten hinweg stellt der Healthcare Assistant einen bedeutenden Fortschritt bei KI-gesteuerten Gesundheitslösungen dar, der den Verwaltungsaufwand reduziert und die Gesamtergebnisse der Patienten verbessert.

Schlussfolgerung

In der sich entwickelnden Landschaft der Unternehmens-KI setzt Dell PowerEdge XE9680 einen neuen Standard und zeigt, wie speziell entwickelte Hardware verschiedene Branchen revolutionieren kann. Die Implementierung des Metrum AI Healthcare Assistant zeigt eine der unzähligen Möglichkeiten – stellen Sie sich Finanzinstitute vor, die komplexe Risikoanalysemodelle in Echtzeit ausführen, oder Forschungslabore, die riesige Datensätze für die Arzneimittelforschung verarbeiten – und das alles mit diesem bemerkenswerten System.

Der XE9680 bietet eine außergewöhnliche Vielseitigkeit bei den GPU-Optionen, von NVIDIAs H100s über AMDs MI300X bis hin zu Intels Gaudi3. Diese Flexibilität, kombiniert mit seiner robusten Speicherkapazität, Speicheroptionen und innovativen Kühllösungen, macht ihn zu mehr als nur einem KI-Server – er ist eine komplette Enterprise-Computing-Plattform, die in der Lage ist, die anspruchsvollsten Workloads in verschiedenen Anwendungen zu bewältigen, sei es im Rechenzentrum oder in der Arztpraxis.

Aus Speichersicht verfügt der Server nur über acht NVMe-Schächte, aber dank Solidigm können wir ihre 61.44 TB SSDs verwenden, um fast ein halbes Petabyte als Arbeitsspeicher für den oben beschriebenen Gesundheitsassistenten in das System zu bringen. Und als ob das nicht genug wäre, hat Solidigm gerade angekündigt, dass sie die Kapazität des D5-P5336 auf 122.88 TB verdoppelt haben. Das bedeutet, dass Systeme wie dieses neben ihrem Beschleuniger etwa ein Petabyte Flash-Speicher unterbringen könnten, was effiziente KI-Workloads ermöglicht.

Die Ingenieurskunst von Dell zeigt sich in jedem Aspekt des XE9680, von den durchdachten Energieverwaltungsfunktionen bis hin zur benutzerfreundlichen Wartung. Die Fähigkeit der Plattform, den Betrieb auch bei teilweisen Stromversorgungsausfällen aufrechtzuerhalten, zeigt Dells tiefes Verständnis der KI-Anforderungen, bei denen Systemzuverlässigkeit und kontinuierlicher Betrieb von größter Bedeutung sind.

Unterstützt durch Dells umfassende Support-Infrastruktur und das Engagement, KI-Fähigkeiten durch verschiedene Initiativen voranzutreiben, ist der PowerEdge XE9680 ein Beweis für Innovation im Enterprise-Computing. Dank seiner Kombination aus roher Rechenleistung, architektonischer Flexibilität und Zuverlässigkeit auf Unternehmensniveau wurde er erneut mit der Auszeichnung „Best of 2024“ ausgezeichnet.

Metrum KI

Dell XE9680 Produktseite

Solidigm-Speicher

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed

Diese Rezension wurde gemeinsam von Kevin O'Brien und Divyansh Jain verfasst