Testbericht zum Dell PowerEdge XE9680: Mein Lieblingsserver, den ich je getestet habe

Normalerweise warten wir bis zum Ende des Artikels, um das Gesamtbild zu zeichnen und die Rezension abzuschließen. Allerdings stellt der Dell PowerEdge Das Design von Dell ist auf die Bedürfnisse der KI ausgerichtet und bietet eine enorme Rechenleistung in einem 9680U-Formfaktor. Dank der Partnerschaft von Dell mit Intel und NVIDIA beim XE6 ist ein Angebot entstanden, das nicht nur leistungsstark, sondern auch äußerst effizient ist.

Normalerweise warten wir bis zum Ende des Artikels, um das Gesamtbild zu zeichnen und die Rezension abzuschließen. Allerdings stellt der Dell PowerEdge Das Design von Dell ist auf die Bedürfnisse der KI ausgerichtet und bietet eine enorme Rechenleistung in einem 9680U-Formfaktor. Dank der Partnerschaft von Dell mit Intel und NVIDIA beim XE6 ist ein Angebot entstanden, das nicht nur leistungsstark, sondern auch äußerst effizient ist.

Dell PowerEdge XE9680

Seine technischen Daten sind geradezu beeindruckend; Zwei skalierbare Intel Xeon Prozessoren der 4. Generation mit jeweils 56 Kernen und 2 TB DDR5-RAM bilden das CPU-Rückgrat für die KI-Beschleuniger. Wenn man dann die acht NVIDIA HGX H100- oder A100-GPUs hinzufügt, die über SXM verbunden und über NVLink miteinander verbunden sind, ist der Server für die Bewältigung der größten Modell- und Daten-Workloads gerüstet.

Die Kapazität des PowerEdge XE9680 für große RAM-Volumen (bis zu 4 TB) bietet einen erheblichen Wettbewerbsvorteil bei der Bewältigung von KI-Workloads. Ein solch großer Speicherbedarf ermöglicht das Training komplexerer Modelle, was zu höherer Leistung und genaueren Ergebnissen führt.

Unsere Konfigurationen umfassen 8x U.2 NVMe SSD-Schächte an der Vorderseite. Aber genau wie wir es mit dem gesehen haben R660Dell beabsichtigt, auch eine E3.S-Backplane mit 16x E3.S-SSDs anzubieten. Der Server unterstützt auch das NVMe BOSS-N1-Boot-Laufwerksrig auf der Rückseite des Servers.

Es geht um mehr als nur Macht

Beim PowerEdge XE9680 geht es nicht nur um Leistung; Außerdem stehen Sicherheit und Verwaltbarkeit im Vordergrund. Mit Funktionen wie kryptografisch signierter Firmware, Data-at-Rest-Verschlüsselung und Secure Boot stellt der Server sicher, dass Ihre Daten immer geschützt sind. Das eingebettete iDRAC9-System bietet eine benutzerfreundliche Verwaltungsschnittstelle und bietet eine Vielzahl von Tools und Integrationen, die die Verwaltung des Servers einfach und problemlos machen.

Wir haben dieses System auf die Probe gestellt, als wir die Betriebssysteminstallation (dazu später mehr) auf dem Server umstellen wollten, und es war einfacher, die kryptografische Löschfunktion des iDRAC mit nur wenigen Klicks zu verwenden, um mit einem sauberen System zu starten arbeiten mit.

nvidia-smi auf dem XE9680 mit H100-Karten

Zuvor haben wir uns das Whitepaper von Dell angesehen auf dem XE9680 und der Leistung des Dell PowerEdge Der Server lieferte etwa den doppelten Durchsatz, was ein Beweis für die Leistung und Effizienz des PowerEdge XE9680 ist.

Der MLPerf punktet sind weithin bekannt und gelten als gute Leistungsbewertung für Systeme dieser Klasse. Um unsere praktische Zeit mit den Servern Abstimmung von Metas LLaMa mit den beiden Systemen. Dazu folgten wir den Alpaka-Trainingsschritten von Stanford, die sie mit 9680x A100-Systemen durchführten.

Alpaka-Training auf dem XE9680

Wir möchten den Teams von NVIDIA und Dell für ihre Unterstützung bei diesem Projekt danken. Dies ist aus Hardware- und Software-Sicht eine so hochmoderne Technologie, dass es ohne die Anleitung von Branchenexperten beider Unternehmen ein viel langwierigerer und intensiverer Prozess gewesen wäre.

Auf dem A100-System konnten wir mithilfe des auf dem Stanford Alpaca Git Hub beschriebenen Prozesses die Schritte zum Erstellen der Alpaca-Kontrollpunkte reproduzieren, um die drei Trainingsepochen abzuschließen, die durchschnittlich etwa 90 Minuten dauerten.

Bei der Umstellung auf das H100-System stellten wir eine Verbesserung fest, da die Läufe pro Lauf in etwa 70 Minuten abgeschlossen waren. Aufgrund der hohen Nachfrage und der begrenzten Beschaffenheit dieser Systeme hatten wir keine Gelegenheit, den Code selbst zu optimieren, um mögliche Leistungsverbesserungen zu erkunden, und es war klar, dass ein Unternehmensteam mit Verfeinerung und Zeitaufwand für die Entwicklung eine schnelle Wende erreichen könnte Zeit mit der Feinabstimmung.

Offiziell inoffiziell

Beim XE100 mit A9680-Variante hatten wir Gelegenheit, einige unkonventionelle und höchst unorthodoxe Tests durchzuführen. Wir haben Windows Server 2022 auf dem System installiert! Dazu gehörten einige iDRAC-Laufwerkslöschungen, um die Linux-Installation zu entfernen, einige Tricks mit iDRAC-ISO-Dateien und virtuellen Medien, um Intel-Netzwerktreiber von der Seite zu laden, und von da an ging es los mit dem Rennen. Verwendung der Chipsatz-Laufwerke eines vergleichbaren Dell PowerEdge-Systems und anschließend offizieller NVIDIA A100-Treiber.

Das System funktioniert und ist stabil, ohne Probleme. Dies ist jedoch ein höchst ungewöhnlicher Anwendungsfall, den Dell nicht offiziell unterstützt. Mit unserer frischen Windows-Installation und acht der besten GPUs auf dem Markt haben wir es also geschafft was wir am besten können, Benchmark-Pi!

Die acht NVIDIA A100-Karten brachen problemlos GPU-Pi-Weltrekorde ohne Tuning, und die Xeon Platinum-CPUs erzielten sowohl im Y-Cruncher als auch im Cinebench großartige Ergebnisse. Wir haben einige unserer anderen Standard-CPU-/GPU-Benchmarks ausprobiert, ohne große Hoffnung, dass sie funktionieren würden, und wie erwartet stießen wir auf Software-/Encoder-Probleme, die erfolgreiche Durchläufe verhinderten. Procyon wusste beispielsweise nicht einmal, dass es Tensor-GPUs für den Test zur Verfügung hatte.

Wir müssen noch einmal betonen, dass es sich dabei lediglich um einen Test einer nicht unterstützten Konfiguration handelte. Die Tatsache, dass wir überhaupt etwas zum Laufen gebracht haben, ist beeindruckend und ein Beweis für die Fähigkeit von Dell, plattformübergreifend konsistente Hardware zu produzieren. Die Verwendung von Windows Server auf einem solchen System in einer Produktionsumgebung wäre unklug.

Es ist erwähnenswert, dass sich eine solch beeindruckende Leistung nicht nur in Geschwindigkeit niederschlägt, sondern auch Auswirkungen auf die praktische Anwendung von KI hat. Durch schnellere Umschulungs- und Feinabstimmungsmöglichkeiten können Unternehmen ihre Agilität erheblich verbessern und so schnell auf Marktveränderungen, Kundenbedürfnisse und interne Anforderungen reagieren. Beispielsweise können Designteams Konzepte in Echtzeit bewerten und verfeinern und so die Zeit bis zur Markteinführung erheblich verkürzen, oder Compliance-Teams können aktualisierte Modelle kontinuierlich mit den neuesten Richtlinien und Verfahren für ein Assistenten-LLM trainieren und verfeinern.

Transformieren von Abläufen mithilfe generativer KI

Der Dell PowerEdge XE9680 kann generative KI bei der Transformation verschiedener Branchenabläufe unterstützen. Stellen Sie sich ein Einzelhandelsszenario vor, in dem KI schnell realistische Bilder verschiedener Produktkonfigurationen oder Farboptionen basierend auf Kundenpräferenzen erstellen kann, oder ein Bauunternehmen, das Visualisierungen neuer Gebäude für Planungs- und Verkaufspräsentationen erstellt. Die Möglichkeiten sind faszinierend.

Der Dell PowerEdge XE9680 bietet eine fantastische Mischung aus Leistung, Effizienz und Vielseitigkeit. Es handelt sich um einen Hochleistungsserver, der anspruchsvolle KI-Workloads problemlos bewältigen kann. Und obwohl es speziell für die Bewältigung von KI-Arbeitslasten entwickelt wurde, bietet es aufgrund seiner Fähigkeiten das Potenzial, auch für andere Anwendungen nützlich zu sein.

Gepaart mit dem Engagement von Dell, Unternehmen bei der Umsetzung ihrer KI-Projekte zu unterstützen Projekt Helix, der PowerEdge XE9680 ist ein spannendes Angebot und eine der besten Hardware-Innovationen, die wir das ganze Jahr über gesehen haben. Mit seiner Fähigkeit, pure Leistung, raffinierte Finesse und ein Lebenszyklusmanagement auf Unternehmensniveau zu liefern, ist es kein Wunder, dass der Dell PowerEdge XE9680 schnell zu einem begehrten Favoriten unter den Unternehmensservern wird.

Dell XE9680

Nvidia A100

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed