Start Unternehmen Testbericht zum GIGABYTE R281-NO0 NVMe-Server

Testbericht zum GIGABYTE R281-NO0 NVMe-Server

by Adam Armstrong

Der GIGABYTE R281-NO0 ist ein 2U-All-NVMe-Server, der darauf aufgebaut ist Intels zweite Generation der skalierbaren Xeon-Prozessoren mit Fokus auf leistungsbasierte Workloads. Mit der Unterstützung von Intel Xeon Scalable der 2. Generation kommt die Unterstützung von Persistente Intel Optane DC-Speichermodule. Optane PMEM kann einen viel größeren Speicherbedarf mit sich bringen, da die Module zwar nicht so leistungsstark wie DRAM sind, aber über viel höhere Kapazitäten verfügen. Die Nutzung von Optane kann dazu beitragen, das volle Potenzial der skalierbaren Intel Xeon Prozessoren der 2. Generation im GIGABYTE R281-NO0 auszuschöpfen.

Der GIGABYTE R281-NO0 ist ein 2U-All-NVMe-Server, der darauf aufgebaut ist Intels zweite Generation der skalierbaren Xeon-Prozessoren mit Fokus auf leistungsbasierte Workloads. Mit der Unterstützung von Intel Xeon Scalable der 2. Generation kommt die Unterstützung von Persistente Intel Optane DC-Speichermodule. Optane PMEM kann einen viel größeren Speicherbedarf mit sich bringen, da die Module zwar nicht so leistungsstark wie DRAM sind, aber über viel höhere Kapazitäten verfügen. Die Nutzung von Optane kann dazu beitragen, das volle Potenzial der skalierbaren Intel Xeon Prozessoren der 2. Generation im GIGABYTE R281-NO0 auszuschöpfen.

 

Weitere interessante Hardware-Layouts des GIGABYTE R281-NO0 umfassen bis zu 12 DIMMs pro Sockel oder 24 insgesamt. Die neueren CPUs ermöglichen DRAM mit bis zu 2933 MHz. Insgesamt können Nutzer den GIGABYTE R281-NO0 mit bis zu 3 TB DRAM ausstatten. Der Server kann mehrere verschiedene Riser-Karten nutzen und verfügt so über bis zu sechs Steckplätze voller Höhe und halber Länge für Geräte, die PCIe x16-Steckplätze oder weniger nutzen können. Das Unternehmen rühmt sich eines sehr dichten Add-on-Slot-Designs mit mehreren Konfigurationen für unterschiedliche Anwendungsfälle. Der Server verfügt über eine modularisierte Rückwandplatine, die austauschbare Expander unterstützt, die je nach Bedarf sowohl SAS als auch NVMe U.2 (oder eine Kombination) bieten.

Mit Speicher können Benutzer nicht nur viel hinzufügen, sondern auch viel NVMe-Speicher in Form von U.2 und AIC. Auf der Vorderseite des Servers befinden sich 24 Laufwerksschächte, die 2.5-Zoll-Festplatten oder SSDs unterstützen und NVMe unterstützen. Auf der Rückseite des Servers befinden sich zwei weitere 2.5-Zoll-Laufwerksschächte für SATA/SAS-Boot-/Protokollierungslaufwerke. Und es gibt jede Menge PCIe-Erweiterungsplätze für verschiedene PCIe-Geräte, einschließlich mehr Speicher. Diese Dichte und Leistung sind ideal für KI und HPC, die für GPU-Dichte optimiert sind, Server mit mehreren Knoten, die für HCI optimiert sind, und Speicherserver, die für HDD-/SSD-Kapazität optimiert sind.

Für Interessierte haben wir hier einen Videoüberblick:

Zur Energieverwaltung verfügt der GIGABYTE R281-NO0 über zwei Netzteile, was keine Seltenheit ist. Er verfügt jedoch auch über intelligente Energieverwaltungsfunktionen, um den Server hinsichtlich des Stromverbrauchs effizienter zu machen und im Falle eines Ausfalls die Stromversorgung aufrechtzuerhalten. Der Server verfügt über eine Funktion namens „Cold Redundancy“, die das zusätzliche Netzteil in den Standby-Modus schaltet, wenn die Systemlast unter 40 % liegt, wodurch Stromkosten gespart werden. Das System verfügt über SCMP (Smart Crisis Management/Protection). Wenn bei SCMP ein Problem mit einem Netzteil auftritt, können nur zwei Knoten in den Energiesparmodus wechseln, während das Netzteil repariert/ersetzt wird.

GIGABYTE R281-NO0 Spezifikationen

Formfaktor 2U
Hauptplatine MR91-FS0
CPU Intel Xeon Scalable- und Intel Xeon Scalable-Prozessoren der 2. Generation
Intel Xeon Platinum-Prozessor, Intel Xeon Gold-Prozessor, Intel Xeon Silver-Prozessor und Intel Xeon Bronze-Prozessor
CPU-TDP bis zu 205 W
Sockel 2x LGA 3647, Sockel P
Chipsatz Intel C621
Memory 24 x DIMM-Steckplätze
RDIMM-Module bis zu 64 GB werden unterstützt
LRDIMM-Module bis zu 128 GB werden unterstützt
Unterstützt Intel Optane DC Persistent Memory (DCPMM)
​1.2-V-Module: 2933 (1DPC)/2666/2400/2133 MHz
Lagerung
Bays Vorderseite: 24 x 2.5″ U.2 Hot-Swap-NVMe-SSD-Schächte
​Rückseite: 2 x 2.5″ SATA/SAS Hot-Swap-fähige HDD/SSD-Schächte
Antriebsart SATA III 6 Gbit/s
​SAS mit einer zusätzlichen SAS-Karte
RAID Für SATA-Laufwerke: Intel SATA RAID 0/1
​Für U.2-Laufwerke: Intel Virtual RAID On CPU (VROC) RAID 0, 1, 10, 5
LAN 2 x 1 Gbit/s LAN-Ports (Intel I350-AM2)
​1 x 10/100/1000-Management-LAN
Erweiterungssteckplätze
Riser-Karte CRS2131 1 x PCIe x16-Steckplatz (Gen3 x16 oder x8), volle Höhe, halbe Länge
1 x PCIe x8-Steckplätze (Gen3 x0 oder x8), volle Höhe, halbe Länge
​1 x PCIe x8-Steckplätze (Gen3 x8), volle Höhe, halbe Länge
Riser-Karte CRS2132 1 x PCIe x16-Steckplatz (Gen3 x16 oder x8), volle Höhe, halbe Länge, belegt durch CNV3124, 4 x U.2-Ports
1 x PCIe x8-Steckplätze (Gen3 x0 oder x8), volle Höhe, halbe Länge
1 x PCIe x8-Steckplätze (Gen3 x8), volle Höhe, halbe Länge
Riser-Karte CRS2124 1 x PCIe x8-Steckplatz (Gen3 x0), Low-Profile-Halblänge
​1 x PCIe x16-Steckplatz (Gen3 x16), Low-Profile-Halblänge, belegt durch CNV3124, 4 x U.2-Ports
2 x OCP-Mezzanine-Slots PCIe-Gen3 x16
Typ1, P1, P2, P3, P4, K2, K3
​1 x OCP-Mezzanine-Steckplatz wird von CNVO124 belegt, 4 x U.2-Mezzanine-Karte
I / O
Intern 2 x Netzteilanschlüsse
4 x SlimSAS-Anschlüsse
2 x SATA 7-Pin-Anschlüsse
2 x CPU-Lüfter-Header
1 x USB 3.0-Header
1 x TPM-Header
1 x VROC-Anschluss
1 x Frontplatten-Header
1 x HDD-Rückwandplatinen-Header
1 x IPMB-Anschluss
X Clear CMOS Jumper 1
​1 x BIOS-Wiederherstellungsbrücke
Vorderreifen 2 x USB 3.0
1 x Power-Taste mit LED
1 x ID-Taste mit LED
1 x Reset-Taste
1 x NMI-Taste
1 x Systemstatus-LED
1 x HDD-Aktivitäts-LED
​2 x LAN-Aktivitäts-LEDs
Hinterreifen 2 x USB 3.0
1 x VGA
1 x COM (RJ45-Typ)
2 x RJ45
1 x MLAN
​1 x ID-Taste mit LED
Rückwandplatine Vorderseite_CBP20O2: 24 x SATA/SAS-Ports
Vorderseite_CEPM480: 8 x U.2-Ports
Rückseite_CBP2020: 2 x SATA/SAS-Anschlüsse
​Bandbreite: SATAIII 6 Gbit/s oder SAS 12 Gbit/s pro Port
Power
Versorgung 2 x 1600 W redundante Netzteile
80 PLUS Platinum
AC-Eingang 100-127V~/ 12A, 47-63Hz
​200-240V~/ 9.48A, 47-63Hz
DC-Ausgang Maximal 1000 W/100–127 V

  • +12V/ 82A
  • +12Vsb/2.1A

Maximal 1600 W/200–240 V

  • +12V/ 132A
  • ​+12Vsb/2.1A
Umwelt
Betriebstemperatur 10 ° C ° C bis 35
Luftfeuchtigkeit bei Betrieb 8-80% (nicht kondensierend)
Nichtbetriebstemperatur -40 60 ° C auf ° C
Nicht betriebsbereite Luftfeuchtigkeit 20% -95% (nicht kondensierend)
Physik
Abmessungen (BxHxT)  438 x 87.5 x 730
Gewicht  20 kg

Designen und Bauen

Der GIGABYTE R281-NO0 ist ein 2U-Rackmount-Server. Auf der Vorderseite befinden sich 24 Hot-Swap-fähige Schächte für NVMe U.2-SSDs. Auf der linken Seite befinden sich LED-Anzeigeleuchten und eine Taste für Reset, Power, NMI und ID. Auf der rechten Seite befinden sich zwei USB 3.0-Anschlüsse.

 

Wenn wir das Gerät nach hinten drehen, sehen wir in der oberen linken Ecke zwei 2.5-Zoll-SSD/HDD-Schächte. Unterhalb der Schächte befinden sich zwei Netzteile. Auf der Unterseite befinden sich ein VGA-Anschluss, zwei USB 3.0-Anschlüsse, zwei GbE-LAN-Anschlüsse, ein serieller Anschluss und ein 10/100/1000-LAN-Anschluss für die Serververwaltung. Oberhalb der Ports befinden sich sechs PCIe-Steckplätze.

 

Die Oberseite lässt sich relativ leicht abnehmen, sodass Benutzer Zugriff auf die beiden Intel-CPUs haben (auf dem Foto von Kühlkörpern abgedeckt). Hier sind auch alle DIMM-Steckplätze zu sehen. Dieser Server ist mit NVMe ausgestattet, was an allen Direktzugriffskabeln erkennbar ist, die von der vorderen Rückwandplatine zu den Tochterplatinen zurückführen. Die Kabel selbst sind übersichtlich angeordnet und scheinen den Luftstrom von vorne nach hinten nicht zu beeinträchtigen.

GIGABYTE R281-NO0 Konfiguration

CPU 2 x Intel 8280
RAM 384 GB mit 2933 MHz
Lagerung 12 x Micron 9300 NVMe 3.84 TB

Kennzahlen

SQL Server-Leistung

Das Microsoft SQL Server OLTP-Testprotokoll von StorageReview verwendet den aktuellen Entwurf des Benchmark C (TPC-C) des Transaction Processing Performance Council, einen Online-Transaktionsverarbeitungs-Benchmark, der die Aktivitäten in komplexen Anwendungsumgebungen simuliert. Der TPC-C-Benchmark kommt der Messung der Leistungsstärken und Engpässe der Speicherinfrastruktur in Datenbankumgebungen näher als synthetische Leistungsbenchmarks.

Jede SQL Server-VM ist mit zwei vDisks konfiguriert: einem 100-GB-Volume für den Start und einem 500-GB-Volume für die Datenbank und Protokolldateien. Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 64 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt. Während unsere zuvor getesteten Sysbench-Workloads die Plattform sowohl in Bezug auf Speicher-I/O als auch in Bezug auf die Kapazität ausgelastet haben, prüft der SQL-Test die Latenzleistung.

Dieser Test verwendet SQL Server 2014, das auf Windows Server 2012 R2-Gast-VMs ausgeführt wird, und wird durch Dells Benchmark Factory für Datenbanken belastet. Während wir diesen Benchmark traditionell dazu nutzen, große Datenbanken mit einer Größe von 3,000 auf lokalem oder gemeinsam genutztem Speicher zu testen, konzentrieren wir uns in dieser Iteration darauf, vier Datenbanken mit einer Größe von 1,500 gleichmäßig auf unseren Servern zu verteilen.

SQL Server-Testkonfiguration (pro VM)

  • Windows Server 2012 R2
  • Speicherbedarf: 600 GB zugewiesen, 500 GB genutzt
  • SQL Server 2014
    • Datenbankgröße: Maßstab 1,500
    • Virtuelle Client-Auslastung: 15,000
    • RAM-Puffer: 48 GB
  • Testdauer: 3 Stunden
    • 2.5 Stunden Vorkonditionierung
    • 30-minütiger Probezeitraum

Für unseren transaktionalen SQL Server-Benchmark erzielte der R281-NO0 einen Gesamtwert von 12,645 TPS, wobei einzelne VMs zwischen 3,161.1 TPS und 3,161,5 TPS lagen.

Bei der durchschnittlichen Latenz von SQL Server hatte der Server eine Gesamtbewertung sowie eine individuelle VM-Bewertung von 1 ms.

Sysbench MySQL-Leistung

Unser erster Benchmark für lokale Speicheranwendungen besteht aus einer Percona MySQL OLTP-Datenbank, die über SysBench gemessen wird. Dieser Test misst die durchschnittliche TPS (Transaktionen pro Sekunde), die durchschnittliche Latenz und auch die durchschnittliche 99. Perzentil-Latenz.

Jede Sysbench-VM ist mit drei vDisks konfiguriert: eine für den Start (~92 GB), eine mit der vorgefertigten Datenbank (~447 GB) und die dritte für die zu testende Datenbank (270 GB). Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 60 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt.

Sysbench-Testkonfiguration (pro VM)

  • CentOS 6.3 64-Bit
  • Percona XtraDB 5.5.30-rel30.1
    • Datenbanktabellen: 100
    • Datenbankgröße: 10,000,000
    • Datenbankthreads: 32
    • RAM-Puffer: 24 GB
  • Testdauer: 3 Stunden
    • 2 Stunden Vorkonditionierung von 32 Threads
    • 1 Stunde 32 Threads

Mit dem Sysbench OLTP erreichte der GIGABYTE einen Gesamtwert von 19,154.9 TPS.

Mit der Sysbench-Latenz betrug die Server-Latenz durchschnittlich 13.37 ms.

In unserem Worst-Case-Szenario (99. Perzentil) betrug die Latenz auf dem Server insgesamt 24.53 ms.

VDBench-Workload-Analyse

Wenn es um das Benchmarking von Speicher-Arrays geht, sind Anwendungstests am besten und synthetische Tests stehen an zweiter Stelle. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten darstellen, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, Konkurrenzlösungen direkt miteinander zu vergleichen. Diese Workloads bieten eine Reihe unterschiedlicher Testprofile, die von „Vier-Ecken“-Tests über allgemeine Tests der Datenbankübertragungsgröße bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen. Alle diese Tests nutzen den gemeinsamen vdBench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Computing-Testcluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf einer Vielzahl von Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten.

Profile:

  • 4K Random Read: 100 % Read, 128 Threads, 0-120 % Iorate
  • 4K Random Write: 100 % Schreiben, 64 Threads, 0-120 % Iorate
  • 64K sequentielles Lesen: 100 % Lesen, 16 Threads, 0-120 % Leserate
  • 64K Sequentielles Schreiben: 100 % Schreiben, 8 Threads, 0-120 % Iorate
  • Synthetische Datenbank: SQL und Oracle
  • VDI-Vollklon- und Linked-Clone-Traces

Beim zufälligen 4K-Lesen startete der GIGABYTE R281-NO0 bei 539,443 IOPS bei 114.8 µs und erreichte seinen Spitzenwert bei 5,326,746 IOPS bei einer Latenz von 238 µs.

 

4k Random Write zeigte eine Leistung von unter 100 µs bis etwa 3.25 Millionen IOPS und einen Spitzenwert von 3,390,371 IOPS bei einer Latenz von 262.1 µs.

 

Für sequentielle Arbeitslasten haben wir uns 64 KB angesehen. Bei 64K-Lesevorgängen konnten wir eine Spitzenleistung von etwa 640 IOPS oder 4 GB/s bei einer Latenz von etwa 550 µs feststellen, bevor wir einige Einbußen hinnehmen mussten.

 

Bei 64K-Schreibvorgängen lag die Leistung bei unter 100 µs, bis etwa 175 IOPS oder 1.15 GB/s erreicht waren, und erreichte dann mit 259,779 IOPS oder 1.62 GB/s bei einer Latenz von 581.9 µs ihren Höhepunkt, bevor sie etwas abfiel.

 

Unsere nächste Testreihe sind unsere SQL-Workloads: SQL, SQL 90-10 und SQL 80-20. Beginnend mit SQL erreichte der GIGABYTE eine Spitzenleistung von 2,345,547 IPS bei einer Latenz von 159.4 µs.

 

Mit SQL 90-10 sahen wir den Server-Spitzenwert bei 2,411,654 IOPS mit einer Latenz von 156.1 µs.

 

Bei unserem SQL 80-20-Test lag der Server-Spitzenwert bei 2,249,683 IOPS mit einer Latenz von 166.1 µs.

Als nächstes folgen unsere Oracle-Workloads: Oracle, Oracle 90-10 und Oracle 80-20. Beginnend mit Oracle erreichte der GIGABYTE R281-NO0 einen Spitzenwert von 2,240,831 IOPS bei 165.3 µs Latenz.

 

Oracle 90-10 erreichte eine Spitzenleistung von 1,883,800 IOPS bei einer Latenz von 136.2 µs.

In Oracle 80-20 erreichte der Server aufgrund der Latenz einen Spitzenwert von 1,842,053 IOPS bei 139.3 µs.

 

Als nächstes wechselten wir zu unserem VDI-Klontest „Full and Linked“. Beim VDI Full Clone (FC) Boot erreichte der GIGABYTE einen Spitzenwert von 1,853,086 IOPS und einer Latenz von 198 µs.

Bei der VDI FC-Erstanmeldung wurde festgestellt, dass der Server mit 83,797 IOPS bei 86.7 µs gestartet wurde und dann bei 808,427 IOPS mit einer Latenz von 305.9 µs anstieg, bevor er etwas abfiel.

 

Beim VDI FC Monday Login erreichte der Server einen Spitzenwert von 693,431 IOPS bei einer Latenz von 207.6 µs.

 

Beim VDI Linked Clone (LC) Boot erreichte der GIGABYTE Sever aufgrund der Latenz einen Spitzenwert von 802,660 IOPS bei 194 µs.

Bei der VDI LC-Erstanmeldung verzeichnete der Server einen Spitzenwert von 409,901 IOPS mit einer Latenz von 195.2 µs.

Schließlich hatte VDI LC Monday Login den Server mit einer Spitzenleistung von 488,516 IOPS bei einer Latenz von 273 µs.

Fazit

Der 2U GIGABYTE R281-NO0 ist ein vollständig auf Leistung ausgelegter NVMe-Server. Der Server nutzt zwei skalierbare Intel Xeon CPUs der zweiten Generation und unterstützt bis zu 12 DIMMS pro Sockel. Abhängig von der CPU-Wahl unterstützt es DRAM-Geschwindigkeiten von bis zu 2933 MHz und Intel Optane PMEM. Benutzer können mit Optane bis zu 3 TB DRAM oder einen größeren Speicherbedarf nutzen. Das Speicher-Setup ist hochgradig konfigurierbar, wobei der von uns getestete Build 24 2.5-NVMe-SSDs unterstützt. Und eine interessante Energiefunktion ist Cold Redundancy, die das zusätzliche Netzteil in den Standby-Modus schaltet, wenn die Systemlast unter 40 % liegt, wodurch Stromkosten gespart werden.

Für Leistungstests führten wir unsere Anwendungsanalyse-Workloads sowie unsere VDBench-Workload-Analyse durch. Für Anwendungsanalyse-Workloads haben wir mit SQL Server begonnen. Hier sahen wir einen aggregierten Transaktionswert von 12,645 TPS mit einer durchschnittlichen Latenz von 1 ms. Als wir zu Sysbench übergingen, lieferte uns der GIGABYTE-Server einen Gesamtwert von 19,154 TPS, eine durchschnittliche Latenz von 13.37 ms und im schlimmsten Fall nur 24.53 ms.

In unserer VDBench-Workload-Analyse schnitt der Server mit starken, beeindruckenden Zahlen ab. Zu den Spitzenwerten zählen 5.3 Millionen IOPS für 4K-Lesen, 3.4 Millionen IOPS für 4K-Schreiben, 4 GB/s für 64K-Lesen und 64 GB/s für 1.62K-Schreiben. Für unsere SQL-Workloads erreichte der Server 2.3 Millionen IOPS, 2.4 Millionen IOPS für 90–10 und 2.3 Millionen IOPS für 80–20. Bei Oracle sahen wir 2.2 Millionen IOPS, 1.9 Millionen IOPS für Oracle 90-10 und 1.8 Millionen IOPS für 80-20. Bei unseren VDI-Klontests haben wir 1.9 Millionen IOPS für den Start, 808 IOPS für die erste Anmeldung und 693 IOPS für die Montag-Anmeldung für den vollständigen Klon festgestellt. Für Linked Clone haben wir 803 IOPS für den Start, 410 IOPS für die erste Anmeldung und 489 IOPS für die Montag-Anmeldung gesehen.

Der GIGABYTE R281-NO0 ist ein Kraftpaket unter den Servern, das eine breite Palette an Flash-Technologien unterstützt. Da es auf der Intel Scalable-Hardware der 2. Generation basiert, profitiert es auch von den neueren CPUs, die Optane PMEM unterstützen. Der Server bietet viel Konfigurierbarkeit auf der Speicherseite und einige praktische Leistungsvorteile. Am meisten gefallen uns natürlich die 24 NVMe-SSD-Schächte; Jeder, der leistungsstarken Speicher benötigt, wird dies auch tun. Dieser Server von GIGABYTE ist als fantastischer speicherintensiver Server für eine Vielzahl von Anwendungsfällen konzipiert.

GIGABYTE R281-NO0

Diskutieren Sie auf Reddit

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed