VMware vSAN mit Intel Optane Review

Wir haben darüber gesprochen und habe dich damit geärgert, und jetzt liefern wir endlich VMware vSAN mit Intel Optane Review. Dies ist die dritte große Überprüfung von vSAN, beginnend mit a mehrteilige Überprüfung eines Hybrid-vSAN 6.0 gefolgt von einem All-Flash-Überprüfung von vSAN 6.2. Anstatt unseren Dell PowerEdge R730xd-Cluster zu nutzen, verwenden wir in diesem Durchgang den 2029U-24-Bay-Server 4U-TN2R24T+ von Supermicro mit vSAN 6.7. Für die Speicherung verwenden wir eine reine NVMe-Konfiguration mit Intel Optane P4800X (375 GB) SSDs für die Schreibebene sowie Intel P4500 (2 TB) SSDs für die Kapazitätsebene.

Wir haben darüber gesprochen und habe dich damit geärgert, und jetzt liefern wir endlich VMware vSAN mit Intel Optane Review. Dies ist die dritte große Überprüfung von vSAN, beginnend mit a mehrteilige Überprüfung eines Hybrid-vSAN 6.0 gefolgt von einem All-Flash-Überprüfung von vSAN 6.2. Anstatt unseren Dell PowerEdge R730xd-Cluster zu nutzen, verwenden wir in diesem Durchgang den 2029U-24-Bay-Server 4U-TN2R24T+ von Supermicro mit vSAN 6.7. Für die Speicherung verwenden wir eine reine NVMe-Konfiguration mit Intel Optane P4800X (375 GB) SSDs für die Schreibebene sowie Intel P4500 (2 TB) SSDs für die Kapazitätsebene.

Für diejenigen, die mit vSAN nicht vertraut sind: Es ist die hyperkonvergente Infrastruktur von VMware, die für vSphere optimiert ist und auf Speicher ausgerichtet ist. Mit anderen Worten ist vSAN ein Schritt auf dem Weg zu den softwaredefinierten Rechenzentrumsbausteinen, der darauf abzielt, Speicher und Speicherverwaltung zu vereinfachen und gleichzeitig eine bessere Leistung zu liefern. vSAN wird in der Regel über ein Zertifizierungsprogramm namens VMware vSAN ReadyNodes verkauft, bei dem es sich um eine Kombination aus zertifizierter Hardware und VMware-Software handelt. Die meisten großen Serveranbieter bieten ReadyNode-Konfigurationen an und einige bieten auch vSAN als Appliance an.

Der ReadyNode-Idee ähneln Intels Select Solutions. Intel Select Solutions sind verifizierte Hardware- und Software-Stacks, die den von Intel festgelegten Anforderungen entsprechen. Die von großen Serveranbietern auf den Markt gebrachten Lösungen müssen in der Lage sein, die von Intel dargelegte Benchmark-Leistung entweder zu reproduzieren oder zu übertreffen, und sie müssen über detaillierte Bereitstellungsleitfäden für Kunden verfügen. Das Setup, das wir für diesen Test verwenden, fällt in diese Kategorie, insbesondere handelt es sich um eine Intel Select-Lösung für VMware vSAN. Wie der Name schon sagt, ist die Lösung speziell für VMware-Umgebungen konzipiert.

Die Intel Select-Lösung für VMware vSAN ist in zwei Konfigurationen erhältlich: einer „Basis“ und einer „Plus“. Unsere Konfiguration liegt irgendwo in der Mitte dieser Konfigurationen; Es handelt sich im Grunde um eine Basiskonfiguration mit aktualisierten CPUs. Mit Optane SSDs für die Schreibebene sind unsere Systeme darauf ausgelegt, die Latenzanforderungen geschäftskritischer Anwendungen zu erfüllen.

Supermicro 2029U-TN24R4T+ Spezifikationen:

• Supermicro 2029U-TN24R4T+ Server (x4)
• CPU: 2 x Intel Xeon Gold 6152 Prozessor, 2.10 GHz, 22 Kerne
• Speicher: 384 GB RAM (12 x 32 GB 2,666 MHz DDR4 DIMM)
• vSAN-Festplattengruppen, 2x pro Knoten:
  • vSAN-Cache-Stufe: 2 x 375 GB Intel Optane SSD DC P4800X-Serie NVMe SSDs
  • vSAN-Kapazitätsstufe: 4 x 2 TB NVMe-SSDs der Intel DC P4500-Serie
• Netzwerk:
  • Intel Ethernet Converged Network Adapter X710 10/40 GbE (dedizierte Verbindung für vSAN, vMotion/VM-Verkehr/Verwaltung, aufgeteilt auf ein eigenes VLAN).

Intel Optane P4800X 375 GB

• Kennzahlen
  • 4 KB zufällig, Warteschlangentiefe 16, R/W: bis zu 550/500 IOPS
  • 4 KB zufällig, Warteschlangentiefe 16, gemischt 70/30 R/W: bis zu 500 IOPS
• DWPD: 30

Intel P4500 2 TB

• Kennzahlen
  • Sequentielles Lesen: 3200 MB/s
  • Sequentielles Schreiben: 1050MB / s
  • Zufälliges 4K-Lesen: 490,000 IOPS
  • Zufälliges 4K-Schreiben: 38,000 IOPS
• DWPD 0.75 zufällig; 4.62 sequentiell

Analyse der Anwendungsauslastung

Die ersten Benchmarks bestehen aus dem MySQL OLTP-Leistung über SysBench und Microsoft SQL Server OLTP-Leistung mit einer simulierten TPC-C-Arbeitslast.

Jede SQL Server-VM ist mit zwei vDisks konfiguriert, einer 100 GB für den Start und einer 500 GB für die Datenbank und Protokolldateien. Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 64 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt. Mit diesen Tests soll die Leistung einer latenzempfindlichen Anwendung auf dem Cluster bei mäßiger, aber nicht überwältigender Rechen- und Speicherlast überwacht werden.

SQL Server-Testkonfiguration (pro VM)

• Windows Server 2012 R2
• Speicherbedarf: 600 GB zugewiesen, 500 GB genutzt
• SQL Server 2014
  • Datenbankgröße: Maßstab 1,500
  • Virtuelle Client-Auslastung: 15,000
  • RAM-Puffer: 48 GB
• Testdauer: 3 Stunden
  • 2.5 Stunden Vorkonditionierung
  • 30-minütiger Probezeitraum

Im SQL Server TPC-C-Test auf hyperkonvergenten Plattformen untersuchen wir die Arbeitslastverteilung im gesamten Cluster im Hybridmodus, All-Flash-Modus (AF) und All-Flash-Datenreduzierung (AF DR). Es überrascht nicht, dass der AF-Modus für Optane mit einem Gesamtwert von 12,605 TPS nur geringfügig besser abschneidet, wobei einzelne VMs zwischen 3,148.56 TPS und 3,152.66 TPS liegen. Dies ist insgesamt etwas besser als die Nicht-Optane-Version von vSAN, die einen Gesamtwert von 12,472 TPS hatte. Bei eingeschalteter DR erreichte der Optane einen Gesamtwert von 12,604 TPS (nur ein TPS niedriger als bei ausgeschalteter DR), wobei die einzelnen VMs zwischen 3,148.7 TPS und 3,153.5 TPS lagen. Dies war ein ziemlich großer Sprung gegenüber der Nicht-Optane-Version mit einem Gesamtwert von 11,969 TPS für DR. An dieser Stelle ist anzumerken, dass die Gold-CPUs wahrscheinlich ein limitierender Faktor sind und bei den Platinum-CPUs noch mehr Potenzial besteht.

Beim SQL Server TPC-C-Test ist die Variable, auf die wir am meisten achten, die durchschnittliche Latenz. Kleine Lücken in der Transaktionsleistung zeigen nicht das ganze Bild. In unserem durchschnittlichen Latenztest erreichte der AF Optane einen Gesamtwert von nur 16.5 ms, wobei die einzelnen VMs zwischen 14 und 21 ms lagen. Mit DR in der Optane-Version stieg die Gesamtzeit nur auf 17 ms, bei einer Latenz von 13 bis 21 ms für einzelne VMs. Dies ist eine große Verbesserung gegenüber dem Nicht-Optane-vSAN mit einem Gesamtwert von 52.5 ms ohne DR und 261 ms mit aktivierter DR.

Sysbench-Leistung

Jede Sysbench-VM ist mit drei vDisks konfiguriert: eine für den Start (~92 GB), eine mit der vorgefertigten Datenbank (~447 GB) und die dritte für die zu testende Datenbank (400 GB). Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 64 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt.

Sysbench-Testkonfiguration (pro VM)

• CentOS 6.3 64-Bit
• Speicherbedarf: 1 TB, 800 GB genutzt
• Percona XtraDB 5.5.30-rel30.1
  • Datenbanktabellen: 100
  • Datenbankgröße: 10,000,000
  • Datenbankthreads: 32
  • RAM-Puffer: 24 GB
• Testdauer: 12 Stunden
  • 6 Stunden Vorkonditionierung von 32 Threads
  • 1 Stunde 32 Threads
  • 1 Stunde 16 Threads
  • 1 Stunde 8 Threads
  • 1 Stunde 4 Threads
  • 1 Stunde 2 Threads

Mit dem Sysbench OLTP betrachten wir jeweils die 8VM-Konfiguration. Der Optane AF hatte einen Gesamtwert von 10,699 TPS, mehr als das Doppelte der 4,273 TPS der Nicht-Optane-Version. Bei aktiviertem DR erreichte der Optane 8,668 TPS, verglichen mit 3,625 TPS beim Nicht-Optane mit DR.

Bei der durchschnittlichen Sysbench-Latenz konnte das Optane-basierte vSAN mit Gesamtwerten von 23.95 ms und 29.62 ms bei aktivierter DR wirklich glänzen. Dies wird mit den 60.05 ms und 71.05 ms des Nicht-Optane-Geräts mit aktiviertem DR verglichen. In beiden Fällen hatte der Optane weniger als die Hälfte der Latenz.

Die durchschnittliche Latenz des 99. Perzentils zeigte erneut, dass das auf Optane basierende vSAN mit Gesamtwerten von 42.9 ms und 55.63 ms bei eingeschaltetem DR deutlich schneller war als bei Nicht-Optane mit 126.02 ms und bei eingeschaltetem DR bei 212.42 ms.

VDBench-Workload-Analyse

Wenn es um das Benchmarking von Speicher-Arrays geht, sind Anwendungstests am besten und synthetische Tests stehen an zweiter Stelle. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten darstellen, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, Konkurrenzlösungen direkt miteinander zu vergleichen. Diese Workloads bieten eine Reihe unterschiedlicher Testprofile, die von „Vier-Ecken“-Tests über allgemeine Tests der Datenbankübertragungsgröße bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen. Alle diese Tests nutzen den gemeinsamen vdBench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Computing-Testcluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf einer Vielzahl von Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten.

Profile:

• 4K Random Read: 100 % Read, 128 Threads, 0-120 % Iorate
• 4K Random Write: 100 % Schreiben, 64 Threads, 0-120 % Iorate
• 64K sequentielles Lesen: 100 % Lesen, 16 Threads, 0-120 % Leserate
• 64K Sequentielles Schreiben: 100 % Schreiben, 8 Threads, 0-120 % Iorate
• Synthetische Datenbank: SQL und Oracle
• VDI-Vollklon- und Linked-Clone-Traces

Für den VDBench-Test werden wir uns nur mit der Optane Supermicro-Version von vSAN befassen und prüfen, ob DR entweder aktiviert (im Folgenden als DR bezeichnet) oder deaktiviert (im Folgenden als Raw bezeichnet) ist. In unserem ersten Test für maximale 4K-Zufallslesevorgänge hatte Raw eine Latenz von unter einer Millisekunde bis etwa 440 IOPS und erreichte einen Spitzenwert von 521,599 IOPS mit einer Latenz von 4.65 ms. Der DR begann knapp 1 ms vor dem Überschreiten und erreichte seinen Höhepunkt bei 406,322 IOPS mit einer Latenz von 7.32 ms.

Bei 4K-Zufallsschreibvorgängen erreichte Raw die 1-ms-Grenze, blieb jedoch bis zu etwa 150 IOPS unter dieser Grenze und erreichte einen Spitzenwert von 202,081 IOPS mit einer Latenz von 8.4 ms. Der DR erreichte etwa 114 IOPS mit einer Latenz von weniger als einer Millisekunde und erreichte mit 183,947 ms Latenz einen Spitzenwert von 1.43 IOPS, bevor die Leistung stark abfiel und die Latenz anstieg.

Als nächstes betrachten wir 64 sequentielle Arbeitslasten. Beim Lesen hatte Raw eine Latenzleistung von unter einer Millisekunde bis etwa 54 IOPS oder 3.5 GB/s und erreichte einen Spitzenwert von 85,319 IOPS oder 5.33 GB/s mit einer Latenz von 4.69 ms. Die DR begann oberhalb von 1 ms und erreichte ihren Höhepunkt bei 73,583 IOPS oder 4.6 GB/s mit einer Latenz von 4.23 ms.

Bei 64K-Schreibvorgängen schaffte Raw nur etwa 12K IOPS, bevor es 1 ms durchbrach, und erreichte dann mit 40,869 IOPS oder 2.55 GB/s mit einer Latenz von 5.58 ms seinen Höhepunkt. DR hatte durchgehend eine Latenzleistung von weniger als einer Millisekunde, erreichte jedoch mit nur 7,303 IOPS oder 456 MB/s bei einer Latenz von 623 μs den Spitzenwert.

Kommen wir zu unseren SQL-Workloads: Raw hatte eine Latenz von unter einer Millisekunde bis etwa 330 IOPS und erreichte einen Spitzenwert von 385,159 IOPS mit einer Latenz von 2.34 ms. Der DR blieb fast die ganze Zeit über über 1 ms mit einem Spitzenwert von 321,504 IOPS und einer Latenz von 3.02 ms.

Bei SQL 90-10 erreichte Raw etwa 300 IOPS, bevor es 1 ms durchbrach, und erreichte einen Spitzenwert von 363,550 IOPS mit einer Latenz von 2.52. Der DR erreichte seinen Spitzenwert bei 299,132 IOPS mit einer Latenz von 3.26 ms.

Bei unserem SQL 80-20-Test lief Raw über 277 IOPS in weniger als 1 ms und erreichte einen Spitzenwert von 332,949 IOPS mit einer Latenz von 2.79 ms. Der DR erreichte seinen Spitzenwert bei 285,010 IOPS mit einer Latenz von 3.42 ms.

Als nächstes kommen unsere Oracle-Workloads. Das Raw hatte eine Latenz von weniger als einer Millisekunde bis etwa 262 IOPS und erreichte einen Spitzenwert von 323,706 IOPS mit einer Latenz von 3.27 ms. Der DR erreichte seinen Höhepunkt bei 211,993 IOPS mit einer Latenz von 2.07 ms, bevor die Leistung erneut abnahm und die Latenz anstieg.

Für Oracle 90-10 hatte Raw eine Latenzleistung von unter einer Millisekunde bis etwa 315 IOPS und erreichte einen Spitzenwert von 354,590 IOPS mit einer Latenz von 1.67 ms. Der DR erreichte seinen Spitzenwert bei 279,356 IOPS mit einer Latenz von 2.24 ms.

Beim Oracle 80-20-Test lief Raw unter 1 ms bis zu etwa 273 IOPS und erreichte einen Spitzenwert von 322,616 IOPS mit einer Latenz von 1.85 ms. Der DR konnte seinen Spitzenwert bei 263,425 IOPS und einer Latenz von 2.36 ms erreichen.

Als nächstes wechselten wir zu unserem VDI-Klontest „Full and Linked“. Beim VDI-Full-Clone-Boot erreichte Raw eine Latenzleistung von unter einer Millisekunde bis etwa 240 IOPS und erreichte anschließend einen Spitzenwert von 293,335 IOPS und einer Latenz von 3.3 ms. Der DR erreichte seinen Höhepunkt bei 181,527 IOPS und einer Latenz von 5.31 ms, bevor er abfiel.

Bei der ersten Anmeldung bei VDI FC startete das Raw bei etwa 1 ms und erreichte schnell einen Spitzenwert von 153,513 IOPS mit einer Latenz von 5.6 ms, bevor es zu einem leichten Abfall kam. Der DR erreichte zuvor seinen Höhepunkt bei etwa 68 IOPS und einer Latenz von 5.3 ms, bevor die Leistung abnahm und die Latenz anstieg.

Mit VDI FC Monday Login hatte Raw eine Latenz von unter einer Millisekunde bis etwa 58 IOPS und erreichte anschließend einen Höchstwert von 152,660 IOPS mit einer Latenz von 3.14 ms. Der DR hatte eine bessere Spitzenlatenz (1.64 ms), erreichte jedoch nur eine Spitzenleistung von 64,201 IOPS.

Für VDI LC Boot hatte Raw eine Latenz von unter einer Millisekunde, bis etwa 170 IOPS erreicht waren, und erreichte einen Spitzenwert von 209,676 IOPS mit einer Latenz von 2.21 ms. Mit DR erreichte der Spitzenwert 119,036 IOPS und eine Latenz von 3.99 ms.

Beim ersten VDI LC-Login blieb der Raw bis zu 1 IOPS unter 29 ms und erreichte einen Spitzenwert von 92,951 IOPS mit einer Latenz von 2.62 ms. Für die DR erreichte sie einen Spitzenwert von knapp 64 IOPS mit einer Latenz von etwa 2.3 ms, bevor sie abfiel.

Mit Blick auf VDI LC Monday Login schließlich schaffte Raw es bis zu etwa 35 IOPS, bevor es 1 ms durchbrach und bei einer Latenz von 101,997 ms einen Höchstwert von 4.65 IOPS erreichte. Mit DR lag der Spitzenwert bei etwa 47 IOPS bei einer Latenz von 1.82 ms, bevor die Leistung abfiel.

Fazit

Die hyperkonvergente Speicherlösung von VMware gibt es in vielen Formen und Formen; Diese spezielle Iteration verwendet vier Supermicro 2029U-TN24R4T+-Server für die Rechenleistung. Für die Speicherung nutzt diese Version von vSAN sowohl Intel Optane in Form von Intel Optane P4800X SSDs als auch NVME-Speicher in Form von Intel P4500 SSDs. Dieser spezielle Build ist Teil der neuen Select Solutions von Intel, insbesondere der Intel Select Solutions für VMware vSAN. Man kann es sich als einen vSAN ReadyNode vorstellen, der sowohl von VMware als auch von Intel zertifiziert ist, um die erforderlichen Leistungskennzahlen zu erreichen.

Im Hinblick auf die Leistung haben wir in unserer Anwendungs-Workload-Analyse die Optane-Version von vSAN mit unserer zuvor getesteten All-Flash-Version von vSAN auf Dell/Toshiba-Geräten verglichen. Für SQL Server erzielte die Optane-Konfiguration mit ein- und ausgeschalteter Datenreduktion (DR) nahezu identische Werte, einen Gesamtwert von 12,605 TPS ohne DR und 12,604 TPS mit DR. Dies stellt einen ziemlich großen Sprung gegenüber der All-Flash-Version ohne Optane mit aktiviertem DR dar (11,969 TPS). Bei der Latenz zeigte die Optane-Version eine drastische Verbesserung mit Gesamtwerten von nur 16.5 ms ohne DR und nur 17 ms mit aktivierter DR, was weniger als der Hälfte der Latenz der SAS-All-Flash-Version auf vSAN 6.2 entspricht. Mit Sysbench hatte die Optane-Version von vSAN mehr als doppelt so viel TPS wie die All-Flash-Version mit Gesamtwerten von 10,699 TPS Raw und 8,668 TPS mit aktiviertem DR. Dieser Trend setzt sich bei der Latenz und der Latenz im Worst-Case-Szenario fort, die in beiden Fällen weniger als die Hälfte beträgt, wobei die Gesamtwerte durchschnittlich 24 ms und 30 ms mit DR und im Worst-Case 60 ms und 71 ms mit DR betragen.

Für unseren VDBench hatte Optane vSAN mehrere Highlights für die Rohleistung, darunter 4K-Lesen mit 522K IOPS, 4K-Schreiben mit 202K IOPS, 64K-Lesen mit 5.33 GB/s und 64K-Schreiben mit 2.55 GB/s. Bei aktiviertem DR erreichte vSAN 406 IOPS beim 4K-Lesen, 184 IOPS beim Schreiben (gefolgt von einem starken Abfall), 4.6 GB/s beim Lesen bei 64 KB und nur 456 MB/s beim Schreiben bei 64 KB, allerdings mit einer Latenz von unter 1 ms. vSAN setzte seine starke Leistung in SQL fort und erreichte 385 IOPS, 364 IOPS in 90-10 und 333 IOPS in 80-20. Die DR erreichte 322 IOPS, 299 IOPS in 90-10 und 285 IOPS in 80-20. In Oracle hatte Raw mit 324 IOPS, 355 IOPS in 90-10 und 323 IOPS in 80-20 eine ziemlich starke Leistung. Auch bei Oracle war die DR stark, mit Spitzenwerten von 212 IOPS (bevor sie abfielen), 279 IOPS in den Jahren 90–10 und 263 IOPS in den Jahren 80–20.

Die Einbeziehung von Optane-SSDs hat eindeutig einen großen Einfluss auf die Schreibleistung für vSAN. Dies gilt selbst dann, wenn man bedenkt, dass die Laufwerke nur 375 GB groß sind und vSAN eine Kapazität von 600 GB für die Laufwerke der Schreibebene unterstützt. Es ist also möglich, dass wir dort durch den Einsatz größerer Laufwerke etwas mehr Schreibleistung erzielen könnten. Für diese Intel-Konfigurationen gibt es auch einiges Aufwärtspotenzial, da schnellere Verbindungen qualifiziert sind und aggressivere RAM- und CPU-Konfigurationen wie bei den Plus-Optionen verwendet werden. Intel bietet jetzt auch schnellere/bessere Laufwerke für die Lesestufe an; Der P4510 war eine wesentliche Verbesserung gegenüber dem P4500. Der Punkt ist, dass es bei diesen Daten nicht darum geht, diese Daten als das Beste zu betrachten, was Optane leisten kann, sondern eher darum, die Basis für Midrange-Serverkonfigurationen festzulegen, die noch viel mehr zu bieten haben, falls die Gelegenheit es erfordert. Es ist auch wichtig zu bedenken, dass vSAN gut positioniert ist, um weiterhin von der neuen Speicher- und Servertechnologie zu profitieren, wenn diese auf den Markt kommt – etwas, das für herkömmliche Appliance-Anbieter weitaus schwieriger zu erreichen ist.

Die Erkenntnis ist jedoch eindeutig, dass VMware mit der Weiterentwicklung von vSAN klug war, sich an die Spitze neuer Technologien wie Intel Optane SSDs zu setzen. Dies verschafft vSAN einen erheblichen Vorsprung im Hinblick darauf, wie die Leistung auf dem HCI-Markt aussehen kann. Während viele HCI-Lösungen gerne die Anforderungen von ROBO-Anwendungsfällen mit moderaten Leistungsprofilen erfüllen, ist vSAN weiterhin auf der Suche nach den besten Partnern, um Lösungen zu entwickeln, die am Edge gleichermaßen zufrieden sind und den Grundstein für Rechenzentren der nächsten Generation legen wie in der SDDC-Welt aussehen. Optane-basierte vSAN-Cluster eignen sich hervorragend für Letzteres und bieten die bestmögliche Schreiblatenz für alle Anwendungs-Workloads.

VMware vSAN

Besprechen Sie diese Rezension

Melden Sie sich für den StorageReview-Newsletter an