Überprüfung von Intel Virtual RAID on CPU (VROC).

NVMe-SSDs erobern das Rechenzentrum und etablieren sich schnell als Technologie der Wahl für geschäftskritische Anwendungen. Die NVMe-Schnittstelle lässt Flash frei laufen und überwindet so die alten Engpässe von SATA- und SAS-Schnittstellen. Das Entfernen der Flash-Floodgates bringt jedoch neue architektonische Herausforderungen mit sich, die mit herkömmlichen HBA/RAID-Kartenserver-Layouts nicht einfach zu lösen sind. Intel hat dieses Problem mit einer vereinfachten Lösung für die Verwaltung von NVMe-SSDs in Servern gelöst. Virtual RAID on CPU, kurz Intel VROC, ermöglicht den SSDs im Wesentlichen den direkten Zugriff auf die CPUs, sodass kein HBA erforderlich ist. Dies vereinfacht sowohl den Datenpfad als auch die erforderlichen Komponenten erheblich, um NVMe-SSDs in Servern optimal zu nutzen. Zusätzlich zu RAID der Enterprise-Klasse bietet Intel VROC die erwartete Wartungsfreundlichkeit, die das Unternehmen erfordert, einschließlich Pre-Boot-RAID-Management, Hot-Plug-Unterstützung und LED-Management.

NVMe-SSDs erobern das Rechenzentrum und etablieren sich schnell als Technologie der Wahl für geschäftskritische Anwendungen. Die NVMe-Schnittstelle lässt Flash frei laufen und überwindet so die alten Engpässe von SATA- und SAS-Schnittstellen. Das Entfernen der Flash-Floodgates bringt jedoch neue architektonische Herausforderungen mit sich, die mit herkömmlichen HBA/RAID-Kartenserver-Layouts nicht einfach zu lösen sind. Intel hat dieses Problem mit einer vereinfachten Lösung für die Verwaltung von NVMe-SSDs in Servern gelöst. Virtual RAID on CPU, kurz Intel VROC, ermöglicht den SSDs im Wesentlichen den direkten Zugriff auf die CPUs, sodass kein HBA erforderlich ist. Dies vereinfacht sowohl den Datenpfad als auch die erforderlichen Komponenten erheblich, um NVMe-SSDs in Servern optimal zu nutzen. Zusätzlich zu RAID der Enterprise-Klasse bietet Intel VROC die erwartete Wartungsfreundlichkeit, die das Unternehmen erfordert, einschließlich Pre-Boot-RAID-Management, Hot-Plug-Unterstützung und LED-Management.

Um Intel VROC besser zu verstehen, ist es wichtig, eine andere Technologie namens Intel Volume Management Device (Intel VMD) zu verstehen. Intel VMD ist mit den neuesten skalierbaren Intel Xeon-Prozessoren kompatibel und ein integrierter Controller im CPU-PCIe-Root-Komplex. Das Endergebnis ist, dass Intel VMD mehr oder weniger virtuelle HBAs für die angeschlossenen NVMe-SSDs ermöglicht. Dies ist wichtig, da Intel VMD wichtige Wartungsfunktionen für Laufwerke bietet, die ohne Einbußen bei der Zuverlässigkeit vereinfacht werden. Dank Intel VMD können NVMe-SSDs ohne Betriebsunterbrechung oder Neustart im laufenden Betrieb ausgetauscht werden. Intel VMD leitet Einfügungs- und Entfernungsereignisse des PCIe-Busses an RAID-speicherfähige Treiber um, die diese Ereignisse verarbeiten und eine automatische Wiederherstellung einleiten. Im Falle eines Fehlers ist es auch wichtig zu wissen, welches Laufwerk entfernt werden muss, was in Rechenzentren mit Dutzenden oder Hunderten von Laufwerken und inkonsistenten Kennzeichnungspraktiken der Hersteller für Laufwerksschächte schwierig sein kann. Intel VMD unterstützt die NVMe-LED-Verwaltung, die der Laufwerksbeleuchtungsspezifikation entspricht, die seit Jahren bei SATA- und SAS-Laufwerken verwendet wird, und so die Identifizierung und Wartung einer SSD bei Bedarf erleichtert. Auch Intel VMD wird in der Branche weitgehend unterstützt. VMware unterstützt beispielsweise den Intel VMD NVMe-Treiber nativ in der VMware ESXi 6.7-Version, die Unterstützung für die Verwaltung von NVMe-SSDs in vSAN beinhaltet.

Intel VROC baut auf Intel VMD auf und bringt NVMe SSD RAID ins Spiel. Derzeit kann eine einzelne skalierbare Xeon-CPU bis zu 12 direkt angeschlossene NVMe-Laufwerke und bis zu 6 RAID-Arrays unterstützen. Ein Dual-Proc-System würde 24 bzw. 12 unterstützen. Eine CPU könnte jedoch Schalter nutzen, um bis zu 48 SSDs in einem System zu unterstützen. Intel VROC unterstützt Daten-Volumes und Boot-Volumes, was für NVMe-Laufwerke in der Vergangenheit schwierig war. RAID-Einstellungen sind über BIOS oder CLI konfigurierbar und Intel unterstützt die lokale oder Remote-Verwaltung über einen RESTful-Agenten.

Intel VROC wird als physischer Schlüssel verkauft; Es sind drei SKUs verfügbar. Standard unterstützt RAID 0/1/10 mit SSD-Unterstützung von Drittanbietern. Die Premium-Lizenz bietet Unterstützung für RAID3. Es gibt auch eine Nur-Intel-SSD-Lizenz, die, wie der Name schon sagt, nur Intel-Laufwerke unterstützt, aber die volle Bandbreite an RAID-Optionen bietet.

Neben einer Lizenz, NVMe SSDs und Xeon Scalable CPUs wird ein kompatibler Server benötigt. Obwohl Intel VROC weithin unterstützt wird, gibt es einige Serveranbieter, die ihre eigenen kartenbasierten Technologien zur Laufwerksverwaltung dieser moderneren Alternative vorziehen. In diesem Test haben wir mit EchoStreams zusammengearbeitet, das Intel VROC in allen seinen Speicherserverlinien unterstützt.​

Für eine so kleine Box ist die EchoStreams FlacheSAN1N10U-D5 ist äußerst flexibel. In unserer Konfiguration ist der Server mit zwei Intel 8180M-CPUs, 64 GB RAM und acht 2 TB ausgestattet Intel DC P4510 NVMe SSDs. Der Server bietet drei x16 PCIe 3.0-Steckplätze, sodass Benutzer das volle Potenzial der internen Speicherkapazität mit bis zu 160 TB NVMe-Flash (10 x 16 TB SSDs) und drei 100-Gbit/s-Ethernet-NICs maximieren können.

Das Gehäusedesign ermöglicht außerdem ein symmetrisches Layout zwischen beiden CPUs, den NVMe-SSDs und den ausgehenden NICs. Als Whitebox-Angebot kann das Gehäuse auch für den Endbenutzer angepasst werden und unterstützt andere SSD-Größen wie 15 mm und 7 mm U.2 sowie interne M.2-SSDs und Intel Optane. Schließlich kann der Server mit einem dualen 850-W-Wechselstromnetzteil konfiguriert werden oder so eingerichtet werden, dass er hocheffiziente 48-V-Gleichstromnetzteile unterstützt. Angesichts der High-End-Intel-CPUs in unserer Konfiguration erwiesen sich die größeren Netzteile als praktisch.

Wenn man sich ansieht, wo der FlacheSAN1N10U-D5 einen Mehrwert bieten kann, verweist EchoStreams auf Content Delivery Networks (CDNs) als primären Anwendungsfall. Derzeit nutzen Kunden diese Knoten als Caching-Geräte entweder im Rechenzentrum oder an Edge-Standorten, um Endbenutzern beliebte Inhalte bereitzustellen. Es gibt auch mehrere Universitäten, die die Plattform für HPC- und Forschungszwecke nutzen, bei denen Rechenleistung und Speicherdurchsatz einen entscheidenden Vorteil bei der Lösung komplexer Probleme bieten. Über diese Szenarien hinaus eignet sich der Server auch gut für den Postproduktions-Workflow im Medien- und Unterhaltungsbereich und lässt sich auch gut mit softwaredefinierten Speicherangeboten kombinieren, die von NVMe-Speicher und Hochgeschwindigkeitsnetzwerken profitieren können.

EchoStreams FlacheSAN1N10U-UN Spezifikationen

​
Benutzerfreundlichkeit und Bereitstellung

Das Motherboard verfügt nicht über eine ausgefallene GUI zum Konfigurieren von Intel VROC, ist aber auf jeden Fall benutzerfreundlich. Für IT-Administratoren, die möglicherweise mit der Verwendung von mdadm-Befehlen über eine Konsole vertraut sind, automatisiert Intel VROC einen Großteil der Backend-Arbeit, um die Einrichtung zu vereinfachen. Auch wenn es nicht mit viel Schnickschnack überladen ist, wird es für die meisten IT-Experten nicht schwierig zu bedienen sein. Auf dem BIOS-Bildschirm können Benutzer ihre RAID-Volumes einrichten und gleichzeitig die verfügbaren physischen Festplatten sehen.

Als Nächstes kann man das Volume benennen (in diesem Fall „Volume0“), den RAID-Level auswählen und RAID über beide Intel VMD-Controller hinweg aktivieren.

Sobald das RAID eingerichtet ist, können Sie sich die Volume-Aktionen ansehen, z. B. das RAID-Volume löschen oder es bootfähig machen.

Schließlich können Benutzer Festplattenaktionen durchführen, z. B. das Zurücksetzen auf Nicht-RAID oder das Entfernen der RAID-Daten von den Festplatten.

Sobald das System in unserer CentOS 7.4-Umgebung betriebsbereit war, stand die Konfiguration der RAID-Volumes bereit und wartete auf uns. Bei RAID5/10-Volumes können Sie mdstat auf den Fortschritt der Hintergrundinitialisierung überwachen oder bei Bedarf die gesamte RAID-Gruppe manuell ändern. Das BIOS-Level-Setup nimmt Ihnen einen Großteil der Arbeit ab, um RAID zum Laufen zu bringen, entfernt oder ersetzt es jedoch nicht für Benutzer, die dieses zusätzliche Maß an Anpassung wünschen.

Kennzahlen

VDBench-Workload-Analyse

Wenn es um das Benchmarking von Speicher-Arrays geht, sind Anwendungstests am besten und synthetische Tests stehen an zweiter Stelle. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten darstellen, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, Konkurrenzlösungen direkt miteinander zu vergleichen. Diese Workloads bieten eine Reihe unterschiedlicher Testprofile, die von „Vier-Ecken“-Tests über allgemeine Tests der Datenbankübertragungsgröße bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen. Alle diese Tests nutzen den gemeinsamen vdBench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Computing-Testcluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf einer Vielzahl von Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten.

Profile:

• 4K Random Read: 100 % Read, 128 Threads, 0-120 % Iorate
• 4K Random Write: 100 % Schreiben, 64 Threads, 0-120 % Iorate
• 64K sequentielles Lesen: 100 % Lesen, 16 Threads, 0-120 % Leserate
• 64K Sequentielles Schreiben: 100 % Schreiben, 8 Threads, 0-120 % Iorate
• Synthetische Datenbank: SQL und Oracle
• VDI-Vollklon- und Linked-Clone-Traces

Für diese Reihe von VDBench-Tests werden wir unsere normalen Tests ausführen, aber anstelle eines Geräts (z. B. SSD, Server oder Array) werden wir mehrere Konfigurationen ausführen, die über beide CPUs verteilt sind:

• 8 Laufwerke in JBOD
• Zwei Gruppen von vier SSDs in RAID0
• Zwei Gruppen von vier SSDs in RAID5
• Zwei Gruppen von vier SSDs in RAID10

Die unten dargestellten Daten sind die Summe der 8 SSDs, die in jeder Konfiguration verwendet werden. Diese Daten sollen lediglich verdeutlichen, wozu diese Plattform in den verschiedenen Konfigurationen, die Intel VROC unterstützt, fähig ist. Es ist zu beachten, dass RAID5 in diesem Test aufgrund der Komplexität der Paritätsberechnungen und Aktualisierungen eine geringere Schreibleistung aufweist, was auf der Grundlage von RAID-Level-Vergleichen zu erwarten ist.

Für die 4K-Spitzenzufallsleistung konnten alle RAID-Gruppen die Latenzzeit unter 1 ms halten (tatsächlich lagen alle Gruppen unter 210 μs). Alle Gruppen schlossen zwischen 2.5 und 3 Millionen IOPS ab, wobei die JBOD-Gruppe mit 2,944,335 IOPS und einer Latenz von 163 μs die Spitzenleistung erzielte.

Bei 4K-Zufallsschreibvorgängen konnte bei den verschiedenen RAID-Gruppen nicht die gleiche Einheit festgestellt werden. Die RAID5-Gruppe hatte mit einem Spitzenwert von 21,921 IOPS und einer Latenz von 936.7 ms die niedrigste Leistung. Die anderen RAID-Gruppen schnitten besser ab, wobei die RAID0-Gruppe einen Spitzenwert von 1,879,180 IOPS mit einer Latenz von 1.35 ms erreichte.

Bei der Umstellung auf sequentielle Arbeitslasten zeigten 64-KB-Lesevorgänge, dass alle RAID-Gruppen mit einer Latenz von unter einer Millisekunde gut anfingen und nur das JBOD über 1 ms etwa 330 IOPS oder 22 GB/s erreichte und bei einer Latenz von nur 363,203 einen Spitzenwert von 22.7 IOPS oder 1.4 GB/s erreichte MS.

Auch hier lösen sich die RAID-Gruppen beim Schreiben auf und liefern sehr unterschiedliche Leistungen. Erneut erreichte die RAID5-Gruppe etwa 25 IOPS mit einer Latenz von 4.3 ms und RAID0 erreichte 124,104 IOPS mit einer Latenz von 958 μs.

Als nächstes kommen unsere SQL-Workloads. Alle RAID-Gruppen hatten eine Latenzleistung von weniger als einer Millisekunde bis etwa 1.4 Millionen IOPS. Hier stieg die Latenz der RAID5-Gruppe an und die Leistung sank. Die anderen drei Gruppen machten weiter unter 1 ms, bis sie alle 2 Millionen IOPS durchbrachen. Die höchsten Werte erhält erneut die RAID0-Gruppe mit einer Spitzenleistung von 2,519,727 IOPS bei einer Latenz von 1.45 ms.

Für SQL 90-10 sahen wir ein besseres Latenzprofil für die RAID5-Gruppe mit einem Spitzenwert von 302 μs, aber die Spitzenleistung betrug nur 436,439 IOPS. Die anderen Gruppen schafften es über 1.5 Millionen IOPS, bevor sie 1 ms durchbrachen, wobei sowohl die JBOD- als auch die RAID10-Gruppe kurz darauf ihren Höhepunkt erreichten. Die RAID0-Gruppe erreichte einen Spitzenwert von 2,135,362 IOPS mit einer Latenz von 1.54 ms.

Auch in SQL 80-20 hatte die RAID5-Gruppe eine Latenz von weniger als einer Millisekunde bei geringerer Leistung im Vergleich zu den anderen, 345 μs bis 212,980 IOPS. Die anderen Gruppen erreichten 1 Million IOPS unter 1 ms, wobei JBOD und RAID10 kurz darauf erneut ihren Höhepunkt erreichten und RAID0 mit 1,753,622 IOPS bei einer Latenz von 1.7 ms ihren Höhepunkt erreichte.

Es überrascht nicht, dass unsere Oracle-Benchmarks uns eine ähnliche Platzierung wie oben bescherten. Die RAID5-Gruppe erreichte zuerst ihren Höhepunkt bei 61,695 IOPS mit einer Latenz von 153 μs. Die anderen Laufwerke erreichten zusammen etwa 780 IOPS in weniger als 1 ms, bevor RAID10 durchbrach und seinen Höhepunkt erreichte (954,567 IOPS bei einer Latenz von 2.63 ms), gefolgt vom JBOD (Höchstwert bei 1,274,172 IOPS bei einer Latenz von 4.2 ms) und schließlich die RAID0-Gruppe mit einem Spitzenwert von 1,472,338 IOPS bei einer Latenz von 2.18 ms.

Oracle 90-10 hatte mit 5 IOPS und einer Latenz von 406,693 μs den Spitzenwert der RAID255-Gruppe. Die anderen Gruppen hatten eine Latenz von unter einer Millisekunde bis über 1.5 Millionen IOPS und erreichten ihren Höhepunkt auf die gleiche Weise, die wir gesehen haben: RAID10, JBOD und RAID0 mit dem Spitzenwert von 2,110,799 IOPS und einer Latenz von 1.55 ms.

Für Oracle 80-20 erreichte die RAID5-Gruppe einen Spitzenwert von 213,479 IOPS und einer Latenz von 327 μs. Die anderen Gruppen schafften es auf über 1 Million IOPS, bevor sie ihren Höhepunkt erreichten, wobei RAID0 1.65 Millionen IOPS in weniger als 1 ms erreichte und bei 1,757,722 IOPS mit einer Latenz von 1.63 ms ihren Höhepunkt erreichte.

Als nächstes wechselten wir zu unserem VDI-Klontest „Full and Linked“. Hier sehen wir weiterhin das gleiche bekannte Platzierungsmuster für die verschiedenen RAID-Gruppen: RAID5, RAID10, JBOD und RAID0. Beim VDI Full Clone Boot erreichte die RAID5-Gruppe einen Spitzenwert von 288,613 IOPS mit einer Latenz von 182 μs. Die anderen Gruppen schafften es auf fast 1.2 Millionen IOPS mit einer Latenz von unter einer Millisekunde, bevor zunächst die RAID10-Gruppe auf 1,217,620 IOPS mit einer Latenz von 2.65 ms schoss, gefolgt von der JBOD-Gruppe mit 1,314,075 IOPS mit einer Latenz von 4.19 ms und dann der RAID0-Gruppe mit 1,400,765 IOPS eine Latenz von 2.22 ms.

Bei der VDI FC-Erstanmeldung erreichte die RAID5-Gruppe einen sehr kurzen Spitzenwert von 13,296 IOPS und 286 μs Latenz. Die anderen Laufwerke erreichten 175 IOPS, bevor sie nach 1 ms abstürzten. Die RAID0-Gruppe schaffte es bis zu 390 IOPS mit einer Latenz von unter einer Millisekunde und erreichte einen Spitzenwert von 429,692 IOPS mit einer Latenz von 4.98 ms.

Mit der VDI FC-Anmeldung am Montag erreichte die RAID5-Gruppe einen Spitzenwert von 15 IOPS mit 262 μs. Die anderen RAID-Gruppen schafften es über 150 hinaus, bevor sie 1 ms durchbrachen, wobei die RAID10-Gruppe und JBOD eine recht hohe Latenz von 12.8 ms bzw. 11.7 ms aufwiesen, obwohl die Leistung mit 234,431 IOPS und 341,483 IOPS beeindruckend war. Die RAID0-Gruppe hatte mit 435,641 IOPS und einer Latenz von 5.67 ms die insgesamt beste Leistung.

Beim Wechsel zu unseren VDI Linked Clone-Tests sehen wir eine viel stärkere Leistung aller Gruppen in unserem Boot, wobei die RAID5-Gruppe einen Spitzenwert von 543,680 IOPS und 407 μs Latenz erreicht, RAID10 einen Spitzenwert von 782,224 mit einer Latenz von 4.76 ms, JBOD einen Spitzenwert von 822,555 IOPS mit einer Latenz von 11.52 ms RAID0 erreicht einen Spitzenwert von 820,998 IOPS mit einer Latenz von 4.39 ms.

Beim VDI LC Initial Login sehen wir Spitzenleistungen von 10,998 IOPS mit 312 μs Latenz beim RAID5 bis zu 276,814 IOPS mit 7.88 ms Latenz beim RAID0.

Schließlich sehen wir beim VDI LC Monday Login weiterhin das Muster, dass RAID5 zuerst endet (11,591 IOPS bei 315 μs), gefolgt von RAID10 (ungefähr 155 IOPS bei 1.2 ms in der Spitze), dann JBOD (ungefähr 238 IOPS bei 15.8 ms in der Spitze) und schließlich RAID0 ( 279,332 IOPS bei 8.06 ms).

Fazit

Bei der Betrachtung der Intel VROC-Leistung auf dieser 1U-EchoStreams-Plattform haben wir uns vier verschiedene Testgruppen angesehen, die jeweils aggregierte Daten von 8x der Intel P4510 NVMe SSDs verwendeten. Es ist einfach, RAID0 zum „Gewinner“ der Gruppe zu erklären, aber das hat aufgrund der Funktionsweise von RAID erwartungsgemäße Gründe. Betrachten Sie die Leistungsergebnisse von unten nach oben; Wie eingangs erwähnt, weist RAID5 bei Paritätsberechnungen einen erheblichen Nachteil bei der Datenredundanz auf, was sich deutlich in den Daten widerspiegelt. RAID10 verwendet Spiegelung, sodass die Redundanzeinbußen viel geringer sind und die Ergebnisse im Vergleich zu RAID5 einen großen Sprung nach vorne machen. Auf diese Gruppe folgt JBOD mit aggregierter Pass-Through-Leistung. RAID0 führt die Zahlen an, da es ausschließlich auf Leistung ausgerichtet ist und die Vorteile der zusammenarbeitenden Laufwerke über Daten-Striping nutzt, jedoch die Datenstabilität beeinträchtigt. Alle Daten untermauern aus Sicht der RAID-Funktionalität die Tatsache, dass Intel VROC gut implementiert ist und konsistente und erwartete Ergebnisse auf einer ausgereiften Plattform liefert.

Anstatt jedes Ergebnis im Detail durchzugehen (bei vier Gruppen ergibt das insgesamt 64 Ergebnisse), schauen wir uns stattdessen einige der Highlights an. In unserem 4K-Test haben wir gesehen, dass die JBOD-Gruppe fast 3 Millionen IOPS bei einer Latenz von weniger als einer Millisekunde für Lesevorgänge erreichte und RAID0 1.9 Millionen IOPS bei einer Latenz von nur 1.35 ms erreichte. Für sequenzielle 64K-Auflösung sahen wir Werte von bis zu 22.7 GB/s beim Lesen und 7.8 GB/s beim Schreiben. Unsere SQL-Tests ergaben 2.5 Millionen IOPS, 2.1 Millionen IOPS für 90–10 und 1.75 Millionen IOPS für 80–20, alles bei einer Latenz von 1.7 ms. Oracle verzeichnete 1.47 Millionen IOPS, 2.1 Millionen IOPS für 90-10 und 1.76 Millionen IOPS für 80-20, alles bei einer Latenz von 2.18 ms oder weniger. Unser VDI-Test ergab einen FC-Boot von 1.4 Millionen IOPS, einen FC-Erst-Login von 430 IOPS und einen VDI-FC-Montag-Login von 436 IOPS und einen LC-Boot von 821 IOPS, einen LC-Erst-Login von 277 IOPS und einen LC-Montag-Login von 279 IOPS.

Letztendlich bietet Intel VROC Systemanbietern wie EchoStreams eine vereinfachte Möglichkeit, RAID mit NVMe-SSDs bereitzustellen. Das Ergebnis ist, dass EchoStreams einen hervorragenden Durchsatz und eine hervorragende Latenz bei geringerer Komplexität und geringeren Kosten liefern kann. Darüber hinaus erhalten EchoStreams-Kunden dank der zusätzlichen Funktionen von Intel VMD eine verbesserte Systemwartung mit Funktionen wie NVMe-SSD-Hot-Swap, NVMe-Drive-Light-Unterstützung und bootfähigem RAID mit Pre-Boot-Konfiguration. Wie bereits erwähnt, sind die Anwendungsfälle vielfältig, aber es besteht eindeutig ein enormes Potenzial für CDNs und andere, die von RAID der Unternehmensklasse über die schnellsten allgemein verfügbaren Speicher- und Netzwerkschnittstellen profitieren können.

EchoStreams FlacheSAN1N10U-D5 Produktseite

Besprechen Sie diese Rezension

Melden Sie sich für den StorageReview-Newsletter an