NVMe SSD's nemen het datacenter over en vestigen zich snel als de go-to-technologie voor bedrijfskritische toepassingen. De NVMe-interface laat flash vrij draaien en lost legacy-knelpunten van SATA- en SAS-interfaces op. Het verwijderen van de flash-sluisdeuren introduceert echter nieuwe architecturale uitdagingen die niet gemakkelijk kunnen worden opgelost met traditionele HBA/RAID-kaartserverlay-outs. Intel heeft dit probleem aangepakt met een vereenvoudigde oplossing voor het beheer van NVMe SSD's in servers. Virtuele RAID op CPU, of kortweg Intel VROC, geeft de SSD's in wezen directe toegang tot de CPU's, waardoor een HBA volledig overbodig wordt. Dit vereenvoudigt zowel het datapad als de componenten die nodig zijn om het meeste uit NVMe SSD's in servers te halen aanzienlijk. Naast RAID op enterprise-niveau biedt Intel VROC het verwachte onderhoudsgemak dat de onderneming nodig heeft, waaronder pre-boot RAID-beheer, hot-plug-ondersteuning en LED-beheer.
NVMe SSD's nemen het datacenter over en vestigen zich snel als de go-to-technologie voor bedrijfskritische toepassingen. De NVMe-interface laat flash vrij draaien en lost legacy-knelpunten van SATA- en SAS-interfaces op. Het verwijderen van de flash-sluisdeuren introduceert echter nieuwe architecturale uitdagingen die niet gemakkelijk kunnen worden opgelost met traditionele HBA/RAID-kaartserverlay-outs. Intel heeft dit probleem aangepakt met een vereenvoudigde oplossing voor het beheer van NVMe SSD's in servers. Virtuele RAID op CPU, of kortweg Intel VROC, geeft de SSD's in wezen directe toegang tot de CPU's, waardoor een HBA volledig overbodig wordt. Dit vereenvoudigt zowel het datapad als de componenten die nodig zijn om het meeste uit NVMe SSD's in servers te halen aanzienlijk. Naast RAID op enterprise-niveau biedt Intel VROC het verwachte onderhoudsgemak dat de onderneming nodig heeft, waaronder pre-boot RAID-beheer, hot-plug-ondersteuning en LED-beheer.
Om Intel VROC beter te begrijpen, is het belangrijk om een andere technologie te begrijpen, genaamd Intel Volume Management Device (Intel VMD). Intel VMD is compatibel met de nieuwste Intel Xeon Scalable-processors en is een geïntegreerde controller in het CPU PCIe-rootcomplex. Het netto resultaat is dat Intel VMD min of meer virtuele HBA's mogelijk maakt voor de aangesloten NVMe SSD's. Dit is belangrijk omdat Intel VMD kritieke onderhoudsfuncties voor schijven biedt die zijn vereenvoudigd zonder in te leveren op betrouwbaarheid. Dankzij Intel VMD kunnen NVMe SSD's hot-swapped worden zonder serviceonderbreking of opnieuw opstarten. Intel VMD leidt het invoegen en verwijderen van PCIe-busgebeurtenissen om naar RAID-opslagbewuste stuurprogramma's die deze gebeurtenissen afhandelen en een automatische herbouw starten. In het geval van een storing is het ook van cruciaal belang om te weten welke schijf moet worden verwijderd, wat moeilijk kan zijn in datacenters met tientallen of honderden schijven en inconsistente labelingpraktijken van de leveranciers. Intel VMD ondersteunt NVMe LED Management, wat in lijn is met de drive light-specificatie die SATA- en SAS-drives al jaren gebruiken, waardoor het gemakkelijk is om een SSD te identificeren en te onderhouden wanneer dat nodig is. Intel VMD wordt ook breed ondersteund in de branche, VMware ondersteunt bijvoorbeeld de Intel VMD NVMe-driver die native is in de VMware ESXi 6.7-release, die ondersteuning biedt voor het beheer van NVMe SSD's in vSAN.
Intel VROC bouwt voort op Intel VMD, waardoor NVMe SSD RAID in beeld komt. Momenteel kan een enkele Xeon Scalable CPU maximaal 12 NVMe direct aangesloten schijven en maximaal 6 RAID-arrays ondersteunen. Een dual-proc-systeem zou respectievelijk 24 en 12 ondersteunen. Een CPU kan echter gebruikmaken van schakelaars om tot 48 SSD's in een systeem te ondersteunen. Intel VROC ondersteunt datavolumes en opstartvolumes, iets dat historisch gezien moeilijk was voor NVMe-schijven om te bereiken. RAID-instellingen zijn configureerbaar via BIOS of CLI en Intel ondersteunt beheer lokaal of op afstand via RESTful agent.
Intel VROC wordt verkocht als fysieke sleutel; er zijn drie SKU's beschikbaar. Standaard ondersteunt RAID 0/1/10 met SSD-ondersteuning van derden. De Premium-licentie voegt ondersteuning toe voor RAID3. Er is ook een Intel SSD Only-licentie, die, zoals de naam al aangeeft, alleen Intel-schijven ondersteunt, maar het volledige scala aan RAID-opties biedt.
Naast een licentie, NVMe SSD's en Xeon Scalable CPU's is een compatibele server nodig. Hoewel Intel VROC breed wordt ondersteund, zijn er enkele serverleveranciers die de voorkeur geven aan hun eigen op kaarten gebaseerde technologieën voor het beheer van schijven boven dit modernere alternatief. In deze review werken we samen met EchoStreams, die Intel VROC ondersteunt op hun opslagserverlijnen.
Voor zo'n kleine doos, de EchoStreams FlacheSAN1N10U-D5 is uiterst flexibel. In onze configuratie is de server uitgerust met dubbele Intel 8180M CPU's, 64GB RAM en acht 2TB Intel DC P4510 NVMe SSD's. De server biedt drie x16 PCIe 3.0-slots, waardoor gebruikers het volledige potentieel van de interne opslagcapaciteit kunnen maximaliseren met maximaal 160TB NVMe-flash (10x 16TB SSD's) en drie 100Gbps Ethernet NIC's.
Het chassisontwerp maakt ook een symmetrische lay-out mogelijk tussen beide CPU's, de NVMe SSD's en de uitgaande NIC's. Als whitebox-aanbod kan het chassis ook worden aangepast voor de eindgebruiker, waarbij andere SSD-formaten worden ondersteund, zoals 15 mm en 7 mm U.2, evenals interne M.2 SSD's en Intel Optane. Ten slotte kan de server worden geconfigureerd met een dubbele 850 W wisselstroomvoeding, of worden ingesteld om 48 VDC zeer efficiënte voedingen te ondersteunen. Gezien de high-end Intel CPU's in onze configuratie, kwamen de grotere voedingen goed van pas.
Kijkend naar waar de FlacheSAN1N10U-D5 waarde kan toevoegen, wijst EchoStreams op content delivery networks (CDN's) als primaire use case. Momenteel gebruiken klanten deze knooppunten als caching-apparaten in het datacenter of op randlocaties om populaire inhoud aan eindgebruikers te leveren. Er zijn ook verschillende universiteiten die gebruikmaken van het platform voor HPC- en onderzoekstoepassingen waarbij rekenkracht en opslagdoorvoer een cruciaal voordeel bieden bij het oplossen van complexe problemen. Afgezien van deze scenario's werkt de server ook goed voor postproductieworkflows voor media en entertainment en past hij ook goed bij softwaregedefinieerde opslagaanbiedingen die kunnen profiteren van NVMe-opslag en snelle netwerken.
EchoStreams FlacheSAN1N10U-UN Specificaties
| Vormfactor | 1U |
| CPU | Ondersteunt dual Socket LGA3647 Intel Xeon schaalbare processor |
| chipset | Intel C622 |
| RAM | DDR4 tot 1.5 TB RDIMM/RDIMM/LRDIMM 2666/2400 MHz |
| DIMM-sleuven | 16 |
| Drive Bays |
|
| I / O-interface |
|
| Uitbreidingsslots |
|
| backplane | 5 x 2-bay NVMe-backplanes |
| Ondersteunde besturingssystemen |
|
| Power |
|
| fysiek |
|
| Mileu |
|
Bruikbaarheid en implementatie
Het moederbord heeft geen mooie GUI voor het configureren van Intel VROC, maar het is zeker gebruiksvriendelijk. Voor IT-beheerders die misschien bekend zijn met het gebruik van mdadm-opdrachten vanaf een console, automatiseert Intel VROC veel van het backend-werk om de installatie te vereenvoudigen. Hoewel het niet vol zit met toeters en bellen, zal het voor de meeste IT-professionals niet moeilijk zijn om te gebruiken. Vanuit het BIOS-scherm kunnen gebruikers hun RAID-volumes instellen terwijl ze de fysieke schijven zien die beschikbaar zijn.
Vervolgens kan men het volume een naam geven (in dit geval volume0), het RAID-niveau selecteren en RAID inschakelen dat over beide Intel VMD-controllers is verdeeld.
Zodra de RAID is ingesteld, kan men kijken naar de volumeacties, zoals het verwijderen van het RAID-volume of het opstartbaar maken ervan.
Ten slotte kunnen gebruikers schijfacties uitvoeren, zoals het resetten naar niet-RAID of het verwijderen van de RAID-gegevens van de schijven.
Toen het systeem eenmaal draaide in onze CentOS 7.4-omgeving, was de configuratie van de RAID-volumes klaar. Voor RAID5/10-volumes kunt u mdstat bekijken voor de voortgang van de initialisatie op de achtergrond, of de volledige RAID-groep desgewenst handmatig wijzigen. De setup op BIOS-niveau neemt veel van het beenwerk weg om RAID aan de praat te krijgen, maar verwijdert of vervangt het niet voor gebruikers die dat extra niveau van aanpassing willen.
Prestatie
VDBench-werkbelastinganalyse
Als het gaat om het benchmarken van opslagarrays, is het testen van toepassingen het beste en komt het synthetische testen op de tweede plaats. Hoewel ze geen perfecte weergave zijn van de werkelijke werkbelasting, helpen synthetische tests wel om opslagapparaten te baseren met een herhaalbaarheidsfactor die het gemakkelijk maakt om appels met appels te vergelijken tussen concurrerende oplossingen. Deze workloads bieden een scala aan verschillende testprofielen, variërend van "four corners"-tests, algemene tests voor de grootte van database-overdrachten, evenals het vastleggen van sporen uit verschillende VDI-omgevingen. Al deze tests maken gebruik van de gemeenschappelijke vdBench-workloadgenerator, met een scripting-engine om resultaten te automatiseren en vast te leggen over een groot rekentestcluster. Hierdoor kunnen we dezelfde workloads herhalen op een breed scala aan opslagapparaten, waaronder flash-arrays en individuele opslagapparaten.
profielen:
- 4K willekeurig lezen: 100% lezen, 128 threads, 0-120% joate
- 4K willekeurig schrijven: 100% schrijven, 64 threads, 0-120% snelheid
- 64K sequentieel lezen: 100% lezen, 16 threads, 0-120% jorate
- 64K sequentieel schrijven: 100% schrijven, 8 threads, 0-120% snelheid
- Synthetische database: SQL en Oracle
- VDI volledige kloon en gekoppelde kloonsporen
Voor deze reeks VDBench-tests zullen we onze normale tests uitvoeren, maar in plaats van één apparaat (bijv. SSD, server of array) zullen we meerdere configuraties uitvoeren die gebalanceerd zijn over beide CPU's:
- 8 schijven in JBOD
- Twee groepen van vier SSD's in RAID0
- Twee groepen van vier SSD's in RAID5
- Twee groepen van vier SSD's in RAID10
De onderstaande gegevens zijn het totaal van de 8 SSD's die in elke configuratie worden gebruikt. Deze gegevens zijn eenvoudigweg bedoeld om te benadrukken waartoe dit platform in staat is in de verscheidenheid aan configuraties die Intel VROC ondersteunt. Opgemerkt moet worden dat RAID5 in deze review lagere schrijfprestaties levert vanwege de complexiteit van pariteitsberekeningen en updates en wordt verwacht op basis van vergelijkingen van RAID-niveaus.
Voor 4K piek willekeurige prestaties konden alle RAID-groepen onder de 1 ms blijven voor latentie (in feite waren alle groepen onder de 210 μs). Alle groepen eindigden tussen de 2.5 miljoen en 3 miljoen IOPS, waarbij de topprestaties naar de JBOD-groep gingen met 2,944,335 IOPS en een latentie van 163μs.
4K willekeurig schrijven zag niet dezelfde eenheid met de verschillende RAID-groepen. De RAID5-groep had de laagste prestaties met een piek van 21,921 IOPS en een latentie van 936.7 ms. De andere RAID-groepen presteerden beter met de RAID0-groep met een piek van 1,879,180 IOPS met een latentie van 1.35 ms.
Bij het overschakelen naar sequentiële workloads, liet 64K lezen zien dat alle RAID-groepen sterk beginnen met een latentie van minder dan een milliseconde en alleen de JBOD gaat meer dan 1 ms rond 330K IOPS of 22GB/s en piekt op 363,203 IOPS of 22.7GB/s bij een latentie van slechts 1.4 Mevr.
Opnieuw met schrijven breken de RAID-groepen uiteen en leveren zeer verschillende prestaties. Wederom viel de RAID5-groep rond de 25 IOPS uit met een latentie van 4.3 ms en ging RAID0 verder naar 124,104 IOPS met een latentie van 958μs.
De volgende stap zijn onze SQL-workloads. Alle RAID-groepen hadden een latentie van minder dan een milliseconde tot ongeveer 1.4 miljoen IOPS. Hier piekte de RAID5-groep in latentie en daalde in prestaties. De andere drie groepen gingen door onder 1 ms totdat ze allemaal 2 miljoen IOPS braken. De hoogste cijfers zijn opnieuw toegekend aan de RAID0-groep met piekprestaties van 2,519,727 IOPS bij een latentie van 1.45 ms.
Voor SQL 90-10 zagen we een beter latentieprofiel voor de RAID5-groep met een piek van 302μs, maar de piekprestaties waren slechts 436,439 IOPS. De andere groepen haalden meer dan 1.5 miljoen IOPS voordat ze 1 ms onderbraken, waarbij zowel de JBOD- als de RAID10-groep kort daarna een piek bereikte. De RAID0-groep piekte op 2,135,362 IOPS met een latentie van 1.54 ms.
Wederom in SQL 80-20 had de RAID5-groep een latentie van minder dan een milliseconde met lagere prestaties in vergelijking met de andere, 345 μs tot 212,980 IOPS. De andere groepen passeerden de 1 miljoen IOPS onder 1 ms, waarbij de JBOD en RAID10 kort daarna opnieuw piekten en de RAID0 piekte op 1,753,622 IOPS bij een latentie van 1.7 ms.
Onze Oracle-benchmarks gaven ons, niet verrassend, een vergelijkbare plaatsing als hierboven. De RAID5-groep piekte als eerste met 61,695 IOPS met een latentie van 153μs. De andere schijven bereikten samen ongeveer 780 IOPS met minder dan 1 ms voordat de RAID10 erbovenuit brak en piekte (954,567 IOPS bij een latentie van 2.63 ms), gevolgd door de JBOD (met een piek van 1,274,172 IOPS met een latentie van 4.2 ms), en tot slot de RAID0-groep met een piek van 1,472,338 IOPS met een latentie van 2.18 ms.
Oracle 90-10 had als eerste de RAID5-groep met 406,693 IOPS en een latentie van 255μs. De andere groepen hadden een latentie van minder dan een milliseconde tot meer dan 1.5 miljoen IOPS en piekten op dezelfde manier als we hebben gezien: RAID10, JBOD en RAID0 met de toppositie van 2,110,799 IOPS en een latentie van 1.55 ms.
Voor Oracle 80-20 piekte de RAID5-groep op 213,479 IOPS en een latentie van 327μs. De andere groepen haalden meer dan 1 miljoen IOPS voordat ze een hoogtepunt bereikten met de RAID0, waardoor het 1.65 miljoen IOPS werd met minder dan 1 ms en piekte op 1,757,722 IOPS met een latentie van 1.63 ms.
Vervolgens zijn we overgestapt op onze VDI-kloontest, Full en Linked. Hier zien we nog steeds hetzelfde bekende plaatsingspatroon voor de verschillende RAID-groepen: RAID5, RAID10, JBOD en RAID0. Voor VDI Full Clone Boot piekte de RAID5-groep op 288,613 IOPS met een latentie van 182μs. De andere groepen bereikten bijna 1.2 miljoen IOPS met een latentie van minder dan een milliseconde voordat eerst de RAID10-groep omhoogschoot naar 1,217,620 IOPS met een latentie van 2.65 ms, gevolgd door de JBOD-groep met 1,314,075 IOPS met een latentie van 4.19 ms en vervolgens de RAID0-groep met 1,400,765 IOPS met een latentie van 2.22ms.
Met VDI FC Initial Login had de RAID5-groep een zeer korte run met een piek van 13,296 IOPS en 286μs voor latentie. De andere schijven bereikten 175 IOPS voordat ze 1 ms onderbraken. De RAID0-groep bereikte 390 IOPS met een latentie van minder dan een milliseconde en piekte op 429,692 IOPS met een latentie van 4.98 ms.
Met VDI FC Monday login piekte de RAID5-groep op 15K IOPS met 262μs. De andere RAID-groepen haalden de 150K voordat ze 1 ms braken, waarbij de RAID10-groep en JBOD een redelijk hoge latentie zagen van respectievelijk 12.8 ms en 11.7 ms, hoewel de prestaties indrukwekkend waren, 234,431 IOPS en 341,483 IOPS. De RAID0-groep had de beste prestaties met 435,641 IOPS en een latentie van 5.67 ms.
Als we overschakelen naar onze VDI Linked Clone-tests, zien we veel sterkere prestaties van alle groepen in onze boot met RAID5-groep met een piek van 543,680 IOPS en 407 μs latentie, RAID10 met een piek van 782,224 met 4.76 ms latentie, JBOD met een piek van 822,555 IOPS met 11.52 ms latentie, en RAID0 piekt op 820,998 IOPS met een latentie van 4.39 ms.
Met VDI LC Initial Login zien we piekprestaties variërend van 10,998 IOPS met 312μs latentie van de RAID5 tot 276,814 IOPS met 7.88 ms latentie voor de RAID0.
Eindelijk, met VDI LC Monday Login, zien we nog steeds het patroon van eerst RAID5-afwerking (11,591 IOPS bij 315 μs), gevolgd door RAID10 (ongeveer 155 IOPS bij 1.2 ms voor piek) en vervolgens JBOD (ongeveer 238 IOPS bij 15.8 ms piek) en tenslotte RAID0 ( 279,332 IOPS bij 8.06 ms).
conclusie
Kijkend naar Intel VROC-prestaties op dit 1U EchoStreams-platform, hebben we gekeken naar vier verschillende testgroepen die elk geaggregeerde gegevens van 8x van de Intel P4510 NVMe SSD's gebruikten. Het is gemakkelijk om RAID0 uit te roepen tot de "winnaar" van de groep, maar dat is om te verwachten redenen vanwege de manier waarop RAID werkt. Bottom-up kijken naar de prestatieresultaten; zoals aan het begin opgemerkt, heeft RAID5 een zware boete voor gegevensredundantie met pariteitsberekeningen en dat wordt duidelijk weerspiegeld in de gegevens. RAID10 maakt gebruik van mirroring, dus de redundantieboete is veel lager en dus maken de resultaten een grote sprong voorwaarts in vergelijking met RAID5. Die groep wordt gevolgd door JBOD, met geaggregeerde pass-thru-prestaties. RAID0 voert de cijfers aan omdat het uitsluitend gericht is op prestaties en profiteert van de samenwerkende schijven via datastriping, maar offert de veerkracht van de gegevens op. Alle gegevens, vanuit het oogpunt van RAID-functionaliteit, ondersteunen het feit dat Intel VROC goed is geïmplementeerd en consistente en verwachte resultaten levert op een goed ontworpen platform.
In plaats van elk resultaat in detail te bespreken (met vier groepen levert dit in totaal 64 resultaten op), zullen we in plaats daarvan enkele hoogtepunten bekijken. In onze 4K-test zagen we dat de JBOD-groep bijna 3 miljoen IOPS bereikte met een latentie van minder dan een milliseconde voor leesbewerkingen en dat RAID0 1.9 miljoen IOPS bereikte met een latentie van slechts 1.35 ms. Voor 64K sequentieel zagen we getallen tot 22.7 GB/s lezen en 7.8 GB/s schrijven. Onze SQL-tests zagen 2.5 miljoen IOPS, 2.1 miljoen IOPS voor 90-10 en 1.75 miljoen IOPS voor 80-20, allemaal onder een latentie van 1.7 ms. Oracle zag 1.47 miljoen IOPS, 2.1 miljoen IOPS voor 90-10 en 1.76 miljoen IOPS voor 80-20, allemaal met een latentie van 2.18 ms of minder. Onze VDI-test toonde FC Boot van 1.4 miljoen IOPS, FC Initial Login van 430K IOPS en VDI FC Monday Login van 436K IOPS en LC Boot van 821K IOPS, LC Initial Login van 277K IOPS en LC Monday Login van 279K IOPS.
Wat Intel VROC systeemleveranciers zoals EchoStreams uiteindelijk biedt, is een vereenvoudigde manier om RAID te leveren met NVMe SSD's. Het resultaat is dat EchoStreams een uitstekende doorvoer en latentie kan leveren met minder complexiteit en kosten. Bovendien krijgen EchoStreams-klanten dankzij de extra functies van Intel VMD verbeterde systeemonderhoudsmogelijkheden met functies zoals NVMe SSD hot-swap, NVMe drive light-ondersteuning en opstartbare RAID met pre-boot-configuratie. Zoals opgemerkt, zijn de use-cases gevarieerd, maar er is duidelijk een enorm potentieel voor CDN's en anderen die kunnen profiteren van enterprise-grade RAID via de snelste opslag- en netwerkinterfaces die overal verkrijgbaar zijn.
EchoStreams FlacheSAN1N10U-D5 productpagina
Meld u aan voor de StorageReview-nieuwsbrief
