Bijna twee jaar geleden voltooiden we een beoordeling van een opslagserver van Viking Enterprise Solutions (VES) met 24 NVMe-bays en dubbele rekenknooppunten in een 2U-chassis. VES is een belangrijke OEM, die enkele van de meest innovatieve opslagserversystemen op de markt creëert. Onlangs hadden we de gelegenheid om hands-on te werken met een versie van hun opslagserver die is afgestemd op NVMe-schijven met één poort. Natuurlijk namen we 24 Solidigm P5316 30.72TB QLC SSD's, lieten ze in de server vallen en gingen achteruit om te zien wat bijna 750TB RAW-flash kan doen.
Bijna twee jaar geleden voltooiden we een beoordeling van een opslagserver van Viking Enterprise Solutions (VES) met 24 NVMe-bays en dubbele rekenknooppunten in een 2U-chassis. VES is een belangrijke OEM, die enkele van de meest innovatieve opslagserversystemen op de markt creëert. Onlangs hadden we de gelegenheid om hands-on te werken met een versie van hun opslagserver die is afgestemd op NVMe-schijven met één poort. Natuurlijk namen we 24 Solidigm P5316 30.72TB QLC SSD's, lieten ze in de server vallen en gingen achteruit om te zien wat bijna 750TB RAW-flash kan doen.
Naast hun OEM-werk verkoopt VES ook aan verschillende HPC- en Hyperscale-klanten. Dit is een belangrijke overweging omdat, aangezien we de prestaties van opslagservers buiten het traditionele bedrijfsdomein beschouwen, de manier waarop organisaties met enorme datavoetafdrukken opslag configureren, anders is.
Veel van de workloads waarop deze servers zich richten, zijn wat wij beschouwen als moderne analyse- en AI-toepassingen waarbij prestaties van cruciaal belang zijn en de beschikbaarheid van gegevens iets minder. Als zodanig zien deze configuraties er niet uit als een traditioneel SAN, waar dataservices en veerkracht voorop staan. In dit voorbeeld configureren we voor optimale prestaties binnen de VES-opslagserver in plaats van I/O-kaarten toe te voegen en de server te gebruiken als gedeelde opslag.
Deze configuratienuance is belangrijk. We leveren 12 van de P5316 SSD's aan elk AMD EPYC-rekenknooppunt aan de achterkant van het systeem. Deze knooppunten adresseren de opslag in JBOD, uitgaande van veerkracht op applicatieniveau voor beschikbaarheid van gegevens. Hoewel we voor dit rapport geen gebruik hebben gemaakt van GPU's, is het heel redelijk om die knooppunten te configureren met zoiets als een NVIDIA A2 voor analyse of het afleiden van workloads.
Maar laten we, voordat we te ver in de server- en opslagconfiguratie duiken, eens kijken naar de belangrijkste hardwarecomponenten die deel uitmaken van dit werk.
Viking Enterprise Solutions VSS2249P opslagserver
Voor dit werk gingen we naar VES om een krachtige server te vinden die het maximale uit de 24 Solidigm P5316 30.72TB SSD's aan de voorkant kon halen. Dit is geen triviale kwestie; de schijven met één poort zullen het beste presteren in een oplossing die vier PCIe v4-banen van een van de AMD-serverknooppunten naar elke schijf kan leveren. Directe toegang biedt de hoogste prestaties van elke SSD, in tegenstelling tot stromen via een interne expander die de bandbreedte kan beperken. Bovendien is dit systeem ontworpen voor SSD's met één poort, zoals Solidigm P5316, vergeleken met de beoordeling van de vorige Viking Enterprise Server die was ontworpen voor SSD's met twee poorten.
Viking Enterprise Solutions VSS2249P Hoogtepunten
De Viking Enterprise Solutions VSS2249P is een 2U dual-node opslagserver met 24 bays voor U.2 PCIe v4-drives met één poort. Meer specifiek ondersteunt elk serverknooppunt (of elke module) 12 single-port, hot-pluggable NVMe 2.5-inch U.2 (SFF-8639) SSD's via x4 PCIe Gen4 lanes, waardoor dit een prestatiegerichte server is. Dit maakt het ideaal voor use-cases waar I/O-knelpunten een probleem kunnen zijn, zoals edge-computing-opslag, analyse, machine learning, AI, OLTP-databases, hoogfrequente handel, evenals modellering, simulatie, wetenschappelijk onderzoek en andere high-performance use-cases.
VES is een toonaangevend opslag- en serverontwikkelingsbedrijf dat gespecialiseerd is in het ontwikkelen van grootschalige oplossingen voor OEM-klanten met hoge prestaties en cloudcomputing. Dankzij hun brede klantenportfolio hebben ze uitgebreide ervaring met het benutten van opkomende technologieën bij het ontwikkelen van hun oplossingen, wat kan helpen om hun klanten een concurrentievoordeel te geven. We verwachten veel van hetzelfde met de VSS2249P.
Solidigm D5-P5316
We hebben deze server eerder in ons lab gehad, maar deze keer hebben we ze bevolkt met 30.72 TB Solidigm D5-P5316 PCIe Gen4 NVMe SSD's, wat neerkomt op bijna driekwart petabyte voor opslag via de U.2 15 mm-vormfactor. Hierdoor kunnen klanten (met name in de hyperscale-ruimte) grootschalige implementaties uitvoeren. De D5-P5316-drives zijn ook voorzien van 144-laags QLC NAND, wat de kosten verlaagt, terwijl modellen met hoge capaciteit en solide prestaties behouden blijven.
De D5-P5316 levert naar verluidt tot 7 GB/s in sequentiële leesbewerkingen, terwijl de 30.72 TB-modellen iets meer schrijfsnelheid bieden met 3.6 GB/s. In willekeurige 4K-lezingen citeert Solidigm hun nieuwe schijf op 800,000 IOPS voor alle modellen. De schijf heeft ook een DWPD-classificatie (0.41 schijfschrijfacties per dag), een garantie van 5 jaar en een reeks verbeterde beveiliging, waaronder AES-256 hardwareversleuteling, NVMe-opschoning en firmwaremeting.
Deze schijven zijn ideaal voor omgevingen die opslag binnen datacenterworkloads moeten optimaliseren en versnellen, zoals Content Delivery Networks (CDN), Hyper-Converged Infrastructure (HCI) en Big Data.
Al met al hebben we vastgesteld dat Solidigm een schijf heeft gemaakt die een uitstekende balans vindt tussen capaciteit, prestaties en kosten, wat perfect is voor de VSS2249P.
Viking Enterprise Solutions VSS2249P Componenten en build
De twee servermodules in de VSS2249P-behuizing zijn hot-swappable en zijn uitgerust met een AMD EPYC Rome CPU, twee x16 PCIe Gen4-sleuven en één OCPNIC v3.0 die Gen 4 PCIe-uitbreidingskaarten ondersteunt, en maximaal 8 DIMM's. Met afmetingen van 3.43 inch (H) x 17.2 inch (B) x 27.44 inch (D) past de VSS2249P ook mooi in een industriestandaard 19-inch rek van 1.0 meter, waardoor hij kan worden ingezet in een verscheidenheid aan toepassingen.
Elk knooppunt in onze configuratie bevat een AMD EPYC 7402P CPU met 24 cores, een basisklok van 2.8 GHz (max. boost van 3.35 GHz), 48 threads en 128 MB in L3-cache. Het is ook uitgerust met 64 GB DDR4 RAM (8 x 8 GB) en een M.250-opstart-SSD van 2 GB.
De VSS2249P is ontworpen als een kabelloos systeem. Het aandrijfvlak biedt bijvoorbeeld connectiviteit voor voeding, gegevens en beheer, evenals de PSU's. De systeemventilatoren maken ook deel uit van de serversledeconstructie (verbonden met het aandrijfvlak via het ventilatorbord) en worden gevoed en bestuurd door het aandrijfvlak. Voor gemakkelijke toegang worden de ventilatoren verwijderd via de bovenklep. Alle SSD's kunnen rechtstreeks op het middenvlak worden aangesloten. Dit maakt het onderhoud van de VSS2249P naadloos, terwijl het ontbreken van kabels zorgt voor een betere luchtstroom en dus koelere serverknooppunten.
Viking VSS2249P Specificaties
| Bijlage | 2 nodes, schijven met één poort |
| Gen 4 PCIe-slots | Twee x16 HH/HL, één x16 Gen OCP v3 |
| NTB | NB |
| Serverbus | Enkele CPU, 8 DDR4 DIMM-sleuven |
| firmware |
|
| CPU | EPYC (ROME of MILAAN) CPU |
| Beheer netwerk | 1GbE – Mgmt-poort |
| Servers |
|
| Geheugen |
|
| Externe interfaces | 1 USB, 1 Displayport, 1Gb IPMI, 1 MicroUSB-consolepoort |
| Wisselstroom |
|
| Hot-swappable componenten |
|
| Werkomgeving |
|
| Niet-werkende omgeving |
|
| Afmetingen en gewicht van 2U-behuizing |
|
24 x Solidigm D5-P5316 prestatietests
Terwijl de meesten van ons QLC-flash beschouwen als een alternatief met lagere prestaties voor TLC SSD's, wordt slechts naar één kant van de vergelijking gekeken. De willekeurige schrijfprestaties van kleinere blokken kunnen lager zijn vanwege architecturale beslissingen, zoals grove indirectheid, maar sequentiële schrijfprestaties en willekeurige schrijfprestaties van grote blokken zijn zeer concurrerend en komen zeer dicht in de buurt van TLC DC SSD's op instapniveau.
Met de op TLC gebaseerde flash op de markt zijn de schrijfsnelheden lager, maar de leesprestaties zijn nog steeds zeer capabel, zo niet volledig concurrerend. Onze focus in deze review lag op het benutten van 24 Solidigm P5316 30.72TB SSD's in een 2-node server, wat laat zien hoe ver we ze kunnen pushen met veel rekenkracht erachter.
De laatste keer dat we naar een vergelijkbaar Viking Enterprise Solutions-systeem keken, was het gebouwd om 24 SSD's over twee knooppunten te delen, waarbij elk knooppunt toegang via meerdere paden tot elke SSD heeft. De VSS2249P gebruikt vergelijkbare knooppunten op de backend, hoewel 12 SSD's direct zijn aangesloten op het ene knooppunt en de overige 12 op het andere. Dit geeft elke SSD een volledige 4-kanaals PCIe Gen4-banen terug naar het knooppunt waarmee het is verbonden.
We hebben Ubuntu 20.04 op elke server geïnstalleerd en FIO gebruikt om alle 24 Solidigm P5316 SSD's tegelijkertijd te verzadigen. Elke SSD werd volledig gevuld met een sequentiële vulling en vervolgens gepartitioneerd om de werkbelasting te concentreren op 5% van het schijfoppervlak. We hebben ons gericht op QLC-geoptimaliseerde blokgroottes, die overlappen met traditionele flash-media. Het belangrijkste verschil komt neer op het minimaliseren van schrijfactiviteit kleiner dan 64K, wat een schrijfindirect pijnpunt van QLC-flits afdwingt. Dat gezegd hebbende, waren de door ons gemeten werklasten als volgt:
- 1 MB sequentieel
- 64K sequentieel
- 64K willekeurig
- 64K Willekeurig 70R/30W
- 64K Willekeurig 90R/10W
- 4K willekeurig lezen
In onze eerste test met een sequentiële overdrachtsgrootte van 1 MB, hebben we een ongelooflijke bandbreedte van 175.5 GB/s gemeten over 24 van de P5316 SSD's. Dit kwam uit op iets meer dan 7.3 GB/s per SSD aan de voorkant. Met een sequentiële schrijfbelasting van 1 miljoen bedroeg die hoeveelheid 56.1 GB/s of 2.34 GB/s per SSD.
Door de blokgrootte te verkleinen tot een werklast van 64K, boden de Solidigm P5316 SSD's 159 GB/s aan bandbreedte of meer dan 6.62 GB/s per SSD. De schrijfbelasting bedroeg 57.7 GB/s of 2.40 GB/s per SSD.
Omdat niet alle workloads opeenvolgend zijn, zijn we overgestapt op een meer veeleisende 64K willekeurige werkset, waardoor de QLC SSD's in een van hun meest stressvolle situaties terechtkwamen. Leesverkeer zag zijn hoogste bandbreedte, met een krankzinnige 176.3 GB/s aan verkeer. Bij het overschakelen van lezen naar schrijven zagen de P5316 SSD's hier echter de meeste stress, met een snelheid van 13.2 GB/s of 550 MB/s per schijf. Dit komt overeen met de specificatiebladcijfers voor deze werkbelasting, maar laat wel zien waar deze SSD's hun limiet bereiken.
Wetende dat 64K willekeurig lezen de hoogste schijfprestaties bood en schrijven de laagste, hebben we gekeken naar een gemengde werklastcombinatie om te zien hoe deze schijven variëren naarmate de lees-/schrijfbalans verschuift. Met een 70% gelezen 64K willekeurige werklast, mat de schijfgroep 44GB/s. Toen we dat echter verder aanpasten tot 90% lezen, schoot de bandbreedte omhoog naar 130.7 GB/s. Dit leidt verder tot het punt waarop QLC SSD's die in de juiste situaties worden ingezet, krachtige schijven kunnen zijn, hoewel ze niet zijn ontworpen om TLC SSD's in alle situaties te vervangen.
Bij het afronden van de tests hebben we gekeken naar een piekdoorvoertest gericht op 4K willekeurige leesprestaties. Het schrijven naar 4K werd overgeslagen omdat deze schijven een grove indirectie-eenheid van 64K gebruiken en niet de beste prestaties leveren op 4K. Bij 4K random read hebben we bijna 87 GB/s aan 4K-verkeer of 21.2 miljoen IOPS gemeten. Dat is een indrukwekkende statistiek, die nauw aansluit bij het TLC SSD-aanbod op de markt.
Conclusie
We hebben in het verleden veel werk verricht met de QLC SSD's van Solidigm, maar dit is verreweg het belangrijkste werk dat we er tot nu toe mee hebben gedaan, waarbij we bijna 750 TB aan opslagruimte in een 2U-server hebben gestopt. We wilden kijken hoe de schijven presteren in een configuratie waarin toepassingen zoals analyse en inferentie kunnen profiteren van modern platformontwerp. Hoewel het algemene gevoel ten opzichte van QLC is dat ze alleen goed zijn voor waarde- of archiefprojecten, is dat niet minder waar.
Als we naar de prestaties kijken, kunnen we zien dat de P5316 SSD's in de VES VSS2249P-opslagserver verbluffende resultaten konden boeken. De sequentiële prestaties van grote blokken zijn serververzadigend, waarbij elke SSD zijn Gen4 U.2-bay bijna maximaal benut qua leesprestaties. We maten 175.5 GB/s in 1 miljoen lezen, wat neerkwam op 7.3 GB/s per SSD.
Willekeurige leesprestaties waren ook geweldig, met een topsnelheid van 176.3 GB/s in een blokgrootte van 64K. Maar slaap niet van de schrijfprestaties; de schijven deden het erg goed in grote geblokkeerde workloads. 64K sequentiële schrijfsnelheid was 57.7 GB/s, terwijl 64K willekeurig afnam tot 13.2 GB/s. Gemengde workloads met een focus op leesactiviteit presteerden redelijk goed, waarbij we 44 GB/s in 64K 70/30 en iets minder dan 131 GB/s in 64K 90/10 maten. Ten slotte hebben we voor het willekeurig lezen van kleine blokken een verbazingwekkende 86.9 GB/s of 21.2 miljoen IOPS gemeten in onze 4K-workload.
In het verleden hebben we gewerkt met de dual-node HA-versie hiervan Viking Enterprise-server gebruikmakend van dual-port TLC SSD's. Hoewel het niet bepaald appels-tot-appels zijn, zijn er enkele interessante trendlijnen die laten zien dat deze QLC SSD's heel goed standhouden tegen TLC-oplossingen.
Beide schijfsets waren in staat om een enorme hoeveelheid bandbreedte aan te sturen, met de TLC SSD's van 125 GB/s en de Solidigm P5316 QLC SSD's van 159 GB/s in 64K sequentieel lezen. De schrijfprestaties waren ook dichtbij, met de TLC SSD's die 63.2 GB/s meten in 64K sequentieel schrijven in vergelijking met de P5316s met 57.7 GB/s.
Deze gegevens zijn niet bedoeld om te suggereren dat QLC een complete vervanging is voor TLC in alle toepassingen, TLC heeft nog steeds een groot voordeel als schrijfpercentage en de behoefte aan uithoudingsvermogen neemt toe. Voor veel use-cases zijn QLC SSD's echter klaar voor implementatie en kunnen ze vaak sneller zijn dan TLC-concurrenten, vooral wanneer de werklast niet erg erg schrijfintensief is.
Verder, als u een combinatie van capaciteit en prestaties nodig heeft, zullen QLC DC SSD's zonder meer winnen. Dit is een unieke combinatie die QLC, en in de toekomst PLC SSD's, goed gepositioneerd zijn om te dienen. Aangezien we meer dan 175 GB/s in deze VES-opslagserver hebben gepost over bijna 3/4 van een PB aan opslag in 2U, ziet de rackefficiëntie er behoorlijk aantrekkelijk uit.
Solidigm sponsort dit rapport. Alle standpunten en meningen in dit rapport zijn gebaseerd op onze onbevooroordeelde kijk op het (de) product(en) in kwestie.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
