QLC SSD:er levererar 175 GB/s i 2U Storage Server

För nästan två år sedan avslutade vi en översyn av en Viking Enterprise Solutions (VES) lagringsserver med 24 NVMe-fack och dubbla beräkningsnoder i ett 2U-chassi. VES är en stor OEM som skapar några av de mest innovativa lagringsserversystemen på marknaden. Nyligen hade vi möjlighet att komma igång med en version av deras lagringsserver som är inställd för enkelportade NVMe-enheter. Naturligtvis tog vi 24 Solidigm P5316 30.72 TB QLC SSD:er, släppte dem i servern och gick tillbaka för att se vad nästan 750 TB RAW-blixt kan göra.

För nästan två år sedan avslutade vi en översyn av en Viking Enterprise Solutions (VES) lagringsserver med 24 NVMe-fack och dubbla beräkningsnoder i ett 2U-chassi. VES är en stor OEM som skapar några av de mest innovativa lagringsserversystemen på marknaden. Nyligen hade vi möjlighet att komma igång med en version av deras lagringsserver som är inställd för enkelportade NVMe-enheter. Naturligtvis tog vi 24 Solidigm P5316 30.72 TB QLC SSD:er, släppte dem i servern och gick tillbaka för att se vad nästan 750 TB RAW-blixt kan göra.

Utöver deras OEM-arbete säljer VES även till en mängd olika HPC- och Hyperscale-kunder. Detta är ett viktigt övervägande eftersom vi överväger lagringsserverprestanda utanför den traditionella företagssfären, hur organisationer med enorma datafotavtryck konfigurerar lagring är annorlunda.

Många av de arbetsbelastningar som dessa servrar riktar sig till är vad vi anser vara moderna analys- och AI-applikationer där prestanda är avgörande och datatillgängligheten lite mindre så. Som sådana ser dessa konfigurationer inte ut som ett traditionellt SAN, där datatjänster och resiliens är i första hand. I det här exemplet konfigurerar vi för optimal prestanda inom VES-lagringsservern istället för att lägga till I/O-kort och utnyttja servern som delad lagring.

Denna konfigurationsnyans är viktig. Vi levererar 12 av P5316 SSD:erna till varje AMD EPYC-beräkningsnod på baksidan av systemet. Dessa noder adresserar lagringen i JBOD, förutsatt att datatillgänglighet är motståndskraftig på applikationsnivå. Även om vi inte utnyttjade GPU:er för den här rapporten, är det ganska rimligt att konfigurera dessa noder med något som en NVIDIA A2 för analys eller slutledning av arbetsbelastningar.

Innan vi dyker för långt in i server- och lagringskonfigurationen, låt oss dock titta på de viktigaste hårdvarukomponenterna som är en del av detta arbete.

Viking Enterprise Solutions VSS2249P Storage Server

För detta arbete gick vi till VES för att hitta en kraftfull server som kunde få ut det mesta av de 24 Solidigm P5316 30.72TB SSD:erna i fronten. Detta är inte en trivial fråga; de enkelportade enheterna kommer att fungera bäst i en lösning som kan leverera fyra PCIe v4-banor från en av AMD-servernoderna till varje enhet. Direktåtkomst erbjuder högsta prestanda från varje SSD, i motsats till att flöda genom en intern expander som kan begränsa bandbredden. Dessutom är detta system designat för singelportade SSD-enheter, som Solidigm P5316, jämfört med recensionen från den tidigare Viking Enterprise Server som designades för SSD-enheter med dubbla portar.

Viking Enterprise Solutions VSS2249P Höjdpunkter

Viking Enterprise Solutions VSS2249P är en 2U lagringsserver med dubbla noder med 24 fack för enport U.2 PCIe v4-enheter. Mer specifikt stöder varje servernod (eller modul) 12 enkelportar, hot-pluggbara NVMe 2.5-tums U.2 (SFF-8639) SSD:er via x4 PCIe Gen4-banor, vilket gör detta till en prestandadriven server. Detta gör den idealisk för användningsfall där I/O-flaskhalsar kan vara ett problem, såsom edge-computing-lagring, analys, maskininlärning, AI, OLTP-databaser, högfrekvent handel, såväl som modellering, simulering, vetenskaplig forskning och andra högpresterande användningsfall.

VES är ett ledande lagrings- och serverutvecklingsföretag som specialiserat sig på att utveckla storskaliga lösningar för högpresterande och molnbaserade OEM-kunder för företag. Tack vare sin breda kundportfölj har de lång erfarenhet av att utnyttja framväxande teknologier när de utvecklar sina lösningar, vilket kan bidra till att ge deras kunder en konkurrensfördel. Vi förväntar oss mycket av detsamma med VSS2249P.

Solidigm D5-P5316

Vi har haft den här servern i vårt labb tidigare, men den här gången har vi fyllt dem med 30.72 TB Solidigm D5-P5316 PCIe Gen4 NVMe SSD:er, som uppgår till nästan tre fjärdedelar av en petabyte för lagring via U.2 15 mm formfaktorn. Detta kommer att tillåta kunder (särskilt i hyperskala utrymmet) att ha storskaliga distributioner. D5-P5316-enheterna har även 144-lagers QLC NAND, vilket kommer att sänka kostnaderna samtidigt som modeller med hög kapacitet och solid prestanda bibehålls.

D5-P5316 är citerad för att leverera upp till 7 GB/s i sekventiell läsning, medan 30.72 TB-modellerna erbjuder lite högre skrivhastighet med 3.6 GB/s. I slumpmässiga 4K-läsningar citerar Solidigm sin nya enhet på 800,000 0.41 IOPS för alla modeller. Enheten har också betyget 5 drive Writers per day (DWPD), en 256-års garanti och en rad förbättrad säkerhet, inklusive AES-XNUMX Hardware Encryption, NVMe-sanering och firmwaremätning.

Dessa enheter är idealiska för miljöer som behöver optimera och accelerera lagring inom datacenter-arbetsbelastningar som Content Delivery Networks (CDN), Hyper-Converged Infrastructure (HCI) och Big Data.

Sammantaget fann vi att Solidigm har skapat en enhet som hittar en enastående balans mellan kapacitet, prestanda och kostnad – vilket är perfekt för VSS2249P.

Viking Enterprise Solutions VSS2249P Komponenter och bygg

De två servermodulerna inuti VSS2249P-höljet är hot-swappable och är utrustade med en AMD EPYC Rome CPU, två x16 PCIe Gen4-platser och en OCPNIC v3.0 som stöder Gen 4 PCIe-tilläggskort och upp till 8 DIMM. Med 3.43 tum (H) x 17.2 tum (B) x 27.44 tum (D) är VSS2249P också specificerad för att passa bra i ett industristandard 19-tums 1.0-meters rack, vilket gör att den kan användas i en olika applikationer.

Varje nod i vår konfiguration inkluderar en AMD EPYC 7402P CPU, som har 24 kärnor, en basklocka på 2.8 GHz (max boost på 3.35 GHz), 48 trådar och 128 MB i L3-cache. Den är också utrustad med 64 GB DDR4 RAM (8 x 8 GB) och en 250 GB M.2 boot SSD.

VSS2249P är designad som ett kabelfritt system. Till exempel ger drivplanet anslutning för ström, data och hantering, såväl som nätaggregat. Systemfläktarna är också en del av serversläden (anslutna till drivplanet via fläktkortet) och drivs och styrs av drivplanet. För enkel åtkomst tas fläktarna bort via topplocket. Alla SSD-enheter ansluts direkt till mittplanet. Detta gör servicen av VSS2249P sömlös, medan avsaknaden av kablar ger bättre luftflöde och därmed svalare servernoder.

Viking VSS2249P Specifikationer

24 x Solidigm D5-P5316 prestandatester

Medan de flesta av oss ser på QLC-flash som ett alternativ med lägre prestanda till TLC SSD:er, så ser det bara på ena sidan av ekvationen. Slumpmässig skrivprestanda för mindre block kan vara lägre på grund av arkitektoniska beslut, som grov inriktning, men prestanda för sekventiell skrivning och slumpmässig skrivprestanda för stora block är mycket konkurrenskraftig och mycket nära TLC DC SSD:er på ingångsnivå.

Med den TLC-baserade blixten på marknaden är skrivhastigheterna lägre, men läsprestandan är fortfarande mycket kapabel, om inte helt konkurrenskraftig. Vårt fokus i den här recensionen var att utnyttja 24 Solidigm P5316 30.72TB SSD:er inuti en 2-nodsserver, vilket visar hur långt vi kan driva dem med massor av datoranvändning bakom dem.

Förra gången vi tittade på ett liknande Viking Enterprise Solutions-system byggdes det för att dela 24 SSD:er över två noder, där varje nod har åtkomst till varje SSD. VSS2249P använder liknande noder på backend, även om 12 SSD:er är direktanslutna till en nod, med de återstående 12 till den andra. Detta ger varje SSD hela 4-kanaler med PCIe Gen4-banor tillbaka till noden den är ansluten till.

Vi installerade Ubuntu 20.04 på varje server och utnyttjade FIO för att samtidigt mätta alla 24 Solidigm P5316 SSD:er. Varje SSD fylldes helt upp med en sekventiell fyllning och delades sedan upp för att fokusera arbetsbelastningen på 5 % av enhetens yta. Vi fokuserade på QLC-optimerade blockstorlekar, som överlappar med traditionella flashmedia. Den största skillnaden beror på att minimera skrivaktivitet mindre än 64K, vilket tvingar fram en skrivinriktad smärtpunkt för QLC-blixt. Med det sagt var arbetsbelastningen vi mätte följande:

• 1MB sekventiell
• 64K sekventiell
• 64K slumpmässigt
• 64K Random 70R/30W
• 64K Random 90R/10W
• 4K slumpmässig läsning

I vårt första test med en 1MB sekventiell överföringsstorlek mätte vi otroliga 175.5 GB/s bandbredd över 24 av P5316 SSD:erna. Detta fungerade till drygt 7.3 GB/s per SSD på framsidan. Med en sekventiell skrivbelastning på 1M, mättes den mängden till 56.1 GB/s eller 2.34 GB/s per SSD.

Genom att minska blockstorleken till en arbetsbelastning på 64K, erbjöd Solidigm P5316 SSD: er 159 GB/s bandbredd eller över 6.62 GB/s per SSD. Skrivarbetsbelastningen mätte 57.7 GB/s eller 2.40 GB/s per SSD.

Eftersom inte alla arbetsbelastningar var sekventiella, flyttade vi till en mer krävande 64K slumpmässig arbetsuppsättning, vilket försatte QLC SSD:erna i en av deras mest stressiga situationer. Lästrafiken såg sin högsta bandbredd, med vansinniga 176.3 GB/s trafik. Att byta från läs till skriv är dock det här som P5316 SSD-enheterna upplevde mest stress, och mätte 13.2 GB/s eller 550 MB/s per enhet. Detta stämmer överens med specifikationssiffrorna för denna arbetsbelastning, men visar var dessa SSD:er når sin gräns.

Eftersom vi visste att 64K slumpmässig läsning erbjöd den högsta enhetens prestanda och skrivningen den lägsta, tittade vi på en blandad arbetsbelastningskombination för att se hur dessa enheter varierar när läs/skrivbalansen ändras. Med en slumpmässig arbetsbelastning på 70 % avläst 64K, mätte enheten 44GB/s. Men när vi finjusterade det ytterligare till 90 % läste, sköt bandbredden upp till 130.7 GB/s. Detta driver ytterligare till punkten där QLC SSD:er som används i rätt situationer kan vara kraftfulla enheter, även om de inte är designade för att ersätta TLC SSD:er i alla situationer.

När vi avslutade testet tittade vi på ett toppkapacitetstest med fokus på slumpmässig läsprestanda i 4K. 4K-skrivningen hoppades över eftersom dessa enheter använder en grov inriktningsenhet på 64K och kommer inte att ge den högsta prestandan på 4K. I slumpmässig läsning i 4K mätte vi nästan 87 GB/s 4K-trafik eller 21.2 miljoner IOPS. Det är en imponerande statistik som ligger nära TLC SSD-erbjudanden på marknaden.

Avslutande tankar

Vi har gjort ett omfattande arbete med Solidigms QLC SSD:er tidigare, men det här är det överlägset viktigaste arbetet vi har gjort med dem hittills, och stoppar nästan 750 TB lagringsutrymme i en 2U-server. Vi ville titta på hur drivenheterna presterar i en konfiguration där applikationer som analys och slutledning kan dra nytta av modern plattformsdesign. Även om den allmänna känslan för QLC är att de bara är bra för värde- eller arkivprojekt, kan det inte vara längre från sanningen.

När vi tittar på prestanda kan vi se att P5316 SSD-enheterna i VES VSS2249P-lagringsservern kunde publicera fantastiska resultat. Sekventiella prestanda med stora block är servermättande, där varje SSD nästan maximerar sin Gen4 U.2-fack i läsprestanda. Vi mätte 175.5 GB/s i 1M läsning, vilket fungerade till 7.3 GB/s per SSD.

Prestanda för slumpmässig läsning var också bra och toppade på 176.3 GB/s i en 64K blockstorlek. Men sova inte på skrivprestationen; enheterna klarade sig mycket bra i stora blockerade arbetsbelastningar. 64K sekventiell skrivning mätte 57.7 GB/s, medan 64K slumpmässigt minskade till 13.2 GB/s. Blandade arbetsbelastningar med fokus på läsaktivitet fungerade ganska bra, där vi mätte 44GB/s i 64K 70/30 och strax under 131GB/s i 64K 90/10. Slutligen, för slumpmässig läsning av små block mätte vi fantastiska 86.9 GB/s eller 21.2 miljoner IOPS i vår 4K-arbetsbelastning.

Tidigare har vi arbetat med HA-versionen med dubbla noder av detta Viking Enterprise Server utnyttja dubbla portar TLC SSD:er. Även om det inte precis är äpplen-till-äpplen, finns det några intressanta trendlinjer som visar att dessa QLC SSD:er står sig mycket bra mot TLC-lösningar.

Båda enhetsuppsättningarna kunde driva en enorm mängd bandbredd, med TLC SSD:erna som mätte 125GB/s och Solidigm P5316 QLC SSD:erna som mätte 159GB/s i 64K sekventiell läsning. Skrivprestandan var också nära, med TLC SSD:erna som mätte 63.2 GB/s i 64K sekventiell skrivning jämfört med P5316s med 57.7 GB/s.

Dessa data är inte menade att antyda att QLC är en komplett ersättning för TLC i alla applikationer, TLC har fortfarande en stor fördel då skrivprocent och behovet av uthållighet ökar. För många användningsfall är dock QLC SSD: er redo för driftsättning och kan ofta vara snabbare än TLC-konkurrenter, särskilt när arbetsbelastningen inte är särskilt mycket skrivintensiv.

Dessutom, om du behöver en blandning av kapacitet och prestanda, kommer QLC DC SSD:er att vinna hands down, detta är en unik kombination som QLC, och i framtiden, PLC SSD, är väl positionerade för att tjäna. Med tanke på att vi publicerade över 175 GB/s i denna VES-lagringsserver över nästan 3/4 av ett PB lagringsutrymme i 2U, ser rackeffektiviteten ganska övertygande ut.

VES Storage Server

Solidigm produkter

Solidigm sponsrar denna rapport. Alla åsikter och åsikter som uttrycks i denna rapport är baserade på vår opartiska syn på produkten/de produkter som övervägs.

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | Rssflöde