Recensione delle unità dirette Dell PowerEdge e PERC 12

Nel pubblicare la nostra recensione del Dell PowerEdge R760 server, abbiamo intenzionalmente trattenuto i numeri di archiviazione, notando che l'R760 ha molte opzioni di configurazione di archiviazione che avrebbero reso la revisione iniziale troppo lunga. In questa recensione, esamineremo le opzioni di archiviazione supportate da Dell PowerEdge per gli SSD NVMe Gen4 e il profilo prestazionale di ciò che Dell chiama Direct Drive rispetto alla scheda RAID hardware PERC 12.

Nel pubblicare la nostra recensione del Dell PowerEdge R760 server, abbiamo intenzionalmente trattenuto i numeri di archiviazione, notando che l'R760 ha molte opzioni di configurazione di archiviazione che avrebbero reso la revisione iniziale troppo lunga. In questa recensione, esamineremo le opzioni di archiviazione supportate da Dell PowerEdge per gli SSD NVMe Gen4 e il profilo prestazionale di ciò che Dell chiama Direct Drive rispetto alla scheda RAID hardware PERC 12.

Opzioni backplane Dell PowerEdge NVMe

Dell offre vari backplane di storage nei propri server PowerEdge 16G. Quando si configura l'R760, sono disponibili quasi 50 opzioni di chassis dell'unità. Sebbene in parte si tratti di supporto legacy (PERC 11, ad esempio), il punto è che la decisione sullo chassis è importante. Ciò non tiene nemmeno conto del prossimo supporto SSD E3.S NVMe, che è l’unico modo per ottenere SSD Gen5 nei server PowerEdge. Abbiamo guardato E3.S nel Dell PowerEdge R660 se desideri saperne di più sui vantaggi dei fattori di forma Gen5 ed EDSFF.

Torniamo al compito da svolgere. Per questa recensione, vogliamo comprendere le implicazioni della selezione dell'opzione Direct Drives di Dell rispetto all'opzione della scheda PERC 12 HWRAID. Come accennato, l'attenzione esplicita qui è solo in considerazione degli SSD NVMe Gen4 U.2/U.3. Per ora, stiamo ignorando le opzioni dello chassis per SATA/SAS e HDD da 3.5″. Queste configurazioni sono molto più semplici.

Nell'R760, Dell offre un paio di opzioni di chassis per integrare unità NVMe Gen4. L'opzione Direct Drives può essere configurata per il supporto di 8 o 16 unità. Per le configurazioni HWRAID, Dell offre la scheda HWRAID PERC 12 allo stesso modo, con una scheda RAID per ogni lotto di 8 SSD. Questa decisione è importante in quanto è fondamentale per consentire ad un R760 completamente popolato con 16 SSD NVMe di ottenere le migliori prestazioni possibili.

Panoramica di Dell PERC 12

Il controller RAID Dell PowerEdge (PERC) 12 è basato sul silicio Broadcom SAS4116W. Nonostante SAS nel nome del prodotto, il controller è un dispositivo RAID-on-Chip (ROC) tri-mode. Lo stesso controller RAID viene utilizzato nella linea Broadcom MegaRAID. Recentemente abbiamo esaminato il MegaRAID 9670W evidenziando le capacità chiave. Con Dell PERC 12, tuttavia, entrano in gioco differenze di progettazione essenziali a seconda del server Dell e della famiglia di storage a cui sei interessato.

Per quanto riguarda PowerEdge, la maggior parte delle configurazioni sfrutterà la scheda PERC 965 "H12i Front". Nella nostra recensione del sistema R760 con HWRAID, abbiamo due di queste schede H965i Front nel sistema, una per ogni set di 8 SSD Solidigm P5520. Vale la pena ricordare che queste carte sono significativamente più piccole della carta aggiuntiva. Il design del PCB e la gestione termica sono davvero impressionanti. Queste schede sono montate direttamente sul backplane NVMe a 8 unità e collegate alla scheda madre con due cavi PCIe x8. Ciò libera gli slot PCIe sul lato lettura del server per altri dispositivi.

Parlando di schede aggiuntive, la PERC 12 H965i standard è una scheda a mezza altezza e mezza lunghezza che include una ventola integrata. Questa versione di PERC 12 apparirà in alcune configurazioni PowerEdge e potrà essere trovata anche in alcune delle nuove JBOD Dell PowerVault MD. Infine, c'è un H965i MX, che è un PCB lungo e stretto progettato per qualcosa come lo chassis modulare MX7000.

Dell PERC 11 rispetto a PERC 12

La scheda Dell PERC 11 supportava gli SSD NVMe, ma sfortunatamente i vantaggi del RAID hardware hanno avuto un notevole costo in termini di prestazioni. Questo successo è proprio il motivo per cui l’industria è così entusiasta del nuovo silicio Broadcom e della versione Dell di quella scheda, la PERC. Dell ha pubblicato alcuni numeri sulla differenza tra PERC 11 e PERC 12, che sono sorprendenti.

I vantaggi in termini di latenza del PERC 12 sono chiaramente evidenti; ma guarda le prestazioni nelle condizioni peggiori, le prestazioni durante una ricostruzione. PERC 12 ottiene un miglioramento di qualche migliaio di punti percentuali e anche il tempo di ricostruzione del RAID presenta vantaggi significativi.

Osservando la larghezza di banda e i numeri IOPS citati da Dell, possiamo ancora una volta vedere l'enorme passo avanti compiuto da PERC 12 rispetto a PERC 11. Nel complesso, tutti questi carichi di lavoro vedono un miglioramento minimo di 2 volte nella scheda PERC 12. Naturalmente, abbiamo effettuato i nostri test per verificare le prestazioni del PERC 12 e ci arriveremo.

Prestazioni di Dell Direct Drive e Dell PERC 12

Per confrontare le prestazioni di archiviazione in Direct Drive rispetto a PERC 12, abbiamo configurato i nostri "cugini" server R760 con SSD Solidigm P5520 da 7.68 TB. Il Dell R760 con Direct Drives dispone di 8 alloggiamenti NVMe. L'R760 con PERC 12 dispone di 16 alloggiamenti NVMe con due schede RAID anteriori H965i.

A prima vista, potrebbe non essere ovvio che ci siano alcune limitazioni prestazionali su entrambi i lati. A partire dall'approccio Direct Drives, ogni SSD ha la propria connessione PCIe x4, il che significa che otto SSD hanno 32 corsie PCIe a loro dedicate.

Ciò consente un'incredibile larghezza di banda, generalmente superiore a 52 GB/s se ciascuna unità Gen4 riesce a saturare la sua connessione da 6.5 ​​GB/s. Rispetto alla configurazione PERC 12 H965i, ciascun gruppo di otto SSD si interfaccia direttamente con la scheda RAID, che si ricollega alla scheda madre con una connessione PCIe x16. Ciò riduce della metà la larghezza di banda supportata dalla configurazione Direct Drives. Quindi, ovviamente, vincono le connessioni NVMe native? Non esattamente.

Quando si ha a che fare con più dispositivi NVMe in un sistema multi-CPU, entrano in gioco la mappatura NUMA tra unità e CPU, nonché le interruzioni del sistema. Questo può essere ottimizzato ma richiede una messa a punto significativa. Non tutte le applicazioni ne tengono conto.

La virtualizzazione è un caso in cui è difficile gestire la mappatura NUMA poiché le risorse condivise vengono bilanciate in tempo reale, a volte su una CPU che potrebbe non avere accesso diretto alle risorse PCIe assegnate. Le schede RAID hardware mitigano molti di questi problemi e ottimizzano le interruzioni di sistema e il cambio di contesto, liberando risorse della CPU. Anche la mappatura NUMA diventa meno complessa, poiché invece di avere 16 SSD individuali suddivisi su due CPU, hai solo una scheda di memoria per CPU da gestire.

Il nostro piano di test si concentra su due aree. Il primo riguarda i carichi di lavoro Vdbench che misurano le prestazioni JBOD con otto SSD passati a uno dei due R760. Sul Direct Drives R760 ci sono otto SSD nativi, mentre sull'HWRAID R760, il PERC 12 passa attraverso otto dispositivi di storage grezzi. Entrambi sono testati così come sono, senza ottimizzazioni. La seconda fase del test mostra le prestazioni in scala della soluzione PERC 2 da una configurazione a scheda singola a quella ottimizzata a doppia scheda.

La nostra unità di revisione Direct Drives PowerEdge R760 ha la seguente configurazione:

• Doppio Intel Xeon Gold 6430 (32 core/64 thread, base a 1.9 GHz)
• RAM DDR1 da 5 TB
• 8 SSD Solidigm P5520 Gen7.68 da 4 TB
• RHEL 9

L'unità di revisione HWRAID NVMe PowerEdge R760 ha la seguente configurazione:

• Doppio Intel Xeon Gold 6430 (32 core/64 thread, base a 1.9 GHz)
• RAM DDR1 da 5 TB
• 16 SSD Solidigm P5520 Gen7.68 da 4 TB
• Doppio PERC 12 H965i
• RHEL 9

Analisi del carico di lavoro Vdbench

Quando si esegue il benchmarking dei dispositivi di archiviazione, il test dell'applicazione è la soluzione migliore, seguito da test sintetici. Pur non essendo una rappresentazione perfetta dei carichi di lavoro effettivi, i test sintetici aiutano i dispositivi di storage di riferimento con un fattore di ripetibilità che semplifica il confronto tra soluzioni concorrenti. Questi carichi di lavoro offrono una gamma di profili di test che vanno dai test "quattro angoli" e test comuni sulle dimensioni di trasferimento del database per tracciare le acquisizioni da diversi ambienti VDI.

Questi test sfruttano il tipico generatore di carico di lavoro Vdbench con un motore di scripting per automatizzare e acquisire risultati su un cluster di test di calcolo di grandi dimensioni. Ciò ci consente di ripetere gli stessi carichi di lavoro su vari dispositivi di storage, inclusi array flash e singoli dispositivi di storage. Il nostro processo di test per questi benchmark riempie l'intera superficie dell'unità con i dati e quindi suddivide una sezione dell'unità pari al 25% della capacità dell'unità per simulare il modo in cui l'unità potrebbe rispondere ai carichi di lavoro delle applicazioni. Ciò differisce dai test entropici completi, che utilizzano il 100% della forza motrice e la portano in uno stato stazionario. Di conseguenza, queste cifre rifletteranno velocità di scrittura più sostenute.

Profili:

• Lettura e scrittura casuale 4K: lettura o scrittura al 100%, 128 thread, 0-120% irate
• Lettura sequenziale 64K: lettura al 100%, 32 thread, 0-120% irate
• Scrittura sequenziale 64K: scrittura al 100%, 16 thread, 0-120% irate
• Mix casuale 4K 70R/30W e 90R/10W, 64 thread, 0-120% iorato

Osservando il nostro primo test incentrato sulla larghezza di banda di trasferimento in lettura, possiamo vedere il vantaggio del canale PCIe che l'approccio Direct Drives ha con 32 corsie PCIe rispetto al singolo PERC 12 con 16 corsie. Funziona a 41.6 GB/s da Direct Drives contro 28 GB/s da PERC 12 in modalità JBOD.

Passando dalla larghezza di banda di lettura a quella di scrittura, il vantaggio delle corsie PCIe aggiuntive si riduce poiché la velocità di scrittura del Solidigm P5520 è inferiore alla velocità di lettura. Qui la configurazione Direct Drives ha misurato 18.3 GB/s rispetto ai 20.3 GB/s del PERC 12.

Nel nostro carico di lavoro di lettura casuale 4K, gli 8 SSD Solidigm P5520 nel Direct Drive PowerEdge R760 hanno misurato un picco di 5.55 milioni di IOPS, rispetto ai 4.34 milioni di IOPS della configurazione PERC 12.

Nella scrittura casuale 4K, la differenza si riduce nuovamente, con Direct Drive che misura 3.96 milioni di IOPS contro 4.15 milioni di IOPS su PERC 12.

Nel nostro primo dei due carichi di lavoro misti, esaminiamo un trasferimento casuale 4K con uno spread di lettura/scrittura 70/30. In questo caso la configurazione Direct Drives PowerEdge R760 ha misurato un picco di 4.47 milioni di IOPS, contro il PERC 12 con 3.66 milioni di IOPS.

Aumentando la percentuale di lettura al 90% nello stesso test di trasferimento 4K, abbiamo misurato 5.04 milioni di IOPS dal server Direct Drives contro 3.62 milioni di IOPS dal sistema PERC 12.

Analisi del carico di lavoro FIO

Per misurare le prestazioni delle unità delle offerte Dell Direct Drive e PERC 12 HWRAID, i benchmark sono stati suddivisi nelle seguenti configurazioni. Il primo includeva una configurazione JBOD che misurava ciascuna unità al di fuori delle configurazioni RAID, RAID10 e quindi RAID5.

Per l'approccio Direct Drives, gli SSD vengono visualizzati normalmente nel sistema operativo; per PERC 12, vengono passati attraverso l'HBA come dispositivi di archiviazione grezzi. Queste configurazioni sono state sottoposte a un processo di scripting per precondizionare la memoria flash, eseguire i test per i quali erano state condizionate e passare alla successiva combinazione di precondizionamento/carico di lavoro.

• Precondizionamento sequenziale
• Test sequenziali su JBOD, 8DR10, 8DR5 (Single e Dual PERC)
• Precondizionamento casuale
• Test ottimali casuali su JBOD, 8DR10, 8DR5 (Single e Dual PERC)
• Test di ricostruzione casuale su 8DR10, 8DR5 (Single e Dual PERC)
• Latenza di scrittura casuale per ottimizzare e ricostruire per 8DR5 (Single PERC)

Con il PERC 12 H965i dotato di uno slot PCIe Gen16 x4, le sue prestazioni di picco saranno di circa 28 GB/s in una direzione, ed è qui che lo slot Gen4 raggiunge il suo massimo. Dell ha adottato un approccio unico a questo limite di larghezza di banda offrendo una configurazione doppia PERC 12 nel proprio PowerEdge R760. Invece di 16 alloggiamenti SSD tutti collegati a una singola scheda, il carico è suddiviso, con ciascun PERC 12 che controlla il proprio set di 8 SSD. Questo approccio aggira la limitazione della larghezza di banda aumentando notevolmente il picco di throughput disponibile in caso di carichi di lavoro impegnativi.

Osservando innanzitutto le prestazioni di trasferimento sequenziale, possiamo vedere il vantaggio in termini di larghezza di banda offerto dalla configurazione Direct Drives, con una velocità di lettura che misura 54.4 GB/s contro i 12 GB/s del singolo PERC 28.1. Anche la velocità di scrittura nativa ha un vantaggio, misurando 33.4 GB/s contro 28.3 GB/s del singolo PERC 12 con otto unità dietro. Le velocità di scrittura, in generale, non vedranno un'enorme differenza in questo caso poiché, in generale, questa classe di SSD ha una velocità di lettura molto superiore alla velocità di scrittura.

Spostando la nostra attenzione sulle prestazioni di trasferimento casuale, iniziamo a vedere uno spostamento nel modo in cui i vantaggi della scheda RAID possono entrare in gioco per quanto riguarda il bilanciamento NUMA. Con le prestazioni di lettura, gli SSD Solidigm P7.68 da 5520 TB hanno misurato 7.96 milioni di IOPS nel nostro test di lettura 4K, con la configurazione PERC 12 JBOD che ha misurato 7 milioni di IOPS. La velocità di scrittura attraverso la configurazione Direct Drives è scesa a 3.4 milioni di IOPS mentre PERC 12 ha mantenuto 5.97 milioni di IOPS. Con il carico di lavoro OLTP 4K, questo diventa ancora più pronunciato con i Direct Drive che misurano 3.6 milioni di IOPS contro 10.2 milioni di IOPS del PERC 12.

Sebbene il pensiero tradizionale sia stato che il RAID hardware non ha valore con i moderni SSD, possiamo vedere che non è più così. Sì, la configurazione NVMe di Direct Drives può essere ottimizzata, ma è un bersaglio mobile su più SSD bilanciati su due CPU.

Ciò è in diretto contrasto con la scheda PERC 12 HWRAID, che gestisce tutta questa complessità e si collega a una sola CPU. Per la scalabilità, la seconda scheda PERC nel Dell PowerEdge R2 si collega all'altra CPU, offrendo bilanciamento per carichi di lavoro più grandi suddivisi tra questi due gruppi di dischi. Va notato che intorno ai 760 milioni di IOPS il sistema ha iniziato a saturare le CPU, motivo per cui non abbiamo riscontrato uno scaling lineare in alcune aree con la scheda PERC 10 aggiuntiva.

Anche se non abbiamo esaminato le opzioni RAID software con la configurazione Direct Drives PowerEdge R760, abbiamo avuto la possibilità di vedere le prestazioni della configurazione RAID su PERC 12 in uno stato degradato. Sebbene le prestazioni abbiano registrato un calo significativo rispetto alle prestazioni ottimali, sia RAID10 che RAID5 hanno offerto prestazioni elevate durante la ricostruzione dei rispettivi gruppi RAID.

Sebbene le prestazioni RAID ottimali siano un aspetto importante nella scelta di una soluzione di archiviazione, vedere come si comporta in condizioni non ottimali può essere altrettanto importante. A tal fine, abbiamo misurato la latenza di scrittura 4K in RAID5 in condizioni ottimali e abbiamo ricostruito le prestazioni con un'unità guasta. Se le prestazioni o la latenza dovessero subire un duro colpo, la reattività delle applicazioni potrebbe diventare un problema. Anche se le prestazioni di ricostruzione diminuiscono rispetto a quelle ottimali, la latenza delle prestazioni non aumenta rispetto al livello di base.

Considerazioni finali

La nuova scheda RAID NVMe PERC12 di Dell cambia le regole del gioco per le opzioni di storage NVMe nei server PowerEdge. In passato, alcuni clienti esitavano a passare dagli SSD SAS o optavano per unità NVMe collegate a vari SDS o hypervisor. Tuttavia, l'introduzione della scheda PERC 12 ha modificato l'equazione di PowerEdge, rendendola un'opzione più praticabile.

Il motivo per cui PERC 12 funziona così bene è attribuibile anche al layout del server PowerEdge. Il nostro R760 ha due schede PERC 12 (H965i Front), ciascuna con x16 corsie. Ciò ci consente di utilizzare gli 8 SSD Solidigm con ciascuna scheda, fornendo una larghezza di banda massima fino a 28 GB/s per scheda. Collegare tutti i 16 SSD ad una singola scheda RAID comporterebbe una perdita della metà delle prestazioni potenziali.

Potresti chiedere: "Perché non 24 SSD con HWRAID?" Ricorda solo che ogni sistema ha un collo di bottiglia da qualche parte. In questo caso, possiamo saturare la CPU abbastanza facilmente, quindi l'x86 all'interno del server diventa il fattore di controllo. Se parliamo di una soluzione in cluster, collegheremo anche la rete. Una manciata di SSD può facilmente riempire 200GbE o addirittura 400GbE. Con le capacità SSD che ora superano i 30.72 TB, non è più necessario avere un server pieno di unità anche per problemi di capacità del sistema.

Se leggi il nostro Recensione della scheda RAID Broadcom serie 9600, abbiamo iniziato piuttosto scettici sul fatto che il nuovo silicio avrebbe realisticamente fornito tutta la resilienza dei dati e ricostruito i vantaggi di HWRAID senza compromettere il profilo prestazionale dell'SSD NVMe. Siamo rimasti piacevolmente sorpresi dai risultati di quella recensione e ancora di più qui, con PERC 12 in grado di raddoppiare nell'R760 per ottenere il doppio delle prestazioni di punta. Sebbene Dell Direct Drives possa ancora essere preferito in molti casi d'uso, come lo storage software-fine, l'opzione PERC 12 dovrebbe essere estremamente popolare per la maggior parte dei casi d'uso aziendali.

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed