Quantum Myriad è una piattaforma SDS moderna e flessibile in grado di gestire un'ampia varietà di carichi di lavoro, comprese attività AI impegnative.
Nel 2023, Quantum ha lanciato una nuova e moderna interpretazione dello storage definito dal software con Myriad. Abbiamo completato un tuffo profondo in Myriad alla fine dell'anno scorso e siamo rimasti colpiti dalla sua architettura estremamente capace e resistente. Il diverso set di funzionalità e la flessibilità del protocollo di Myriad espandono la portata dei suoi casi d'uso oltre le esigenze di condivisione di file aziendali. E non c’è applicazione più richiesta in questo momento dell’intelligenza artificiale.
L’intelligenza artificiale sta trasformando radicalmente il panorama aziendale apportando nuove informazioni al processo decisionale, automatizzando processi complessi e creando nuovi modi con cui le aziende interagiscono con i clienti e gestiscono le operazioni. Ecco alcune aree chiave in cui l’intelligenza artificiale sta avendo un impatto:
Automazione: L'intelligenza artificiale automatizza attività di routine soggette a errori come l'immissione di dati e l'assistenza clienti con i chatbot e trova persino modi per ottimizzare processi complessi come la gestione della catena di fornitura. Ciò fa risparmiare tempo e consente alle persone di concentrarsi su attività più creative o strategiche.
Analisi dei dati: analizza enormi quantità di dati per trovare modelli e informazioni più velocemente di quanto potrebbe fare qualsiasi essere umano. Ciò aiuta le aziende a prendere decisioni più intelligenti, prevedere le tendenze del mercato e comprendere meglio i propri clienti.
Personalizzazione: Le aziende utilizzano l'intelligenza artificiale per adattare i propri servizi e marketing ai singoli clienti, come motori di raccomandazione che apprendono cosa piace a un utente visto su Netflix o Spotify.
Sicurezza avanzata: L’intelligenza artificiale svolge un ruolo importante nel campo della sicurezza informatica, poiché aiuta a rilevare e rispondere istantaneamente alle minacce. È sempre in guardia, alla ricerca di qualsiasi cosa sospetta.
Innovazione: l'intelligenza artificiale guida l'innovazione aiutando a sviluppare nuovi prodotti e servizi, dai farmaci ai nuovi materiali, simulando ogni aspetto del design, dell'aspetto e della manutenzione di un prodotto. Può anche prevedere i risultati prima delle sperimentazioni fisiche sui farmaci.
Le sfide della scalabilità e della flessibilità
I sistemi di storage legacy spesso non riescono a scalare in modo efficiente, una capacità cruciale per le applicazioni di intelligenza artificiale che generano ed elaborano grandi volumi di dati. Lo storage tradizionale può richiedere tempi di inattività significativi o aggiornamenti complessi, nonché configurazione e allocazione della rete per aumentare la capacità. Ciò non è fattibile negli ambienti IA dinamici, che richiedono scalabilità rapida, tempi di inattività pari a zero e implementazione del modello senza perdita di prestazioni.
Anche i carichi di lavoro dell’intelligenza artificiale richiedono un throughput elevato che a bassa latenza contemporaneamente. I sistemi legacy, solitamente dotati di unità meccaniche e reti obsolete, non sono in grado di soddisfare questi requisiti di velocità, creando colli di bottiglia che impediscono le operazioni di intelligenza artificiale. L’intelligenza artificiale moderna beneficia notevolmente di tecnologie più veloci come NVMe e accelerazione GPU, che spesso sono incompatibili con i sistemi più vecchi.
Le applicazioni di intelligenza artificiale richiedono l'accesso e l'analisi dei dati in tempo reale da varie fonti. Lo storage legacy, spesso isolato, ostacola l’integrazione e lo spostamento dei dati, limitando l’efficacia dell’analisi dei dati e dell’apprendimento automatico. Gli strumenti di gestione legacy faticano inoltre a gestire la complessa governance dei dati e il tiering automatizzato necessari per l’intelligenza artificiale.
Anche la manutenzione e gli aggiornamenti dello storage legacy sono costosi e inefficienti per le esigenze di intelligenza artificiale, compresi gli elevati costi operativi per alimentazione, raffreddamento e spazio. L’adeguamento dei vecchi sistemi per supportare le nuove tecnologie è economicamente insostenibile.
L'intelligenza artificiale si basa su funzionalità di archiviazione moderne come il tiering automatizzato, analisi in tempo reale e solide misure di sicurezza come la crittografia. I sistemi legacy non dispongono di queste capacità critiche, essenziali per proteggere i dati dell’intelligenza artificiale e soddisfare gli standard normativi.
Modernizzare le infrastrutture di gestione e archiviazione dei dati è fondamentale per sfruttare il potenziale di trasformazione dell’intelligenza artificiale. Le soluzioni di storage di prossima generazione progettate per le complessità dell’intelligenza artificiale possono migliorare significativamente le prestazioni, la scalabilità e l’efficienza dei costi, promuovendo applicazioni e modelli di business innovativi.
Incontra la Miriade Quantistica
Quantum Myriad è una soluzione di storage all-flash definita dal software ad alte prestazioni, progettata per soddisfare le esigenze delle applicazioni moderne, in particolare quelle che richiedono throughput elevato e bassa latenza. Ciò è particolarmente vero per l’intelligenza artificiale, la scienza dei dati, gli effetti visivi e l’animazione. L'architettura nativa del cloud di Myriad offre flessibilità, facilità di implementazione e risposte automatiche alle modifiche del sistema, sia in locale che in un ambiente cloud pubblico come AWS.
Il design di Myriad si concentra sulla fornitura costante di bassa latenza e larghezza di banda elevata. Queste qualità sono assolutamente indispensabili per le applicazioni che richiedono un'elaborazione dei dati estremamente veloce e prestazioni in tempo reale.
L'architettura di Myriad è altamente flessibile e si adatta facilmente sia a implementazioni piccole che grandi. È facile iniziare con un piccolo sistema e poi far crescere un cluster Myriad. Man mano che aggiungi più nodi, si ridimensiona in modo lineare pur mantenendo le cose efficienti ed equilibrate.
Gestire i cluster con Myriad è semplice. È dotato di funzionalità come espansioni di archiviazione senza clic e un portale di gestione intuitivo, che aiutano a ridurre la necessità di costante attenzione amministrativa. Myriad garantisce l'integrità dei dati con un archivio di valori-chiave transazionale distribuito tra i suoi nodi e la correzione degli errori viene gestita in tutti i nodi di storage disponibili.
Myriad viene fornito con un supporto di rete impressionante. Con il supporto per RDMA over Converged Ethernet (RoCE) e l'integrazione con le implementazioni di rete esistenti tramite routing BGP, i dati possono fluire facilmente dentro e fuori dal cluster Myriad sfruttando al tempo stesso le funzionalità di rete avanzate.
Myriad è progettato per essere facile da usare e richiede passaggi minimi per configurare ed eseguire o aggiungere posizioni di condivisione aggiuntive. Ciò lo rende perfetto per le aziende che necessitano di adattarsi rapidamente alle mutevoli esigenze di storage, soprattutto perché la soluzione viene eseguita su server standard disponibili in commercio. Inoltre, se stai guardando il cloud, Myriad funziona bene con piattaforme come AWS in modo che tu possa estenderti oltre la tua configurazione locale.
Configurazione della miriade quantistica come testata
Il Quantum Myriad testato era una configurazione base di cinque nodi. Ogni nodo era dotato di dieci SSD da 15 TB, per un totale di una quantità significativa di spazio di archiviazione ad accesso rapido nel cluster. Questa configurazione di base ha consentito una notevole capacità di archiviazione dei dati mantenendo la velocità necessaria per operazioni I/O elevate e un rapido recupero dei dati, tutti elementi essenziali per l'elaborazione in tempo reale e i calcoli IA. I nodi di archiviazione sono specificati e configurati da SuperMicro e le unità NVMe sono prontamente disponibili presso Samsung.
Come testato, abbiamo utilizzato una piattaforma Myriad configurata in un cluster a 5 nodi, ciascuno con le seguenti specifiche chiave:
- Nodo di storage Quantum Myriad N1010 con una singola CPU AMD EPYC a 64 core
- 10 TLC NVMe da 15.36 TB
- 2 porte Ethernet 100GbE a doppia porta
Parte integrante di Myriad sono i nodi del sistema di bilanciamento del carico distribuiti in una coppia ridondante e interconnessa su tutti i nodi di storage. Questi sono fondamentali nella gestione del traffico dati da e verso i nodi di archiviazione. La coppia di bilanciatori del carico garantisce che il traffico di rete sia distribuito uniformemente tra i nodi di archiviazione, evitando che ogni singolo nodo diventi un collo di bottiglia. Laddove sono richiesti l'accesso e l'elaborazione simultanei dei dati, ciò è estremamente importante negli ambienti in cui la velocità e l'affidabilità dell'accesso ai dati possono influire in modo significativo sulle prestazioni complessive del sistema.
L'utilizzo di più nodi e bilanciatori del carico aumenta le prestazioni e migliora l'affidabilità e la tolleranza agli errori del sistema. La distribuzione dello storage e del carico di rete consente al sistema di continuare a funzionare in modo efficiente anche se un nodo riscontra problemi. Questa configurazione è essenziale per mantenere i tempi di attività e garantire l'integrità dei dati nelle applicazioni aziendali critiche.
La configurazione di base è progettata per essere flessibile e può essere ampliata aggiungendo più nodi di storage secondo necessità. Puoi espandere la tua capacità di archiviazione incorporando nodi aggiuntivi, utilizzando unità NVMe più dense o entrambi. Ad esempio, potresti aggiungere un nuovo nodo di archiviazione dotato di unità da 30 TB a un sistema che attualmente utilizza unità da 15 TB oppure potresti eseguire l'aggiornamento a moduli di unità più densi entro l'ingombro esistente. Questa scalabilità è essenziale per le aziende che prevedono di vedere una crescita delle proprie esigenze di dati o sperimentare modelli di utilizzo dei dati variabili.
Server Comino GPU Load Gen
Per esercitare il sistema Myriad e generare i nostri benchmark, abbiamo utilizzato una coppia di sistemi Comino Grando. I sistemi Comino Grando sono configurazioni ad alte prestazioni, raffreddate a liquido, progettate specificamente per massimizzare l'efficienza e la stabilità della GPU sotto carico. Sono particolarmente adatti per attività computazionali intense come quelle incontrate nell'intelligenza artificiale, nell'analisi dei dati e nelle applicazioni ad uso intensivo di grafica. Ecco un riepilogo degli aspetti chiave che abbiamo configurato per questo test:
Grande Server | Stazione di lavoro Grando | |
---|---|---|
CPU | Threadripper Pro W5995WX | Filettatore Pro 3975WX |
Ariete | RAM 512GB | RAM 512GB |
GPU | 2X NVIDIA A100 | 2X NVIDIA A100 |
NIC | 4x NVIDIA ConnectX 6 200G EN/IB | 4x NVIDIA ConnectX 6 200G EN/IB |
PSU | 4 alimentatori da 1600 W | 3 alimentatori 1000 SFX-L |
Archiviazione | NVMe da 2 TB | NVMe da 2 TB |
Comino Grando sfrutta un sofisticato sistema di raffreddamento a liquido per processore e GPU, che include connessioni antigoccia e un ampio blocco di distribuzione dell'acqua che gestisce in modo efficiente il flusso del refrigerante per mantenere le prestazioni anche sotto carichi intensi. Questa configurazione migliora le prestazioni e riduce al minimo il rumore.
Usando il nvidia-smi top -mp
Il comando mostra la mappatura GPU e NIC nel nostro sistema e i percorsi che i dati devono seguire. Ecco la leggenda:
X = Auto SYS = Connessione che attraversa PCIe e interconnessione SMP tra i nodi NUMA (ad esempio, QPI/UPI) NODE = Connessione che attraversa PCIe e interconnessione tra host bridge PCIe all'interno di un nodo NUMA PHB = Connessione che attraversa PCIe e un host bridge PCIe (tipicamente la CPU) PXB = Connessione che attraversa più bridge PCIe (senza attraversare il PCIe Host Bridge) PIX = Attraversamento della connessione a maggior parte un singolo bridge PCIe
Da qui, possiamo dire che non vorremmo utilizzare GPU1 con NIC4 e NIC5 per prestazioni ottimali, anche se questo gioca un ruolo limitato nei nostri test sintetici.
Test di intelligenza artificiale sulla miriade quantistica
Abbiamo condotto un'analisi tecnica per valutare le prestazioni del cluster di storage Quantum Myriad e il suo impatto sui carichi di lavoro IA reali. La nostra analisi si è concentrata sulla capacità del cluster di ottimizzare l'utilizzo delle risorse e di scalare in modo efficace. Durante questi test, abbiamo utilizzato workstation rack Comino di fascia alta dotate di schede NIC NVIDIA ConnectX-6 200GbE e doppie GPU NVIDIA A100. Questi sono cruciali in quanto rappresentano un solido ambiente di test simile a quello che potrebbe essere impiegato in progetti di intelligenza artificiale su larga scala.
L'obiettivo principale di questi test era valutare la capacità del cluster Quantum Myriad di gestire operazioni di I/O intensive e la capacità di gestire il throughput delle GPU ad alta capacità, fondamentali per i calcoli dell'intelligenza artificiale. Dato che i carichi di lavoro dell’intelligenza artificiale dipendono fortemente dalla rapida elaborazione dei set di dati, la capacità di una soluzione di storage di fornire dati a velocità che corrispondono alle capacità di elaborazione della GPU ha un impatto diretto sull’efficienza e sulle prestazioni complessive del sistema.
Il nostro strumento principale per i test è stato GPUDirect Storage I/O (GDSIO) di NVIDIA. GPUDirect è una tecnologia fondamentale progettata per migliorare l'efficienza del trasferimento dei dati tra sistemi di storage e GPU, semplificando i flussi di lavoro critici nel calcolo ad alte prestazioni, nell'intelligenza artificiale e nell'analisi dei big data.
Questa tecnologia consente l'accesso diretto alla memoria (DMA) dallo storage direttamente alla memoria della GPU, bypassando di fatto la CPU. Ciò elimina le copie di dati non necessarie, riducendo la latenza e migliorando il throughput. GDSIO è l'implementazione sintetica di GPUDirect ed è particolarmente rappresentativa delle applicazioni che richiedono l'elaborazione rapida di set di dati di grandi dimensioni. Ciò include l'addestramento del modello di machine learning o l'analisi dei dati in tempo reale. Fornisce inoltre feedback sulla profilazione e sull'ottimizzazione dell'infrastruttura di storage e di rete.
Nel contesto del benchmarking dello storage, GDSIO svolge un ruolo cruciale nel valutare accuratamente le prestazioni delle soluzioni di storage in ambienti che utilizzano pesantemente le GPU. Fornendo un percorso più diretto per il trasferimento dei dati, GDSIO consente il benchmarking per misurare il vero potenziale dei sistemi di storage nel supportare applicazioni accelerate da GPU.
Configurazione della condivisione AI
Quando accede a Myriad, all'utente viene presentata una dashboard che mostra una panoramica di alto livello delle prestazioni e delle specifiche attuali del cluster. Gli utenti possono visualizzare facilmente i dati di telemetria come IOPS, velocità effettiva, latenza e utilizzo.
Passando il mouse su uno qualsiasi dei grafici vengono fornite informazioni sulle prestazioni altamente dettagliate.
Osservando la schermata File System, i punti di montaggio attualmente configurati per le condivisioni sono visualizzabili in modo intuitivo.
La pagina Nodi è interessante, mostra la mappa fisica del cluster, del controller e dei bilanciatori del carico, insieme all'attività delle porte e alle unità NVMe.
Facendo clic su una qualsiasi delle unità viene visualizzato lo stato riportato dall'host.
Andando su Condivisioni, gli utenti possono facilmente configurare le condivisioni secondo necessità e ottenere istruzioni per montarle in vari sistemi operativi.
Abbiamo collaborato con Quantum per impostare una condivisione NFS dedicata per i nostri test. Questi sono stati montati a /mnt/myriad/
Ciò è stato ottenuto utilizzando l'interfaccia utente Myriad intuitiva, che offre una semplice configurazione di configurazione punta e clicca. Durante il periodo di test, l'opzione SMB era in accesso anticipato, mentre NFS è rimasto il protocollo preferito per le nostre macchine per carichi di lavoro basate su Linux.
Il nostro punto di montaggio NFS è stato configurato per 500 TB di spazio, ma puoi utilizzare tutto ciò di cui hai bisogno espandendo il file system. Puoi effettuare liberamente il provisioning eccessivo dello spazio di archiviazione senza penalità e non esiste alcun limite rigido al dimensionamento. Ciò diventa molto interessante se si considera la compressione dei dati di Myriad, che sostanzialmente riduce l'impronta dei dati sugli SSD NVMe.
Con un punto di montaggio per host, ogni GPU ha la propria sottocartella, utilizzando la propria scheda NIC per evitare una limitazione NFSv4.
Risultati e analisi dell'intelligenza artificiale quantistica
Per prima cosa, diamo un'occhiata alle prestazioni complessive di una delle nostre esecuzioni di loadgen. Questo esempio della prospettiva dello storage di una GPU rappresenta le prestazioni che potremmo vedere su tutti i nodi/GPU.
Tipo IO | Dimensioni I/O (KiB) | Velocità effettiva (GiB/sec) | Latenza media (usec) | Operazioni |
---|---|---|---|---|
RANDWRITE | 1024 | 2.57 | 10,087.74 | 78,820 |
RANDREAD | 1024 | 6.92 | 2,277.86 | 209,319 |
RANDWRITE | 4096 | 3.44 | 18,193.14 | 56,616 |
RANDREAD | 4096 | 3.64 | 6,481.70 | 73,715 |
RANDWRITE | 4 | 0.03 | 2,307.57 | 237,512 |
RANDREAD | 4 | 0.12 | 497.05 | 941,971 |
SCRIVERE | 1024 | 2.79 | 5,609.64 | 94,017 |
LEGGI | 1024 | 3.11 | 5,021.91 | 95,556 |
SCRIVERE | 4096 | 2.77 | 22,551.26 | 31,716 |
LEGGI | 4096 | 3.50 | 17,875.32 | 31,871 |
SCRIVERE | 4 | 0.08 | 812.93 | 580,169 |
LEGGI | 4 | 0.12 | 507.34 | 926,909 |
I risultati dei test rivelano informazioni significative sulle prestazioni di Myriad in varie operazioni e dimensioni di IO. Alcuni dei nostri risultati includono:
- Prestazioni dei blocchi piccoli e grandi: I test mostrano una marcata differenza in termini di throughput e latenza quando si gestiscono blocchi di dimensioni piccole (4 KiB) rispetto a quelli grandi (1024 KiB e 4096 KiB). Ad esempio, le operazioni RANDREAD a blocchi di grandi dimensioni a 4096 KiB hanno dimostrato il throughput più elevato di circa 9.64 GiB/sec, con una latenza media relativamente inferiore di 6,481.70 microsecondi. Ciò indica prestazioni eccellenti per attività di elaborazione dati su larga scala comuni nell'addestramento dei modelli di machine learning, in cui si accede frequentemente a set di dati di grandi dimensioni.
- Capacità di saturazione della GPU: Il throughput raggiunto durante i test a blocchi di grandi dimensioni, in particolare per le operazioni RANDREAD, suggerisce che il cluster di storage Myriad è perfettamente in grado di supportare le GPU NVIDIA A100 in carichi di lavoro di tipo inference retrieval e di scaricare i checkpoint in una posizione centrale durante i carichi di lavoro di training. Dato che l’A100 è in grado di gestire enormi quantità di dati per il deep learning, gli elevati tassi di throughput sono essenziali per garantire che queste GPU non rimangano inattive in attesa dei dati, massimizzando così l’efficienza computazionale.
- Gestione di dimensioni ridotte dei blocchi: Al contrario, esaminando le operazioni con blocchi da 4 KiB, abbiamo osservato un drammatico aumento del conteggio delle operazioni e della latenza, con un calo significativo del throughput. Questo scenario è fondamentale per comprendere le prestazioni in ambienti in cui si verificano più transazioni di file di piccole dimensioni, ad esempio nei sistemi di elaborazione delle transazioni in linea o nei database che gestiscono numerose piccole query.
Ma aspetta, c'è di più!
Concentrandoci sui test 4K, le cose hanno preso una svolta interessante quando abbiamo caricato Myriad con più GPU. A causa delle limitazioni del protocollo di montaggio, come scoperto nelle esecuzioni iniziali durante la fase di scoperta, Myriad si comportava come previsto ma con una svolta sorprendente. Quando abbiamo caricato Myriad su tutte le GPU contemporaneamente, grazie ad alcuni hack di scripting, i risultati sono stati impressionanti. Myriad ha fornito essenzialmente le stesse prestazioni a tutti i nodi contemporaneamente.
Dimensione file 4K
Ecco una raccolta di cinque esecuzioni simultanee del carico di lavoro 4K:
Nodo | Tipo IO | Velocità effettiva (MiB/sec) | Latenza media (usec) | Operazioni |
---|---|---|---|---|
1 | RANDREAD | 125.73 | 497.05 | 941,971 |
2 | RANDREAD | 121.29 | 506.67 | 907,642 |
3 | RANDREAD | 128.37 | 474.73 | 906,847 |
4 | RANDREAD | 122.93 | 487.88 | 966,441 |
Lettura casuale totale | 498.31 | 491.58 | 3,722,901 | |
1 | RANDWRITE | 27.08 | 2,307.57 | 237,512 |
2 | RANDWRITE | 26.88 | 2,285.62 | 231,625 |
3 | RANDWRITE | 26.10 | 2,406.89 | 228,983 |
4 | RANDWRITE | 28.27 | 2,341.65 | 245,172 |
Scrittura casuale totale | 108.34 | 2,335.43 | 943,292 | |
1 | LEGGI | 123.19 | 507.34 | 926,909 |
2 | LEGGI | 125.69 | 511.23 | 900,136 |
3 | LEGGI | 123.90 | 502.04 | 945,949 |
4 | LEGGI | 123.77 | 502.36 | 948,850 |
Lettura totale | 496.54 | 505.74 | 3,721,844 | |
1 | SCRIVERE | 76.87 | 812.93 | 580,169 |
2 | SCRIVERE | 80.17 | 839.88 | 551,311 |
3 | SCRIVERE | 78.62 | 783.24 | 556,060 |
4 | SCRIVERE | 73.40 | 811.62 | 597,226 |
Scrittura totale | 309.06 | 811.92 | 2,284,766 |
Dimensione file 4 MB
Nodo | Tipo IO | Velocità effettiva (GiB/sec) | Latenza media (usec) | Operazioni |
---|---|---|---|---|
1 | RANDREAD | 3.44 | 6,481.70 | 73,715 |
2 | RANDREAD | 3.97 | 6802.17 | 75,689 |
3 | RANDREAD | 3.83 | 6498.16 | 73,277 |
4 | RANDREAD | 3.50 | 6,589.43 | 70,443 |
Lettura casuale totale | 14.75 | 6,593 | 293,124 | |
1 | RANDWRITE | 3.44 | 18,193.14 | 56,616 |
2 | RANDWRITE | 3.4048 | 19090.38 | 54,725 |
3 | RANDWRITE | 3.4349 | 18125.25 | 56,277 |
4 | RANDWRITE | 3.5084 | 17018.30 | 54,397 |
Scrittura casuale totale | 13.78 | 18,107 | 222,015 | |
1 | LEGGI | 3.50 | 17,875.32 | 31,871 |
2 | LEGGI | 3.4388 | 17110.93 | 31,119 |
3 | LEGGI | 3.5133 | 18124.53 | 31,096 |
4 | LEGGI | 3.3035 | 17755.53 | 31,257 |
Lettura totale | 13.75 | 17,717 | 125,343 | |
1 | SCRIVERE | 2.77 | 22,551.26 | 31,716 |
2 | SCRIVERE | 2.8845 | 23674.69 | 33,017 |
3 | SCRIVERE | 2.7008 | 22661.31 | 30,971 |
4 | SCRIVERE | 2.7719 | 22798.83 | 29,519 |
Scrittura totale | 11.13 | 22,922 | 125,223 |
L'esclusiva architettura di storage di Quantum Myriad fornisce una doppia accessibilità che avvantaggia sia le operazioni della GPU che le attività simultanee degli utenti senza perdita di prestazioni. Ciò è particolarmente efficace negli ambienti ad alta richiesta in cui sono richiesti accesso ed elaborazione simultanei dei dati, in modo simile a una comunità di utenti con accesso a server di intelligenza artificiale e machine learning e analisti di utenti finali. Supportando l'accessibilità di grandi blocchi di dati per le GPU insieme ad altre operazioni dell'utente, Myriad garantisce un utilizzo efficiente delle risorse e previene i colli di bottiglia. Ciò è fondamentale per mantenere elevate velocità operative e accuratezza dei dati in applicazioni come l’analisi in tempo reale e l’addestramento dei modelli AI.
Vale la pena notare qui che il trucco di Quantum Myriad è la sua capacità di gestire abilmente più flussi di dati fino ai limiti di NFSv4, che possono essere colpiti facilmente sotto carichi intensi della GPU. Le sofisticate funzionalità di gestione dei dati del sistema impediscono che questi limiti incidano sulle prestazioni complessive della piattaforma Myriad, garantendo che le attività GPU ad alta richiesta non rallentino altre operazioni sulla stessa rete. Questa funzionalità è particolarmente vantaggiosa per i settori che richiedono solide capacità di elaborazione dei dati senza sacrificare le prestazioni delle attività simultanee, supportando un flusso di lavoro senza interruzioni per tutti gli utenti.
Implicazioni e ridimensionamento nel mondo reale
Quantum Myriad ha il potenziale per lavorare con applicazioni del mondo reale e scalare facilmente gli scenari. La sua capacità di gestire blocchi di grandi dimensioni con throughput elevato e bassa latenza avvantaggia i carichi di lavoro dell’intelligenza artificiale, incluso l’addestramento di modelli di deep learning in cui set di dati di grandi dimensioni vengono elaborati in batch. L'elevato throughput garantisce l'immissione dei dati nelle GPU senza ritardi, il che è fondamentale per mantenere un utilizzo elevato e un apprendimento efficiente.
Un'altra caratteristica essenziale è la scalabilità. Le prestazioni del cluster di archiviazione Quantum Myriad nei nostri test suggeriscono che può supportare in modo efficiente configurazioni più grandi. Con l'aumento del numero di dispositivi connessi (ad esempio, GPU aggiuntive o altre unità di calcolo ad alte prestazioni), il sistema di storage sembra in grado di mantenere elevati livelli di consegna dei dati senza diventare un collo di bottiglia.
Le prestazioni del cluster di storage Quantum Myriad durante le operazioni RANDREAD a blocchi di grandi dimensioni sono state particolarmente degne di nota durante i nostri test. Questa capacità è fondamentale se si considerano le esigenze dei moderni framework di intelligenza artificiale e machine learning.
Il test RANDREAD, con il suo rendimento significativo, mette in mostra la capacità di Myriad di recuperare in modo rapido ed efficiente grandi volumi di dati. Ciò diventa particolarmente importante nel contesto dei carichi di lavoro di inferenza, dove la velocità con cui è possibile accedere ai dati influisce direttamente sulle prestazioni dei modelli di intelligenza artificiale negli ambienti di produzione. Le attività di inferenza, che spesso richiedono un accesso rapido a set di dati di grandi dimensioni per prendere decisioni in tempo reale, traggono enormi vantaggi dalle capacità di recupero dati ad alta velocità offerte dal cluster Myriad. Ad esempio, in applicazioni come il riconoscimento di immagini in tempo reale o motori decisionali complessi che guidano sistemi automatizzati, la capacità di estrarre grandi blocchi di dati con una latenza minima garantisce che i motori di inferenza possano funzionare alla massima efficienza senza bloccarsi per i dati.
Durante la fase di test, Myriad ha dimostrato robustezza nella gestione dei dati dei checkpoint durante i carichi di lavoro di training, il che è altrettanto importante quanto le prestazioni del cluster durante le operazioni di scrittura. L’addestramento dei moderni modelli di intelligenza artificiale, in particolare delle reti di deep learning, implica processi iterativi in cui i checkpoint sono cruciali. Questi checkpoint, che rappresentano lo stato del modello in una particolare iterazione, devono essere salvati periodicamente per garantire che i progressi non vadano persi e che i modelli possano essere perfezionati in modo efficace senza riqualificarli da zero. Myriad scarica in modo efficiente operazioni di scrittura di grandi dimensioni sul cluster di storage, riducendo i tempi di I/O e consentendo alle GPU di concentrarsi sul calcolo anziché sulla gestione dei dati.
L'architettura di Myriad garantisce che, man mano che i dati richiedono scalabilità, a causa dell'aumento delle dimensioni dei set di dati o di requisiti di addestramento del modello più complessi, il sistema possa scalare di conseguenza senza creare colli di bottiglia, tempi di inattività o perdita di connettività dell'utente. Questa scalabilità è essenziale in un’era in cui i carichi di lavoro dell’intelligenza artificiale e dell’apprendimento automatico sono in rapida evoluzione, richiedendo soluzioni di storage che tengano il passo con le richieste attuali e siano a prova di futuro rispetto ai prossimi progressi nella ricerca e sviluppo dell’intelligenza artificiale.
Conclusione
Il cluster di storage Quantum Myriad offre prestazioni eccezionali nella gestione di operazioni I/O diverse ed impegnative. È una soluzione versatile per i carichi di lavoro aziendali tradizionali e le applicazioni IA all'avanguardia. Grazie al throughput elevato e alla bassa latenza, le capacità di Myriad vanno oltre le tradizionali attività di data warehousing, cruciali per il mantenimento di operazioni fluide e un recupero efficiente dei dati.
Oltre a questi usi convenzionali, le robuste caratteristiche prestazionali di Myriad lo rendono un candidato ideale per le esigenze più intensive dei flussi di lavoro IA. In questo caso, il cluster eccelle in scenari che richiedono un rapido accesso ai dati e un’elaborazione ad alta velocità, fondamentali per l’addestramento di sofisticati modelli di machine learning e l’esecuzione di reti neurali complesse. La capacità di leggere e scrivere rapidamente grandi volumi di dati condivisi può aumentare l’utilizzo della GPU e garantire che i calcoli dell’intelligenza artificiale possano essere eseguiti senza ritardi.
Questo test completo del cluster Myriad funge da punto di riferimento cruciale per comprenderne la scalabilità e le prestazioni in ambienti che combinano le tradizionali esigenze IT e aziendali con le elevate esigenze di ricerca e sviluppo sull’intelligenza artificiale. I risultati evidenziano l’abilità tecnica di Myriad e il suo potenziale nel facilitare applicazioni di intelligenza artificiale ad alto rischio e progetti di apprendimento automatico, sottolineandone l’adattabilità e l’efficienza in un ampio spettro di attività computazionali. Tali capacità confermano il ruolo di Myriad come tecnologia fondamentale a supporto delle imprese mentre affrontano le esigenze attuali e i futuri scenari tecnologici.
Pagina del prodotto Quantum Myriad
Questo rapporto è sponsorizzato da Quantum. Tutti i pareri e le opinioni espressi in questo rapporto si basano sulla nostra visione imparziale dei prodotti in esame.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed