Valutazione dell'impatto dei canali DRAM sulle prestazioni di inferenza dell'intelligenza artificiale

Per convalidare i vantaggi della DRAM nei sistemi AI abbiamo condotto una serie di test utilizzando otto moduli di memoria DDR56 Kingston KSM46R4BD64PMI-5HAI.

La DRAM di sistema svolge un ruolo importante nell'intelligenza artificiale, in particolare nell'inferenza della CPU. Man mano che le applicazioni AI diventano sempre più complesse, la richiesta di soluzioni di memoria più veloci ed efficienti diventa sempre più critica. Volevamo esaminare l'importanza della DRAM di sistema nell'intelligenza artificiale, concentrandoci sull'inferenza della CPU e sul ruolo vitale dell'utilizzo di più canali di memoria.

L'importanza della DRAM di sistema nell'intelligenza artificiale

La DRAM di sistema è l'hub centrale per i dati nei sistemi di intelligenza artificiale. I dati vengono temporaneamente archiviati per un rapido accesso da parte della CPU, consentendo una rapida elaborazione dei dati.

Ciò è particolarmente cruciale nelle applicazioni di intelligenza artificiale in cui gestire set di dati di grandi dimensioni in modo rapido ed efficiente non è solo un vantaggio ma una necessità. Ecco uno sguardo più da vicino al ruolo multiforme della DRAM di sistema nel migliorare le capacità dell'intelligenza artificiale:

• Velocità ed efficienza: gli algoritmi di intelligenza artificiale, in particolare nell'inferenza, richiedono memoria ad alta velocità per elaborare grandi quantità di dati. La DRAM di sistema fornisce questa velocità, riducendo la latenza e aumentando le prestazioni complessive del sistema.
• Capacità: le moderne applicazioni AI richiedono grandi capacità di memoria. La DRAM ad alta capacità garantisce che set di dati più grandi possano essere elaborati in memoria, evitando il processo più lento di recupero dei dati dai dispositivi di archiviazione.
• Affidabilità: nell’intelligenza artificiale, l’integrità dei dati è fondamentale. La DRAM di sistema, con le sue funzionalità di correzione degli errori, garantisce che la corruzione dei dati sia ridotta al minimo, aspetto essenziale nelle applicazioni in cui la precisione è fondamentale.
• Scalabilità: man mano che i modelli di intelligenza artificiale diventano sempre più complessi, la capacità di scalare le risorse di memoria diventa estremamente importante. La DRAM di sistema offre la scalabilità necessaria per soddisfare le crescenti esigenze delle applicazioni IA in evoluzione e i loro crescenti requisiti di dati.
• Larghezza di banda: la maggiore larghezza di banda della DRAM di sistema consente velocità di trasferimento dati più elevate, consentendo un accesso più rapido ai dati. Ciò è particolarmente utile per l’addestramento di reti neurali complesse e la gestione di attività di elaborazione dati su larga scala.

Inferenza CPU e DRAM

Nell'intelligenza artificiale, l'inferenza della CPU (il processo di utilizzo di un modello addestrato per fare previsioni o decisioni) e il ruolo della DRAM sono componenti critici che influenzano in modo significativo l'efficienza e la velocità delle applicazioni IA. Questa fase richiede un utilizzo intensivo della memoria a causa della necessità di accedere ed elaborare rapidamente set di dati di grandi dimensioni. È particolarmente impegnativo per la memoria di sistema a causa della natura complessa e delle dimensioni dei dati coinvolti.

La DRAM è fondamentale nell'ottimizzazione dell'inferenza della CPU per le operazioni di intelligenza artificiale attraverso numerosi miglioramenti chiave. Innanzitutto, fornisce la larghezza di banda necessaria per ottenere un elevato throughput dei dati, essenziale per un'elaborazione rapida dei dati e un processo decisionale nell'inferenza della CPU. Questa maggiore produttività si traduce direttamente in prestazioni più rapide in attività complesse.

Inoltre, memorizzando i dati vicino alla CPU, la DRAM di sistema riduce significativamente il tempo di accesso ai dati, minimizzando così la latenza complessiva dell'inferenza. Questa vicinanza è fondamentale per mantenere un sistema rapido e reattivo. Infine, poiché i dati vengono elaborati velocemente e i tempi di accesso vengono ridotti, la potenza complessiva richiesta per le attività di inferenza della CPU viene notevolmente ridotta. Ciò porta a operazioni più efficienti dal punto di vista energetico e garantisce un ambiente più sostenibile ed economicamente vantaggioso per le applicazioni di intelligenza artificiale.

Il ruolo di più canali di memoria

L'architettura della memoria di sistema è un elemento essenziale nel definire le prestazioni delle applicazioni AI. L'utilizzo di più canali di memoria è come allargare un'autostrada: facilita un maggiore flusso di traffico dati contemporaneamente, migliorando significativamente le prestazioni complessive del sistema. Ecco come l’utilizzo di più canali può ottimizzare le operazioni di intelligenza artificiale:

• Maggiore larghezza di banda: più canali aumentano la larghezza di banda della memoria. Ciò è fondamentale per le applicazioni di intelligenza artificiale, poiché possono elaborare e analizzare più dati contemporaneamente, portando a tempi di inferenza più rapidi.
• Elaborazione parallela: con più canali, i dati possono essere elaborati in parallelo, accelerando significativamente i calcoli dell'intelligenza artificiale che coinvolgono set di dati di grandi dimensioni.
• Colli di bottiglia ridotti: più canali di memoria aiutano a ridurre i colli di bottiglia del sistema. La distribuzione del carico di memoria consente a ciascun canale di funzionare in modo più efficiente, migliorando le prestazioni complessive del sistema.

Dati di test

Per convalidare i vantaggi della DRAM nei sistemi AI, in particolare l'inferenza della CPU, abbiamo condotto una serie di test utilizzando otto moduli di memoria Kingston KSM56R46BD4PMI-64HAI DDR5 in diverse configurazioni di canale.

Per stabilire una linea di base, abbiamo avviato benchmark mirati della CPU e test Geekbench, misurando le capacità isolate della CPU. Per mettere a dura prova l'intero sistema, compresa la memoria e l'archiviazione, abbiamo selezionato y-cruncher per le sue esigenze rigorose. Questo approccio ci consente di valutare la coesione e la resistenza dell'intero sistema in condizioni estreme, fornendo un quadro chiaro delle prestazioni e della stabilità complessive.

In definitiva, questi risultati forniranno dati concreti su come la DRAM del sistema e il numero di canali di memoria influiscono direttamente sulla velocità di calcolo, sull’efficienza e sulle prestazioni complessive del sistema nelle applicazioni IA.

Geekbench 6

La prima è, ovviamente, Geekbench 6, un benchmark multipiattaforma che misura le prestazioni complessive del sistema. Puoi trovare confronti con qualsiasi sistema desideri nel file Browser Geekbench. I punteggi più alti sono migliori.

I risultati di Geekbench 6 per Kingston DDR5 mostrano una serie di variazioni quando si confrontano configurazioni a 2, 4 e 8 canali. Nei test single-core, i punteggi aumentano in modo modesto ma costante da 2,083 con due canali a 2,317 con otto canali, indicando un miglioramento dell'efficienza e della produttività per le singole operazioni core all'aumentare del numero di canali. Tuttavia, il miglioramento prestazionale più evidente si osserva nei test multi-core, dove i punteggi salgono da 14,404 con due canali a un sostanziale 19,752 con otto canali.

y-cruncher

y-cruncher, un programma multi-thread e scalabile, può calcolare Pi e altre costanti matematiche fino a trilioni di cifre. Dal suo lancio nel 2009, y-cruncher è diventata una popolare applicazione di benchmarking e stress test per overclocker e appassionati di hardware. Più veloce è meglio in questo test.

Il benchmark y-cruncher su 2, 4 e 8 canali dimostra un miglioramento chiaro e coerente nella velocità di calcolo all'aumentare del numero di canali. Per calcolare 1 miliardo di cifre del Pi greco, il tempo di calcolo totale diminuisce significativamente da 18.117 secondi con due canali a soli 7.552 secondi con otto canali.

Questa tendenza alla riduzione del tempo di calcolo continua su tutte le scale testate, con il tempo per il calcolo di 25 miliardi di cifre che scende da 693.835 secondi a 396.997 secondi quando si passa da 2 a 4 canali.

3DMark – Profilo della CPU

Il test del profilo della CPU in 3DMark misura specificamente le prestazioni del processore su una gamma di conteggi di thread, offrendo uno sguardo dettagliato su come le diverse configurazioni dei canali RAM DDR5 influiscono sulla gestione e sull'efficienza del carico di lavoro della CPU. Questo test è utile per comprendere le sfumature delle prestazioni nelle operazioni ad uso intensivo di memoria e nelle applicazioni multi-thread quando si utilizzano varie configurazioni di canali RAM DDR5.

I punteggi del profilo CPU 3DMark per la RAM Kingston DDR5 mostrano un quadro un po' complesso, indicando che il numero ottimale di canali può variare a seconda del numero di thread e del carico di lavoro specifico.

Al numero massimo di thread, i punteggi sono più alti con due canali (15,822) e diminuiscono leggermente con più canali, suggerendo che i canali aggiuntivi non forniscono vantaggi per attività altamente parallele. Tuttavia, con otto thread, la configurazione a 4 canali ottiene il punteggio più alto (6,019), indicando un punto debole in cui i canali aggiuntivi migliorano la gestione del parallelismo di medio livello. I punteggi sono simili in tutte le configurazioni di canale con un numero di thread inferiore (4, 2 e 1 thread).

Questi risultati suggeriscono che mentre più canali possono avvantaggiare determinate operazioni multi-thread, l’impatto varia a seconda della natura dell’attività e dell’architettura del sistema. Cioè, di più non è sempre meglio per ogni caso d’uso.

Effetto del canale DRAM sull'inferenza dell'intelligenza artificiale

Tutti i test sono stati eseguiti su una CPU Intel Xeon w9-3475X, utilizzando l'API Intel OpenVINO tramite il benchmark Procyon di UL Labs.

Dotato di una serie di motori di inferenza AI di fornitori di alto livello, il benchmark UL Procyon AI Inference Benchmark soddisfa un ampio spettro di configurazioni e requisiti hardware. Il punteggio benchmark fornisce un riepilogo pratico e standardizzato delle prestazioni di inferenza sul dispositivo. Ciò ci consente di confrontare e contrapporre varie configurazioni hardware in situazioni reali senza richiedere soluzioni interne.

I risultati rientrano nel margine di errore su FP32, ma le cose diventano interessanti quando si passa a INT, osservando i punteggi granulari anziché il punteggio complessivo.

Numeri più grandi migliorano il punteggio complessivo, numeri piccoli migliorano i tempi.

Il primo è FP32 Precision

Il prossimo è Precisione FP16

E infine INT

Throughput e latenza della DRAM

Innanzitutto, esaminiamo la latenza della configurazione DRAM a 2 e 8 canali. Abbiamo profilato l'intera CPU e memoria, ma il nostro unico obiettivo era la transizione dalla cache della CPU alla DRAM. Poiché la nostra CPU Xeon W9-3475X ha solo 82.50 MB di cache L3, abbiamo estratto il grafico all'inizio di quella transizione.

Qui possiamo vedere che l'aggiunta di più canali ha migliorato la latenza di un piccolo margine.

Passando alla larghezza di banda nelle istruzioni AVX512, possiamo vedere una differenza un po' più drammatica nella larghezza di banda tra 2 canali e 8 canali. Il Delta qui è il successo in termini di prestazioni tra 2 e 8 canali.

Conclusione

In sintesi, la DRAM di sistema è una pietra angolare nell’architettura dei sistemi di intelligenza artificiale, in particolare nell’inferenza della CPU. La sua capacità di fornire una memoria ampia, affidabile e ad alta velocità è indispensabile. Inoltre, l’utilizzo di più canali di memoria può migliorare significativamente le prestazioni delle applicazioni AI aumentando la larghezza di banda, consentendo l’elaborazione parallela e riducendo al minimo i colli di bottiglia. Mentre l’intelligenza artificiale continua ad evolversi, l’ottimizzazione della DRAM del sistema rimarrà un obiettivo chiave per garantire i massimi livelli di prestazioni ed efficienza.

Inoltre, i dati dei test rafforzano questa nozione, dimostrando i vantaggi tangibili delle configurazioni di memoria migliorate. Mentre ampliamo i confini dell’intelligenza artificiale e dell’elaborazione dei dati, il miglioramento strategico della memoria di sistema sarà cruciale per supportare la prossima generazione di innovazione dell’intelligenza artificiale e di applicazioni nel mondo reale.

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed