Casa ImpresaAI Il superchip NVIDIA Grace Hopper domina i benchmark di inferenza MLPerf

Il superchip NVIDIA Grace Hopper domina i benchmark di inferenza MLPerf

by Jordan Ranous

NVIDIA ha avuto un grande successo nel mondo dell'intelligenza artificiale (AI) e del calcolo ad alte prestazioni con la sua ultima presentazione: il superchip NVIDIA GH200 Grace Hopper. Questa recente offerta ha mostrato prestazioni eccezionali nei benchmark MLPerf, dimostrando l'abilità di NVIDIA nell'intelligenza artificiale cloud ed edge.

NVIDIA ha avuto un grande successo nel mondo dell'intelligenza artificiale (AI) e del calcolo ad alte prestazioni con la sua ultima presentazione: il superchip NVIDIA GH200 Grace Hopper. Questa recente offerta ha mostrato prestazioni eccezionali nei benchmark MLPerf, dimostrando l'abilità di NVIDIA nell'intelligenza artificiale cloud ed edge.

Superchip NVIDIA Grace Hopper

Un superchip che la dice lunga

Il Superchip GH200 non è un chip qualunque. Combina in modo esclusivo una GPU Hopper con una CPU Grace, fornendo memoria, larghezza di banda e capacità di regolare automaticamente la potenza tra CPU e GPU per le massime prestazioni. Questa integrazione innovativa consente al chip di raggiungere un delicato equilibrio tra potenza e prestazioni, garantendo che le applicazioni IA ottengano le risorse di cui hanno bisogno quando ne hanno bisogno.

Risultati MLPerf eccezionali

I benchmark MLPerf sono uno standard di settore rispettato e il GH200 di NVIDIA non ha deluso. Il superchip non solo ha eseguito tutti i test di inferenza del data center, ma ha anche dimostrato la versatilità della piattaforma AI di NVIDIA, estendendo il suo ambito dalle operazioni cloud ai confini della rete.

Inoltre, anche le GPU H100 di NVIDIA non sono state lasciate indietro. I sistemi HGX H100, dotati di otto GPU H100, hanno mostrato un throughput superiore in tutti i test MLPerf Inference. Ciò evidenzia l’immenso potenziale e le capacità delle GPU H100, in particolare per attività quali visione artificiale, riconoscimento vocale, imaging medico, sistemi di raccomandazione e modelli linguistici di grandi dimensioni (LLM).

TensorRT-LLM: amplificazione delle prestazioni di inferenza

NVIDIA è sempre stata in prima linea nell'innovazione continua e il TensorRT-LLM è una testimonianza di questa eredità. Questo software di intelligenza artificiale generativa aumenta l'inferenza e viene fornito come libreria open source. Anche se non è stato presentato a MLPerf in tempo per la valutazione di agosto, è promettente e consente agli utenti di amplificare le prestazioni delle proprie GPU H100 senza incorrere in costi aggiuntivi. Partner come Meta, Cohere e Grammarly hanno beneficiato degli sforzi di NVIDIA nel migliorare l'inferenza LLM, riaffermando l'importanza di tali sviluppi software nel regno dell'intelligenza artificiale.

GPU L4: collegamento tra server e prestazioni mainstream

Con gli ultimi benchmark MLPerf, le GPU L4 hanno mostrato prestazioni lodevoli in una miriade di carichi di lavoro. Queste GPU, se inserite in acceleratori compatti, hanno dimostrato parametri prestazionali fino a sei volte più efficienti rispetto alle CPU con potenze nominali più elevate. L'introduzione di motori multimediali dedicati, in collaborazione con il software CUDA, conferisce alla GPU L4 un vantaggio, soprattutto nelle attività di visione artificiale.

Superare i confini: Edge Computing e altro ancora

I progressi non si limitano al solo cloud computing. L'attenzione di NVIDIA all'edge computing è evidente con il system-on-module Jetson Orin, che mostra miglioramenti delle prestazioni fino all'84% rispetto alle versioni precedenti nel rilevamento degli oggetti.

MLPerf: uno standard di benchmarking trasparente

MLPerf continua a essere un punto di riferimento oggettivo su cui gli utenti di tutto il mondo fanno affidamento per prendere decisioni di acquisto. L’inclusione di giganti dei servizi cloud come Microsoft Azure e Oracle Cloud Infrastructure, insieme a rinomati produttori di sistemi come Dell, Lenovo e Supermicro, sottolinea l’importanza di MLPerf nel settore.

In conclusione, le recenti prestazioni di NVIDIA nei benchmark MLPerf rafforzano la sua posizione di leadership nel settore dell'intelligenza artificiale. Con un ampio ecosistema, una continua innovazione del software e l'impegno a fornire prestazioni di alta qualità, NVIDIA sta effettivamente plasmando il futuro dell'intelligenza artificiale.

Per un approfondimento tecnico più approfondito sui risultati ottenuti da NVIDIA, fare riferimento al collegamento blog tecnico. Coloro che desiderano replicare il successo dei benchmark di NVIDIA possono accedere al software da Repositorio MLPerf e le Hub software NVIDIA NGC.

Interagisci con StorageReview 

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed