All'avanguardia dell'intelligenza artificiale edge, il Jetson Orin Nano Super Developer Kit di NVIDIA offre una soluzione solida per applicazioni AI al di fuori del tradizionale data center. È uno strumento potente e conveniente per appassionati e professionisti dell'intelligenza artificiale.
Jetson Orin Nano Super è un concentrato di potenza di calcolo compatto che porta sofisticate capacità di intelligenza artificiale ai dispositivi edge. Combina prestazioni con convenienza e solide opzioni di integrazione, rendendolo un candidato ideale per la prototipazione e lo sviluppo di prodotti commerciali. Sia che venga impiegato in kit di robotica o integrato in macchinari più grandi, il suo design flessibile consente agli ingegneri di implementare l'intelligenza artificiale in scenari che richiedono efficienza e basso consumo energetico, per soli $ 249.
La piattaforma Jetson è progettata specificamente per le distribuzioni edge, garantendo che i progetti in ambienti con spazio o potenza limitati possano comunque sfruttare le prestazioni AI di fascia alta. Con un fattore di forma scalabile e ampie opzioni di connettività, fornisce un gateway per soluzioni innovative in robotica, sorveglianza intelligente e persino conservazione della fauna selvatica.
Il Jetson Orin Nano Super è ben noto per la realizzazione di progetti che richiedono AI in periferia, sia nei tradizionali kit di robotica che utilizzano la programmazione classica, sia in configurazioni più avanzate che presentano framework come ROS (Robot Operating System). La sua disponibilità come kit di sviluppo completo e scheda figlia SoC autonoma consente un'integrazione senza soluzione di continuità in un'ampia gamma di prodotti e macchinari. Questa versatilità lo rende popolare per applicazioni che vanno da progetti educativi su piccola scala a implementazioni industriali su vasta scala.
Specifiche del kit Jetson Orin Nano Super Developer
Jetson Orin Nano Super racchiude caratteristiche impressionanti in un fattore di forma compatto. La CPU Arm Cortex-A6AE a 78 core crea una solida base per il calcolo, mentre la GPU NVIDIA Ampere a 1024 core con Tensor Core accelera vari carichi di lavoro, tra cui attività di deep learning e computer vision. Con 67 TOPS (Tera Operations Per Second) di prestazioni AI e memoria LPDDR8 da 5 GB ad alta larghezza di banda, questa piattaforma è progettata per eseguire operazioni complesse in periferia.
| Specificazione | Dettagli |
|---|---|
| CPU | CPU Arm Cortex-A6AE v78 a 8.2 bit a 64 core, 3 MB L2 + 4 MB L3 |
| GPU | GPU con architettura NVIDIA Ampere a 1024 core con 32 core Tensor |
| Prestazioni dell'IA | 67 TOP |
| Memorie | 8 GB 128 bit LPDDR5 102 GB/s |
| Archiviazione | Supporto SSD eMMC 16 da 5.1 GB, microSD, M.2 Key M NVMe 1x slot M.2 Key M con x4 PCIe Gen3 1x slot M.2 Key M con x2 PCIe Gen3 |
| Networking | 1x Gigabit Ethernet |
| Dsiplay | 1x HDMI, 1x eDP 1.4 |
| Connettività | 4 porte USB 3.2 tipo A, 1 porta USB tipo C |
| Potenza di ingresso | Il jack DC Barrel accetta alimentazione da 7 V a 20 V |
| Telecamere | 2x connettori per telecamera MIPI CSI |
| Espansione | Intestazioni di espansione GPIO a 40 pin |
| Consumo di energia | 7W – 25W configurabile |
| Sistema operativo | Linux basato su Ubuntu con NVIDIA JetPack SDK |
| Dimensioni | 103mm x 90.5mm x 34.77mm |
Le opzioni di connettività sono numerose, rendendo il Nano Super altamente versatile per numerose applicazioni. Quattro porte USB 3.2 Type-A e una porta USB Type-C consentono di collegare facilmente una gamma di periferiche, da dispositivi di archiviazione esterni a dispositivi di input o sensori. La Gigabit Ethernet integrata garantisce una rete affidabile, mentre i doppi connettori per telecamera MIPI CSI consentono l'integrazione di due telecamere. Questa caratteristica è particolarmente utile per le applicazioni che richiedono la percezione della profondità, essenziale nella robotica e nei sistemi autonomi in cui la mappatura ambientale accurata è fondamentale.
Le capacità di archiviazione includono 16 GB eMMC 5.1, microSD e supporto SSD M.2 NVMe dual tramite slot dedicati con connettività PCIe Gen3. Ciò fornisce ampio spazio di archiviazione per sistemi operativi, software e set di dati e supporta trasferimenti di dati ad alta velocità necessari per analisi in tempo reale e attività di inferenza AI. Inoltre, l'inclusione di interfacce HDMI ed eDP 1.4 consente al Nano Super di supportare display, rendendolo ideale per applicazioni simili a chioschi o segnaletica digitale.
Spingere il Nano Super ai suoi limiti: inferenza LLM al limite
Il nostro lavoro con il Nano Super si è concentrato sull'esplorazione del suo potenziale per l'esecuzione di attività di sviluppo AI, in particolare l'inferenza di modelli di linguaggio di grandi dimensioni (LLM). Abbiamo riconosciuto che le limitazioni della memoria di bordo mettono alla prova l'esecuzione di modelli con miliardi di parametri, quindi abbiamo implementato un approccio innovativo per aggirare queste limitazioni. In genere, gli 8 GB di memoria grafica del Nano Super limitano la sua capacità a modelli più piccoli, ma abbiamo mirato a eseguire un modello 45 volte più grande di quello che si adatterebbe tradizionalmente.
Abbiamo potenziato lo storage del Nano Super integrando il nuovo Solidigm D5-P5336 122.88 TB SSD, un'unità NVMe ad altissima capacità progettata per gli ambienti dei data center, per supportare questo ambizioso compito.
Il SSD Solidigm D122-P5 da 5336 TB è una soluzione di storage rivoluzionaria per carichi di lavoro ad alta intensità di dati, in particolare in AI e data center. Ecco le specifiche dettagliate:
- Ultra-Grande: 122.88 TB
- Tecnologia: Cella a quattro livelli (QLC) NAND
- Interfaccia: Gen 4 PCIe x4
- Performance: Fino al 15% in più sui carichi di lavoro ad alta intensità di dati rispetto ai modelli precedenti
- Fattore di forma: U.2 Circa le dimensioni di un mazzo di carte
- Casi d'uso: Ideale per la formazione dell'intelligenza artificiale, la raccolta dati, l'acquisizione di contenuti multimediali e la transcodifica
Metriche delle prestazioni
- Velocità di lettura / scrittura sequenziali: Fino a 7.1 GB/s (lettura) e 3.3 GB/s (scrittura)
- Prestazioni casuali: Fino a 1,269,000 IOPS
Metriche della durata della vita
- Resistenza: L'SSD Solidigm da 122 TB è progettato per carichi di lavoro ad alta intensità di dati e offre un'elevata valutazione di resistenza. Puoi utilizzare Calcolatore di resistenza SSD Solidigm per calcolare la durata di vita prevista in base a carichi di lavoro specifici.
Misure di potenza
- TB per watt=122 TB25 W=4.88 TB/WTB per watt=25 W122 TB=4.88 TB/W. Con queste metriche di potenza, questa unità offre circa 4.88 terabyte di storage per watt di potenza consumata, evidenziando la sua efficienza per applicazioni ad alta intensità di dati.
Il Nano Super include due bay M.2 NVMe, che abbiamo testato come parte di questa recensione. Entrambi gli slot offrono una connessione PCIe Gen3, con uno slot da 30 mm che supporta 2 corsie PCIe e uno slot da 80 mm che supporta 4 corsie PCIe complete. Abbiamo utilizzato lo slot da 80 mm abbinato a un cavo breakout per guidare la maggior parte della larghezza di banda verso l'SSD QLC Solidigm D5-P5336 da 122 TB. Il nostro cavo di alimentazione USB-C non era pronto per la demo, quindi abbiamo utilizzato un alimentatore ATX che forniva 12 V e 3.3 V all'unità U.2.
Il risultato è stata una soluzione di storage overpowered che ci ha permesso di gestire modelli massicci e ha evidenziato il ruolo di uno storage robusto nei flussi di lavoro AI edge. Questa configurazione ci ha permesso di archiviare e trasportare la maggior parte dei modelli più popolari di Hugging Face, mantenendo comunque ampio spazio extra.
Come abbiamo fatto a far funzionare DeepSeek R1 70B Distilled, un modello 45 volte più grande del previsto, per un dispositivo del genere? Per raggiungere questa impresa, abbiamo utilizzato LLM aereo, un progetto che carica in sequenza i livelli del modello nella memoria in base alle necessità anziché caricare l'intero set di pesi in una volta sola. Questo approccio livello per livello ci ha consentito di eseguire l'inferenza su un modello che supera di gran lunga i limiti VRAM del dispositivo. C'è un problema: le prestazioni di elaborazione. In termini di prestazioni di archiviazione, sulla connessione PCIe 4 a 3 corsie, NVIDIA Orin Nano potrebbe estrarre fino a circa 2.5 GB/s dall'SSD Solidigm D122-P5 QLC da 5336 TB. Con il nostro carico di lavoro di inferenza in esecuzione sull'SSD QLC, le velocità di lettura si aggiravano intorno a 1.7 GB/s.
Anche se abbiamo aggirato con successo le limitazioni della VRAM, eravamo ancora bloccati con 67 TOPS di prestazioni. Inoltre, man mano che le dimensioni del modello aumentano, aumenta anche la dimensione del layer, il che significa che aumenta il tempo per token. Quindi, siamo passati da un paio di token al secondo con LLM più piccoli, come ChatGLM3-6B, a uno ogni 4.5 minuti con DeepSeek R1 70B Distilled.
Applicazioni pratiche di storage di grandi dimensioni e intelligenza artificiale edge
Sebbene il nostro esperimento LLM fosse più una prova di concetto, la combinazione di Jetson Orin Nano Super e di un'unità Solidigm ad alta capacità ha applicazioni pratiche. Il fattore di forma simile a SODIMM di Jetson semplifica l'integrazione in PCB personalizzati, rendendo più semplice e plausibile l'attacco di unità U.2 di livello aziendale. Questa configurazione avvantaggia le distribuzioni AI a lungo termine e a basso consumo in ambienti remoti o sensibili.
L'intelligenza artificiale è sempre più utilizzata nella salvaguardia della fauna selvatica. In un articolo precedente abbiamo discusso di come l'intelligenza artificiale stia aiutando a tracciare le popolazioni di ricciAllo stesso modo, le nazioni indigene della Columbia Britannica stanno utilizzando l'intelligenza artificiale per monitorare le popolazioni ittiche. Queste installazioni spesso devono funzionare indisturbate per anni, il che richiede grandi capacità di archiviazione, basso consumo energetico e minima interruzione fisica dell'ambiente. Una soluzione basata su Jetson Orin Nano Super con un'unità ad alta capacità può soddisfare queste esigenze consumando appena 15 W (o 50 W alle massime prestazioni). Con batterie di backup e un piccolo pannello solare, una configurazione del genere può avere le dimensioni di un normale telefono da scrivania, il che la rende semplice e pratica per un uso a lungo termine.
Un altro caso d'uso interessante è l'utilizzo del sistema come un grande repository locale per la distribuzione dei modelli. Mentre scaricavamo centinaia di modelli da Hugging Face, abbiamo notato che non tutti i modelli erano uguali. I modelli più popolari venivano scaricati più velocemente di quelli più vecchi o meno popolari. Tuttavia, tutti i download sono in genere molto lenti all'edge, anche con Starlink. In tali casi, un pacchetto come il Nano Super, dotato di una NIC aggiuntiva e di un'unità di grande capacità, fungerebbe perfettamente da cache o archivio intermedio per ridistribuire i modelli in modo efficiente all'edge.
Casi d'uso ampi
Ecco alcuni casi d'uso interessanti per sfruttare un dispositivo NVIDIA Jetson con una notevole capacità di archiviazione:
- Veicoli autonomi: Memorizzazione ed elaborazione di grandi quantità di dati provenienti da sensori e telecamere in tempo reale per la navigazione e il rilevamento degli ostacoli.
- Sorveglianza intelligente: Gestione di feed video ad alta risoluzione da più telecamere per scopi di sicurezza e monitoraggio, con la possibilità di archiviare e analizzare i filmati localmente.
- Diagnostica sanitaria: Elaborazione e archiviazione in tempo reale di dati di imaging medico per diagnosi immediate e decisioni terapeutiche in contesti remoti o con risorse limitate.
- Automazione Industriale: Miglioramento dell'automazione di fabbrica con controllo di qualità basato sull'intelligenza artificiale e manutenzione predittiva, archiviazione di grandi set di dati per l'analisi e l'addestramento dei modelli.
- Analisi al dettaglio: Analizzare il comportamento dei clienti e i dati di inventario in tempo reale per ottimizzare i livelli delle scorte e migliorare l'esperienza di acquisto.
- Monitoraggio Ambientale: Utilizzare l'intelligenza artificiale per tracciare e analizzare dati ecologici, come la qualità dell'aria e dell'acqua, per supportare gli sforzi di conservazione e le iniziative di salute pubblica.
- Agricoltura intelligente: Monitoraggio della salute delle colture e delle condizioni del terreno mediante sensori e telecamere basati sull'intelligenza artificiale per ottimizzare le pratiche agricole e aumentare la resa.
- Telecomunicazioni: Gestione ed elaborazione dei dati sulle torri cellulari per migliorare le prestazioni della rete e ridurre la latenza.
Conclusione: trovare il suo posto nella famiglia Jetson
Jetson Orin Nano Super si colloca nel punto debole della gamma Jetson di NVIDIA, offrendo un equilibrio tra alte prestazioni ed efficienza energetica per le attività AI edge. La famiglia Jetson spazia da modelli entry-level come Jetson Nano, progettati per applicazioni AI e robotica di base, al potente Jetson AGX Orin, che offre fino a 275 TOPS per carichi di lavoro di macchine autonome esigenti. Nel mezzo, Jetson Orin Nano Super offre profili di prestazioni e potenza flessibili, adatti agli sviluppatori che necessitano di più potenza senza l'ingombro di una piattaforma AGX totale.
La gamma di SSD QLC di Solidigm offre una gamma di soluzioni di storage ad alta capacità progettate per carichi di lavoro ad alta intensità di lettura. La gamma include modelli come D5-P5336, con fino a 122.88 TB di storage e capacità di unità inferiori a partire da 7.68 TB. Questi SSD sono ottimizzati per prestazioni, densità ed efficienza dei costi, rendendoli ideali per applicazioni quali reti di distribuzione di contenuti, intelligenza artificiale, pipeline di dati e storage di oggetti. Con la tecnologia QLC, gli SSD Solidigm offrono una notevole capacità di storage mantenendo al contempo elevate prestazioni di lettura e comprovata affidabilità.
La capacità del Nano Super di portare serie capacità di intelligenza artificiale in ambienti compatti e con vincoli energetici lo distingue. Mentre il Jetson Nano originale era il preferito degli hobbisti e delle attività di intelligenza artificiale leggere, il Nano Super lo eleva offrendo 67 TOPS, sufficienti per gestire inferenze LLM complesse e altre applicazioni di intelligenza artificiale esigenti. Ciò lo rende un'opzione interessante per gli sviluppatori che desiderano distribuire modelli di intelligenza artificiale sofisticati all'edge senza le spese generali di sistemi più grandi e più affamati di energia. Abbinato a un'offerta QLC ad alta capacità, come l'SSD Solidigm D122-P5 da 5336 TB, consente alle postazioni edge di funzionare con un'ampia gamma di modelli di intelligenza artificiale e senza vincoli di capacità che richiedono la sostituzione dell'archiviazione una volta fornita.
Il Nano Super costa 249 $. Sebbene sia più costoso di un Raspberry Pi, offre prestazioni notevolmente migliori e include tutti i componenti necessari. Il dissipatore di calore, dotato di ventola, consente di operare alla massima potenza anche in un contenitore stampato in 3D scarsamente ventilato. Viene fornito anche con un adattatore di alimentazione, il che lo rende ideale per chi è interessato all'intelligenza artificiale.
StorageReview ringrazia il team Solidigm per il nuovo SSD D122-P5 da 5336 TB. La capacità e la velocità di questa unità ci hanno permesso di completare gran parte dei test.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
