Aan de voorhoede van edge AI levert NVIDIA's Jetson Orin Nano Super Developer Kit een robuuste oplossing voor AI-toepassingen buiten het traditionele datacenter. Het is een krachtige, betaalbare tool voor AI-enthousiastelingen en professionals.
De Jetson Orin Nano Super is een compacte computerkrachtpatser die geavanceerde AI-mogelijkheden naar edge-apparaten brengt. Het combineert prestaties met betaalbaarheid en solide integratieopties, waardoor het een ideale kandidaat is voor prototyping en commerciële productontwikkeling. Of het nu wordt gebruikt in roboticakits of geïntegreerd in grotere machines, het flexibele ontwerp stelt ingenieurs in staat om AI in te zetten in scenario's die efficiëntie en een laag stroomverbruik vereisen - voor slechts $ 249.
Het Jetson-platform is speciaal ontworpen voor edge-implementaties, zodat projecten in omgevingen met beperkte ruimte of stroom toch gebruik kunnen maken van high-end AI-prestaties. Met een schaalbare vormfactor en uitgebreide connectiviteitsopties biedt het een toegangspoort tot innovatieve oplossingen in robotica, slimme bewaking en zelfs natuurbehoud.
De Jetson Orin Nano Super staat bekend om het bouwen van projecten die AI aan de rand vereisen, of het nu gaat om traditionele robotica-kits met klassieke programmering of om meer geavanceerde opstellingen met frameworks zoals ROS (Robot Operating System). De beschikbaarheid ervan als een complete ontwikkelaarskit en een stand-alone SoC-dochterbord maakt naadloze integratie in een breed scala aan producten en machines mogelijk. Deze veelzijdigheid maakt het populair voor toepassingen die variëren van kleinschalige educatieve projecten tot grootschalige industriële implementaties.
Specificaties Jetson Orin Nano Super Developer Kit
De Jetson Orin Nano Super verpakt indrukwekkende functies in een compacte vormfactor. De 6-core Arm Cortex-A78AE CPU vormt een stevig fundament voor berekeningen, terwijl de 1024-core NVIDIA Ampere GPU met Tensor Cores verschillende workloads versnelt, waaronder deep learning en computer vision-taken. Met 67 TOPS (Tera Operations Per Second) aan AI-prestaties en 8 GB LPDDR5-geheugen met hoge bandbreedte is dit platform ontworpen om complexe bewerkingen aan de edge uit te voeren.
| Specificaties | Details |
|---|---|
| CPU | 6-core Arm Cortex-A78AE v8.2 64-bit CPU, 3 MB L2 + 4 MB L3 |
| GPU | 1024-core NVIDIA Ampere-architectuur GPU met 32 Tensor-cores |
| AI-prestaties | 67 TOPS |
| Geheugen | 8 GB 128-bits LPDDR5 102 GB/s |
| Opbergen | 16 GB eMMC 5.1, microSD, M.2 Key M NVMe SSD-ondersteuning 1x M.2 Key M-slot met x4 PCIe Gen3 1x M.2 Key M-slot met x2 PCIe Gen3 |
| Netwerken | 1x Gigabit Ethernet |
| Display | 1x HDMI, 1x eDP 1.4 |
| Connectiviteit | 4x USB 3.2 Type A-poorten, 1x USB Type C-poort |
| Opgenomen vermogen | DC-barreljack accepteert 7V tot 20V-voeding |
| camera | 2x MIPI CSI-cameraconnectoren |
| Uitbreiding | 40-pins GPIO-uitbreidingsheaders |
| Energieverbruik | 7W – 25W configureerbaar |
| Besturingssysteem | Linux Ubuntu-gebaseerd met NVIDIA JetPack SDK |
| Afmetingen | 103mm x 90.5mm x 34.77mm |
Connectiviteitsopties zijn er in overvloed, waardoor de Nano Super zeer veelzijdig is voor talloze toepassingen. Vier USB 3.2 Type-A-poorten en een USB Type-C-poort stellen u in staat om eenvoudig een reeks randapparatuur aan te sluiten, van externe opslagapparaten tot invoerapparaten of sensoren. De geïntegreerde Gigabit Ethernet zorgt voor betrouwbaar netwerken, terwijl de dubbele MIPI CSI-cameraconnectoren de integratie van twee camera's mogelijk maken. Deze functie is met name gunstig voor toepassingen die dieptewaarneming vereisen, essentieel in robotica en autonome systemen waar nauwkeurige omgevingsmapping van cruciaal belang is.
De opslagcapaciteiten omvatten 16 GB eMMC 5.1, microSD en dual M.2 NVMe SSD-ondersteuning via speciale slots met PCIe Gen3-connectiviteit. Dit biedt voldoende opslag voor besturingssystemen, software en datasets en ondersteunt snelle gegevensoverdrachten die nodig zijn voor realtime-analyses en AI-inferentietaken. Bovendien zorgt de toevoeging van HDMI- en eDP 1.4-interfaces ervoor dat de Nano Super displays ondersteunt, waardoor hij ideaal is voor kioskachtige toepassingen of digitale bewegwijzering.
De Nano Super tot het uiterste drijven: LLM-inferentie aan de rand
Ons werk met de Nano Super was gericht op het verkennen van het potentieel voor het uitvoeren van AI-ontwikkelingstaken, met name inferentie van grote taalmodellen (LLM). We erkenden dat beperkingen van het onboard-geheugen een uitdaging vormen voor het uitvoeren van modellen met miljarden parameters, dus hebben we een innovatieve aanpak geïmplementeerd om deze beperkingen te omzeilen. Normaal gesproken beperkt het grafische geheugen van 8 GB van de Nano Super de capaciteit tot kleinere modellen, maar we wilden een model uitvoeren dat 45 keer groter was dan wat traditioneel zou passen.
We hebben de opslag van de Nano Super geüpgraded door de onlangs gelanceerde Solide D5-P5336 122.88TB SSD, een NVMe-schijf met ultrahoge capaciteit, ontworpen voor datacenteromgevingen, ter ondersteuning van de ambitieuze taak.
De Solide 122TB D5-P5336 SSD is een baanbrekende opslagoplossing voor data-intensieve workloads, met name in AI en datacenters. Hier zijn de gedetailleerde specificaties:
- Inhoud: 122.88TB
- Technologie: Quad-Level Cell (QLC) NAND
- Interface: Gen 4 PCIe x4
- Prestatie: Tot 15% beter bij data-intensieve workloads vergeleken met eerdere modellen
- Form Factor: U.2 Ongeveer de grootte van een kaartspel
- Gebruikers verhalen: Ideaal voor AI-training, gegevensverzameling, media-opname en transcodering
Prestatiestatistieken
- Sequentiële lees- en schrijfsnelheden: Tot 7.1 GB/s (lezen) en 3.3 GB/s (schrijven)
- Willekeurige uitvoering: Tot 1,269,000 IOPS
Levensduurstatistieken
- Uithoudingsvermogen: De Solidigm 122TB SSD is ontworpen voor data-intensieve workloads en biedt een hoge duurzaamheidsclassificatie. U kunt de Solidigm SSD-uithoudingsvermogensschatter om de verwachte levensduur te berekenen op basis van specifieke werklasten.
Vermogensmetriek
- TB per watt=122 TB25 W=4.88 TB/WTB per watt=25 W122 TB=4.88 TB/W. Met deze vermogensmetingen biedt deze schijf ongeveer 4.88 terabyte aan opslag per watt verbruikt vermogen, wat de efficiëntie voor data-intensieve toepassingen benadrukt.
De Nano Super bevat twee M.2 NVMe-bays, die we hebben getest als onderdeel van deze review. Beide slots bieden een PCIe Gen3-verbinding, met een 30mm-slot dat 2 PCIe-lanes ondersteunt en een 80mm-slot dat maar liefst 4 PCIe-lanes ondersteunt. We gebruikten het 80mm-slot in combinatie met een breakout-kabel om de meeste bandbreedte naar de Solidigm D5-P5336 122TB QLC SSD te sturen. Onze USB-C-voedingskabel was nog niet klaar voor de demo, dus gebruikten we een ATX-voeding die 12V en 3.3V leverde aan de U.2-schijf.
Het resultaat was een overpowered storage-oplossing waarmee we enorme modellen konden beheren en de rol van robuuste storage in edge AI-workflows konden benadrukken. Met deze opstelling konden we de meeste populaire modellen van Hugging Face opslaan en meenemen, terwijl we nog steeds voldoende extra ruimte overhielden.
Hoe hebben we DeepSeek R1 70B Distilled, een model dat 45 keer groter is dan verwacht, voor zo'n apparaat laten draaien? Om deze prestatie te bereiken, hebben we LuchtvaartLLM, een project dat modellagen sequentieel in het geheugen laadt als dat nodig is, in plaats van de hele gewichtsset in één keer te laden. Deze laag-voor-laag-aanpak stelde ons in staat om inferentie uit te voeren op een model dat de VRAM-beperkingen van het apparaat ver overschrijdt. Er is een addertje onder het gras: de rekenprestaties. Wat betreft opslagprestaties kon de NVIDIA Orin Nano via de 4-lane PCIe 3-verbinding tot ongeveer 2.5 GB/s halen uit de 122 TB Solidigm D5-P5336 QLC SSD. Met onze inferentiewerklast die op de QLC SSD werkte, schommelden de leessnelheden rond de 1.7 GB/s.
Hoewel we de beperkingen van VRAM succesvol omzeilden, zaten we nog steeds vast met 67 TOPS aan prestaties. Bovendien, naarmate de modelgrootte toeneemt, neemt ook de laaggrootte toe, wat betekent dat de tijd per token toeneemt. Dus gingen we van een paar tokens per seconde met kleinere LLM's, zoals ChatGLM3-6B, naar één per 4.5 minuten met DeepSeek R1 70B Distilled.
Praktische toepassingen van grote opslag en edge AI
Hoewel ons LLM-experiment meer een proof of concept was, heeft het combineren van de Jetson Orin Nano Super en een Solidigm-drive met hoge capaciteit praktische toepassingen. De SODIMM-achtige vormfactor van de Jetson maakt het eenvoudig om te integreren in aangepaste PCB's, waardoor de bevestiging van U.2-drives van enterprise-kwaliteit eenvoudiger en aannemelijker wordt. Deze configuratie is gunstig voor AI-implementaties op lange termijn met een laag stroomverbruik in afgelegen of gevoelige omgevingen.
AI wordt steeds vaker ingezet bij natuurbehoud. In een eerder artikel hebben we besproken hoe AI helpt bij het volgen van egelspopulaties. Op dezelfde manier gebruiken inheemse volkeren in British Columbia AI om vispopulaties te monitoren. Deze installaties moeten vaak jarenlang ongestoord kunnen werken, wat grote opslagcapaciteiten, een laag stroomverbruik en minimale fysieke verstoring van de omgeving vereist. Een op Jetson Orin Nano Super gebaseerde oplossing met een schijf met hoge capaciteit kan aan deze behoeften voldoen met een verbruik van slechts 15 W (of 50 W bij maximale prestaties). Met reservebatterijen en een klein zonnepaneel kan zo'n opstelling de grootte hebben van een standaard bureautelefoon, waardoor deze onopvallend en praktisch is voor langdurig gebruik.
Een ander intrigerend gebruiksvoorbeeld is het gebruik van het systeem als een grote lokale opslagplaats voor modeldistributie. Tijdens het downloaden van honderden modellen van Hugging Face merkten we dat niet alle modellen hetzelfde waren. Populairdere modellen werden sneller gedownload dan oudere of minder populaire modellen. Echter, alle downloads zijn doorgaans erg traag aan de rand, zelfs met Starlink. In dergelijke gevallen zou een pakket als de Nano Super, uitgerust met een extra NIC en een schijf met grote capaciteit, perfect dienen als een cache of tussenopslag om modellen efficiënt te herdistribueren aan de rand.
Ruime toepassingsmogelijkheden
Hier zijn enkele overtuigende use cases voor het benutten van een NVIDIA Jetson-apparaat met aanzienlijke opslagcapaciteit:
- Autonome voertuigen: Opslaan en verwerken van grote hoeveelheden sensor- en cameragegevens in realtime voor navigatie en obstakeldetectie.
- Slimme bewaking:Beheer van videofeeds met een hoge resolutie van meerdere camera's voor beveiligings- en bewakingsdoeleinden, met de mogelijkheid om beelden lokaal op te slaan en te analyseren.
- Gezondheidszorg Diagnostiek: Realtimeverwerking en opslag van medische beeldgegevens voor onmiddellijke diagnose en behandelingsbeslissingen in afgelegen gebieden of gebieden met beperkte middelen.
- Industriële automatie: Verbetering van fabrieksautomatisering met AI-gestuurde kwaliteitscontrole en voorspellend onderhoud, waarbij grote datasets worden opgeslagen voor analyse en modeltraining.
- Detailhandelanalyse: Analyseer klantgedrag en voorraadgegevens in realtime om voorraadniveaus te optimaliseren en de winkelervaring te verbeteren.
- Environmental Monitoring: Het gebruik van AI om ecologische gegevens, zoals lucht- en waterkwaliteit, bij te houden en te analyseren ter ondersteuning van natuurbehoud en initiatieven op het gebied van de volksgezondheid.
- Slimme landbouw: Het monitoren van de gezondheid van gewassen en de bodemgesteldheid met behulp van AI-gestuurde sensoren en camera's om landbouwpraktijken te optimaliseren en de opbrengst te verhogen.
- telecommunicatie:Beheren en verwerken van gegevens bij zendmasten om de netwerkprestaties te verbeteren en de latentie te verminderen.
Conclusie: Zijn plaats vinden in de Jetson-familie
De Jetson Orin Nano Super zit op de sweet spot van NVIDIA's Jetson-reeks en biedt een balans tussen hoge prestaties en energie-efficiëntie voor edge AI-taken. De Jetson-familie varieert van instapmodellen zoals de Jetson Nano, ontworpen voor basis-AI- en roboticatoepassingen, tot de krachtige Jetson AGX Orin, die tot 275 TOPS levert voor veeleisende autonome machinewerklasten. Daartussenin biedt de Jetson Orin Nano Super flexibele prestatie- en vermogensprofielen, die tegemoetkomen aan ontwikkelaars die meer pk's nodig hebben zonder de omvang van een totaal AGX-platform.
De QLC SSD-serie van Solidigm biedt een reeks opslagoplossingen met hoge capaciteit die zijn ontworpen voor leesintensieve workloads. De serie omvat modellen zoals de D5-P5336, met maximaal 122.88 TB aan opslag en kleinere schijfcapaciteiten vanaf 7.68 TB. Deze SSD's zijn geoptimaliseerd voor prestaties, dichtheid en kostenefficiëntie, waardoor ze ideaal zijn voor toepassingen zoals content delivery networks, AI, datapijplijnen en object storage. Met QLC-technologie leveren Solidigm SSD's een aanzienlijke opslagcapaciteit terwijl ze sterke leesprestaties en bewezen betrouwbaarheid behouden.
De Nano Super onderscheidt zich door zijn vermogen om serieuze AI-mogelijkheden naar compacte, energiebeperkte omgevingen te brengen. Terwijl de originele Jetson Nano favoriet was voor hobbyisten en lichtgewicht AI-taken, tilt de Nano Super dit naar een hoger niveau door 67 TOPS te leveren, genoeg om complexe LLM-inferentie en andere veeleisende AI-toepassingen te verwerken. Dit maakt het een aantrekkelijke optie voor ontwikkelaars die geavanceerde AI-modellen aan de rand willen implementeren zonder de overhead van grotere, energieverslindende systemen. Gecombineerd met een QLC-aanbod met hoge capaciteit, zoals de 122TB Solidigm D5-P5336 SSD, kunnen edge-locaties werken met een breed scala aan AI-modellen en zonder capaciteitsbeperkingen die vereisen dat opslag wordt verwisseld nadat deze is ingericht.
De Nano Super kost $249. Hoewel hij duurder is dan een Raspberry Pi, levert hij aanzienlijk betere prestaties en bevat hij alle benodigde componenten. De heatsink, uitgerust met een ventilator, zorgt ervoor dat je op maximaal vermogen kunt werken, zelfs in een slecht geventileerde 3D-geprinte behuizing. Hij wordt ook geleverd met een stroomadapter, waardoor hij ideaal is voor mensen die geïnteresseerd zijn in AI.
StorageReview bedankt het Solidigm-team voor de nieuwe 122TB D5-P5336 SSD. De capaciteit en snelheid van deze drive stelden ons in staat om een groot deel van de tests te voltooien.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
