À la pointe de l'IA de pointe, le kit de développement Jetson Orin Nano Super de NVIDIA offre une solution robuste pour les applications d'IA en dehors du centre de données traditionnel. Il s'agit d'un outil puissant et abordable pour les passionnés et les professionnels de l'IA.
Le Jetson Orin Nano Super est une centrale de calcul compacte qui apporte des capacités d'IA sophistiquées aux appareils de pointe. Il allie performances, prix abordable et options d'intégration solides, ce qui en fait un candidat idéal pour le prototypage et le développement de produits commerciaux. Qu'il soit utilisé dans des kits robotiques ou intégré dans des machines plus grandes, sa conception flexible permet aux ingénieurs de déployer l'IA dans des scénarios qui exigent efficacité et faible consommation d'énergie - pour seulement 249 $.
La plateforme Jetson est spécialement conçue pour les déploiements en périphérie, garantissant que les projets dans des environnements avec un espace ou une puissance limités puissent toujours exploiter les performances de l'IA haut de gamme. Avec un format évolutif et des options de connectivité étendues, elle offre une passerelle vers des solutions innovantes en matière de robotique, de surveillance intelligente et même de conservation de la faune.
La Jetson Orin Nano Super est bien connu pour la création de projets nécessitant une IA de pointe, que ce soit dans des kits robotiques traditionnels utilisant une programmation classique ou dans des configurations plus avancées avec des frameworks comme ROS (Robot Operating System). Sa disponibilité sous forme de kit de développement complet et de carte fille SoC autonome permet une intégration transparente dans une large gamme de produits et de machines. Cette polyvalence le rend populaire pour des applications allant des projets éducatifs à petite échelle aux déploiements industriels à grande échelle.
Spécifications du kit de développement Jetson Orin Nano Super
Le Jetson Orin Nano Super intègre des fonctionnalités impressionnantes dans un format compact. Le processeur Arm Cortex-A6AE à 78 cœurs constitue une base solide pour le calcul, tandis que le GPU NVIDIA Ampere à 1024 cœurs avec Tensor Cores accélère diverses charges de travail, notamment les tâches d'apprentissage profond et de vision par ordinateur. Avec 67 TOPS (Tera Operations Per Second) de performances d'IA et une mémoire LPDDR8 à large bande passante de 5 Go, cette plate-forme est conçue pour effectuer des opérations complexes en périphérie.
| Spécification | Plus de détails |
|---|---|
| Processeur | Processeur Arm Cortex-A6AE v78 8.2 bits à 64 cœurs, 3 Mo L2 + 4 Mo L3 |
| GPU | GPU d'architecture NVIDIA Ampere à 1024 cœurs avec 32 cœurs Tensor |
| Performances de l'IA | 67 TOPS |
| Mémoire | 8 Go 128 bits LPDDR5 102 Go/s |
| Stockage | Prise en charge SSD NVMe 16 Go eMMC 5.1, microSD, M.2 Key M 1x emplacement M.2 Key M avec x4 PCIe Gen3 1x emplacement M.2 Key M avec x2 PCIe Gen3 |
| Networking | Gigabit Ethernet 1x |
| Présentoir | 1x HDMI, 1x eDP 1.4 |
| Connectivité | 4 ports USB 3.2 de type A, 1 port USB de type C |
| Alimentation | La prise jack cylindrique CC accepte une alimentation de 7 V à 20 V |
| Appareil photo | 2x connecteurs de caméra MIPI CSI |
| Expansion | Connecteurs d'extension GPIO à 40 broches |
| Consommation d'énergie | 7W – 25W configurable |
| Système d'exploitation | Linux basé sur Ubuntu avec NVIDIA JetPack SDK |
| Dimensions | 103mm x x 90.5mm 34.77mm |
Les options de connectivité sont nombreuses, ce qui rend le Nano Super extrêmement polyvalent pour de nombreuses applications. Quatre ports USB 3.2 Type-A et un port USB Type-C vous permettent de connecter facilement une gamme de périphériques, des périphériques de stockage externes aux périphériques d'entrée ou aux capteurs. Le Gigabit Ethernet intégré garantit une mise en réseau fiable, tandis que les deux connecteurs de caméra MIPI CSI permettent l'intégration de deux caméras. Cette fonctionnalité est particulièrement avantageuse pour les applications nécessitant une perception de la profondeur, essentielle dans la robotique et les systèmes autonomes où une cartographie environnementale précise est essentielle.
Les capacités de stockage incluent 16 Go de mémoire eMMC 5.1, une carte microSD et un double SSD M.2 NVMe via des emplacements dédiés avec connectivité PCIe Gen3. Cela offre un espace de stockage suffisant pour les systèmes d'exploitation, les logiciels et les ensembles de données et prend en charge les transferts de données à haut débit nécessaires aux analyses en temps réel et aux tâches d'inférence d'IA. De plus, l'inclusion d'interfaces HDMI et eDP 1.4 permet au Nano Super de prendre en charge les écrans, ce qui le rend idéal pour les applications de type kiosque ou l'affichage numérique.
Pousser le nano-super à ses limites : LLM Inference at the Edge
Notre travail avec le Nano Super s'est concentré sur l'exploration de son potentiel pour effectuer des tâches de développement d'IA, en particulier l'inférence de modèles de langage volumineux (LLM). Nous avons reconnu que les limitations de la mémoire embarquée compliquaient l'exécution de modèles avec des milliards de paramètres, nous avons donc mis en œuvre une approche innovante pour contourner ces contraintes. En règle générale, les 8 Go de mémoire graphique du Nano Super limitent ses capacités à des modèles plus petits, mais nous avons cherché à exécuter un modèle 45 fois plus grand que ce qui conviendrait traditionnellement.
Nous avons mis à niveau le stockage du Nano Super en intégrant le nouveau Disque SSD Solidigm D5-P5336 122.88 To, un disque NVMe ultra-haute capacité conçu pour les environnements de centre de données, pour prendre en charge cette tâche ambitieuse.
La Disque SSD Solidigm D122-P5 de 5336 To est une solution de stockage révolutionnaire pour les charges de travail gourmandes en données, notamment dans les centres de données et l'IA. Voici les spécifications détaillées :
- Capacités: 122.88TB
- Technologie:NAND à quatre niveaux (QLC)
- Interface: PCIe x4 de 4e génération
- Performance:Jusqu'à 15 % d'amélioration sur les charges de travail gourmandes en données par rapport aux modèles précédents
- Facteur de forme:U.2 Environ la taille d'un jeu de cartes
- Cas d'usage:Idéal pour la formation de l'IA, la collecte de données, la capture multimédia et le transcodage
Indicateurs de performance
- Vitesse de lecture / écriture séquentielle:Jusqu'à 7.1 Go/s (lecture) et 3.3 Go/s (écriture)
- Performances aléatoires:Jusqu'à 1,269,000 XNUMX XNUMX IOPS
Mesures de la durée de vie
- Endurance:Le SSD Solidigm 122 To est conçu pour les charges de travail gourmandes en données et offre une endurance élevée. Vous pouvez utiliser le Estimateur d'endurance SSD Solidigm pour calculer la durée de vie prévue en fonction de charges de travail spécifiques.
Mesures de puissance
- To par watt=122 To25 W=4.88 To/WTo par watt=25 W122 To=4.88 To/W. Avec ces mesures de puissance, ce disque offre environ 4.88 téraoctets de stockage par watt d'énergie consommée, soulignant son efficacité pour les applications gourmandes en données.
Le Nano Super comprend deux baies NVMe M.2, que nous avons testées dans le cadre de cette évaluation. Les deux emplacements offrent une connexion PCIe Gen3, avec un emplacement de 30 mm prenant en charge 2 voies PCIe et un emplacement de 80 mm prenant en charge 4 voies PCIe complètes. Nous avons utilisé l'emplacement de 80 mm associé à un câble de dérivation pour fournir la plus grande bande passante au SSD QLC Solidigm D5-P5336 122 To. Notre câble d'alimentation USB-C n'était pas prêt pour la démonstration, nous avons donc utilisé une alimentation ATX qui fournissait 12 V et 3.3 V au lecteur U.2.
Le résultat a été une solution de stockage surpuissante qui nous a permis de gérer des modèles massifs et a mis en évidence le rôle d'un stockage robuste dans les flux de travail d'IA de pointe. Cette configuration nous a permis de stocker et de transporter la plupart des modèles populaires de Hugging Face tout en conservant un espace supplémentaire suffisant.
Comment avons-nous fait fonctionner DeepSeek R1 70B Distilled, un modèle 45 fois plus grand que prévu, pour un tel appareil ? Pour réaliser cet exploit, nous avons utilisé AirLLM, un projet qui charge séquentiellement les couches de modèles dans la mémoire selon les besoins plutôt que de charger l'ensemble des poids en une seule fois. Cette approche couche par couche nous a permis d'effectuer des inférences sur un modèle qui dépasse de loin les limitations de la VRAM de l'appareil. Il y a un hic : les performances de calcul. En termes de performances de stockage, via la connexion PCIe 4 à 3 voies, le NVIDIA Orin Nano pouvait extraire jusqu'à environ 2.5 Go/s du SSD QLC Solidigm D122-P5 de 5336 To. Avec notre charge de travail d'inférence fonctionnant sur le SSD QLC, les vitesses de lecture oscillaient autour de 1.7 Go/s.
Même si nous avons réussi à contourner les limitations de la VRAM, nous étions toujours bloqués avec 67 TOPS de performances. De plus, à mesure que la taille du modèle augmente, la taille de la couche augmente également, ce qui signifie que le temps par jeton augmente. Nous sommes donc passés de quelques jetons par seconde avec des LLM plus petits, tels que ChatGLM3-6B, à un toutes les 4.5 minutes avec DeepSeek R1 70B Distilled.
Applications pratiques du stockage à grande échelle et de l'IA de pointe
Bien que notre expérience LLM ait davantage consisté en une démonstration de faisabilité, la combinaison du Jetson Orin Nano Super et d'un disque Solidigm haute capacité a des applications pratiques. Le format SODIMM du Jetson facilite son intégration dans des circuits imprimés personnalisés, ce qui rend la connexion de disques U.2 de qualité professionnelle plus simple et plus plausible. Cette configuration est avantageuse pour les déploiements d'IA à long terme et à faible consommation d'énergie dans des environnements distants ou sensibles.
L’IA est de plus en plus utilisée dans la conservation de la faune sauvage. Dans un article précédent, nous avons discuté de la manière dont l’IA aide à suivre les populations de hérissons. De même, les nations autochtones de Colombie-Britannique utilisent l’IA pour surveiller les populations de poissons. Ces installations doivent souvent fonctionner sans interruption pendant des années, ce qui nécessite de grandes capacités de stockage, une faible consommation d’énergie et une perturbation physique minimale de l’environnement. Une solution basée sur Jetson Orin Nano Super avec un lecteur haute capacité peut répondre à ces besoins tout en consommant seulement 15 W (ou 50 W à performance maximale). Avec des batteries de secours et un petit panneau solaire, une telle configuration peut avoir la taille d’un téléphone de bureau standard, ce qui la rend discrète et pratique pour une utilisation à long terme.
Un autre cas d’utilisation intéressant est l’utilisation du système comme un grand référentiel local pour la distribution de modèles. En téléchargeant des centaines de modèles depuis Hugging Face, nous avons remarqué que tous les modèles n’étaient pas identiques. Les modèles les plus populaires étaient téléchargés plus rapidement que les modèles plus anciens ou moins populaires. Cependant, tous les téléchargements sont généralement très lents en périphérie, même avec Starlink. Dans de tels cas, un package comme le Nano Super, équipé d’une carte réseau supplémentaire et d’un lecteur de grande capacité, servirait parfaitement de cache ou de magasin intermédiaire pour redistribuer efficacement les modèles en périphérie.
De nombreux cas d'utilisation
Voici quelques cas d’utilisation convaincants pour tirer parti d’un périphérique NVIDIA Jetson doté d’une capacité de stockage substantielle :
- Véhicules autonomes:Stockage et traitement de grandes quantités de données de capteurs et de caméras en temps réel pour la navigation et la détection d'obstacles.
- Surveillance intelligente:Gestion de flux vidéo haute résolution provenant de plusieurs caméras à des fins de sécurité et de surveillance, avec la possibilité de stocker et d'analyser les séquences localement.
- Diagnostic de santé:Traitement et stockage en temps réel des données d’imagerie médicale pour des diagnostics immédiats et des décisions de traitement dans des environnements éloignés ou aux ressources limitées.
- Automation Industriel :Amélioration de l'automatisation de l'usine avec un contrôle qualité et une maintenance prédictive pilotés par l'IA, stockage de grands ensembles de données pour l'analyse et la formation des modèles.
- Analyse de la vente au détail:Analyser le comportement des clients et les données d'inventaire en temps réel pour optimiser les niveaux de stock et améliorer l'expérience d'achat.
- Surveillance de l'environnement:Utiliser l’IA pour suivre et analyser les données écologiques, telles que la qualité de l’air et de l’eau, afin de soutenir les efforts de conservation et les initiatives de santé publique.
- Agriculture intelligente:Surveillance de la santé des cultures et des conditions du sol à l'aide de capteurs et de caméras alimentés par l'IA pour optimiser les pratiques agricoles et augmenter le rendement.
- Télécommunications:Gestion et traitement des données dans les tours de téléphonie mobile pour améliorer les performances du réseau et réduire la latence.
Conclusion : Trouver sa place dans la famille Jetson
Le Jetson Orin Nano Super se situe au cœur de la gamme Jetson de NVIDIA, offrant un équilibre entre hautes performances et efficacité énergétique pour les tâches d'IA de pointe. La famille Jetson s'étend des modèles d'entrée de gamme comme le Jetson Nano, conçu pour les applications d'IA et de robotique de base, au puissant Jetson AGX Orin, qui fournit jusqu'à 275 TOPS pour les charges de travail exigeantes des machines autonomes. Entre les deux, le Jetson Orin Nano Super offre des profils de performances et de puissance flexibles, répondant aux besoins des développeurs ayant besoin de plus de puissance sans l'encombrement d'une plate-forme AGX totale.
La gamme de disques SSD QLC de Solidigm propose une gamme de solutions de stockage haute capacité conçues pour les charges de travail à lecture intensive. La gamme comprend des modèles comme le D5-P5336, avec jusqu'à 122.88 To de stockage et des capacités de disque plus petites à partir de 7.68 To. Ces disques SSD sont optimisés pour les performances, la densité et la rentabilité, ce qui les rend idéaux pour des applications telles que les réseaux de diffusion de contenu, l'IA, les pipelines de données et le stockage d'objets. Grâce à la technologie QLC, les disques SSD Solidigm offrent une capacité de stockage substantielle tout en maintenant de solides performances de lecture et une fiabilité éprouvée.
La capacité du Nano Super à intégrer des capacités d'IA sérieuses dans des environnements compacts et à faible consommation d'énergie le distingue des autres. Alors que le Jetson Nano d'origine était un favori pour les amateurs et les tâches d'IA légères, le Nano Super élève ce niveau en offrant 67 TOPS, suffisamment pour gérer des inférences LLM complexes et d'autres applications d'IA exigeantes. Cela en fait une option intéressante pour les développeurs qui cherchent à déployer des modèles d'IA sophistiqués en périphérie sans la surcharge de systèmes plus volumineux et plus gourmands en énergie. Associé à une offre QLC haute capacité, comme le SSD Solidigm D122-P5 de 5336 To, il permet aux emplacements périphériques de fonctionner avec une large gamme de modèles d'IA et sans contraintes de capacité nécessitant un échange de stockage une fois provisionné.
Le Nano Super coûte 249 $. Bien qu'il soit plus cher qu'un Raspberry Pi, il offre des performances nettement supérieures et comprend tous les composants nécessaires. Le dissipateur thermique, équipé d'un ventilateur, permet de fonctionner à puissance maximale même dans un boîtier imprimé en 3D mal ventilé. Il est également livré avec un adaptateur secteur, ce qui le rend idéal pour ceux qui s'intéressent à l'IA.
StorageReview remercie l'équipe Solidigm pour le nouveau SSD D122-P5 de 5336 To. La capacité et la vitesse de ce disque nous ont permis de réaliser une grande partie des tests.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
