A la vanguardia de la IA de vanguardia, el Jetson Orin Nano Super Developer Kit de NVIDIA ofrece una solución sólida para aplicaciones de IA fuera del centro de datos tradicional. Es una herramienta potente y asequible para entusiastas y profesionales de la IA.
El Jetson Orin Nano Super es un potente sistema informático compacto que aporta sofisticadas capacidades de inteligencia artificial a los dispositivos periféricos. Combina rendimiento con asequibilidad y sólidas opciones de integración, lo que lo convierte en un candidato ideal para la creación de prototipos y el desarrollo de productos comerciales. Ya sea que se emplee en kits de robótica o se integre en maquinaria más grande, su diseño flexible permite a los ingenieros implementar inteligencia artificial en escenarios que exigen eficiencia y bajo consumo de energía, por solo $249.
La plataforma Jetson está diseñada específicamente para implementaciones de borde, lo que garantiza que los proyectos en entornos con espacio o energía limitados puedan aprovechar el rendimiento de IA de alta gama. Con un factor de forma escalable y amplias opciones de conectividad, proporciona una puerta de entrada a soluciones innovadoras en robótica, vigilancia inteligente e incluso conservación de la vida silvestre.
La Jetson Orin Nano Super es conocido por desarrollar proyectos que requieren IA en el borde, ya sea en kits de robótica tradicionales que utilizan programación clásica o en configuraciones más avanzadas que incluyen marcos como ROS (sistema operativo para robots). Su disponibilidad como kit de desarrollo completo y placa hija SoC independiente permite una integración perfecta en una amplia gama de productos y maquinaria. Esta versatilidad lo hace popular para aplicaciones que van desde proyectos educativos a pequeña escala hasta implementaciones industriales a gran escala.
Especificaciones del kit de revelador Jetson Orin Nano Super
El Jetson Orin Nano Super reúne características impresionantes en un formato compacto. La CPU Arm Cortex-A6AE de 78 núcleos crea una base sólida para la computación, mientras que la GPU NVIDIA Ampere de 1024 núcleos con núcleos Tensor acelera varias cargas de trabajo, incluidas las tareas de aprendizaje profundo y visión artificial. Con 67 TOPS (teraoperaciones por segundo) de rendimiento de IA y memoria LPDDR8 de 5 GB de alto ancho de banda, esta plataforma está diseñada para realizar operaciones complejas en el borde.
| Especificaciones | Detalles |
|---|---|
| CPU | CPU Arm Cortex-A6AE v78 de 8.2 bits de 64 núcleos, 3 MB L2 + 4 MB L3 |
| GPU | GPU con arquitectura NVIDIA Ampere de 1024 núcleos y 32 núcleos Tensor |
| Rendimiento de IA | 67 TOPS |
| Salud Cerebral | LPDDR8 de 128 GB y 5 bits, 102 GB/s |
| Storage | Compatibilidad con SSD NVMe de 16 GB, eMMC 5.1, microSD y M.2 Key 1 ranura M.2 Key M con 4 PCIe Gen3 1 ranura M.2 Key M con 2 PCIe Gen3 |
| Networking | 1x Gigabit Ethernet |
| Pantalla | 1 HDMI, 1 eDP 1.4 |
| Conectividad | 4 puertos USB 3.2 tipo A, 1 puerto USB tipo C |
| Entrada de energía | El conector cilíndrico de CC acepta alimentación de 7 V a 20 V |
| Cámara | 2 conectores de cámara MIPI CSI |
| Expansión | Cabeceras de expansión GPIO de 40 pines |
| Consumo de energía | 7W – 25W configurable |
| Sistema operativo | Basado en Linux Ubuntu con NVIDIA JetPack SDK |
| Dimensiones | 103mm x x 90.5mm 34.77mm |
Las opciones de conectividad son abundantes, lo que hace que el Nano Super sea muy versátil para numerosas aplicaciones. Cuatro puertos USB 3.2 Tipo-A y un puerto USB Tipo-C le permiten conectar fácilmente una variedad de periféricos, desde dispositivos de almacenamiento externos hasta dispositivos de entrada o sensores. El Gigabit Ethernet integrado garantiza una red confiable, mientras que los conectores de cámara MIPI CSI duales permiten la integración de dos cámaras. Esta característica es particularmente beneficiosa para aplicaciones que requieren percepción de profundidad, esencial en robótica y sistemas autónomos donde el mapeo ambiental preciso es fundamental.
Las capacidades de almacenamiento incluyen 16 GB eMMC 5.1, microSD y compatibilidad con dos SSD NVMe M.2 a través de ranuras dedicadas con conectividad PCIe Gen3. Esto proporciona un amplio almacenamiento para sistemas operativos, software y conjuntos de datos y admite transferencias de datos de alta velocidad necesarias para análisis en tiempo real y tareas de inferencia de IA. Además, la inclusión de interfaces HDMI y eDP 1.4 permite que el Nano Super admita pantallas, lo que lo hace ideal para aplicaciones tipo quiosco o señalización digital.
Llevando el Nano Super hasta sus límites: Inferencia LLM al límite
Nuestro trabajo con Nano Super se centró en explorar su potencial para realizar tareas de desarrollo de IA, específicamente la inferencia de modelos de lenguaje grandes (LLM). Reconocimos que las limitaciones de la memoria integrada dificultan la ejecución de modelos con miles de millones de parámetros, por lo que implementamos un enfoque innovador para evitar estas restricciones. Por lo general, la memoria gráfica de 8 GB de Nano Super restringe su capacidad a modelos más pequeños, pero nuestro objetivo era ejecutar un modelo 45 veces más grande de lo que cabría tradicionalmente.
Actualizamos el almacenamiento del Nano Super integrando el recién lanzado Unidad de estado sólido Solidigm D5-P5336 de 122.88 TB, una unidad NVMe de capacidad ultra alta diseñada para entornos de centros de datos, para respaldar la ambiciosa tarea.
La SSD Solidigm D122-P5 de 5336 TB es una solución de almacenamiento innovadora para cargas de trabajo con uso intensivo de datos, en particular en IA y centros de datos. Estas son las especificaciones detalladas:
- Capacidad: 122.88 TB
- Tecnología: Celda de cuatro niveles (QLC) NAND
- Fácil de usar: PCIe x4 de 4.ª generación
- Performance:Hasta un 15 % mejor en cargas de trabajo con uso intensivo de datos en comparación con los modelos anteriores
- Factor de forma:U.2 Aproximadamente del tamaño de una baraja de cartas.
- Casos de uso:Ideal para entrenamiento de IA, recopilación de datos, captura de medios y transcodificación.
Métricas de rendimiento
- Velocidad de lectura / escritura secuencial:Hasta 7.1 GB/s (lectura) y 3.3 GB/s (escritura)
- Rendimiento aleatorio:Hasta 1,269,000 IOPS
Métricas de vida útil
- Trabajadora:El SSD Solidigm de 122 TB está diseñado para cargas de trabajo con uso intensivo de datos y ofrece una alta resistencia. Puede utilizar el Calculadora de resistencia de SSD Solidigm para calcular la vida útil esperada en función de cargas de trabajo específicas.
Métricas de potencia
- TB por vatio=122 TB25 W=4.88 TB/WTB por vatio=25 W122 TB=4.88 TB/W. Con estas métricas de potencia, esta unidad ofrece aproximadamente 4.88 terabytes de almacenamiento por vatio de potencia consumida, lo que destaca su eficiencia para aplicaciones con uso intensivo de datos.
El Nano Super incluye dos bahías M.2 NVMe, que probamos como parte de esta revisión. Ambas ranuras ofrecen una conexión PCIe Gen3, con una ranura de 30 mm que admite 2 carriles PCIe y una ranura de 80 mm que admite 4 carriles PCIe completos. Usamos la ranura de 80 mm emparejada con un cable de conexión para impulsar el mayor ancho de banda al SSD Solidigm D5-P5336 122TB QLC. Nuestro cable de alimentación USB-C no estaba listo para la demostración, por lo que usamos una fuente de alimentación ATX que proporcionó 12 V y 3.3 V a la unidad U.2.
El resultado fue una solución de almacenamiento muy potente que nos permitió gestionar modelos masivos y destacó el papel del almacenamiento robusto en los flujos de trabajo de inteligencia artificial de borde. Esta configuración nos permitió almacenar y transportar la mayoría de los modelos populares de Hugging Face y, al mismo tiempo, conservar un amplio espacio adicional.
¿Cómo hicimos para ejecutar DeepSeek R1 70B Distilled, un modelo 45 veces más grande de lo esperado, para un dispositivo de este tipo? Para lograr esta hazaña, utilizamos AirLLM, un proyecto que carga secuencialmente capas de modelos en la memoria según sea necesario en lugar de cargar todo el conjunto de pesos a la vez. Este enfoque capa por capa nos permitió realizar inferencias en un modelo que supera con creces las limitaciones de VRAM del dispositivo. Hay un problema: el rendimiento informático. En términos de rendimiento de almacenamiento, a través de la conexión PCIe 4 de 3 carriles, NVIDIA Orin Nano pudo extraer hasta aproximadamente 2.5 GB/s del SSD QLC Solidigm D122-P5 de 5336 TB. Con nuestra carga de trabajo de inferencia operando desde el SSD QLC, las velocidades de lectura rondaron los 1.7 GB/s.
Aunque superamos con éxito las limitaciones de la VRAM, todavía nos quedamos con 67 TOPS de rendimiento. Además, a medida que aumenta el tamaño del modelo, también lo hace el tamaño de la capa, lo que significa que aumenta el tiempo por token. Por lo tanto, pasamos de un par de tokens por segundo con LLM más pequeños, como ChatGLM3-6B, a uno cada 4.5 minutos con DeepSeek R1 70B Distilled.
Aplicaciones prácticas de la inteligencia artificial de borde y de almacenamiento a gran escala
Si bien nuestro experimento LLM fue más una prueba de concepto, la combinación del Jetson Orin Nano Super y una unidad Solidigm de alta capacidad tiene aplicaciones prácticas. El factor de forma similar a SODIMM del Jetson facilita la integración en PCB personalizadas, lo que hace que la conexión de unidades U.2 de nivel empresarial sea más sencilla y plausible. Esta configuración beneficia las implementaciones de IA de bajo consumo a largo plazo en entornos remotos o sensibles.
La IA se utiliza cada vez más en la conservación de la vida silvestre. En un artículo anterior, analizamos cómo la IA está ayudando a rastrear las poblaciones de erizos.De manera similar, las naciones indígenas de la Columbia Británica están utilizando la IA para monitorear las poblaciones de peces. Estas instalaciones a menudo necesitan funcionar sin interrupciones durante años, lo que requiere grandes capacidades de almacenamiento, bajo consumo de energía y una alteración física mínima del entorno. Una solución basada en Jetson Orin Nano Super con una unidad de alta capacidad puede satisfacer estas necesidades mientras consume tan solo 15 W (o 50 W con el máximo rendimiento). Con baterías de respaldo y un pequeño panel solar, una instalación de este tipo puede tener el tamaño de un teléfono de escritorio estándar, lo que la hace sencilla y práctica para un uso a largo plazo.
Otro caso de uso interesante es el uso del sistema como un gran repositorio local para la distribución de modelos. Al descargar cientos de modelos de Hugging Face, notamos que no todos los modelos eran iguales. Los modelos más populares se descargaban más rápido que los más antiguos o menos populares. Sin embargo, todas las descargas suelen ser muy lentas en el borde, incluso con Starlink. En tales casos, un paquete como Nano Super, equipado con una NIC adicional y una unidad de gran capacidad, serviría perfectamente como caché o almacenamiento intermedio para redistribuir modelos de manera eficiente en el borde.
Amplios casos de uso
A continuación se presentan casos de uso atractivos para aprovechar un dispositivo NVIDIA Jetson con una capacidad de almacenamiento sustancial:
- Vehículos autónomos:Almacenamiento y procesamiento de grandes cantidades de datos de sensores y cámaras en tiempo real para navegación y detección de obstáculos.
- Vigilancia Inteligente:Administración de transmisiones de video de alta resolución desde múltiples cámaras para fines de seguridad y monitoreo, con la capacidad de almacenar y analizar imágenes localmente.
- Diagnóstico sanitario:Procesamiento y almacenamiento en tiempo real de datos de imágenes médicas para diagnósticos inmediatos y decisiones de tratamiento en entornos remotos o con recursos limitados.
- Automatización Industrial:Mejora de la automatización de fábricas con control de calidad impulsado por IA y mantenimiento predictivo, almacenando grandes conjuntos de datos para análisis y entrenamiento de modelos.
- Análisis minorista:Analizar el comportamiento del cliente y los datos de inventario en tiempo real para optimizar los niveles de stock y mejorar la experiencia de compra.
- Monitoreo Ambiental:Uso de IA para rastrear y analizar datos ecológicos, como la calidad del aire y del agua, para apoyar los esfuerzos de conservación y las iniciativas de salud pública.
- Agricultura inteligente:Monitoreo de la salud de los cultivos y las condiciones del suelo utilizando sensores y cámaras impulsados por IA para optimizar las prácticas agrícolas y aumentar el rendimiento.
- Telecomunicaciones:Gestión y procesamiento de datos en torres de telefonía celular para mejorar el rendimiento de la red y reducir la latencia.
Conclusión: Encontrando su lugar en la familia Jetson
El Jetson Orin Nano Super se encuentra en el punto óptimo de la línea Jetson de NVIDIA, ya que ofrece un equilibrio entre alto rendimiento y eficiencia energética para tareas de inteligencia artificial de vanguardia. La familia Jetson abarca desde modelos de nivel de entrada como el Jetson Nano, diseñado para aplicaciones básicas de inteligencia artificial y robótica, hasta el potente Jetson AGX Orin, que ofrece hasta 275 TOPS para cargas de trabajo exigentes de máquinas autónomas. Entre ambos, el Jetson Orin Nano Super ofrece perfiles de potencia y rendimiento flexibles, que satisfacen las necesidades de los desarrolladores que necesitan más potencia sin el volumen de una plataforma AGX total.
La línea de SSD QLC de Solidigm ofrece una gama de soluciones de almacenamiento de alta capacidad diseñadas para cargas de trabajo de lectura intensiva. La línea incluye modelos como el D5-P5336, con hasta 122.88 TB de almacenamiento y capacidades de unidad más pequeñas a partir de 7.68 TB. Estos SSD están optimizados para el rendimiento, la densidad y la rentabilidad, lo que los hace ideales para aplicaciones como redes de distribución de contenido, IA, canalizaciones de datos y almacenamiento de objetos. Con la tecnología QLC, los SSD de Solidigm ofrecen una capacidad de almacenamiento sustancial al tiempo que mantienen un sólido rendimiento de lectura y una confiabilidad comprobada.
La capacidad del Nano Super de brindar capacidades de IA serias a entornos compactos y con limitaciones de energía lo hace destacar. Si bien el Jetson Nano original era el favorito de los aficionados y las tareas de IA livianas, el Nano Super lo eleva al ofrecer 67 TOPS, suficiente para manejar inferencias LLM complejas y otras aplicaciones de IA exigentes. Esto lo convierte en una opción atractiva para los desarrolladores que buscan implementar modelos de IA sofisticados en el borde sin la sobrecarga de sistemas más grandes y que consumen más energía. Junto con una oferta QLC de alta capacidad, como el SSD Solidigm D122-P5 de 5336 TB, permite que las ubicaciones de borde funcionen con una amplia gama de modelos de IA y sin restricciones de capacidad que requieran que se intercambie el almacenamiento una vez aprovisionado.
El Nano Super cuesta 249 dólares. Aunque es más caro que un Raspberry Pi, ofrece un rendimiento significativamente mejor e incluye todos los componentes necesarios. El disipador de calor, equipado con un ventilador, le permite operar a máxima potencia incluso en una carcasa impresa en 3D con poca ventilación. También viene con un adaptador de corriente, lo que lo hace ideal para aquellos interesados en la IA.
StorageReview agradece al equipo de Solidigm por el nuevo SSD D122-P5 de 5336 TB. La capacidad y la velocidad de esta unidad nos permitieron completar gran parte de las pruebas.
Unidad de estado sólido Solidigm D5-P5336
Interactuar con StorageReview
Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | @TikTok | RSS Feed
