La arquitectura NVIDIA Hopper ocupó un lugar central durante NVIDIA GTC con el objetivo de impulsar la próxima ola de centros de datos de IA. Nombrada en honor a Grace Hopper, una científica informática pionera de EE. UU., la plataforma informática acelerada de última generación ofrece un rendimiento de orden de magnitud con respecto a su predecesora, NVIDIA Ampere.
La arquitectura NVIDIA Hopper ocupó un lugar central durante NVIDIA GTC con el objetivo de impulsar la próxima ola de centros de datos de IA. Nombrada en honor a Grace Hopper, una científica informática pionera de EE. UU., la plataforma informática acelerada de última generación ofrece un rendimiento de orden de magnitud con respecto a su predecesora, NVIDIA Ampere.
NVIDIA también anunció su primera GPU basada en Hopper, la NVIDIA H100, equipada con 80 mil millones de transistores. Promocionado como el acelerador más grande y poderoso del mundo, el H100 cuenta con un motor de transformador y una interconexión NVIDIA NVLink altamente escalable para avanzar en modelos de lenguaje de IA gigantescos, sistemas de recomendación profundos, genómica y gemelos digitales complejos.
“Los centros de datos se están convirtiendo en fábricas de inteligencia artificial: procesan y refinan montañas de datos para producir inteligencia”, dijo Jensen Huang, fundador y director ejecutivo de NVIDIA. “NVIDIA H100 es el motor de la infraestructura de IA del mundo que las empresas utilizan para acelerar sus negocios impulsados por IA”.
Tecnología H100
Creado con un proceso TSMC 4N de última generación diseñado para las necesidades informáticas aceleradas de NVIDIA, el H100 presenta avances significativos para acelerar la IA, HPC, el ancho de banda de la memoria, la interconexión y la comunicación, incluida una conectividad externa de casi 5 TB/s. Hopper H100 es la primera GPU compatible con PCIe Gen5 y utiliza HBM3 (memoria de alto ancho de banda 3) que permite 3 TB/s de ancho de banda de memoria. Veinte GPU H100 pueden soportar el equivalente al tráfico de Internet de todo el mundo, lo que permite a los clientes ofrecer sistemas de recomendación avanzados y grandes modelos de lenguaje que ejecutan inferencias sobre datos en tiempo real.
La elección para el procesamiento del lenguaje natural, el motor de transformadores es uno de los modelos de aprendizaje profundo más importantes jamás inventados. El Transformer Engine del acelerador H100 está diseñado para acelerar estas redes hasta 6 veces en comparación con la generación anterior sin perder precisión.
Con la tecnología GPU de múltiples instancias (MIG), la arquitectura Hopper permite dividir una sola GPU en siete instancias más pequeñas y completamente aisladas para manejar diferentes tipos de trabajos. Al ampliar las capacidades MIG hasta 7 veces con respecto a la generación anterior, la arquitectura Hopper ofrece configuraciones seguras de múltiples inquilinos en entornos de nube en cada instancia de GPU.
El H100 es el primer acelerador del mundo con capacidades informáticas confidenciales para proteger los modelos de IA y los datos de los clientes durante el procesamiento. Los clientes también pueden aplicar la computación confidencial al aprendizaje federado para industrias sensibles a la privacidad, como la atención médica, los servicios financieros y las infraestructuras de nube compartida.
NVIDIA NVLink de cuarta generación se combina con un nuevo conmutador NVLink externo que lo amplía como una red ampliable más allá del servidor, conectando hasta 4 GPU H256 con un ancho de banda 100 veces mayor en comparación con la generación anterior que usa NVIDIA HDR Quantum InfiniBand.
NVIDIA H100 se puede implementar en prácticamente todos los centros de datos, incluidos los locales, la nube, la nube híbrida y el borde, y se espera que esté disponible a finales de este año.
Sistema DGX H100
NVIDIA anunció el sistema DGX de cuarta generación, DGX H100, que cuenta con ocho GPU H100 que ofrecen 32 petaflops de rendimiento de IA con la nueva precisión FP8, proporcionando la escala para cumplir con los requisitos informáticos masivos de modelos de lenguaje grandes, sistemas de recomendación, investigación de atención médica y ciencia del clima. .
Cada sistema DGX H100 incluye ocho GPU H100, conectadas como una sola mediante NVLink de cuarta generación, que ofrece una conectividad de 900 GB/s, un aumento de 1.5 veces más que la generación anterior. NVLink de NVIDIA es una interconexión de GPU a GPU de baja latencia y sin pérdidas que incluye características de resiliencia, como detección de errores a nivel de enlace y mecanismos de reproducción de paquetes para garantizar una entrega de datos exitosa.
Además del NVLink de cuarta generación, el H100 también presenta la nueva interconexión de red NVLink. Esta versión escalable de NVLink permite la comunicación de GPU a GPU de hasta 256 GPU en múltiples nodos de cómputo. NVIDIA también presentó la tecnología NVSwitch de tercera generación que incluye conmutadores tanto dentro como fuera de los nodos para conectar varias GPU en servidores, clústeres y entornos de centros de datos. Un nodo con el nuevo NVSwitch proporciona 64 puertos de NVLinks para acelerar la conectividad multi-GPU, casi duplicando el rendimiento total del conmutador de 7.2 Tbits/s a 13.6 Tbits/s. NVSwitch permite que las ocho GPU H100 se conecten a través de NVLink. Un conmutador NVLink externo puede conectar en red hasta 32 nodos DGX H100 en las supercomputadoras NVIDIA DGX SuperPOD de última generación.
Superchip de CPU Grace
NVIDIA anunció Grace CPU Superchip, con 144 núcleos Arm en un solo zócalo. Esta es la primera CPU de centro de datos discreta basada en Arm Neoverse diseñada para infraestructura de inteligencia artificial y computación de alto rendimiento, que ofrece el doble de ancho de banda de memoria y eficiencia energética.
El subsistema de memoria consta de memoria LPDDR5x con código de corrección de errores para equilibrar la velocidad y el consumo de energía. El subsistema de memoria LPDDR5x duplica el ancho de banda de los diseños DDR5 tradicionales a 1 TB/s mientras consume mucha menos energía.
Grace CPU Superchip ejecutará todas las pilas de software informático de NVIDIA, incluidas NVIDIA RTX, NVIDIA HPC, NVIDIA AI y Omniverse. Grace CPU Superchip junto con NVIDIA ConnectX-7 NIC ofrecen la flexibilidad de configurarse en servidores como sistemas independientes solo de CPU o como servidores acelerados por GPU con una, dos, cuatro u ocho GPU basadas en Hopper, lo que permite a los clientes optimizar el rendimiento. para sus cargas de trabajo específicas mientras mantienen una única pila de software.
Sistema de Computación Omniverso
Siguiendo con el enfoque del centro de datos, NVIDIA anunció NVIDIA OVX, un sistema informático diseñado para impulsar gemelos digitales a gran escala. Un gemelo digital es un mundo virtual que está conectado al mundo físico. NVIDIA OVX está diseñado para operar una compleja simulación de gemelos digitales que se ejecutará dentro de NVIDIA Omniverse, una simulación mundial en tiempo real físicamente precisa y una plataforma de colaboración de diseño 3D.
Al combinar cómputo, gráficos e inteligencia artificial acelerados por GPU de alto rendimiento con acceso de almacenamiento de alta velocidad y baja latencia, el sistema OVX proporcionará el rendimiento necesario para crear gemelos digitales con precisión del mundo real. OVX puede simular gemelos digitales complejos para modelar edificios, fábricas, ciudades y el mundo.
El servidor OVX incluye ocho GPU NVIDIA A40, tres NIC ConnectX-6 DX de 200 Gbps, 1 TB de memoria y 16 TB de almacenamiento NVMe. El sistema OVX escala desde un solo pod de ocho servidores OVX a un OVX SuperPOD con 32 servidores conectados a través del conmutador NVIDIA Spectrum-3 o múltiples OVX SuperPOD.
Kit de desarrollo Jetson AGX Orin
NVIDIA también anunció la disponibilidad del Jetson AGX Orin Developer kit, una supercomputadora de inteligencia artificial compacta y de bajo consumo para robótica avanzada, máquinas autónomas y computación integrada y de última generación. Las especificaciones del Jetson AGX Orin son impresionantes, ya que ofrecen 275 billones de operaciones por segundo, más de 8 veces la potencia de procesamiento del modelo anterior, manteniendo un factor de forma del tamaño de la palma de la mano. Con la GPU de arquitectura NVIDIA Ampere, CPU Arm Cortex-A78AE, aceleradores de visión y aprendizaje profundo de última generación, ancho de banda de memoria más rápido, interfaces de alta velocidad y sensor multimodal, Jetson AGX Orin puede alimentar múltiples canalizaciones de aplicaciones de IA simultáneas.
Los clientes que utilizan Jetson AGX Orin pueden aprovechar toda la pila informática acelerada de NVIDIA CUDA-X, con 60 actualizaciones de su colección de bibliotecas, herramientas y tecnologías. También tendrán acceso completo a NVIDIA JetPack SDK, modelos previamente entrenados del catálogo NVIDIA NGC y los últimos marcos y herramientas para el desarrollo y la optimización de aplicaciones, como NVIDIA Isaac en Omniverse, NVIDIA Metropolis y NVIDIA TAO Toolkit.
NVIDIA espectro-4
Centrándose en el centro de datos, NVIDIA anunció su plataforma Ethernet NVIDIA Spectrum-4. El conmutador de próxima generación ofrece 400 Gbps de extremo a extremo con un rendimiento de conmutación 4 veces mayor que las generaciones anteriores. El Spectrum-4 incluye el software de infraestructura del centro de datos ConnectX-7 SmartNIC, BlueField-3 DPLU y DOCA.
Diseñados para IA, los conmutadores Spectrum-4 permiten una precisión de nanosegundos, aceleran, simplifican y protegen la estructura de la red con un ancho de banda por puerto 2 veces más rápido, 4 veces menos conmutadores y un consumo de energía un 40 % menor que las generaciones anteriores. Con un ancho de banda ASIC agregado de 51.2 Tbps que admite 128 puertos de 400 GBE, enrutamiento adaptativo y mecanismos de control de congestión mejorados, Spectrum-4 optimiza RDMA sobre estructuras Ethernet convergentes, acelerando drásticamente los centros de datos.
Envolver
El evento GTC de NVIDIA estuvo repleto de actualizaciones de nuevos productos de software, rendimiento y velocidad. Mucho enfoque en el centro de datos, pero también dirigido a la audiencia de robots móviles autónomos (AMR) y, por supuesto, al borde. Lo más destacado del programa fue la GPU Hopper H100, pero ese producto empató con muchos de los otros anuncios. NVIDIA ha puesto todos los comunicados de prensa y destacados del blog aquí, y vale la pena echarle un vistazo.
Interactuar con StorageReview
Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | Facebook | @TikTok | RSS Feed
