NVIDIA GTC 2023 comenzó con la presentación de nuevos productos, socios, innovaciones y software. Para que se hagan una idea de la amplitud de los anuncios, la keynote duró 78 minutos. Se anunciaron cuatro nuevas plataformas, cada una optimizada para una carga de trabajo de inferencia de IA generativa específica y software especializado.
NVIDIA GTC 2023 comenzó con la presentación de nuevos productos, socios, innovaciones y software. Para que se hagan una idea de la amplitud de los anuncios, la keynote duró 78 minutos. Se anunciaron cuatro nuevas plataformas, cada una optimizada para una carga de trabajo de inferencia de IA generativa específica y software especializado.
Las plataformas combinan la pila completa de software de inferencia de NVIDIA con los últimos procesadores NVIDIA Ada, Hopper y Grace Hopper. Hoy se lanzaron dos nuevas GPU, la GPU NVIDIA L4 Tensor Core y la GPU H100 NVL.
NVIDIA L4 para vídeo con IA ofrece 120 veces más rendimiento de video impulsado por IA que las CPU, combinado con un 99 por ciento más de eficiencia energética. El L4 sirve como una GPU universal para prácticamente cualquier carga de trabajo y ofrece capacidades mejoradas de decodificación y transcodificación de video, transmisión de video, realidad aumentada, video generativo de IA y más.
La GPU NVIDIA Ada Lovelace L4 Tensor Core ofrece aceleración universal y eficiencia energética para aplicaciones de video, IA, escritorio virtualizado y gráficos en la empresa, en la nube y en el perímetro. Con la plataforma AI de NVIDIA y full-stack
enfoque, L4 está optimizado para la inferencia a escala para una amplia gama de aplicaciones de IA, incluidas recomendaciones, asistentes de avatar de IA basados en voz, IA generativa, búsqueda visual y automatización del centro de contacto.
El L4 es el acelerador NVIDIA más eficiente para uso general, y los servidores equipados con L4 potencian hasta 120 veces más rendimiento de video de IA y 2.7 veces más rendimiento de IA generativo sobre soluciones de CPU, así como más de 4 veces más rendimiento de gráficos que la generación de GPU anterior. NVIDIA L4 es un factor de forma versátil, de bajo consumo, de una sola ranura y de bajo perfil, lo que lo hace ideal para grandes implementaciones y ubicaciones perimetrales.
NVIDIA L40 para generación de imágenes está optimizado para gráficos y generación de imágenes 2D, video y 3D habilitada para IA. La plataforma L40 sirve como motor de NVIDIA Omniverse, una plataforma para crear y operar aplicaciones de metaverso en el centro de datos, que brinda un rendimiento de inferencia 7 veces mayor para Stable Diffusion y un rendimiento de Omniverse 12 veces mayor que la generación anterior.
La GPU NVIDIA L40 ofrece computación visual de alto rendimiento para el centro de datos, con capacidades de IA, computación y gráficos de última generación. Basado en la arquitectura NVIDIA Ada Lovelace, el L40 aprovecha la potencia de los núcleos RT, Tensor y CUDA de última generación para ofrecer visualización y rendimiento informático para las cargas de trabajo exigentes del centro de datos.
El L40 ofrece un rendimiento mejorado y capacidades simultáneas de trazado de rayos y sombreado que mejoran el rendimiento del trazado de rayos y aceleran los renderizados para el diseño de productos y los flujos de trabajo de arquitectura, ingeniería y construcción. La GPU L40 ofrece soporte de hardware para escasez estructural y formato TF32 optimizado para ganancias de rendimiento listas para usar para un entrenamiento más rápido de modelos de ciencia de datos e IA. Las capacidades gráficas aceleradas mejoradas por IA, incluido DLSS, brindan una resolución mejorada con un mejor rendimiento en aplicaciones seleccionadas.
La gran memoria GPU del L40 aborda aplicaciones y cargas de trabajo que hacen un uso intensivo de la memoria, como ciencia de datos, simulación, modelado 3D y renderizado con 48 GB de memoria GDDR6 ultrarrápida. La memoria se asigna a múltiples usuarios con software vGPU para distribuir grandes cargas de trabajo entre equipos creativos, de ciencia de datos y de diseño.
Diseñado para operaciones de centros de datos empresariales las 24 horas del día, los 7 días de la semana con hardware y componentes de bajo consumo, NVIDIA L40 está optimizado para implementarse a escala y ofrecer el máximo rendimiento para diversas cargas de trabajo del centro de datos. El L40 incluye un arranque seguro con la tecnología raíz de confianza, que proporciona una capa adicional de seguridad, y cumple con el nivel 3 de NEBS para cumplir con los estándares del centro de datos.
NVIDIA H100 NVL para la implementación de modelos de idiomas grandes es ideal para implementar LLM masivos como ChatGPT a escala. El nuevo H100 NVL viene con 94 GB de memoria con aceleración de Transformer Engine y ofrece un rendimiento de inferencia hasta 12 veces más rápido en GPT-3 en comparación con la generación anterior A100 a escala de centro de datos.
El H100 NVL basado en PCIe con puente NVLink utiliza Transformer Engine, NVLink y memoria HBM188 de 3 GB para ofrecer un rendimiento y una escalabilidad óptimos en los centros de datos. El H100 NVL admite modelos de lenguaje grande de hasta 175 mil millones de parámetros. Los servidores equipados con GPU H100 NVL aumentan el rendimiento del modelo GPT-175B hasta 12 veces más que los sistemas NVIDIA DGX A100 mientras mantienen una baja latencia en entornos de centros de datos con limitaciones de energía.
NVIDIA Grace Hopper para modelos de recomendación es ideal para modelos de recomendación de gráficos, bases de datos vectoriales y redes neuronales de gráficos. Con la conexión NVLink-C900C de 2 GB/s entre la CPU y la GPU, Grace Hopper puede ofrecer transferencias de datos y consultas 7 veces más rápidas que PCIe Gen 5.
NVIDIA Grace Hopper Superchip es una CPU acelerada innovadora diseñada desde cero para aplicaciones de IA y computación de alto rendimiento (HPC) a gran escala. El superchip ofrecerá un rendimiento hasta 10 veces mayor para las aplicaciones que ejecutan terabytes de datos, lo que permitirá a los científicos e investigadores alcanzar soluciones sin precedentes para los problemas más complejos del mundo.
NVIDIA Grace Hopper Superchip combina las arquitecturas Grace y Hopper mediante NVIDIA NVLink-C2C para ofrecer un modelo de memoria coherente CPU+GPU para aplicaciones aceleradas de IA y HPC. Grace Hopper incluye una interfaz coherente de 900 gigabytes por segundo (GB/s), es 7 veces más rápida que PCIe Gen5 y ofrece 30 veces más ancho de banda de memoria del sistema agregado a la GPU en comparación con NVIDIA DGX A100. Además de todo eso, ejecuta todas las pilas y plataformas de software de NVIDIA, incluidos NVIDIA HPC SDK, NVIDIA AI y NVIDIA Omniverse.
Los modelos de sistemas de recomendación modernos requieren cantidades sustanciales de memoria para almacenar tablas de incrustación. Las tablas incrustadas contienen representaciones semánticas de elementos y características de los usuarios, lo que ayuda a brindar mejores recomendaciones a los consumidores.
En general, estas incrustaciones siguen una distribución de ley de potencia para la frecuencia de uso, ya que se accede a algunos vectores de incrustaciones con más frecuencia que a otros. NVIDIA Grace Hopper permite canalizaciones de sistema de recomendación de alto rendimiento que
almacene los vectores de incrustación utilizados con mayor frecuencia en la memoria HBM3 y los vectores de incrustación restantes en la memoria LPDDR5X de mayor capacidad. La interconexión NVLink C2C proporciona a las GPU Hopper acceso de gran ancho de banda a su memoria LPDDR5X local. Al mismo tiempo, el sistema de conmutación NVLink amplía esto para proporcionar a las GPU Hopper acceso de gran ancho de banda a toda la memoria LPDDR5X de todos los Superchips Grace Hopper en la red NVLink.
Interactuar con StorageReview
Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | @TikTok | RSS Feed
