El debut de la GPU NVIDIA H100 Tensor Core en los puntos de referencia de IA estándar de la industria MLPerf estableció récords mundiales en inferencia en todas las cargas de trabajo al ofrecer hasta 4.5 veces más rendimiento que las GPU de la generación anterior. Las GPU NVIDIA A100 Tensor Core y el módulo NVIDIA Jetson AGX Orin para robótica impulsada por IA brindaron un rendimiento de inferencia de liderazgo general en todas las pruebas de MLPerf: reconocimiento de imagen y voz, procesamiento de lenguaje natural y sistemas de recomendación.
El debut de la GPU NVIDIA H100 Tensor Core en los puntos de referencia de IA estándar de la industria MLPerf estableció récords mundiales en inferencia en todas las cargas de trabajo al ofrecer hasta 4.5 veces más rendimiento que las GPU de la generación anterior. Las GPU NVIDIA A100 Tensor Core y el módulo NVIDIA Jetson AGX Orin para robótica impulsada por IA brindaron un rendimiento de inferencia de liderazgo general en todas las pruebas de MLPerf: reconocimiento de imagen y voz, procesamiento de lenguaje natural y sistemas de recomendación.
El H100, también conocido como Hopper, subió el listón en el rendimiento por acelerador en las seis redes neuronales, demostrando liderazgo en rendimiento y velocidad en pruebas separadas de servidores y fuera de línea. Gracias en parte a su Transformer Engine, Hopper se destacó en el modelo BERT para el procesamiento del lenguaje natural. Se encuentra entre los modelos de IA de MLPerf más grandes y con mayor rendimiento.
Estos puntos de referencia de inferencia marcan la primera demostración pública de las GPU H100, disponibles a finales de este año. Las GPU H100 participarán en futuras rondas de capacitación de MLPerf.
Las GPU A100 muestran liderazgo
Las GPU NVIDIA A100, disponibles hoy a través de los principales proveedores de servicios en la nube y fabricantes de sistemas, continuaron mostrando un liderazgo general en el rendimiento general de la inferencia de IA al ganar más pruebas que cualquier presentación en las categorías y escenarios de centro de datos y computación perimetral. En junio, el A100 también logró el liderazgo general en los puntos de referencia de capacitación de MLPerf, demostrando sus habilidades en todo el flujo de trabajo de IA.
Desde su debut en julio de 2020 en MLPerf, las GPU A100 han multiplicado por seis su rendimiento, gracias a las mejoras continuas en el software NVIDIA AI. NVIDIA AI es la única plataforma que ejecuta todas las cargas de trabajo y escenarios de inferencia de MLPerf en el centro de datos y la computación perimetral.
Los usuarios necesitan un rendimiento versátil
El liderazgo en rendimiento de GPU de NVIDIA en todos los modelos importantes de IA valida la tecnología para los usuarios, ya que las aplicaciones del mundo real suelen emplear muchas redes neuronales de diferentes tipos. Por ejemplo, una aplicación de IA puede necesitar comprender la solicitud hablada de un usuario, clasificar una imagen, hacer una recomendación y luego entregar una respuesta como un mensaje hablado con una voz que suena humana. Cada paso requiere un tipo diferente de modelo de IA.
Los puntos de referencia de MLPerf cubren estas y otras cargas de trabajo y escenarios populares de IA, incluida la visión por computadora, el procesamiento del lenguaje natural, los sistemas de recomendación y el reconocimiento de voz. Los resultados de MLPerf ayudan a los usuarios a tomar decisiones de compra informadas basadas en pruebas específicas, lo que garantiza que los usuarios obtengan un producto que ofrezca un rendimiento confiable y flexible.
Los puntos de referencia de MLPerf están respaldados por un amplio grupo que incluye a Amazon, Arm, Baidu, Google, Harvard, Intel, Meta, Microsoft, Stanford y la Universidad de Toronto.
Orin lidera en el borde
En la computación perimetral, NVIDIA Orin ejecutó todos los puntos de referencia de MLPerf, ganando más pruebas que cualquier otro sistema en un chip de bajo consumo, lo que brindó hasta un 50 % de aumento en la eficiencia energética en comparación con el debut de abril en MLPerf. En la ronda anterior, Orin funcionó hasta 5 veces más rápido que el módulo Jetson AGX Xavier de la generación anterior y, al mismo tiempo, ofreció un promedio de 2 veces más eficiencia energética.
Orin integra en un solo chip una GPU de arquitectura NVIDIA Ampere y un grupo de potentes núcleos de CPU Arm. Está disponible hoy en el kit de desarrollo NVIDIA Jetson AGX Orin y en los módulos de producción para robótica y sistemas autónomos. Es compatible con la pila completa de software NVIDIA AI, incluidas las plataformas para vehículos autónomos (NVIDIA Hyperion), dispositivos médicos (Clara Holoscan) y robótica (Isaac).
Amplio ecosistema NVIDIA AI
Los resultados de MLPerf muestran que el ecosistema más amplio de la industria respalda a NVIDIA AI en el aprendizaje automático. Más de 70 presentaciones en esta ronda se realizaron en la plataforma NVIDIA, y Microsoft Azure presentó resultados que ejecutan NVIDIA AI en sus servicios en la nube.
Además, en esta ronda aparecieron 19 sistemas certificados por NVIDIA de 10 fabricantes de sistemas, incluidos ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo y Supermicro. Su trabajo demuestra un excelente rendimiento con NVIDIA AI en la nube y en las instalaciones.
MLPerf es una herramienta valiosa para los clientes que evalúan plataformas y proveedores de IA. Los resultados de la última ronda demuestran que el rendimiento que ofrecen estos socios crecerá con la plataforma NVIDIA. Todo el software utilizado para estas pruebas está disponible en el repositorio de MLPerf para que cualquiera pueda obtener estos resultados. Las optimizaciones se pliegan continuamente en contenedores disponibles en NGC, el catálogo de NVIDIA para software acelerado por GPU. TensorRT de NVIDIA, utilizado por cada presentación en esta ronda para optimizar la inferencia de IA, se encuentra en el catálogo.
Ejecutamos nuestros propios resultados de Edge MLperf recientemente en Supermicro y Lenovo plataformas con GPU T4 y A2 en su interior.
Interactuar con StorageReview
Boletín informativo | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS Feed
