Por lo general, esperamos hasta el final del artículo para pintar el cuadro completo y completar la revisión. Sin embargo, Dell PowerEdge XE9680 presenta una pieza de hardware tan emocionante que no podíamos esperar para compartir nuestro entusiasmo con esta revisión positiva. El diseño de Dell se centra en las necesidades de la IA y proporciona una inmensa cantidad de potencia computacional en un factor de forma de 6U. Gracias a la asociación de Dell con Intel y NVIDIA en el XE9680, han creado una oferta que no solo es poderosa sino también altamente eficiente.
Por lo general, esperamos hasta el final del artículo para pintar el cuadro completo y completar la revisión. Sin embargo, Dell PowerEdge XE9680 presenta una pieza de hardware tan emocionante que no podíamos esperar para compartir nuestro entusiasmo con esta revisión positiva. El diseño de Dell se centra en las necesidades de la IA y proporciona una inmensa cantidad de potencia computacional en un factor de forma de 6U. Gracias a la asociación de Dell con Intel y NVIDIA en el XE9680, han creado una oferta que no solo es poderosa sino también altamente eficiente.
Dell PowerEdge XE9680
Sus especificaciones son nada menos que impresionantes; dos procesadores escalables Intel Xeon de cuarta generación, de 4 núcleos cada uno, y 56 TB de RAM DDR2 proporcionan la columna vertebral de la CPU para los aceleradores de IA. Luego, al agregar las ocho GPU NVIDIA HGX H5 o A100, conectadas en SXM y juntas a través de NVLink, el servidor está equipado para manejar los modelos y cargas de trabajo de datos más grandes.
La capacidad del PowerEdge XE9680 para grandes volúmenes de RAM (hasta 4 TB) brinda una ventaja competitiva significativa en el manejo de cargas de trabajo de IA. Estas grandes huellas de memoria permiten el entrenamiento de modelos más complejos, lo que conduce a un mayor rendimiento y resultados más precisos.
Nuestras configuraciones incluyen bahías SSD NVMe 8x U.2 en la parte delantera. Pero tal como vimos con el R660, Dell también tiene la intención de ofrecer un backplane E3.S, con SSD 16x E3.S. El servidor también es compatible con la plataforma de la unidad de arranque NVMe BOSS-N1 en la parte posterior del servidor.
Se trata de algo más que poder
El PowerEdge XE9680 no se trata solo de potencia; también prioriza la seguridad y la manejabilidad. Con características como firmware firmado criptográficamente, Cifrado de datos en reposo y Arranque seguro, el servidor garantiza que sus datos estén siempre protegidos. El sistema integrado iDRAC9 proporciona una interfaz de administración fácil de usar, que ofrece una variedad de herramientas e integraciones que hacen que la administración del servidor sea sencilla y sin complicaciones.
Pusimos a prueba este sistema cuando queríamos cambiar la instalación del sistema operativo (más sobre esto más adelante) en el servidor, y fue más sencillo usar la función de borrado criptográfico del iDRAC con solo unos pocos clics para comenzar con un sistema limpio trabajar con.
nvidia-smi en el XE9680 con tarjetas H100
Anteriormente analizamos el documento técnico de Dell en el XE9680 y el rendimiento del servidor Dell PowerEdge XE9680 cuando se evalúa frente a los puntos de referencia de latencia de generación de imágenes establecidos por Lambda. El servidor entregó aproximadamente el doble de rendimiento, lo que es un testimonio de la potencia y la eficiencia del PowerEdge XE9680.
Las puntuaciones de MLPerf son ampliamente conocidos y aceptados como un buen posicionamiento de rendimiento de los sistemas de esta clase, por lo que para aprovechar nuestro tiempo práctico con los servidores XE9680 A100 y H100, decidimos realizar una comparación directa de afinando el LLaMa de Meta con los dos sistemas. Para hacer esto, seguimos los pasos de entrenamiento de Alpaca de Stanford, que lograron usando sistemas 4x A100.
Entrenamiento de alpaca en el XE9680
Queremos agradecer a los equipos de NVIDIA y Dell por su ayuda con este proyecto. Esta es una tecnología tan avanzada desde una perspectiva de hardware y software que sin la guía de los expertos de la industria de ambas compañías, habría sido un proceso mucho más prolongado e intensivo.
En el sistema A100, usando el proceso descrito en Stanford Alpaca Git Hub, pudimos reproducir los pasos para crear los puntos de control de Alpaca completando las tres épocas de entrenamiento, con un promedio de aproximadamente 90 minutos.
Pasando al sistema H100, vimos una mejora con ejecuciones completadas en alrededor de 70 minutos por ejecución. Debido a la gran demanda y la naturaleza limitada de estos sistemas, no tuvimos la oportunidad de ajustar el código en sí mismo para explorar posibles mejoras de rendimiento, y estaba claro que con refinamiento y tiempo dedicado al desarrollo, un equipo empresarial podría lograr un cambio rápido. tiempo con el ajuste fino.
oficialmente no oficial
En el XE100 con sabor a A9680, tuvimos la oportunidad de hacer algunas pruebas innovadoras y muy poco ortodoxas. ¡Instalamos Windows Server 2022 en el sistema! Esto involucró algunos borrados de la unidad iDRAC para eliminar la instalación de Linux, algunos trucos con archivos .iso de iDRAC y medios virtuales para transferir los controladores de la red Intel y, a partir de ahí, se puso en marcha. Usando las unidades de chipset de un sistema Dell PowerEdge comparable y luego los controladores NVIDIA A100 oficiales.
El sistema funciona y es estable sin problemas. Sin embargo, este es un caso de uso muy inusual que Dell no admite oficialmente. Armados con nuestra nueva instalación de Windows y ocho de las mejores GPU del mercado, hicimos lo que hacemos mejor, punto de referencia Pi!
Las ocho tarjetas NVIDIA A100 batieron fácilmente los récords mundiales de GPU-Pi sin ningún ajuste, y las CPU Xeon Platinum arrojaron grandes números tanto en y-cruncher como en Cinebench. Probamos algunos de nuestros otros puntos de referencia estándar de CPU/GPU con pocas esperanzas de que funcionaran y, como era de esperar, nos encontramos con problemas de software/codificador que impidieron ejecuciones exitosas. Procyon, por ejemplo, ni siquiera entendió que tenía GPU Tensor disponibles para hacer la prueba.
Una vez más, debemos reiterar que esto fue simplemente una prueba de una configuración no admitida, y el hecho de que consiguiéramos que todo funcionara es impresionante y un testimonio de la capacidad de Dell para producir hardware uniforme en todas las plataformas. Usar Windows Server en este tipo de sistema en cualquier entorno de producción sería imprudente.
| Prueba | Resultado |
| Banco de cine multi | 90,710 |
| Cinebench individual | 174 |
| Ración CB MP | 77.24 |
| GPU Geekbench 6 | 197,669 |
| Geekbench 6 individual | 1,678 |
| Geekbench6 Multi | 16,425 |
| Monstruo: |
855.080461 muestras por minuto
|
| Chatarrería: |
546.636998 muestras por minuto
|
| Salón de clases: |
394.441850 muestras por minuto
|
| GPU Pi 3.2 1 billón | 0.394 Segundos |
| GPU Pi 3.3 1 billón | 0.317 Segundos |
Vale la pena señalar que un rendimiento tan impresionante no solo se traduce en velocidad, sino que también afecta la aplicación práctica de la IA. Con una capacidad de actualización y ajuste más rápida, las empresas pueden mejorar significativamente su agilidad, lo que les permite responder rápidamente a los cambios del mercado, las necesidades de los clientes y los requisitos internos. Por ejemplo, los equipos de diseño pueden evaluar y refinar conceptos en tiempo real, lo que reduce significativamente el tiempo de comercialización, o los equipos de cumplimiento pueden capacitar y ajustar continuamente modelos actualizados con las últimas políticas y procedimientos para un LLM de tipo asistente.
Transformación de operaciones mediante IA generativa
El Dell PowerEdge XE9680 puede facilitar la IA generativa para transformar varias operaciones de la industria. Imagine un escenario minorista en el que la IA pueda generar rápidamente imágenes realistas de varias configuraciones de productos u opciones de color según las preferencias del cliente o una empresa de construcción que cree visualizaciones de nuevos edificios para la planificación y las presentaciones de ventas. Las posibilidades son fascinantes.
Dell PowerEdge XE9680 ofrece una combinación fantástica de potencia, eficiencia y versatilidad. Es un servidor de alto rendimiento que puede manejar cargas de trabajo de IA exigentes con facilidad. Y si bien está diseñado específicamente para atender cargas de trabajo de IA, sus capacidades le dan el potencial de ser útil para otras aplicaciones.
Junto con el compromiso de Dell de ayudar a las organizaciones a ejecutar sus proyectos de IA a través de Proyecto Helix, el PowerEdge XE9680 es una propuesta emocionante y una de las mejores innovaciones de hardware que hemos visto durante todo el año. Con su capacidad para brindar potencia bruta, delicadeza refinada y administración del ciclo de vida de nivel empresarial, no es de extrañar que Dell PowerEdge XE9680 se esté convirtiendo rápidamente en un favorito entre los servidores empresariales.
Interactuar con StorageReview
Boletín informativo | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
