El enfriamiento de dos fases de ZutaCore en un servidor Supermicro con AMD EPYC ofrece enfriamiento mejorado, eficiencia y un rendimiento récord.
Como parte de nuestra evaluación continua de tecnologías de refrigeración avanzadas para servidores de alto rendimiento, probamos la solución de refrigeración directa al chip (DTC) de dos fases ZutaCore® en un servidor Supermicro con dos CPU AMD EPYC Bergamo. Esta prueba se llevó a cabo en el centro de datos Centersquare en Reading, Berkshire, Reino Unido, en colaboración con el integrador Boston Limited.
La necesidad de soluciones de refrigeración eficientes
A medida que las CPU siguen aumentando en cantidad de núcleos y consumo de energía, las soluciones tradicionales de refrigeración por aire tienen dificultades para seguir el ritmo de las demandas térmicas de los procesadores de vanguardia. Esto es particularmente evidente en los nodos de cómputo de alta densidad, donde los métodos de refrigeración por aire no logran gestionar de manera eficaz el calor significativo que producen las CPU multinúcleo de alto rendimiento, como la EPYC Bergamo de 128 núcleos de AMD.
A medida que estos potentes procesadores generan una importante potencia térmica, las limitaciones de la refrigeración por aire se hacen más evidentes. Incluso los disipadores térmicos más avanzados enfrentan desafíos para mantener un rendimiento térmico óptimo sin agregar ruido ni consumir energía en exceso.
Este proyecto se centra en actualizar un chasis Supermicro de dos conectores de refrigeración por aire tradicional a la solución DTC de dos fases de ZutaCore. Probamos el sistema antes de la conversión, observamos importantes limitaciones en la eficiencia de refrigeración y evaluamos el servidor después de la instalación de DTC.
La configuración del hardware
El sistema de prueba contaba con un chasis Supermicro de 1U con dos CPU AMD EPYC Bergamo, cada una con 128 núcleos. Con 256 núcleos bajo el capó y 768 GB de RAM, este servidor está diseñado para manejar cargas de trabajo densas, especialmente en entornos de IA y de uso intensivo de datos. Sin embargo, incluso con grandes disipadores térmicos de refrigeración por aire tradicionales, el sistema tuvo dificultades para mantener las temperaturas bajo control durante las pruebas de estrés, lo que provocó una limitación térmica.
Optamos por el sistema de refrigeración líquida de dos fases de ZutaCore para mejorar la refrigeración y el rendimiento. Este innovador sistema utiliza un fluido de transferencia de calor que pasa de líquido a vapor dentro de las placas frías directamente conectadas a las CPU. Este cambio de fase permite una eficiencia térmica mucho mayor que los refrigeradores de aire o líquido tradicionales, ya que el calor latente de la vaporización del fluido ayuda a alejar el calor de los núcleos de la CPU de manera más eficaz.
El proceso de conversión
Preparando el servidor
El proceso de conversión comenzó con el desmontaje de los componentes de refrigeración por aire de serie. Al retirar los disipadores térmicos tradicionales, se descubrieron los pequeños y densos difusores de calor de las CPU Bergamo, claramente de tamaño insuficiente para gestionar la carga térmica de estos chips que consumen mucha energía. Durante las pruebas iniciales, notamos que las CPU alcanzaban altas temperaturas y tenían dificultades para mantener el rendimiento bajo estrés.
Instalación de las placas frías ZutaCore
El siguiente paso fue introducir el núcleo del sistema de refrigeración de dos fases: las placas frías diseñadas a medida de ZutaCore. Estas placas frías están equipadas con evaporadores internos que permiten que el fluido de transferencia de calor absorba calor y se evapore a medida que pasa por el sistema. El fluido vaporizado luego regresa al condensador, se enfría y se reintroduce en el sistema para continuar el ciclo.
Una de las características más fascinantes de este sistema es su autorregulación mecánica. El mecanismo de flotación de cada evaporador ajusta el flujo del fluido de transferencia de calor en función de la carga térmica de la CPU. Un sistema de circuito cerrado como este garantiza que cada CPU reciba la cantidad necesaria de fluido sin intervención manual.
Las placas de refrigeración se colocaron cuidadosamente sobre las CPU, lo que garantiza una presión constante y un contacto térmico óptimo. La tubería que transporta el fluido de transferencia de calor se conectó a las placas de refrigeración y realizamos una serie de pruebas de presión para garantizar que no hubiera fugas antes de continuar con la instalación completa.
Integración con los sistemas de gestión térmica y de energía del servidor
El siguiente desafío fue integrar el sistema de refrigeración a la infraestructura más amplia del centro de datos. El sistema DTC de ZutaCore se integra con los sistemas de gestión térmica existentes del servidor y ofrece un control mejorado a través del software de gestión de refrigeración de ZutaCore. Este software permite el monitoreo en tiempo real de métricas clave, como la presión del refrigerante, la temperatura en varios puntos del sistema y las temperaturas de unión de la CPU.
El software se conecta a la interfaz de gestión de plataforma inteligente (IPMI) del servidor, lo que permite un control y una supervisión perfectos de los parámetros de refrigeración. Nos impresionó especialmente el nivel de detalle que proporciona, incluidas las velocidades de los ventiladores, las temperaturas del vapor y los ciclos de trabajo de las bombas. Esta visibilidad granular del proceso de refrigeración permite ajustar con precisión el rendimiento del sistema para que coincida con la carga de trabajo.
Después de conectar el sistema a la unidad de rechazo de calor con los accesorios de desconexión rápida y purgar rápidamente los gases atmosféricos del circuito utilizando el kit de servicio incluido, el sistema estaba listo para encenderse.
Destacados Rendimiento
Resultados previos a la conversión
Como se mencionó anteriormente, antes de cambiar al sistema de dos fases de ZutaCore, ejecutamos una serie de pruebas comparativas con refrigeración por aire de serie. Al utilizar cargas de trabajo diseñadas para estresar los 256 núcleos, el sistema alcanzó rápidamente los límites térmicos, lo que provocó que las CPU redujeran el rendimiento para mantenerse dentro de temperaturas de funcionamiento seguras. Las cargas pesadas sostenidas dieron como resultado temperaturas de CPU cercanas a los 85 °C, con caídas notables en las velocidades de reloj.
Resultados posteriores a la conversión
Después de instalar la solución DTC, volvimos a ejecutar esas pruebas comparativas y los resultados fueron espectaculares. Las temperaturas de la CPU, bajo carga completa, bajaron significativamente y las temperaturas máximas se mantuvieron por debajo de los 65 °C. Más importante aún, se eliminó la limitación térmica. El sistema de dos fases mantuvo las CPU Bergamo funcionando a velocidades de reloj sostenidas más altas durante toda la prueba.
Como era de esperar, el consumo de energía del sistema se redujo, ya que los ventiladores ya no necesitaban girar a máxima velocidad para compensar las altas temperaturas. El funcionamiento más silencioso se notó de inmediato, incluso en un entorno de centro de datos ruidoso.
Dado que este ejercicio estaba destinado a brindar experiencia práctica con la solución ZutaCore, todas las mediciones fueron cualitativas. Vale la pena señalar que, en el momento de filmar y escribir este artículo, el sistema Bergamo refrigerado por ZutaCore logró algunos récords mundiales en las categorías BBP de y-cruncher y se verificaron en HWBot.org.
Eficiencia energética y de refrigeración
Una de las ventajas más destacadas del sistema de ZutaCore es el potencial de ahorro de energía. La menor dependencia de la refrigeración por aire reduce la necesidad de ventiladores de alta velocidad y aire acondicionado, lo que se traduce en ahorros reales en los costos de energía. Además, el sistema permite que el servidor funcione en temperaturas ambiente más altas sin riesgo de sobrecalentamiento. Esta característica es invaluable para los centros de datos que buscan optimizar su PUE (eficacia del uso de energía) al aumentar la temperatura de sus instalaciones.
Implicaciones a largo plazo para los centros de datos
La solución de refrigeración de dos fases de ZutaCore gestiona eficazmente las cargas térmicas elevadas y ofrece beneficios a largo plazo para los centros de datos. Su mayor eficiencia energética y sus menores costes de refrigeración podrían hacer que sea crucial para los entornos informáticos de alta densidad.
Para los centros de datos que adoptan procesadores y GPU de última generación, como EPYC de AMD y H100 de NVIDIA, la solución de enfriamiento ZutaCore presenta una opción escalable para gestionar la creciente producción de calor sin requerir cambios sustanciales en la infraestructura existente.
Además, el método de refrigeración de dos fases es bastante respetuoso con el medio ambiente. Los fluidos de transferencia de calor de ZutaCore no son tóxicos y tienen un bajo potencial de calentamiento global (GWP). El uso de fluidos dieléctricos garantiza que, incluso en caso de fuga, no exista riesgo de cortocircuito eléctrico o daños en el equipo.
Conclusión
La conversión del servidor dual AMD EPYC Bergamo de Supermicro a la solución de refrigeración directa al chip de dos fases de ZutaCore demostró una clara mejora en el rendimiento térmico, la reducción del ruido y la eficiencia energética. A medida que los centros de datos siguen creciendo y superando los límites del rendimiento de los servidores, las tecnologías de refrigeración avanzadas como ZutaCore ofrecen un camino prometedor para gestionar las crecientes demandas térmicas de los entornos informáticos modernos.
Si opera con cargas de trabajo de alta densidad y lleva su hardware al límite, invertir en soluciones de enfriamiento avanzadas como ZutaCore podría mejorar el rendimiento y ahorrar costos operativos a largo plazo.
Gran grito a Boston Limited ¡por suministrar el hardware y Centersquare por proporcionar el centro de datos!
Interactuar con StorageReview
Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | @TikTok | RSS Feed
