CoolIT tiene placas frías, colectores y unidades de distribución de enfriamiento diseñadas para ayudar a las empresas a adoptar refrigeración líquida para servidores que consumen mucha energía.
Nos hemos asociado con CoolIT Systems para incorporar refrigeración líquida a nuestro laboratorio. Como parte de ese esfuerzo, armamos una mini plataforma de refrigeración líquida y modernizamos un Dell PowerEdge R760, convirtiéndolo de refrigeración por aire a refrigeración líquida. Recién estamos comenzando nuestro viaje hacia la refrigeración líquida, pero ya hemos hecho importantes descubrimientos sobre los beneficios que ofrece la refrigeración líquida directa (DLC).
Dell PowerEdge R760 después de la conversión de DLC
Se necesitará refrigeración líquida de una forma u otra para soportar las cargas de trabajo modernas. Las matemáticas ya no funcionan para servidores refrigerados por aire con una enorme potencia de diseño térmico (TDP) de CPU y GPU. El DLC entregado a través de placas frías es la solución más común; cada proveedor de servidores tiene al menos una opción. En lo que respecta a Dell, se han asociado con CoolIT Systems para ofrecer refrigeración líquida en toda la cartera de PowerEdge.
Nuestro laboratorio, como la mayoría de los centros de datos, no fue diseñado desde el principio para aprovechar la refrigeración líquida. Pero, como muchos centros de datos, estamos viendo que los servidores de mayor potencia requieren algún tipo de refrigeración líquida, y si queremos aprovechar estos sistemas, debemos adaptarnos. Es una historia que escuchamos mucho en las empresas estos días, ya que los centros de datos están invirtiendo en IA, y encontrar la mayoría de estos sistemas pronto requerirá algún tipo de circuito líquido para su funcionamiento.
En nuestro caso, decidimos comenzar modernizando uno de los servidores Dell PowerEdge R760 en el laboratorio. Para ser claros, cuando los clientes quieren servidores refrigerados por líquido, los solicitan a Dell de esa manera. Dell maneja la integración con CoolIT y los clientes reciben un servidor con placas frías instaladas y mangueras conectadas para refrigeración líquida. Los sistemas DLC PowerEdge tienen algunos matices que los diferencian de los servidores refrigerados por aire; con este trabajo nos adentramos en un territorio relativamente inexplorado. La tarjeta iDRAC es diferente, por ejemplo, la versión DLC tiene un cable para detección de fugas. Tuvimos éxito en el proceso de conversión, pero instalar sus propias placas frías no es una actividad admitida.
Kit de contenido descargable CoolIT
CoolIT nos equipó con un mini sistema que normalmente se utiliza para una pequeña prueba de concepto mientras sus clientes trabajan en el proceso de agregar refrigeración líquida a sus centros de datos. Dicho esto, este sistema puede escalar a 10kW, por lo que es una excelente manera para que aquellos nuevos en la refrigeración líquida ganen algo de experiencia con medio rack aproximadamente. Hay tres componentes clave de esta configuración: las placas frías, el colector de rack y la unidad de distribución de refrigerante (CDU).
Placas frías CoolIT R760
Las placas frías están diseñadas para casos de uso de TDP específicos y se adaptan perfectamente a la CPU o GPU que se está enfriando. Parecen engañosamente simples y, aunque no hay bombas ni piezas móviles en las placas, la ingeniería no es trivial gracias al aumento de los TDP. En perspectiva, CoolIT lanzó recientemente un nueva línea de platos fríos que puede soportar hasta 1500W. Las CPU de nuestro R760 son un poco vulgares en comparación, las CPU Intel Xeon 8580 tienen “sólo” un TDP de 350W cada una.
Dell R760 con placas frías CoolIT
La instalación de las placas frías es muy sencilla, los bloques incluso tienen pasta térmica preaplicada, es un kit muy sencillo. Como se señaló anteriormente, existe una tarjeta iDRAC diferente para sistemas DLC que tiene el punto de conexión para el cable de detección de fugas que va desde las placas frías. Las mangueras salen por la parte posterior del R760, a través de un soporte diferente que viene con el kit DLC iDRAC.
Colector CoolIT
Las placas frías están conectadas al colector a través de conexiones frías/calientes etiquetadas. El colector en sí está hecho de acero inoxidable y los accesorios son de desconexión rápida sin goteo. Se necesitan unos segundos para conectar el servidor al colector, que viene precargado. Por cierto, nuestro colector se colocó en la parte posterior del bastidor, pero se puede configurar en la parte delantera si es necesario. Tenemos un mini colector para este caso de uso; un bastidor DLC más tradicional tendría un colector que cubre todo el bastidor. El colector se conecta directamente a la CDU.
Unidad de control CoolIT AHx10
La CDU hace el trabajo pesado en este circuito, estamos usando el CoolIT AHx10. Esta es una CDU líquido-aire de 5U que puede manejar 7 kW de carga a una temperatura ambiente de 25 °C. CoolIT ofrece un kit de expansión que ampliará esta unidad a 10 kW. Dentro del chasis hay un intercambiador de calor líquido-aire y bombas redundantes. La CDU, al igual que el colector, viene precargada. Hemos colocado el nuestro relativamente bajo en el bastidor, pero la CDU puede ir a cualquier lugar, dependiendo de cómo esté configurado el bastidor.
Interfaz CoolIT AHx10
El AHx10 tiene un consumo de energía máximo de 750 W, lo que ayuda en la conversación económica general en torno al ahorro de energía. El sistema tiene una pantalla táctil intuitiva que ofrece soporte de acceso remoto. Aparte de configurar la presión de la bomba inicialmente, realmente hay muy poco que hacer con la CDU, es más o menos configurarla y olvidarse, la nuestra ha estado funcionando durante algunas semanas sin intervención adicional.
Vale la pena señalar que con este equipo CoolIT, no solucionamos el calor en sí. De hecho, estamos moviendo el calor de las CPU del R760 al intercambiador de calor dentro de la CDU. Todavía necesitamos enfriar el laboratorio igual que antes, ya que no tenemos agua en las instalaciones para poder transferir el calor fuera del laboratorio. Dicho esto, un sistema pequeño como este es perfecto para algunos servidores refrigerados por líquido y puede ser ideal para una empresa con una pequeña implementación de IA, algo así como el Dell PowerEdge XE9640 combinaría bien.
Dell PowerEdge XE9640 con refrigeración líquida
Aunque todavía tenemos que lidiar con el calor del DLC R760 en nuestro laboratorio, pasar a la refrigeración líquida tiene varios beneficios.
Beneficios del contenido descargable
Al pasar de la refrigeración por aire a la refrigeración líquida, el beneficio más grande y obvio es la reducción en el uso del ventilador. El R760 todavía necesita flujo de aire para los componentes del sistema como DRAM y almacenamiento, pero no necesitan girar tan rápido. Si bien esto hace que el servidor sea más silencioso, la mejor parte del bucle DLC es la reducción del consumo de electricidad. La otra cosa que encontramos fue un poco sorprendente: el DLC R760 funcionó un poco mejor que cuando estaba refrigerado por aire.
Para observar más de cerca el consumo de electricidad del R760, configuramos nuestro Módulo de análisis de potencia de red Quarch QTL2843. Ejecutamos el servidor con sus disipadores térmicos enfriados por aire de fábrica y nuevamente con las placas frías CoolIT. Para presionar a las CPU, realizamos un cálculo de Pi a 50 mil millones de dígitos, lo que supone una carga muy pesada para la CPU y la DRAM. Nuestra intención era forzar las CPU lo más posible para garantizar que los ventiladores tuvieran que cumplir con su máxima función requerida.
Configuración del DLC de iDRAC R760
El impacto de la implementación del DLC fue inmediatamente obvio. Cuando se ejecuta el R760 en la configuración enfriada por aire, los ventiladores giran al 100% durante la carga de trabajo, como se esperaba. Con la configuración DLC, el R760 optó por hacer girar los ventiladores al 32%, una caída dramática. Esto equivale a un ahorro de 200 vatios en un solo servidor. No es sólo la velocidad del ventilador lo que destaca, las propias CPU informaron aproximadamente la mitad de la temperatura con DLC, 41/42C en comparación con 88/89C cuando estaban enfriadas por aire.
Configuración R760 iDRAC refrigerada por aire
Pero no son sólo los ahorros de energía los que se ven por el otro lado cuando se pasa a la refrigeración líquida. Vimos un pequeño aumento en el rendimiento, que no esperábamos. Gracias a las placas frías que ofrecen una mejor refrigeración, la CPU puede funcionar al máximo. En la configuración refrigerada por aire, el R760 completó el cálculo de 50 mil millones de Pi en 369 segundos. En la configuración DLC, el R760 fue un poco más rápido y realizó el cálculo en 347 segundos. Eso es una ganancia en el rendimiento de alrededor del 6%, lo que nos permite aprovechar un poco más las CPU Intel.
Reflexiones Finales:
Recién estamos comenzando con la refrigeración líquida en el laboratorio y estamos encantados de haber trabajado con CoolIT en este esfuerzo inicial. Las placas frías funcionan perfectamente en el PowerEdge R760 y el colector y la CDU se unen y “simplemente funcionan” sin preocupaciones ni retoques continuos. Para aquellos que tienen miedo de llevar líquido al centro de datos, la simplicidad constante es fundamental. Tampoco hemos tenido fugas u otros eventos más catastróficos, lo cual es de esperarse, este es un equipo empresarial con una tasa de fallas extremadamente baja.
Dell R760 trasero con mangueras DLC
Para las empresas que buscan llevar sistemas de inteligencia artificial de alta potencia al centro de datos, la refrigeración líquida es una conclusión inevitable. Los servidores GPU de 8 vías abandonarán la refrigeración por aire y optarán por bucles DLC como este o, como mínimo, un circuito cerrado y un radiador. De cualquier manera, una cierta cantidad de líquido llegará al centro de datos. Con el sustancial ahorro de electricidad y el modesto aumento del rendimiento, hay muchas razones por las que las empresas deberían adoptar servidores DLC.
CoolIT es un claro líder en este espacio y su relación con Dell trae al mercado una amplia variedad de soluciones de refrigeración líquida de una manera fácilmente consumible, con muy poco de qué preocuparse. Esperamos seguir explorando nuestro pequeño circuito y estamos ansiosos por ver más servidores refrigerados por líquido en el laboratorio.
Interactuar con StorageReview
Boletín informativo | Canal de YouTube | Podcast iTunes/Spotify | @Instagram | Twitter | @TikTok | RSS Feed
