CoolIT possui placas frias, manifolds e unidades de distribuição de resfriamento projetadas para ajudar as empresas a adotar refrigeração líquida para servidores que consomem muita energia.
Fizemos uma parceria com a CoolIT Systems para trazer refrigeração líquida para nosso laboratório. Como parte desse esforço, montamos um mini equipamento de refrigeração líquida e modernizamos um Dell PowerEdge R760, convertendo-o de refrigerado a ar para refrigerado a líquido. Estamos apenas começando nossa jornada de refrigeração líquida, mas já fizemos descobertas importantes sobre os benefícios que a refrigeração líquida direta (DLC) oferece.
Dell PowerEdge R760 após conversão DLC
O resfriamento líquido, de uma forma ou de outra, será necessário para suportar cargas de trabalho modernas. A matemática não funciona mais para servidores refrigerados a ar com enorme poder de design térmico (TDP) de CPU e GPU. DLC entregue via placas frias é a solução mais comum, cada fornecedor de servidor tem pelo menos uma opção. Quando se trata da Dell, eles fizeram parceria com a CoolIT Systems para fornecer refrigeração líquida em todo o portfólio PowerEdge.
Nosso laboratório, como a maioria dos data centers, não foi projetado inicialmente para aproveitar as vantagens da refrigeração líquida. Mas, como muitos data centers, vemos que os servidores de maior potência exigem de alguma forma refrigeração líquida e, se quisermos aproveitar as vantagens desses sistemas, precisamos nos adaptar. É uma história que ouvimos muito nas empresas atualmente, à medida que os data centers estão investindo em IA, e encontrar a maioria desses sistemas em breve exigirá algum tipo de loop líquido para operação.
Em nosso caso, decidimos começar modernizando um dos servidores Dell PowerEdge R760 no laboratório. Para ser claro, quando os clientes desejam servidores com refrigeração líquida, eles são encomendados à Dell dessa forma. A Dell cuida da integração com CoolIT e os clientes recebem um servidor com placas frias instaladas e mangueiras conectadas para refrigeração líquida. Os sistemas DLC PowerEdge têm algumas nuances que os tornam diferentes dos servidores refrigerados a ar. Entramos em território relativamente desconhecido com este trabalho. A placa iDRAC é diferente, por exemplo, a versão DLC possui uma pista para detecção de vazamentos. Tivemos sucesso no processo de conversão, mas instalar suas próprias placas frias não é uma atividade suportada.
Kit DLC CoolIT
A CoolIT nos equipou com um minissistema que normalmente é usado para uma pequena prova de conceito enquanto seus clientes trabalham no processo de adição de refrigeração líquida a seus data centers. Dito isto, este sistema pode ser dimensionado para 10kW, por isso é uma ótima maneira para aqueles que são novos em refrigeração líquida ganharem alguma experiência com meio rack ou mais. Existem três componentes principais desta configuração: as placas frias, o coletor de rack e a unidade de distribuição de refrigerante (CDU).
Placas frias CoolIT R760
As placas frias são projetadas para casos de uso específicos de TDP e se adaptam perfeitamente à CPU ou GPU que está sendo resfriada. Eles parecem enganosamente simples e, embora não existam bombas ou peças móveis nas próprias placas, a engenharia não é trivial graças ao aumento dos TDPs. Para uma perspectiva, CoolIT lançou recentemente um nova linha de pratos frios que pode suportar até 1500W. As CPUs em nosso R760 são um pouco prosaicas em comparação, as CPUs Intel Xeon 8580 têm “apenas” um TDP de 350W cada.
Dell R760 com placas frias CoolIT
A instalação das placas frias é muito simples, os blocos ainda possuem pasta térmica pré-aplicada, é um kit drop-in bem simples. Conforme observado anteriormente, há uma placa iDRAC diferente para sistemas DLC que tem o ponto de conexão para o cabo de detecção de vazamento saindo das placas frias. As mangueiras saem pela parte traseira do R760, por meio de um suporte diferente que vem com o kit DLC iDRAC.
Coletor CoolIT
As placas frias são conectadas ao coletor por meio de conexões rotuladas de quente/frio. O coletor em si é feito de aço inoxidável e as conexões são de desengate rápido sem gotejamento. Demora alguns segundos para conectar o servidor ao coletor, que vem pré-preenchido. Aliás, nosso manifold ficou na parte traseira do rack, mas pode ser configurado na frente se necessário. Temos um mini manifold para este caso de uso, um rack DLC mais tradicional teria um manifold cobrindo todo o rack. O coletor se conecta diretamente à CDU.
CDU CoolIT AHx10
A CDU faz o trabalho pesado neste ciclo, estamos usando o CoolIT AHx10. Esta é uma CDU líquido-ar de 5U que pode suportar 7kW de carga a 25°C ambiente. CoolIT oferece um kit de expansão que irá dimensionar esta unidade para 10kW. Dentro do chassi há um trocador de calor líquido-ar e bombas redundantes. A CDU, assim como o coletor, vem pré-preenchida. Colocamos o nosso relativamente baixo no rack, mas o CDU pode ir para qualquer lugar, dependendo de como o rack está configurado.
Interface CoolIT AHx10
O AHx10 tem um consumo máximo de energia de 750W, o que ajuda na conversa econômica geral sobre economia de energia. O sistema possui uma tela touchscreen intuitiva que oferece suporte de acesso remoto. Além de ajustar inicialmente a pressão da bomba, há realmente muito pouco que precisa ser feito com a CDU, é basicamente configurar e esquecer, a nossa está funcionando há algumas semanas sem nenhuma intervenção adicional.
É importante notar que com este equipamento CoolIT não estamos resolvendo o calor em si. Na verdade, estamos transferindo o calor das CPUs do R760 para o trocador de calor dentro da CDU. Ainda precisamos resfriar o laboratório da mesma forma que antes, pois não temos água nas instalações para poder transferir o calor para fora do laboratório. Dito isto, um sistema pequeno como este é perfeito para alguns servidores refrigerados a líquido e pode ser ideal para uma empresa com uma pequena implantação de IA, algo como o DellPowerEdge XE9640 combinaria bem.
Dell PowerEdge XE9640 com refrigeração líquida
Embora ainda tenhamos que lidar com o calor do DLC R760 em nosso laboratório, há vários benefícios em mudar para o resfriamento líquido.
Benefícios do DLC
Ao passar do resfriamento a ar para o resfriamento líquido, o maior e mais óbvio benefício é a redução no uso do ventilador. O R760 ainda precisa de fluxo de ar para componentes do sistema como DRAM e armazenamento, mas eles não precisam girar tão rápido. Embora isso torne o servidor mais silencioso, a melhor parte do ciclo DLC é a redução no consumo de eletricidade. A outra coisa que descobrimos foi um pouco surpreendente: o DLC R760 teve um desempenho um pouco melhor do que quando era refrigerado a ar.
Para observar mais de perto o consumo de eletricidade do R760, configuramos nosso Módulo de análise de energia elétrica Quarch QTL2843. Executamos o servidor com seus dissipadores de calor refrigerados a ar de fábrica e novamente com as placas frias CoolIT. Para pressionar as CPUs, executamos um cálculo de Pi para 50 bilhões de dígitos, o que sobrecarrega muito a CPU e a DRAM. Nossa intenção era forçar as CPUs o máximo possível para garantir que os ventiladores fossem acionados ao máximo.
Configuração do DLC do R760 iDRAC
O impacto da implementação do DLC foi imediatamente óbvio. Ao executar o R760 na configuração refrigerada a ar, os ventiladores giram até 100% durante a carga de trabalho, conforme esperado. Com a configuração DLC, o R760 optou por girar as ventoinhas em 32%, uma queda dramática. Isso equivale a uma economia de 200 watts, em apenas um único servidor. Não é apenas a velocidade do ventilador que se destaca, os próprios CPUs relataram cerca de metade da temperatura com DLC, 41/42C comparado a 88/89C quando refrigerados a ar.
Configuração refrigerada a ar do R760 iDRAC
Mas não é apenas a economia de energia que surge do outro lado quando se muda para refrigeração líquida. Vimos um pequeno aumento de desempenho, o que não esperávamos. Com as placas frias proporcionando melhor resfriamento, a CPU pode operar ao máximo. Na configuração refrigerada a ar, o R760 completou o cálculo de 50 bilhões de Pi em 369 segundos. Na configuração DLC, o R760 foi um pouco mais rápido, entregando o cálculo em 347 segundos. Isso representa um ganho de desempenho de cerca de 6%, o que nos permite extrair um pouco mais dos CPUs Intel.
Considerações Finais
Estamos apenas começando com o resfriamento líquido no laboratório e estamos entusiasmados por ter trabalhado com a CoolIT nesse esforço inicial. As placas frias estão funcionando perfeitamente no PowerEdge R760 e o coletor e a CDU se unem e “simplesmente funcionam” sem quaisquer preocupações ou ajustes contínuos. Para aqueles que estão apreensivos em trazer liquidez para o data center, a simplicidade contínua é fundamental. Também não tivemos vazamentos ou outros eventos mais catastróficos, o que é esperado, pois trata-se de um equipamento empresarial com uma taxa de falhas extremamente baixa.
Dell R760 traseiro com mangueiras DLC
Para as empresas que buscam trazer sistemas de IA de alta potência para o data center, a refrigeração líquida é uma conclusão precipitada. Os servidores GPU de 8 vias vão abandonar o resfriamento a ar, optando por loops DLC como este ou, no mínimo, um circuito fechado e radiador. De qualquer forma, alguma quantidade de líquido chegará ao data center. Com a economia substancial de eletricidade e o modesto aumento de desempenho, há muitos motivos pelos quais as empresas deveriam adotar servidores DLC.
A CoolIT é claramente líder neste espaço e a sua relação com a Dell traz ao mercado uma ampla variedade de soluções de refrigeração líquida de uma forma facilmente consumível, com muito pouco com que se preocupar. Estamos ansiosos para explorar ainda mais nosso pequeno circuito e mal podemos esperar para ver mais servidores refrigerados a líquido no laboratório.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
