CoolIT propose des plaques froides, des collecteurs et des unités de distribution de refroidissement conçus pour aider les entreprises à adopter le refroidissement liquide pour les serveurs gourmands en énergie.
Nous nous sommes associés à CoolIT Systems pour introduire le refroidissement liquide dans notre laboratoire. Dans le cadre de cet effort, nous avons mis au point une mini plate-forme de refroidissement liquide et modernisé un Dell PowerEdge R760, le convertissant d'un refroidissement par air à un refroidissement par liquide. Nous commençons tout juste notre aventure dans le refroidissement liquide, mais nous avons déjà fait d'importantes découvertes sur les avantages qu'offre le refroidissement liquide direct (DLC).
Dell PowerEdge R760 après la conversion DLC
Le refroidissement liquide, sous une forme ou une autre, sera nécessaire pour prendre en charge les charges de travail modernes. Le calcul ne fonctionne plus pour les serveurs à refroidissement par air dotés d'une puissance de conception thermique (TDP) CPU et GPU massive. Le DLC livré via des plaques froides est la solution la plus courante, chaque fournisseur de serveur propose au moins une option. En ce qui concerne Dell, ils se sont associés à CoolIT Systems pour fournir un refroidissement liquide à l'ensemble de la gamme PowerEdge.
Notre laboratoire, comme la plupart des centres de données, n'a pas été conçu au départ pour tirer parti du refroidissement liquide. Mais, comme de nombreux centres de données, nous constatons que les serveurs les plus puissants nécessitent un refroidissement liquide sous une forme ou une autre, et si nous voulons tirer parti de ces systèmes, nous devons nous adapter. C'est une histoire que nous entendons beaucoup dans les entreprises ces jours-ci, alors que les centres de données investissent dans l'IA, et que la plupart de ces systèmes nécessiteront bientôt une sorte de boucle liquide pour fonctionner.
Dans notre cas, nous avons décidé de commencer par moderniser l'un des serveurs Dell PowerEdge R760 en laboratoire. Pour être clair, lorsque les clients souhaitent des serveurs refroidis par liquide, ils les commandent ainsi auprès de Dell. Dell gère l'intégration avec CoolIT et les clients reçoivent un serveur avec des plaques froides installées et des tuyaux raccordés pour le refroidissement liquide. Les systèmes DLC PowerEdge présentent quelques nuances qui les différencient des serveurs refroidis par air. Nous avons dérivé vers un territoire relativement inexploré avec ce travail. La carte iDRAC est différente par exemple, la version DLC dispose d'un câble pour la détection des fuites. Nous avons réussi le processus de conversion, mais l'installation de vos propres plaques froides n'est pas une activité prise en charge.
Kit DLC CoolIT
CoolIT nous a équipé d'un mini système qui est généralement utilisé pour une petite preuve de concept pendant que ses clients travaillent sur le processus d'ajout d'un refroidissement liquide à leurs centres de données. Cela dit, ce système peut évoluer jusqu'à 10 kW, c'est donc un excellent moyen pour ceux qui débutent dans le refroidissement liquide d'acquérir une certaine expérience avec environ un demi-rack. Il y a trois composants clés dans cette configuration : les plaques froides, le collecteur de rack et l'unité de distribution de liquide de refroidissement (CDU).
Plaques froides CoolIT R760
Les plaques froides sont conçues pour des cas d'utilisation spécifiques du TDP et s'adaptent parfaitement au CPU ou au GPU à refroidir. Ils semblent d'une simplicité trompeuse, et même s'il n'y a pas de pompes ou de pièces mobiles sur les plaques elles-mêmes, l'ingénierie n'est pas anodine grâce à l'augmentation des TDP. Pour vous donner une idée, CoolIT a récemment lancé un nouvelle gamme de plaques froides qui peut supporter jusqu'à 1500W. Les processeurs de notre R760 sont un peu piétons en comparaison, les processeurs Intel Xeon 8580 ont « juste » un TDP de 350 W chacun.
Dell R760 avec plaques froides CoolIT
L'installation des plaques froides est très simple, les blocs ont même de la pâte thermique pré-appliquée, c'est un kit à installer très simple. Comme indiqué précédemment, il existe une carte iDRAC différente pour les systèmes DLC qui possède le point de connexion pour le câble de détection de fuite partant des plaques froides. Les tuyaux sont acheminés vers l'arrière du R760, via un support différent fourni avec le kit DLC iDRAC.
Collecteur CoolIT
Les plaques froides sont connectées au collecteur via des connexions chaud/froid étiquetées. Le collecteur lui-même est en acier inoxydable et les raccords sont des déconnexions rapides sans gouttes. Il faut quelques secondes pour connecter le serveur au collecteur, qui est pré-rempli. Par ailleurs, notre collecteur est placé à l'arrière du rack, mais il peut être configuré à l'avant si nécessaire. Nous avons un mini collecteur pour ce cas d'utilisation, un rack DLC plus traditionnel aurait un collecteur couvrant tout le rack. Le collecteur se connecte directement au CDU.
CoolIT AHx10 CDU
La CDU fait le gros du travail dans cette boucle, nous utilisons le CoolIT AHx10. Il s'agit d'un CDU liquide-air 5U qui peut gérer 7 kW de charge à une température ambiante de 25 °C. CoolIT propose un kit d'extension qui permettra de faire évoluer cette unité jusqu'à 10 kW. À l'intérieur du châssis se trouvent un échangeur de chaleur liquide-air et des pompes redondantes. Le CDU, comme le collecteur, est livré pré-rempli. Nous avons placé le nôtre relativement bas dans le rack, mais le CDU peut aller n'importe où, selon la configuration du rack.
Interface CoolIT AHx10
L'AHx10 a une consommation électrique maximale de 750 W, ce qui contribue à la conversation économique globale autour des économies d'énergie. Le système dispose d'un écran tactile intuitif qui offre une prise en charge de l'accès à distance. A part régler initialement la pression de la pompe, il n'y a vraiment pas grand chose à faire avec le CDU, il s'agit à peu près de le régler et de l'oublier, le nôtre fonctionne depuis quelques semaines sans intervention supplémentaire.
Il convient de noter qu’avec cet équipement CoolIT, nous ne résolvons pas la chaleur elle-même. Nous déplaçons en fait la chaleur des processeurs du R760 vers l'échangeur de chaleur au sein du CDU. Nous devons toujours refroidir le laboratoire comme avant puisque nous n'avons pas d'eau d'installation pour pouvoir transférer la chaleur à l'extérieur du laboratoire. Cela dit, un petit système comme celui-ci est parfait pour quelques serveurs refroidis par liquide et peut convenir parfaitement à une entreprise disposant d'un petit déploiement d'IA, comme le Dell PowerEdge XE9640 se marierait bien.
Dell PowerEdge XE9640 refroidi par liquide
Même si nous devons encore faire face à la chaleur du DLC R760 dans notre laboratoire, le passage au refroidissement liquide présente plusieurs avantages.
Avantages du DLC
Lorsque l’on passe du refroidissement par air au refroidissement liquide, l’avantage le plus important et le plus évident est la réduction de l’utilisation des ventilateurs. Le R760 a toujours besoin d'un flux d'air pour les composants du système tels que la DRAM et le stockage, mais ils n'ont pas besoin de tourner aussi vite. Bien que cela rende le serveur plus silencieux, le meilleur aspect de la boucle DLC est la réduction de la consommation électrique. L'autre chose que nous avons trouvée était un peu surprenante : le DLC R760 fonctionnait un peu mieux que lorsqu'il était refroidi par air.
Pour regarder de plus près la consommation électrique du R760, nous avons mis en place notre Module d'analyse de puissance secteur Quarch QTL2843. Nous avons fait fonctionner le serveur à la fois avec ses dissipateurs thermiques refroidis par air d'usine et à nouveau avec les plaques froides CoolIT. Pour faire pression sur les processeurs, nous avons effectué un calcul Pi à 50 milliards de chiffres, ce qui impose une très lourde charge au processeur et à la DRAM. Notre intention était de pousser les processeurs aussi fort que possible pour garantir que les ventilateurs soient appelés à leur fonction maximale requise.
Configuration du DLC iDRAC R760
L’impact de la mise en œuvre du DLC était immédiatement évident. Lors de l'exécution du R760 dans la configuration refroidie par air, les ventilateurs tournent à 100 % pendant la charge de travail, comme prévu. Avec la configuration DLC, le R760 a choisi de faire tourner les ventilateurs à 32%, une baisse spectaculaire. Cela équivaut à une économie de 200 watts sur un seul serveur. Ce n'est pas seulement la vitesse du ventilateur qui ressort, les processeurs eux-mêmes ont rapporté environ la moitié de la température avec le DLC, 41/42°C contre 88/89°C lorsqu'ils sont refroidis par air.
Configuration R760 iDRAC refroidie par air
Mais ce ne sont pas seulement les économies d’énergie qui ressortent du refroidissement liquide. Nous avons constaté une petite amélioration des performances, à laquelle nous ne nous attendions pas. Grâce aux plaques froides offrant un meilleur refroidissement, le processeur peut fonctionner au maximum. Dans la configuration refroidie par air, le R760 a effectué le calcul de 50 milliards de Pi en 369 secondes. Dans la configuration DLC, le R760 est allé un peu plus vite, livrant le calcul en 347 secondes. Cela représente un gain de performances d'environ 6%, ce qui nous permet de tirer un peu plus parti des processeurs Intel.
Réflexions finales
Nous commençons tout juste le refroidissement liquide en laboratoire et sommes ravis d'avoir travaillé avec CoolIT sur ce premier effort. Les plaques froides fonctionnent parfaitement sur le PowerEdge R760 et le collecteur et le CDU s'assemblent et « fonctionnent » sans aucun souci ni bricolage continu. Pour ceux qui craignent d’introduire du liquide dans le centre de données, une simplicité continue est essentielle. Nous n'avons également eu aucune fuite ni autre événement plus catastrophique, ce qui était attendu : il s'agit d'un équipement d'entreprise avec un taux de défaillance extrêmement faible.
Dell R760 arrière avec tuyaux DLC
Pour les entreprises qui cherchent à intégrer des systèmes d’IA haute puissance dans leur centre de données, le refroidissement liquide est une évidence. Les serveurs GPU à 8 voies vont abandonner le refroidissement par air, optant pour des boucles DLC comme celle-ci ou au minimum, une boucle fermée et un radiateur. Quoi qu’il en soit, une certaine quantité de liquide s’infiltrera dans le centre de données. Avec les économies d'électricité substantielles et l'amélioration modeste des performances, il existe de nombreuses raisons pour lesquelles les entreprises devraient adopter des serveurs DLC.
CoolIT est un leader incontesté dans ce domaine et sa relation avec Dell met sur le marché une grande variété de solutions de refroidissement liquide d'une manière facilement consommable, avec très peu de soucis. Nous sommes impatients d'explorer davantage notre petite boucle et avons hâte de voir davantage de serveurs refroidis par liquide dans le laboratoire.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
