Le problème de plomberie : comment les centres de données IA passent au liquide

Chaque keynote montre le GPU. Personne ne montre la tuyauterie. Pourtant, derrière chaque rack d’accélérateurs IA, il y a un système humide et bruyant de pompes, d’échangeurs de chaleur, de filtres et de capteurs, et c’est en train de devenir la partie du centre de données qui décide de la quantité d’IA qu’on peut construire.

Avant de lire : Les limites thermiques des racks NVL72 de Nvidia sont couvertes dans La crise Blackwell NVL72 de Nvidia. Si vous voulez d’abord l’histoire au niveau de la puce, commencez par là. Cet article prend le relais là où le silicium s’arrête et où la plomberie commence.

Table des matières

• L’eau retient la chaleur que l’air ne peut pas retenir
• La boîte méconnue : l’unité de distribution de liquide de refroidissement
• Plaques froides ou immersion complète?
• Le saviez-vous
• La guerre de l’eau que personne ne veut avoir
• Le problème des polluants éternels de l’immersion
• Sources

L’eau retient la chaleur que l’air ne peut pas retenir

L’air est un mauvais transporteur de chaleur. Un mètre cube d’eau peut absorber environ 3 000 fois plus de chaleur qu’un même volume d’air. C’est pourquoi, au-delà d’une certaine densité, le débat ne porte plus sur la vitesse des ventilateurs mais sur le nombre de litres par minute qu’on peut faire circuler. Le refroidissement direct sur puce est la réponse actuelle : une plaque froide en cuivre repose sur chaque GPU et chaque CPU, avec des microcanaux usinés à l’intérieur, et un mélange eau-glycol circule dans ces canaux pour sortir la chaleur du rack.

Google fait cela depuis son TPU v3 en 2018, et ce n’était pas un projet de bricolage. Le refroidissement liquide s’est révélé être la seule façon raisonnable d’entasser autant d’accélérateurs dans une seule salle sans en faire un sauna. Le reste de l’industrie rattrape son retard à grande vitesse.

La boîte méconnue : l’unité de distribution de liquide de refroidissement

Entre la boucle d’eau de l’installation et la boucle technologique fermée des racks se trouve l’unité de distribution de liquide de refroidissement, ou CDU. C’est une armoire de la taille d’un réfrigérateur qui contient un échangeur de chaleur, des pompes, de la filtration, des vannes et la logique de contrôle qui garde la pression et la température du liquide dans les limites prévues. Des fournisseurs comme Vertiv et CoolIT Systems les vendent par rangée.

La CDU est le composant qui empêche les deux boucles de se mélanger. Son rôle paraît ennuyeux jusqu’à ce qu’on regarde le mode de défaillance. Si une CDU lâche, toute une rangée de matériel à plusieurs millions de dollars se met à grimper vers l’arrêt thermique. Selon moi, c’est la boîte la plus importante du bâtiment et la moins photographiée.

Les administrateurs système craignaient autrefois le bruit d’un disque dur qui meurt. Aujourd’hui, ils redoutent le silence d’une pompe qui s’est arrêtée en douce, et la dalle humide que personne n’a remarquée avant que l’alarme sonne.

Plaques froides ou immersion complète?

Les plaques froides sont la voie progressive. Les racks existants gardent leur disposition, et on ajoute des plaques sur les composants chauds. L’immersion va plus loin : on plonge des cartes complètes dans un fluide diélectrique qui ne conduit pas l’électricité. L’immersion monophasée garde le fluide liquide et le fait circuler dans un échangeur. L’immersion diphasique laisse le fluide bouillir sur la puce, et la vapeur se condense sur un serpentin au-dessus de la cuve.

Microsoft a publiquement décrit l’utilisation de l’immersion diphasique en production, avec les fluides Novec de 3M. Sur papier, c’est élégant. En pratique, il faut reconstruire les serveurs, entretenir des cartes qui baignent littéralement dans un liquide, et former les techniciens à travailler dans un bain.

Le saviez-vous

• Le refroidissement liquide est plus vieux que le PC. Le mainframe IBM 3081, lancé en 1980, utilisait l’eau pour évacuer la chaleur de ses processeurs.
• Le liquide de refroidissement n’est presque jamais de l’eau pure. On y ajoute du glycol pour empêcher le gel et la corrosion, si bien qu’une part surprenante de la boucle de refroidissement d’un centre de données moderne est essentiellement de l’antigel.

La guerre de l’eau que personne ne veut avoir

Les tours de refroidissement font évaporer de l’eau, et c’est la partie inconfortable. Le rapport environnemental 2024 de Google indique que ses centres de données ont consommé environ 6,1 milliards de gallons en 2023. Microsoft a déclaré près de 1,7 milliard de gallons pour 2022, en hausse de 34 % par rapport à l’année précédente. Des chercheurs de UC Riverside ont estimé que l’entraînement de GPT-3 seul a pu évaporer environ 700 000 litres d’eau douce.

Le refroidissement liquide est souvent vendu comme la solution à l’eau, et c’est en partie vrai. Un liquide plus chaud permet d’utiliser des refroidisseurs à sec au lieu des tours par évaporation. Mais la soif ne disparaît pas. Elle remonte jusqu’à la centrale qui alimente le campus, parce que plus d’électricité signifie plus d’eau de refroidissement à la production. Le refroidissement liquide déplace la facture d’eau au lieu de l’annuler. Je parierais que la prochaine bataille de zonage autour d’un campus IA portera sur les droits d’eau, pas sur les GPU.

Le problème des polluants éternels de l’immersion

Beaucoup de fluides qui ont rendu l’immersion praticable sont fluorés, et plusieurs appartiennent à la famille des PFAS, les fameux polluants éternels. En décembre 2022, 3M a annoncé qu’elle cesserait la fabrication de PFAS d’ici la fin de 2025. Cela remet en question l’approvisionnement en fluides d’immersion pour une industrie qui a bâti ses premières façons de faire autour d’eux.

L’avenir du refroidissement a brièvement été vendu comme une substance qui ne se dégrade pas dans l’environnement. Personne n’a ouvert sa brochure avec cette phrase.

Sources

• Google, Rapport environnemental 2024 (consommation d’eau des centres de données)
• Microsoft, Rapport de durabilité environnementale 2024 (consommation d’eau et croissance annuelle)
• Li, Yang, Islam, Ren, « Making AI Less ‘Thirsty’: Uncovering and Addressing the Secret Water Footprint of AI Models » (2023)
• Communiqué de 3M sur la sortie de la fabrication de PFAS (décembre 2022)
• Google Cloud et documentation de recherche de Google sur le TPU v3 refroidi par liquide (2018)
• Blogue Microsoft Azure sur le refroidissement par immersion diphasique (2021)
• Documentation produit de Vertiv et CoolIT Systems sur les unités de distribution de liquide de refroidissement
• Documentation technique du IBM 3081 Processor Complex (1980)