La rébellion Ultra Ethernet : La guerre des géants contre le NVLink de Nvidia

Tout le monde regarde le GPU. Quand les analystes parlent de la valorisation à plusieurs billions de dollars de Nvidia, ils pointent du doigt le H100 ou les nouvelles puces Blackwell. Mais le silicium n’est que la moitié de l’histoire. Les douves les plus impénétrables de Nvidia ne sont pas les processeurs ; c’est la tuyauterie propriétaire qui relie ces processeurs entre eux. Aujourd’hui, une coalition de géants de la tech construit un bélier appelé le consortium Ultra Ethernet (UEC) pour détruire ces douves.

Avant de lire : Nous avons déjà exploré comment les limites physiques de la bande passante forcent la transition vers la photonique sur silicium et comment la mutualisation de la mémoire brise l’architecture des serveurs avec le CXL. Cet article s’attaque au protocole réseau propriétaire qui étrangle ces mêmes grappes.

Table des matières

• Le casse à 6,9 milliards de dollars
• Le consortium Ultra Ethernet (UEC)
• La pulvérisation de paquets et les mathématiques de la congestion
• Faits amusants
• Est-ce que ça va vraiment marcher ?
• Sources

Le casse à 6,9 milliards de dollars

Pour comprendre la guerre actuelle, il faut remonter à 2019. Nvidia a acheté Mellanox, une entreprise de réseau spécialisée dans l’InfiniBand, pour 6,9 milliards de dollars. À l’époque, certains analystes pensaient que Jensen Huang avait payé trop cher. Rétrospectivement, c’était le casse du siècle.

L’entraînement d’une IA ne se fait pas sur un seul GPU. Il se fait sur des dizaines de milliers d’entre eux, agissant comme un superordinateur géant. Si le GPU A attend un calcul du GPU B, il reste inactif. Dans l’infrastructure de l’IA, du calcul inactif, c’est littéralement des millions de dollars qui partent en fumée.

L’Ethernet standard a été conçu pour internet : il perd des paquets, redirige le trafic de manière inefficace et introduit des pics de latence. Un paquet perdu par l’Ethernet standard pendant un entraînement massif d’IA, c’est comme mettre sur pause une course de Formule 1 parce que quelqu’un a échappé ses clés sur la piste.

L’InfiniBand, et par extension le NVLink propriétaire de Nvidia, a réglé ce problème. Ils offrent une communication sans perte avec une latence ultra-faible. Mais le prix à payer est brutal : si vous voulez ces performances, vous achetez des GPU Nvidia, des cartes réseau Nvidia, des commutateurs Nvidia et des câbles Nvidia. Vous êtes prisonnier de leur écosystème, du silicium jusqu’à la prise murale.

Le consortium Ultra Ethernet (UEC)

Honnêtement, c’est gênant qu’il ait fallu autant de temps à l’industrie pour réaliser que s’en remettre à un seul fournisseur pour toute l’épine dorsale de la révolution de l’IA était une stratégie d’affaires suicidaire.

En 2023, AMD, Intel, Broadcom, Meta et Microsoft ont finalement paniqué au point de former le consortium Ultra Ethernet (UEC). Leur objectif est simple : reconstruire l’Ethernet à partir de zéro pour qu’il puisse égaler ou battre l’InfiniBand, sans l’enfermement propriétaire.

Historiquement, les centres de données essayaient d’adapter l’Ethernet pour le calcul haute performance en utilisant le RDMA over Converged Ethernet (RoCE). Mais configurer RoCEv2 dans une grappe massive demande tellement d’ajustements manuels que ça relève moins de l’informatique que de la magie noire. On ne le configure pas ; on négocie avec.

La pulvérisation de paquets et les mathématiques de la congestion

L’UEC réécrit la couche de transport pour gérer ce que les ingénieurs réseau appellent des “flux d’éléphants” : des rafales massives et soutenues de données d’IA.

L’innovation principale est la “pulvérisation de paquets” (packet spraying). L’Ethernet traditionnel envoie un fichier sur un seul chemin. Si ce chemin tombe sur un bouchon de circulation, tout le transfert ralentit. L’UEC coupe les données en morceaux et les pulvérise simultanément sur chaque chemin physique disponible dans le réseau, pour les réassembler à destination.

Cela élimine complètement les goulots d’étranglement du réseau. Cela introduit aussi la livraison de paquets dans le désordre, ce que l’Ethernet standard déteste, mais que l’UEC gère nativement au niveau matériel. C’est l’équivalent d’envoyer 100 camions de livraison dans 100 rues secondaires différentes pour éviter le trafic sur l’autoroute, en sachant exactement comment les stationner parfaitement à l’arrivée.

Faits amusants

• Saviez-vous que la division réseau de Nvidia génère à elle seule plus de revenus aujourd’hui que l’entièreté du segment gaming d’AMD ? Les câbles sont littéralement plus rentables que les PlayStations.
• Les câbles InfiniBand sont si épais et lourds que les architectes de centres de données doivent littéralement renforcer les planchers surélevés juste pour éviter que les racks réseau ne s’effondrent dans le sous-sol.

Est-ce que ça va vraiment marcher ?

Les géants du web sont motivés par la pure terreur financière, ce qui est généralement un excellent catalyseur pour les percées en ingénierie. Microsoft et Meta n’ont aucune envie de donner 60 % de leurs budgets d’infrastructure à Jensen Huang pour le reste de la décennie.

Mais Nvidia a une avance massive. Le NVLink et l’InfiniBand font déjà leurs preuves à l’échelle de 100 000 GPU aujourd’hui. La spécification UEC 1.0 vient tout juste d’être finalisée, et le silicium qui la supporte commence à peine à être produit.

Le matériel prend du temps. On ne peut pas mettre à jour un commutateur par logiciel pour qu’il supporte la pulvérisation massive de paquets ; ça nécessite de nouveaux ASIC. La rébellion open-source est enfin armée et organisée, mais elle affronte un ennemi qui, pour l’instant, possède le champ de bataille.

Sources

• The Ultra Ethernet Consortium: UEC 1.0 Specification Architecture
• SemiAnalysis: Nvidia’s Networking Moat and the InfiniBand Monopoly
• ServeTheHome: Broadcom’s Tomahawk 5 and the Future of AI Networking
• IEEE Spectrum: Why Ethernet is Failing AI Data Centers