3D Gaussian Splatting : La révolution qui tue la photogrammétrie traditionnelle

Pendant des décennies, l’industrie de la 3D a été obsédée par les triangles. Si vous vouliez numériser un objet ou un environnement du monde réel, vous deviez vous fier à la photogrammétrie : prendre des centaines de photos et forcer un logiciel à deviner comment étirer une texture 2D sur un maillage d’un million de polygones en dents de scie. C’était lent, brutal pour les processeurs, et fondamentalement imparfait. Si l’objet était brillant, transparent ou manquait de texture distincte, votre rendu final ressemblait inévitablement à une chandelle fondue.

Avant de lire : Nous avons récemment exploré comment l’IA hallucine des mondes jouables image par image dans Neural Game Engines: The End of the Traditional Render Pipeline. Alors que ces modèles abandonnent la géométrie pour prédire des pixels, le Gaussian Splatting jette les polygones par la fenêtre pour peindre avec des millions de taches mathématiques floues.

Table des matières

• Le problème avec les NeRFs et les polygones
• L’arrivée du Splat
• Le bond des FPS et le piège de la mémoire
• Faits amusants
• La fin du maillage
• Sources

Le problème avec les NeRFs et les polygones

Pour comprendre pourquoi l’industrie capote complètement sur le Gaussian Splatting en ce moment, il faut regarder ce qui l’a immédiatement précédé. En 2020, les Neural Radiance Fields (NeRFs) ont impressionné tout le monde. Au lieu de construire un maillage 3D, les NeRFs utilisaient un réseau de neurones pour calculer comment les rayons lumineux traversaient un volume en se basant sur des photos 2D.

C’était un bond de géant en matière de photoréalisme, mais avec un défaut fatal : la vitesse. Demander à un réseau de neurones de calculer la couleur et la densité de chaque pixel le long d’un rayon lumineux pour chaque image est un cauchemar informatique. Les NeRFs peinaient à atteindre 10 images par seconde sur des machines haut de gamme. C’était une belle expérience scientifique, mais impossible d’y jouer un jeu vidéo.

La photogrammétrie traditionnelle, c’est comme essayer de construire une maquette de nuage en Lego. Les NeRFs, c’est comme demander à une IA de peindre ce nuage de mémoire à chaque image. Le Gaussian Splatting, c’est comme lancer des millions de balles de peinture floues dans les airs et leur dire exactement où geler sur place.

L’arrivée du Splat

Introduit dans un article marquant de 2023, le 3D Gaussian Splatting abandonne les réseaux de neurones pendant la phase de rendu elle-même. L’algorithme analyse plutôt vos photos 2D et génère des millions d’ellipsoïdes 3D — essentiellement, des taches mathématiques. Chaque tache possède une position, une couleur, une opacité et une rotation spécifiques.

Pour faire le rendu de la scène, le GPU ne fait que trier ces taches de l’arrière vers l’avant et les écrase à plat contre votre écran 2D. Les cartes graphiques adorent ça. C’est un processus de rastérisation hautement optimisé qui contourne complètement les calculs complexes des NeRFs. Vous obtenez le photoréalisme d’une scène volumétrique, capturant des reflets et des transparences sans faille, le tout roulant à plus de 100 FPS en résolution 1080p.

Honnêtement, je ne me souviens pas de la dernière fois où une technique de rendu a bouleversé l’industrie aussi vite. Les chercheurs ont appelé ça le “splatting”, ce qui sonne exactement comme un effet sonore d’une émission de slime de Nickelodeon des années 90, mais c’est présentement le mot le plus redouté par tous ceux qui vendent des logiciels de photogrammétrie d’entreprise.

Le bond des FPS et le piège de la mémoire

Donc, si le Gaussian Splatting est incroyablement rapide et impossible à distinguer de la réalité, pourquoi Unreal Engine n’a-t-il pas encore complètement remplacé les polygones?

Parce que les splats sont des gouffres à mémoire.

Quand on construit un mur dans un jeu vidéo traditionnel, on utilise deux triangles et un fichier de texture qui se répète. Ça prend quelques kilo-octets de VRAM. Pour représenter ce même mur avec le Gaussian Splatting, il faut des centaines de milliers de taches individuelles, chacune portant ses propres paramètres mathématiques. Une seule petite pièce capturée via splatting peut facilement gonfler à 2 Go de données de nuage de points.

Nous avons échangé un goulot d’étranglement de calcul contre un goulot d’étranglement de stockage. Diffuser une carte multijoueur de 50 Go faite de polygones est une pratique courante aujourd’hui. Diffuser une carte de 500 Go faite de milliards de splats mathématiques non compressés va instantanément faire fondre votre routeur.

Faits amusants

• L’article original de 2023 par Inria et l’Institut Max Planck a remporté le prix du meilleur article au SIGGRAPH, transformant pratiquement du jour au lendemain des millions de dollars de logiciels de photogrammétrie en code obsolète.
• Parce que les splats ne sont que des équations mathématiques représentant un volume, vous pouvez les trancher en temps réel sans l’effet de “coquille vide” que vous obtenez lorsque la caméra traverse un mur de polygones traditionnel dans un jeu vidéo.

La fin du maillage

Les ingénieurs s’attaquent déjà agressivement au problème de mémoire. Des articles récents ont démontré des techniques de compression qui réduisent la taille des fichiers splat jusqu’à 30x sans perdre en fidélité visuelle. Nous assistons en temps réel à la mort du maillage polygonal pour la numérisation du monde réel.

Les triangles resteront pour les actifs purement synthétiques créés par des artistes. Mais pour amener la réalité dans le monde numérique — que ce soit pour la réalité virtuelle, l’immobilier ou la production cinématographique — l’ère du maillage est révolue. Nous vivons à l’ère du splat.

Sources

• Inria / Institut Max Planck : 3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)
• Implémentations open-source de 3D Gaussian Splatting sur Hugging Face
• Articles techniques et benchmarks de rendu du SIGGRAPH 2023