La technologie des Gaussian Splats représente une avancée notable dans la capture de scènes 3D. Contrairement aux méthodes traditionnelles comme la photogrammétrie, qui génère des maillages et des textures, cette technique modélise la scène avec des millions de petits éléments volumétriques. Cela permet de reproduire de manière inhérente des effets optiques complexes, aboutissant à des visualisations extrêmement réalistes. Nous explorons son fonctionnement et son potentiel d'intégration dans des flux de travail comme Blender.
Du nuage de points à la représentation différentielle 🔬
Le processus commence par un nuage de points obtenu à partir de capteurs LIDAR ou de caméras. Chaque point est transformé en un gaussien 3D, un ellipsoïde avec des attributs de couleur, d'opacité et de rotation. La clé réside dans la rasterisation différentielle, qui permet d'entraîner ces paramètres pour que, lors de leur projection en 2D, ils reconstruisent fidèlement les images d'origine. Cela capture le transport de la lumière, y compris les semi-transparences et les reflets spéculaires, sans avoir besoin de les modéliser manuellement.
Adieu au nettoyage des maillages, bonjour au nettoyage des splats 😅
On dirait que nous échangeons un problème contre un autre. Avant, nous passions des heures à éliminer les artefacts de photogrammétrie et à retopologiser. Maintenant, notre nouveau passe-temps sera de gérer les splats fantômes et d'ajuster la densité des ellipsoïdes errants. La promesse est de ne plus jamais toucher un modificateur de lissage, même si nous pourrions regretter la simplicité d'un bon triangle. Le progrès, parfois, ne fait que changer le type de casse-tête.