Die Gaussian-Splats-Technologie stellt einen bemerkenswerten Fortschritt in der Erfassung von 3D-Szenen dar. Im Gegensatz zu traditionellen Methoden wie der Photogrammetrie, die Netze und Texturen erzeugt, modelliert diese Technik die Szene mit Millionen kleiner volumetrischer Elemente. Dies ermöglicht die inhärente Wiedergabe komplexer optischer Effekte, was zu extrem realistischen Visualisierungen führt. Wir untersuchen ihre Funktionsweise und ihr Potenzial für die Integration in Arbeitsabläufe wie Blender.
Von der Punktwolke zur differentiellen Darstellung 🔬
Der Prozess beginnt mit einer Punktwolke, die von LIDAR-Sensoren oder Kameras erfasst wird. Jeder Punkt wird in ein 3D-Gauß transformiert, ein Ellipsoid mit Attributen für Farbe, Deckkraft und Rotation. Der Schlüssel liegt im differentiellen Rasterisieren, das es ermöglicht, diese Parameter so zu trainieren, dass sie bei der Projektion in 2D die Ausgangsbilder originalgetreu rekonstruieren. Dies erfasst das transportierte Licht, einschließlich Halbtransparenzen und spiegelnder Reflexionen, ohne dass diese manuell modelliert werden müssen.
Schluss mit dem Bereinigen von Netzen, hallo zum Bereinigen von Splats 😅
Es scheint, als tauschen wir ein Problem gegen ein anderes ein. Früher verbrachten wir Stunden damit, Artefakte aus der Photogrammetrie zu entfernen und Retopologie zu betreiben. Jetzt wird unser neues Hobby sein, mit Geister-Splats umzugehen und die Dichte von umherirrenden Ellipsoiden anzupassen. Das Versprechen lautet, nie wieder einen Glättungsmodifikator anfassen zu müssen, auch wenn wir die Einfachheit eines guten Dreiecks vielleicht vermissen werden. Der Fortschritt ändert manchmal nur die Art des Kopfzerbrechens.