Технология Gaussian Splats представляет собой значительный прорыв в захвате 3D-сцен. В отличие от традиционных методов, таких как фотограмметрия, которая генерирует сетки и текстуры, эта техника моделирует сцену с помощью миллионов мелких объемных элементов. Это позволяет естественным образом воспроизводить сложные оптические эффекты, что приводит к чрезвычайно реалистичной визуализации. Мы исследуем принцип её работы и потенциал интеграции в рабочие процессы, такие как Blender.
От облака точек к дифференциальному представлению 🔬
Процесс начинается с облака точек, полученного с датчиков LIDAR или камер. Каждая точка преобразуется в 3D-гауссоид — эллипсоид с атрибутами цвета, прозрачности и вращения. Ключ кроется в дифференциальном растеризации, которая позволяет обучать эти параметры так, чтобы при проецировании в 2D они точно воссоздавали исходные изображения. Это захватывает перенос света, включая полупрозрачность и зеркальные отражения, без необходимости их ручного моделирования.
Прощай, чистка сеток, здравствуй, чистка сплатов 😅
Кажется, мы поменяли одну проблему на другую. Раньше мы тратили часы на удаление артефактов фотограмметрии и ретопологию. Теперь нашим новым хобби станет борьба с фантомными сплатами и настройка плотности блуждающих эллипсоидов. Обещание — больше никогда не прикасаться к модификатору сглаживания, хотя, возможно, мы будем скучать по простоте хорошего треугольника. Прогресс иногда лишь меняет тип головной боли.