Метод рассчитывает прозрачность в 3D Gaussian Splatting
Техника 3D Gaussian Splatting (3DGS) революционизировала способ оптимизации и визуализации полей радиации в реальном времени. Однако её упрощённый подход к смешению цветов и расчёту плотности имеет серьёзный недостаток: она плохо представляет полупрозрачные объекты, сложным образом наложенные друг на друга. 🎯
Закрытие разрыва между растеризацией и реальной физикой
Чтобы преодолеть этот барьер, предложено расширение растеризационного рендеринга. Его цель — рассчитывать пропускаемость с высокой точностью, полностью отказавшись от затратных техник, таких как трассировка лучей или сортировка выборок для каждого пикселя. Это приближает скорость растеризации к точности более сложных физических методов.
Основы нового подхода:- Основан на предыдущих исследованиях по независимой от порядка прозрачности выборок.
- Центральная идея — компактно описывать распределение плотности вдоль каждого луча камеры.
- Для этого используется непрерывное представление, основанное на статистических моментах.
Теперь прозрачные объекты в 3DGS больше не выглядят как грязное стекло, увиденное сквозь другое грязное стекло.
Обработка моментов для реконструкции пропускаемости
Метод аналитически выводит и обрабатывает набор моментов для каждого пикселя. Эти моменты генерируются из всех 3D-гауссиан, которые вносят вклад в этот пиксель. С этой информацией система способна реконструировать непрерывную функцию пропускаемости для каждого отдельного луча, что ключевое для моделирования затухания света.
Реализация реконструкции:- Реконструируемая функция пропускаемости сэмплируется независимо внутри каждой 3D-гауссианы.
- Этот шаг критически важен для точного моделирования затухания света при прохождении через просвечивающие среды со сложными структурами.
- Процесс закрывает существующий технический разрыв, существенно улучшая итоговое качество как при реконструкции, так и при визуализации.
Результат: Прыжок в реализме и качестве
Главное преимущество этого метода — преодоление ограничений упрощённого alpha blending, используемого в 3DGS по умолчанию. Полупрозрачные объекты перестают восприниматься как плоские и беспорядочные слои, и вместо этого демонстрируют физическую сложность, которой они должны обладать. Это значительный прогресс для того, чтобы рендеринг в реальном времени был не только быстрым, но и визуально точным. ✨