A tecnologia de Gaussian Splats representa um avanço notável na captura de cenas 3D. Diferente de métodos tradicionais como a fotogrametria, que gera malhas e texturas, esta técnica modela a cena com milhões de pequenos elementos volumétricos. Isso permite reproduzir efeitos ópticos complexos de maneira inerente, resultando em visualizações extremamente realistas. Exploramos seu funcionamento e seu potencial de integração em fluxos de trabalho como o Blender.
Da nuvem de pontos à representação diferencial 🔬
O processo começa com uma nuvem de pontos obtida de sensores LIDAR ou câmeras. Cada ponto é transformado em um gaussiano 3D, um elipsoide com atributos de cor, opacidade e rotação. A chave está na rasterização diferencial, que permite treinar esses parâmetros para que, ao serem projetados em 2D, reconstruam fielmente as imagens de origem. Isso captura a luz transportada, incluindo semitransparências e reflexos especulares, sem a necessidade de modelá-los manualmente.
Adeus a limpar malhas, olá a limpar splats 😅
Parece que trocamos um problema por outro. Antes passávamos horas eliminando artefatos de fotogrametria e retopologizando. Agora, nosso novo passatempo será lidar com splats fantasmas e ajustar a densidade de elipsoides errantes. A promessa é nunca mais tocar em um modificador de suavização, embora possamos sentir falta da simplicidade de um bom triângulo. O progresso, às vezes, só muda o tipo de dor de cabeça.