Un método que calcula la transparencia en 3D Gaussian Splatting

[3dpoder]

La técnica 3D Gaussian Splatting (3DGS) permite optimizar y renderizar campos de radiancia en tiempo real, pero simplifica demasiado cómo se mezclan los colores y calcula la densidad. Esto limita su capacidad para representar objetos semitransparentes que se superponen de forma compleja. Este trabajo propone una extensión para el renderizado basado en rasterización que calcula la transmitancia con alta fidelidad, sin necesidad de trazar rayos u ordenar muestras por píxel.

La clave reside en usar momentos estadísticos

El método se basa en trabajos previos sobre transparencia independiente del orden. La idea central es caracterizar la distribución de densidad a lo largo de cada rayo de cámara usando una representación compacta y continua basada en momentos estadísticos. Para lograrlo, se derivan y procesan analíticamente un conjunto de momentos por píxel a partir de todas las gaussianas 3D que contribuyen. A partir de estos momentos, se reconstruye una función de transmitancia continua para cada rayo.

Se reconstruye y muestrea la función de transmitancia

Esta función de transmitancia reconstruida se muestrea de forma independiente dentro de cada gaussiana 3D. De este modo, el método cierra la brecha entre la rasterización y la precisión física al modelar cómo se atenúa la luz en medios translúcidos complejos. El resultado es que mejora significativamente la calidad general de la reconstrucción y el renderizado, superando las limitaciones del alpha blending simplificado.

Ahora los objetos transparentes en 3DGS ya no parecen vidrio sucio visto a través de otro vidrio sucio, sino que se perciben con la complejidad física que deberían tener.