Renderizar escenas a partir de fotografías

Se trata de un nuevo enfoque avanzado para renderizar escenas 3D a partir de un conjunto de fotografías. Y la verdad es que tiene un aspecto muy interesante.

Echa un vistazo a un nuevo algoritmo que estudia un conjunto de fotografías y lo convierte en una escena 3D que se puede explorar. El equipo desarrollador dice que la representación de la nube de puntos se realiza por un renderizador diferenciable utilizando la rasterización de puntos de píxel de resolución múltiple.

Los gradientes espaciales de la rasterización se aproximan por el novedoso concepto de geometría fantasma. Después de la representación, la pirámide de imagen neuronal se pasa a través de una red neuronal profunda para los cálculos de sombreado y el relleno de agujeros. Un tonemapper diferenciable basado en la física convierte la salida intermedia en la imagen de destino.

Dado que todas las etapas de la tubería son diferenciables, se optimizan todos los parámetros de la escena. Es decir, el modelo de la cámara, la posición de la cámara, la posición del punto, el color del punto, el mapa del entorno, los pesos de la red de renderizado, el viñeteado, la función de respuesta de la cámara, la exposición por imagen y el balance de blancos por imagen.

La eficiente rasterización de puntos de un píxel permite utilizar modelos de cámara arbitrarios y mostrar escenas con más de 100 millones de puntos en tiempo real.

Entornos virtuales realistas

El equipo cree que su nuevo enfoque puede sintetizar puntos de vista novedosos más nítidos y consistentes que los enfoques existentes. Porque la reconstrucción inicial se refina durante el entrenamiento. Lamentablemente, aún no hay ningún código disponible, pero si estás interesado en profundizar más puedes consultar el documento del equipo de desarrollo en la Cornell University.

Que ya que la mencionamos, tengo que decir que es una Universidad que está aportando unos estudios muy avanzados en todo el tema del diseño gráfico y el 3D. En el foro hay muchos mensajes relacionado con la tecnología que salen de estudios de esta Universidad.

Sintetizar entornos virtuales realistas es uno de los temas más investigados en infografía y computación gráfica. Una decisión importante es cómo deberían codificarse y almacenarse en la memoria. Los usuarios suelen elegir entre mallas triangulares, cuadrículas de vóxeles, funciones implícitas, y nubes de puntos.

Cada representación tiene diferentes ventajas y desventajas. Para una representación eficiente de superficies opacas, se eligen comúnmente las mallas triangulares.

Representar el volumen

Las cuadrículas de vóxeles se utilizan a menudo en la representación de volumen, mientras que las funciones implícitas se pueden utilizar para describir con precisión los elementos no lineales y las superficies analíticas.

Las nubes de puntos, por otro lado, tienen la ventaja de ser fácil de usar porque no tiene topología de laboratorio de computación visual, debe tenerse en cuenta, lo que los convierte en un buen candidato para un resultado intermedio o como una representación en un contexto.

A principios de la década del 2000, la representación de nubes de puntos, especialmente con salpicaduras de puntos, ha sido un campo investigado en gráficos por ordenador. En paralelo, la técnica del renderizado basado en imágenes ganaron un interés creciente. Basado en un tosco, modelo 3D reconstruido, así como un conjunto registrado de imágenes de un objeto, se sintetizan vistas novedosas.

Los enfoques adolecen de imprecisiones en la entrada, por ejemplo, aparecen artefactos fantasma si la geometría contiene agujeros o si las imágenes de entrada no están perfectamente alineadas. El enfoque del trabajo basado en las redes neuronales para renderizar eliminan estos artefactos y puede generar imágenes fotorrealistas de una calidad sin precedentes.

También es posible emparejar un rasterizador de puntos tradicional con un red neuronal profunda. Esto es especialmente beneficioso en el campo de la reconstrucción 3D.

Hay que decir que no es el primer software que crea renderizaciones a partir de imágenes, tenemos otros ejemplos que quizá estén más avanzados en el desarrollo, y que ya se pueden probar. Como los de la lista siguiente.

FaceBuilder crea modelos de rostros a partir de fotografías.
Nvidia GANverse3D genera modelos realistas 3d a partir de fotografías.

Luego los hay incluso para sacar el modelo 3D de una fotografía, pero eso es ya otra historia diferente.

Os dejo con el video de presentación.

https://youtu.be/P1yTVGJ3peg

-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=240624
https://foro3d.com/attachment.php?attachmentid=240625