Nvidia Instant NeRF convierte fotografías 2D en escenas 3D
Nvidia Instant NeRF convierte fotografías 2D en escenas 3D en un abrir y cerrar de ojos. Eso es lo que vienen a decirnos en el video que podemos ver al final del artículo.
La compañía ha compartido una innovadora investigación de redes neuronales ultrarrápidas que reconstruye instantáneamente una escena 3D de alta resolución a partir de un conjunto de imágenes 2D.
El equipo de investigación de Nvidia ha desarrollado un enfoque para convertir una colección de imágenes fijas en una escena digital 3D casi al instante. Lo que lo convierte en uno de los primeros modelos de su tipo en combinar el entrenamiento de redes neuronales ultrarrápidas y la representación rápida.
Este proceso no es nuevo, se le conoce como renderizado inverso, el proceso utiliza IA para aproximarse a cómo se comporta la luz en el mundo real. Lo que permite a los investigadores reconstruir una escena 3D a partir de un puñado de imágenes 2D tomadas en diferentes ángulos.
Nvidia aplica este enfoque a una nueva tecnología popular llamada campos de radiancia neuronal, o NeRF. El resultado, denominado Instant NeRF, es la técnica NeRF más rápida hasta la fecha. Llegando en muchos casos a ser instantánea. El modelo requiere solo segundos para estudiar docenas de fotografías, además de datos sobre los ángulos de la cámara desde los que fueron tomadas, y luego puede renderizar la escena 3D resultante en milisegundos.
Los NeRF son como las imágenes de mapa de bits
Según David Leubke, vicepresidente de investigación gráfica de Nvidia, si las representaciones 3D tradicionales como las mallas poligonales son similares a las imágenes vectoriales, los NeRF son como las imágenes de mapa de bits. Capturan densamente la forma en que la luz irradia de un objeto o dentro de una escena.
En ese sentido, Instant NeRF podría ser tan importante para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía 2D. Aumenta enormemente la velocidad, la facilidad y el alcance de la captura y el intercambio en 3D.
Presentado en una sesión en Nvidia GTC esta semana, Instant NeRF podría usarse para crear avatares o escenas para mundos virtuales; para capturar participantes de videoconferencias y sus entornos en 3D. O para reconstruir escenas para mapas digitales 3D.
En un homenaje a los primeros días de las imágenes Polaroid, Nvidia Research ha recreado una fotografía icónica de Andy Warhol capturando una instantánea; convirtiéndola en una escena 3D usando Instant NeRF.
¿Qué es un NeRF?
Los sistemas NeRF usan redes neuronales para representar y renderizar escenas 3D realistas basadas en una colección de entrada de imágenes 2D.
Como escribe Salian, recopilar datos para alimentar a un NeRF es un poco como ser un fotógrafo de alfombra roja que intenta capturar el atuendo de una celebridad desde todos los ángulos. La red neuronal requiere unas pocas docenas de imágenes tomadas desde múltiples posiciones alrededor de la escena. Así como la posición de la cámara de cada una de esas tomas.
En una escena que incluye personas u otros elementos en movimiento, cuanto más rápido se capturen estas tomas, mejor. Si hay demasiado movimiento durante el proceso de captura de imágenes 2D, la escena 3D generada por IA será borrosa.
A partir de ahí, un NeRF esencialmente llena los espacios en blanco, entrenando una pequeña red neuronal para reconstruir la escena prediciendo el color de la luz que irradia en cualquier dirección, desde cualquier punto en el espacio 3D. La técnica puede incluso evitar oclusiones, cuando los objetos vistos en algunas imágenes están bloqueados por obstrucciones como pilares en otras imágenes.
Nvidia Instant NeRF acelera por 1.000
Si bien estimar la profundidad y la apariencia de un objeto basado en una vista parcial es una habilidad natural para los humanos, es una tarea exigente para la IA.
Crear una escena 3D con métodos tradicionales lleva horas o días, dependiendo de la complejidad y resolución de la visualización. Llevar la IA (inteligencia artificial) a la imagen acelera las cosas. Los primeros modelos de NeRF representaban escenas nítidas sin artefactos en unos pocos minutos, pero tardaban horas en aprender y extraer los datos necesarios de esas fotografías.
Instant NeRF, sin embargo, reduce el tiempo de renderizado en varios órdenes de magnitud. Se basa en una técnica desarrollada por Nvidia llamada codificación de cuadrícula hash de resolución múltiple. Está optimizada para ejecutarse de manera eficiente en las GPU Nvidia. Usando un nuevo método de codificación de entrada, los investigadores pueden lograr resultados de alta calidad utilizando una pequeña red neuronal que se ejecuta rápidamente.
La tecnología podría usarse para entrenar a robots y automóviles autónomos para comprender el tamaño y la forma de los objetos del mundo real mediante la captura de imágenes 2D o imágenes de video de ellos. También podría usarse en arquitectura y entretenimiento para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y construir.
Primitivas de gráficos neuronales al instante con Nvidia Instant NeRF
Las representaciones neuronales de primitivas de gráficos por ordenador, como campos de luz, volumetría (NeRF), funciones de distancia firmada (SDF) y similares, han aumentado dramáticamente en popularidad en los últimos años.
Sin embargo, a pesar de los avances en la representación rápida de tales primitivas, su aprendizaje y entrenamiento eficiente sigue siendo un objetivo difícil de alcanzar, tomando por lo general horas o días.
Mostraremos cómo tales primitivas de gráficos neuronales pueden entrenarse en segundos en lugar de horas, así como renderizarse a velocidades más rápidas que en tiempo real (>60 frames por segundo >1080p) sin ningún postproceso del modelo entrenado. Nos centraremos en tres ingredientes clave, que combinados pueden ofrecer una aceleración sin precedentes.
- Una nueva codificación de entrada neuronal.
- Un nuevo marco de entrenamiento e inferencia CUDA.
- Algoritmos eficientes para la representación diferenciable de las primitivas gráficas.
¡Echa un vistazo al video sobre sobre Nvidia Instant NeRF!
https://youtu.be/DJ2hcC1orc4
Puedes ver la publicación completa aquí, para obtener más información sobre Instant NeRF.
