V-RGBX es un marco de trabajo para editar vídeo con representaciones intrínsecas

[3dpoder]

Los modelos actuales para generar vídeo a gran escala pueden modelar la apariencia fotorrealista y cómo interactúa la luz en escenas reales. Sin embargo, no existe un marco de trabajo cerrado que entienda de forma conjunta las propiedades intrínsecas de una escena, como el albedo, la normal, el material y la irradiancia, para luego usarlas en la síntesis de vídeo y permitir editarlas. V-RGBX presenta el primer marco de trabajo integral para editar vídeo con consciencia de estas propiedades intrínsecas.

V-RGBX unifica tres capacidades clave

Este marco unifica tres funciones principales. Primero, puede invertir el renderizado de un vídeo para extraer sus canales intrínsecos. Segundo, sintetiza vídeo fotorrealista partiendo de esas representaciones intrínsecas. Tercero, permite editar vídeo basándose en fotogramas clave que el usuario selecciona y condicionando la edición a esos canales intrínsecos. El núcleo del sistema es un mecanismo de condicionamiento entrelazado que facilita editar de forma intuitiva y con base física.

El mecanismo permite editar vídeos de forma consistente

Los resultados muestran que V-RGBX produce vídeos con consistencia temporal y apariencia fotorrealista. El sistema propaga las ediciones hechas en un fotograma clave a lo largo de la secuencia de una manera físicamente plausible. Esto demuestra su utilidad en aplicaciones diversas, como modificar la apariencia de un objeto o volver a iluminar una escena completa, superando el rendimiento de métodos anteriores.

Ahora puedes cambiar el color de un objeto en un vídeo y que su sombra y reflejos se ajusten solos, como si la física por fin obedeciera al artista.

Puedes ver más aquí.