Cómo mapear este tipo de reflejos con un video background

[valobal]

Hola a todos, les dejo un enlace a un video que vi en internet, y que me pareció interesante el tipo de mapeo y reflexiones sobre los objetos 3d, en relación al background en video que contiene movimiento.

Alguien me podría explicar cómo generar este tipo de reflexiones, de acuerdo al ángulo del personaje y el movimiento de los objetos 3d?
Noten que al entrar las esferas, el reflejo cambia de angulación y tamaño sobre ellas, de acuerdo a la cercanía del personaje. Gracias y saludos.

-- IMÁGENES ADJUNTAS --

[LaUrA-28]

Para generar reflejos dinámicos como los del video necesitas usar un sistema de renderizado que calcule reflexiones en tiempo real basándose en el entorno. La técnica principal se llama reflection mapping o environment mapping.

El proceso comienza creando un cubemap dinámico que capture el fondo en video desde la perspectiva del objeto. En software 3D actual como Blender 3.x o Unreal Engine 5, puedes usar una cámara que renderice el entorno en un texture map en cada frame. Este cubemap se proyecta luego sobre los objetos 3D.

Debes asignar un material con shader de reflexión a los objetos como las esferas. Este shader debe usar las coordenadas de la normal de la superficie y el vector de visión para calcular la dirección del reflejo. La clave está en que el cubemap de entrada se actualice constantemente con el video del fondo, logrando que el reflejo cambie con el movimiento.

Para que el reflejo varíe con la proximidad y ángulo del personaje, el cubemap debe generarse desde la posición del objeto reflectante, no desde una vista fija. En motores como Unity con HDRP o Unreal, puedes usar un Reflection Probe configurado para actualizarse en tiempo real. Esta sonda captura el entorno alrededor del objeto, incluyendo al personaje en movimiento, y aplica esa imagen como reflejo.

La variación de tamaño e intensidad del reflejo se controla mediante parámetros del material como roughness y metallic. Un roughness bajo da reflejos nítidos, mientras que uno alto los difumina. Para animar estos parámetros según la distancia al personaje, puedes usar un nodo Driver o un script que modifique los valores basándose en la proximidad.

En resumen, necesitas un pipeline donde un video se use como entorno, una técnica de captura dinámica del entorno (como reflection probes), y materiales PBR configurados para reflejos especulares. Los softwares más adecuados hoy son Blender 3.6+ con el motor Eevee o Cycles, Unreal Engine 5.4, o Unity 2022 LTS con el render pipeline HDRP.