Seguimiento de puntos para rotoscopia o VFX con MV-TAP
Un equipo de investigadores presenta MV-TAP, un sistema nuevo para rastrear puntos en vídeos capturados desde múltiples cámaras. Este método procesa la información cruzada entre las distintas vistas para construir trayectorias más completas y fiables. Combina la geometría de las cámaras con un mecanismo de atención que recopila datos espacio-temporales desde diferentes ángulos. Los autores entrenan y evalúan el sistema con un dataset sintético amplio y varios conjuntos de pruebas reales específicos. Los resultados demuestran que MV-TAP supera a los métodos de tracking existentes y establece un nuevo referente en este campo.
El sistema aprovecha la información entre cámaras
MV-TAP funciona al analizar de forma simultánea las secuencias de todas las cámaras disponibles. Su mecanismo de atención multivista identifica y correlaciona los puntos de interés a través de los diferentes planos espaciales y temporales. Esto permite rastrear elementos incluso cuando se ocluyen parcialmente en una vista o se mueven en escenas dinámicas complejas. La integración de la geometría de las cámaras refina aún más la precisión de las trayectorias calculadas.
Sus aplicaciones benefician a la producción visual
Este avance puede mejorar varios procesos en programas y motores gráficos. Facilita reconstruir escenas en 3D, capturar movimiento y calibrar cámaras con mayor exactitud. También ayuda a seguir puntos para rotoscopia o integrar efectos visuales de manera más coherente. En animación y composición, resuelve problemas como estabilizar tomas multivista o recrear trayectorias realistas para cámaras virtuales. Flujos de trabajo en Blender, Autodesk Maya, Houdini, Unreal Engine, Unity y software de tracking profesional pueden beneficiarse de esta tecnología.
Aunque promete trayectorias más fiables, aún no puede rastrear a ese personaje secundario que desaparece misteriosamente detrás de un poste en cada toma multicámara.
