Generar videos mediante planificación y verificación de trayectorias

[3dpoder]

SketchVerify es un sistema innovador que aborda la coherencia y plausibilidad física en la generación de videos mediante un proceso de planificación previa de movimientos. A diferencia de métodos anteriores que realizan planes de una sola vez o requieren múltiples llamadas costosas al generador, este sistema primero crea varias posibles trayectorias de movimiento para los objetos basándose en un prompt y una imagen de referencia. Luego, evalúa estas trayectorias utilizando un verificador visión-lenguaje que comprueba si cada plan se alinea con la instrucción y respeta leyes físicas básicas, todo ello sin la necesidad de sintetizar videos completos repetidamente.

Proceso de evaluación eficiente con bocetos de video

Para agilizar la evaluación, cada trayectoria se convierte en un boceto de video ligero, donde los objetos se superponen sobre un fondo estático. Esto permite simular rápidamente múltiples posibilidades de movimiento sin incurrir en altos costos computacionales. El sistema refina iterativamente los planes hasta encontrar uno satisfactorio, que luego se utiliza para generar el video final condicionado a esa trayectoria específica. Este enfoque no solo acelera el proceso, sino que también garantiza que los movimientos sean más suaves, consistentes y realistas.

Aplicaciones prácticas en animación y simulación

En aplicaciones cotidianas, como animar un personaje saltando sobre un obstáculo, SketchVerify prueba varias trayectorias de manera eficiente, verificando cuál resulta más natural y coherente antes de producir el video definitivo. De manera similar, en entornos virtuales para robots que realizan tareas complejas, las trayectorias planificadas y verificadas permiten generar videos de entrenamiento que reflejan movimientos correctos y realistas, optimizando el uso de recursos. Esto es especialmente valioso en escenarios donde la precisión física es crucial para el éxito de la simulación.

A veces, parece que los objetos en videos generados tienen más problemas de coordinación que un bailarín en una pista resbaladiza, pero con SketchVerify, al menos podemos asegurarnos de que sigan las leyes de la física y no terminen flotando como globos en una fiesta.