Los modelos actuales que generan vídeos suelen aprender la distribución de latentes en el espacio VAE y luego mapearlos a píxeles. Este método puede producir vídeos de alta calidad, pero converge lentamente y resulta costoso a nivel computacional al generar vídeos largos. SemanticGen propone una solución novedosa que aborda estas limitaciones al generar vídeos directamente en el espacio semántico.


El proceso de generación en dos etapas

La idea principal es que, debido a la redundancia inherente en los vídeos, el proceso debe comenzar en un espacio semántico compacto y de alto nivel para planificar globalmente. Después se añaden los detalles de alta frecuencia. SemanticGen adopta un proceso de dos etapas. En la primera, un modelo de difusión genera características semánticas de vídeo compactas que definen el diseño global. En la segunda etapa, otro modelo de difusión genera latentes VAE condicionados por estas características semánticas para producir el resultado final.

Ventajas en eficiencia y calidad

Generar en el espacio semántico conduce a una convergencia más rápida en comparación con el espacio latente VAE. El método también es efectivo y computacionalmente eficiente cuando se extiende para generar vídeos largos. Experimentos exhaustivos demuestran que SemanticGen produce vídeos de alta calidad y supera a los enfoques más avanzados y líneas base sólidas. Así, se optimiza el flujo de trabajo al separar la planificación global de los detalles específicos.

Parece que la redundancia en los vídeos no solo es útil para comprimir archivos, sino también para que los modelos aprendan más rápido, un atajo que muchos agradecerán al no tener que esperar eternamente a que se renderice una secuencia.

Puedes ver más sobre el tema aquí.