La herramienta Stable Diffusion en Houdini
El artista Stanislav Demchenko (stassius) ha publicado Stable Houdini, un conjunto de herramientas de código abierto que integra Stable Diffusion en Houdini.
Este kit de herramientas permite utilizar el modelo de generación de imágenes de IA de Stability AI dentro de Houdini para crear arte conceptual, pinturas mate e incluso animaciones, con la opción de utilizar una escena 3D como guía para los resultados.
Stable Houdini se puede ejecutar completamente en una máquina local y ha sido utilizado en proyectos por la empresa de producción virtual EVR Systems. SideFX acaba de presentarlo en el sitio web del producto Houdini.
Hemos cubierto previamente otro complemento gratuito para integrar Stable Diffusion en Houdini en CG Channel: StableDiffusion_Houdini, creado por el desarrollador de Ubisoft, Mohsen Tabasi.
Permite controlar el modelo generativo de IA
Al igual que Stable Houdini, este complemento permite controlar el modelo generativo de IA desde el interior de Houdini, creando imágenes 2D basadas en indicaciones de texto, imágenes de origen o la composición de una escena 3D.
Los videos anteriores muestran el uso de este conjunto de herramientas para generar un entorno 2D detallado e imágenes de personajes que se ajustan a la geometría básica y la postura de un personaje estándar de Mixamo.
Los posibles casos de uso abarcan desde la creación de marcos de guiones gráficos y arte conceptual, hasta fondos mate digitales para tomas de efectos visuales e incluso fondos para juegos de estrategia en tiempo real.
Estas herramientas se pueden ejecutar en una máquina sin conexión a Internet. Ambas utilizan Stable Diffusion UI AUTOMATIC1111, una interfaz de usuario de código abierto que permite ejecutar el modelo de IA en una máquina local, sin necesidad de una cuenta oficial de Stability AI DreamStudio.
AUTOMATIC1111 también incluye modelos de mejora de imágenes de IA, lo que permite aumentar la resolución de las imágenes generadas por Stable Diffusion para que sean utilizables en producción.
Genera animaciones simples o estilizar videos
También es posible utilizarlo para generar animaciones simples o estilizar videos. Además, Stable Houdini puede aprovechar la extensión de código abierto ControlNet de AUTOMATIC1111 para tener un control más preciso sobre Stable Diffusion, especialmente al generar múltiples cuadros.
En el video anterior, se pueden observar posibles casos de uso, como la creación de animaciones de transformación simples, la aplicación de estilos a un video existente e incluso la creación de una animación de Keanu Reeves bailando basada en el video de Rick Roll.
Si bien el resultado puede no ser especialmente estable temporalmente, el efecto puede ser visualmente agradable.
Stable Houdini también se puede utilizar para tareas más generales de procesamiento de imágenes o videos, como generar mapas normales o de profundidad que coincidan con el cuadro actual.
En cuanto a las licencias y requisitos del sistema, Stable Houdini es compatible con Houdini 19.5 y Python 3.9. Puede encontrar los archivos .hda descargables y una escena de demostración .hip de Houdini en GitHub. El código fuente está disponible bajo la licencia Apache 2.0.
AUTOMATIC1111 está disponible como un binario compilado solo para GPU en Windows 10 y Nvidia, aunque también se puede ejecutar en AMD y Apple Silicon si se instala desde la fuente. Está disponible bajo la licencia Affero GPL.
Puedes descargar el kit de herramientas Houdini Stable Diffusion de forma gratuita en GitHub.
