NVidia y Audio2Face

[Soliman]

Audio2Face AI Powered Application | NVIDIA

Entrada de audio
Usar una grabación o Animar en directo
Solo tienes que grabar una pista de audio de voz, introducirla en la aplicación y ver cómo tu cara en 3D cobra vida. Incluso puedes generar animaciones faciales en vivo usando un micrófono.
Audio2Face será capaz de procesar cualquier idioma fácilmente. Y nos actualizamos continuamente con más y más idiomas.

Transferencia de personajes
Intercambio de caras en un instante
Audio2Face te permite reorientar a cualquier rostro humano o humano en 3D, ya sea realista o estilizado. Esto hace que el intercambio de personajes sobre la marcha, ya sean humanos o animales, requiera solo unos pocos clics.

Conversión de datos
Conectar y convertir
La última actualización de Audio2Face ahora permite la conversión de blendshape y también las opciones de exportación de blendweight. Además, la aplicación ahora admite la exportación e importación con Blendshapes para Blender y Epic Games Unreal Engine para generar movimiento para los personajes utilizando sus respectivos conectores de Omniverse.

[3dpoder]

Solo tienes que grabar una pista de audio de voz, introducirla en la aplicación y ver cómo tu cara en 3D cobra vida. Incluso puedes generar animaciones faciales en vivo usando un micrófono.

Ojo con Nvidia, que en lo que respecta a inteligencia artificial está haciendo menos ruido que otras compañías pero va muy por delante. Hace unas semanas quise probar Omniverse en su versión completa, donde las herramientas interactúan entre sí, pero mi portátil dijo que no.

[Soliman]

Mirar el vídeo... minuto 26 mas o menos con la presentación de la nueva creación.... "David Blackwell".




Y esta parte es la mas divertida....

[3dpoder]

Una presentación magistral, van un paso por delante de todo, diría que son la punta de lanza de la tecnología hoy día. Todos los demás van a remolque.

Gracias por compartirlo.

[3dpoder]

La revolución en la animación digital acaba de acelerarse significativamente con el movimiento de NVIDIA al convertir su tecnología Audio2Face en proyecto de código abierto. Esta decisión marca un punto de inflexión para desarrolladores, artistas y estudios de animación que ahora pueden acceder gratuitamente a una de las herramientas más avanzadas de animación facial impulsada por inteligencia artificial.

La tecnología permite generar expresiones faciales realistas y sincronización labial precisa directamente desde archivos de audio, eliminando la necesidad de costosos procesos de captura de movimiento o animación manual frame por frame.

Funcionamiento y capacidades técnicas

Audio2Face opera mediante redes neuronales profundas que analizan las características del audio hablado para predecir y generar los correspondientes movimientos faciales en tiempo real. El sistema es capaz de capturar no solo la sincronización labial básica sino también las microexpresiones, gestos emocionales y nuances que hacen que una animación facial parezca genuinamente humana.

Soporta múltiples idiomas y acentos, adaptándose automáticamente a las particularidades fonéticas de cada lengua sin requerir reentrenamiento o configuración adicional por parte del usuario.

Impacto en la industria creativa

Esta liberación como código abierto democratiza el acceso a tecnología de animación de nivel profesional que antes estaba limitada a grandes estudios con presupuestos multimillonarios. Desarrolladores independientes, creadores de contenido y pequeños estudios ahora pueden integrar capacidades de animación facial de calidad cinematográfica en sus proyectos sin incurrir en costos de licencia.

La comunidad de código abierto ya está trabajando en extensiones y mejoras, incluyendo integraciones con motores como Unreal Engine y Unity, así como herramientas para personalizar los modelos base según necesidades específicas de proyecto.

Ahora los animadores podrán pasar más tiempo creando expresiones únicas y menos tiempo ajustando cada fotograma de movimiento labial, aunque algunos veteranos quizás extrañen esos días de dolor manual meticuloso que tanto caracterizaba su trabajo antes de la era de la inteligencia artificial.