Versión para imprimir
Creators Proyects ha publicado un documental que podemos ver subtitulado, es interesante ver su punto de vista en lo que ha recreación de personas humanas se refiere, la verdad es que se a avanzado mucho en este campo.
En el vídeo que vamos a ver a continuación se pueden observar trabajos realizados por distintas compañías y distintos softwares.
https://www.youtube.com/watch?T=59&v=lTC3k9Iv4r0
Me he quedado helado con Baby X.
Vaya me parece un proyecto Increíble, para él que quiera saber algo más, esta charla no tiene desperdicio.
Pues eso que Imagine Engine está haciendo el doble de Logan, aquí podemos ver un vídeo de cómo va el tema.
-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=235353
Los humanos CG en tiempo real de Unreal Engine, desde los inicios de la industria CG, lo más complicado de recrear con credibilidad han sido los humanos, y más concretamente el rostro.
Los artistas a lo largo de los años han encontrado dificultades varias, como el agua, el pelo, movimientos creíbles, y todo se ha ido superando poco a poco.
Hoy día todo eso está a la orden del día y cada vez podemos ver mejores trabajos, perfectos, el rostro sin embargo, sigue siendo el caballo de batalla.
Hay rostros que rozan la perfección pero no termina de transmitir el calor de un rostro real, los ojos, muecas, gestos, parpadeos, todo está muy optimizado. Pero no puedo decir que sean perfectos.
Está claro que también depende del ojo que lo ve, para la gran mayoría de público, no solo lo verán real, sino que, en muchos casos, creerán que es el personaje real de carne y hueso.
Pero los que sabemos algo de esto, reconocemos cuando es real y no, sobre todo, si tiene movimiento, en caso de ser una imagen estática, la cosa cambia, hay trabajos que parecen fotografías de personas reales, cuando no lo son.
Si además a esto le sumamos el querer obtener resultados creíbles en tiempo real, la cosa se complica, pero cuidado, porque cada día avanzamos un poco más.
Ahí está Epic Games con su Unreal Engine, que sigue sorprendiendo día a día, y no paran de avanzar, uno de esos casos donde han intervenido es el proyecto Siren, creando un actor digital fotorrealista, todo ello teniendo como referencia la actuación en vivo de un actor real.
Hasta no hace mucho, la recreación de humanos con herramientas CG era algo exclusivo de los videojuegos, pero de un tiempo a esta parte se utilizan cada vez más para renderizar escenas de cine y cinemáticas en tiempo real.
Que no dejan de ser otra forma cine en tiempo real, y todo ello sin perder un ápice de interactividad. La tecnología se abre paso.
Los humanos CG en tiempo real de Unreal Engine están detrás de muchos trabajos digitales, además para reforzar su posición en el mercado y ganar tecnología.
El año pasado adquirió 3Lateral, una compañía líder en herramientas creadas expresamente para recrear humanos digitales.
El resultado de lo anterior, sumado al Metaverso de artistas digitales anónimos que hacer fluir el trabajo en humanos y con gran talento, forma un potente ecosistema que trabaja en el ámbito de los humanos digitales en tiempo real, capturando referentes reales y precisas, sutileza y matices indispensables que creen ese aura cada vez más perfecto, y en tiempo real.
-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=231529
https://foro3d.com/attachment.php?attachmentid=231530
https://foro3d.com/attachment.php?attachmentid=231531
Los humanos CG en tiempo real de Unity, si hace unos días hablábamos de los humanos CG en tiempo real de Unreal Engine, hoy toca hacer lo mismo en lo que respecta al trabajo de Unity, compañía desarrolladora del motor de juego con el mismo nombre, esta empresa está sumergida profundamente en la investigación de humano digitales, sobre todo en sus propios proyectos de cortometrajes, en el que se incluye el proyecto The Heretic. Para crear este personaje digital, el equipo de Unity utilizó distintos servicios de escáner 3D y 4D, también soluciones de rigging y captura de movimiento.
Como explicamos en el mensaje de los humanos CG en tiempo real de Unreal, este tipo de soluciones CG en tiempo real se utilizan ya desde hace un tiempo y podemos verlo en varios juegos tipo AAA, pudiendo ver cada vez mejores cinemáticas acompañando o presentado juegos de primera línea, pero Unity quería subir la apuesta un listón más, así que volcaron toda su tecnología y experiencia en The Heretic.
El siguiente paso de Unity es optimizar la calidad de los pequeños detalles, gracias a los datos que están recibiendo en formato 4D pueden observar mucho mejor donde se necesitan mejoras visuales y de resolución, apostando por darlo todo siendo menos conservadores que hasta la fecha.
-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=231595
https://foro3d.com/attachment.php?attachmentid=231596
Recopilación de humanos digitales creados por Mimic, estos últimos días estoy viendo cada vez más movimiento de grandes firmas que centran sus esfuerzos en humanos digitales, no en vano, ya que parece que ahora mismo es la meta a batir, conseguir buenos modelos 3D de humanos que consigan el fotorrealismo, algo ya muy avanzado tecnológicamente hablando, pero todavía queda mucho por recorrer, lo que estamos acostumbrados a ver trabajos CG, vemos que son recreaciones sin vida, les falta expresión y transmitir, sobre todo en animación claro, porque en imagen estática hay algunos trabajos que son perfectos.
Mimic se está especializando en recrear dobles digitales de personajes famosos, creando personajes digitales fotorrealistas. Su método consiste en seguir las siguientes pautas de trabajo:
- Escaneo 3D
- Modelado y escultura
- Texturas y mapas
- Rigging
- Captura de movimiento y animación
- Integración en tiempo real
Mimic trabaja en la línea de escáner sus personajes, este sistema combina las últimas tecnologías para capturar la topología a alta resolución, empleando también mapas de textura con un nivel de detalle extremo, para mostrar su trabajo y atraer la atención en lo que hacen, están creando dobles digitales de famosos como Roger Federer, Marina Abramovic o Cristiano Ronaldo. Viajando a cualquier lugar del mundo con su equipo portátil.
Archivo adjunto 231612
-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=231612
Los humanos digitales de Digital Domain en el cine. Si Unity y Unreal Engine están enfocados en la creación de humanos digitales para videojuego y cinemática, Digital Domain lo hace enfocado al cine. El director de I+D se puso el traje Xsens, ese traje con sensores para capturar el movimiento, y una cámara montada en un casco, así fue como dio una charla TED (Tecnología, Entretenimiento y Diseño), desde ese momento Digital Domain ha seguido investigando en esa área.
Gracias a esas investigación han podido mejorar la calidad de la captura de movimiento y mejorar el rendimiento facial, para entendernos, el sistema que utilizan es algo así como un buscador de movimiento en la persona real, este buscador trabaja todos los parámetros de movimiento sin cesar, con este proceso automatizado el sistema es capaz de generar miles de modelos de captura por segundo.
Esta técnica crea nuevos modelos matemáticos que captura con precisión exhaustiva los movimientos faciales por sutiles que estos sean, y los representan en forma de geometría en movimiento. Parece sencillo ¿no? Esto les ha llevado a innovar y buscar otras fronteras, como hacer que un personaje CGI sea autónomo. Y a algo más serio, como investigar técnicas de representación neuronal.
Digital Domain también sabe aprovechar la tecnología de otras compañías, como por ejemplo el Raytraced de Unreal Engine utilizando las GPU de Nvidia para renderizar.
Su tecnología en tiempo real se ha adaptado en varios proyectos, por ejemplo se utilizó para generar un Pikachu en tiempo real, para darle movilidad capturando los movimientos de una persona, se utilizó a un actor real, Ryan Reynolds. Otro ejemplo de su tecnología es su último proyecto, un doble digital de Martin Luther King en tiempo real.
-- IMÁGENES ADJUNTAS --
https://foro3d.com/attachment.php?attachmentid=231631
https://foro3d.com/attachment.php?attachmentid=231633
Se me pasó el video del TED, no tiene desperdicio, al menos para ver cómo es capaz de trabajar en tiempo real.
https://youtu.be/nJd_2mJ4u-I
Su trabajo se ve increíble. Creo que se puede comparar con la creación de una vida en sí misma.
La vida digital.
El aprendizaje automatizado a la hora de crear personajes CG está utilizando las últimas técnicas de aprendizaje, a la hora de crear criaturas o dobles digitales nos encontramos con el desarrollo de software relativamente nuevo, y aunque prometedor y avanzando a pasos agigantados todavía no está al alcance de todos, por lo que varias empresas han estado sumergiendo sus dedos en en el tema. Ziva Dynamics, que ofrece software de simulación basado en la física llamado Ziva VFX, ha estado explorando el aprendizaje automático, particularmente en relación con su tecnología de Solver en tiempo real.
Esta tecnología, permite convertir simulaciones offline de alta calidad, elaboradas por directores técnicos usando Ziva VFX, en personajes en tiempo real. Ziva ha implementado esta tecnología en algunas demostraciones públicas y participado en prototipos confidenciales con varias empresas punteras en diferentes sectores para explorar casos de uso y estrategias futuras de productos.
Los algoritmos de aprendizaje automático permiten a los artistas plantear interactivamente personajes Ziva de alta calidad en tiempo real, los renders producidos a partir de simulaciones offline se combinan con datos de animación representativos a través de un proceso de aprendizaje automático. A partir de eso, los solucionadores se aproximan rápidamente a la dinámica natural del personaje para posiciones completamente nuevas. Esto da como resultado un activo de personajes rápido e interactivo que logra formas realmente consistentes, todo en un archivo relativamente pequeño.
Allegorithmic, que hace que el conjunto Substance de texturizado 3D y herramientas de creación de materiales, también ha estado explorando el campo de la IA para combinar varios procesos relacionados con el material, como el reconocimiento de imágenes y la extracción de color, en una sola herramienta, llamada Project Substance Alchemist.
Las capacidades de IA (inteligencia artificial) de Project Substance Alchemist son, en particular, alimentadas por GPU Nvidia (Nvidia en sí está en el centro de una gran cantidad de investigación de aprendizaje automático relacionada con gráficos informáticos). Por un lado del software Project Substance Alchemist, el deleite que fue creado para ayudar a los artistas a eliminar las sombras bakeadas de un color base o fotografía de referencia una red neuronal fue creada a partir de la biblioteca de materiales de Substance para entrenar el sistema. Los artistas necesitan que sus imágenes estén libres de tales sombras con el fin de obtener un control absoluto sobre el material. El deleite impulsado por IA detecta las sombras, las elimina y reconstruye lo que hay bajo las sombras.
En el espacio de captura de movimiento, varias empresas están empleando técnicas de aprendizaje automático para ayudar a hacer el proceso más eficiente. Deep Motion, por ejemplo, utiliza AI de varias maneras, para volver a segmentar y después del proceso de los datos de captura de movimiento, para simular la deformación del cuerpo blando en tiempo real, para lograr una estimación de postura 2D y 3D, entrenar personajes físicos para sintetizar movimiento dinámico en una simulación, y para unir múltiples movimientos para una transición y mezcla sin fisuras.
Estas aplicaciones de AI resuelven una variedad de problemas para acelerar los procesos de VFX, permitir la creación de personajes verdaderamente interactivos y expandir las canalizaciones para datos de animación y simulación, dice Kevin He, fundador de Deep Motion. El aprendizaje automático se ha utilizado durante años para crear efectos interesantes en la animación basada en la física y las artes de los medios de comunicación, pero estamos viendo una nueva ola de aplicaciones a medida que los cálculos se vuelven más eficientes y los enfoques novedosos, como el aprendizaje de refuerzo profundo, crean modelos más escalables.
Mientras tanto, la compañía Radical también está utilizando AI en la captura de movimiento y en particular, desafiando el enfoque habitual basado en hardware para capturar. Específicamente utilizan la entrada de cámaras de video 2D convencionales para producir animaciones 3D que requieren poca o ninguna limpieza, codificación, inversión o preparación.
Para hacer eso no confían en las detecciones basadas en hardware de toneladas de pequeños puntos de datos que se agregan en sumas de datos más grandes que después de una limpieza intensiva, se asemejan colectivamente a la actividad humana. Más bien, ofrecen reconstrucciones de movimiento humano basadas en el aprendizaje y basadas en software en el espacio 3D.
Vaya que sorprendente, recuerdo un proyecto que hicieron mis alumnos de secundaria y preparatoria en la cual presentaban ese tipo de trabajo muy bien explicado el video.
En esta ocasión no se trata de un humano digital y tampoco de un doble digital, se trata de Alita, un personaje creado por Weta Digital para una película CG, pero el parecido con las personas está muy bien logrado, he publicado un desglose de efectos visuales en la sección de cine, pero creo que merece estar presente en este tema sobre dobles digitales por la técnica utilizada y el realismo conseguido.
Dejo aquí el tráiler, el desglose de efectos visuales lo puedes ver en Alita arcángel de batalla.
https://youtu.be/P0KGgtTsRQk
Digital Domain nos presenta a Douglas, un nuevo humano digital autónomo de corte realista y con acción en tiempo real que fue diseñado para romper las barreras en las interacciones de persona a máquina, produciendo conversaciones que se sienten naturales y fáciles. Se dice que Douglas es como un camaleón, con la capacidad de cambiar de cara. El objetivo del equipo es lanzarlo en 2021.
Donde quiera que mires, ves asistentes virtuales, robots y otras formas de comunicación basada en IA interactuando con las personas. A medida que las empresas decidan expandir las interacciones pasadas solo de voz, va a haber una necesidad real de seres humanos fotorrealistas que se comporten de la manera que esperamos que lo hagan. Ahí es donde Douglas entra en acción.
Se dice que Douglas está utilizando diferentes tipos de aprendizaje automático e I+D de Digital Domain para reproducir las conductas humanas más comunes. El proyecto se centra en el procesamiento del lenguaje, expresiones, seguimiento de la visión y más para hacer de todo, desde conversaciones líderes hasta personas que recuerdan. Además, el equipo afirma que la tasa de respuesta es actualmente la misma que Alexa y Siri, por lo que las conversaciones tienen un flujo natural.
Si bien es perfecto para cualquier proyecto que requiera realismo facial, Douglas será especialmente útil para las empresas que necesitan un avatar para responder preguntas o ayudar a los clientes con tareas repetitivas. La versión actual ya se puede conectar a cualquier chatbot o sistema de asistente, trayendo una cara amigable y una respuesta emocionalmente inteligente a las interacciones en tiempo real. Una vez terminada, esta tecnología se puede implementar fácilmente en línea, en plataformas de reuniones o en quioscos de todo el mundo.
Douglas es la última tecnología construida a partir de la semejanza del Director Senior de I+D de Software, Dr. Doug Roble, que ya ha llevado a varios avances tanto en humanos digitales en tiempo real como en captura facial de IA. Al comparar Douglas con el Roble de la vida real, Digital Domain ha sido capaz de avanzar en el realismo de su diseño mientras preparan la tecnología para un uso más amplio.
Para crear Douglas, Roble se sometió a más de cien horas de captura de performance, incluyendo una lectura de libro en vivo que registró su voz y expresiones. Una herramienta de renderizado neural también fue entrenada tomando fotografías en una variedad de condiciones distintas de iluminación. A partir de estos datos, la herramienta ahora puede ofrecer niveles de realismo que habrían sido imposibles de lograr antes con las técnicas tradicionales, incluyendo replicar los manierismos de otra persona con sólo pocas expresiones. En los últimos meses, el equipo ha empezado a intercambiar caras y probar nuevas voces, una edición que sólo requiere 30 minutos de audio o 10 minutos de vídeo.
https://youtu.be/RKiGfGQxqaQ
A esta colección de humanos digitales se une un trabajo más, en esta ocasión se trata del doble digital de David Beckham, entre ambos, el digital y el real, han protagonizado un anuncio contra la malaria que hemos publicado en el apartado de anuncios, donde se incluye más información sobre las técnicas utilizadas.
Para llevar a cabo esta transformación, Digital Domain utilizó clips de Beckham. Estos materiales de referencia fueron introducidos en Charlatán, una tecnología que utiliza el aprendizaje automático y el material de archivo de vídeo para producir dobles digitales realistas. Gracias a que Charlatán no es invasivo, el sistema puede ser entrenado a través de la fotografía principal, lo que permite a Beckham filmar sus escenas sin una sesión intensiva de captura de datos.
https://youtu.be/6WcZb5nZpII
Los humanos digitales son el futuro. MetaHuman Creator establece un nuevo punto de referencia tanto para la credibilidad de los humanos digitales, como para la facilidad de crearlos. Puedes manipular directamente los rasgos faciales, ajustar la tez de la piel y seleccionar entre tipos de cuerpo preestablecidos, peinados, ropa y mucho más. ¡Incluso puedes editar los dientes de tu personaje!
Imagina personajes de juego que volarán la mente de tus jugadores, dobles digitales en el último set de producción virtual que soportará tomas de cerca, participantes virtuales en escenarios de entrenamiento inmersivos que no puedes decir de lo real: las posibilidades para los creadores son ilimitadas. Tienes la noticia completa en este enlace: https://www.foro3d.com/f138/metahuma...es-144399.html.
https://youtu.be/6mAF5dWZXcI
Zoey humana digital impulsada por IA. Digital Domain introduce un nuevo personaje humano fotorrealista. Los desarrolladores afirman que Zoey es capaz de participar en conversaciones y recordar a las personas. Tiene su propia personalidad y puede mostrar distintas emociones acordes con la conversación y el momento.
Durante el reciente evento FMX, el estudio de efectos visuales Digital Domain ha presentado a Zoey, una humana autónoma que funciona con aprendizaje automático. Está creada utilizando una versión avanzada de la tecnología que ayudó a llevar a Thanos a la pantalla grande.
Los creadores de Zoey afirman que su humana digital fotorrealista es capaz de recordar a las personas y comunicarse con ellas. Incluso hablando con varios participantes a la vez. Puede entender la mayoría de las preguntas y formular respuestas adecuadas utilizando el acceso a Internet o los datos almacenados.
https://foro3d.com/wp-content/upload...da-por-IA.webp
Zoey humana digital impulsada por IA
La inteligencia artificial está dando saltos cualitativos
Cada día avanza más la tecnología existente alrededor de los humanos digitales; veo que ahora se está avanzando más en el campo de las sensaciones, las emociones, los gestos naturalizados. Por ejemplo, si una pregunta parece confusa, la humana digital mostrará su perplejidad, o si le cuentan un chiste, sonreirá.
Durante una conversación, Zoey también se mueve de acuerdo con sus respuestas, e incluso se molestará si la interrumpes. Además de responder preguntas, también puede participar plenamente en la conversación haciendo preguntas ella misma. Tratando de conocer las opiniones de los participantes sobre cualquier tema.
Su apariencia física se basa en la actriz Zoey Moses, quien ha trabajado con Digital Domain para crear un conjunto de movimientos y expresiones faciales. La compañía utiliza estos datos junto con su herramienta patentada de animación facial llamada Charlatán. Con ella crea una cara digital flexible, que es capaz de reaccionar en tiempo real.
El sistema de voz flexible de Zoey se ha construido utilizando la tecnología de texto a voz impulsada por IA de WellSaid Labs. Debido a sus herramientas, Zoey tiene acceso a un amplio vocabulario de palabras y frases que es capaz de vocalizar.
https://foro3d.com/wp-content/upload...al-Domain.webp
Zoey humana digital impulsada por IA de Digital Domain
Humana digital que expresa sentimientos con sus gestos faciales
Los desarrolladores también señalan que hay múltiples opciones para controlar el tono de las respuestas de Zoey. Por ejemplo, puede tener diferentes niveles de entusiasmo que reflejen el objetivo de la conversación en particular. También puede ampliar sus capacidades de habla mediante la incorporación de varios paquetes de idiomas.
Cuando Zoey está educada y lista para interactuar con el mundo real, podría agregarse a una serie de plataformas. Incluidos sistemas personalizados diseñados por usuarios o motores de juegos como Unity o Unreal Engine. Actualmente, Zoey puede ejecutarse en tiempo real en Unreal Engine 4.
Durante los últimos 30 años, Digital Domain ha sido una de las compañías líderes mundiales detrás de algunos de los efectos visuales más sofisticados y memorables jamás vistos. Por lo que es una progresión natural crear humanos digitales y virtuales que lleguen a ser autónomos.
Digital Domain continúa ampliando los límites de los efectos visuales en todos los campos y en cualquier pantalla; al mismo tiempo que busca formas de ofrecer a las personas una experiencia mejorada, independientemente del medio o la plataforma de entrega.
https://foro3d.com/wp-content/upload...emociones.webp
Zoey humana digital impulsada por IA que muestra emociones
Acerca de Digital Domain
Digital Digital Domain crea experiencias que definen el género y que entretienen, informan e inspiran. A lo largo del último cuarto de siglo, el estudio se ha establecido como líder en la industria de los efectos visuales cinematográficos. Expandiéndose para abarcar series, anuncios comerciales y cinemáticas de juegos, al mismo tiempo que abarca la previsualización y la producción virtual.
Digital Domain también se ha convertido en una pionera en humanos digitales y realidad virtual, lo que se suma a un rico legado; que consiste en cientos de películas taquilleras para cada estudio importante; miles de comerciales, videos musicales, cinemáticas de juegos y contenido digital de directores y marcas de renombre mundial.
Una fuerza creativa en efectos visuales y contenido premium, Digital Domain ha traído arte y tecnología a películas como Titanic; The Curious Case of Benjamin Button y los éxitos de taquilla Ready Player One, Avengers: Infinity War y Avengers: Endgame. El personal de artistas ha conseguido más de 100 premios importantes, incluidos los Premios de la Academia, Clios, premios BAFTA y Cannes Lions.
Digital Domain se ha convertido con éxito en el primer estudio independiente de efectos visuales en entrar en la Gran China. En 2018, Digital Domain adquirió uno de los pioneros y líderes de equipos de hardware de realidad virtual de China: VR Technology Holdings Ltd, Shenzhen.
Humanos digitales que impulsarán el metaverso
Con el potencial del metaverso y los continuos avances en IA; el deseo de interactuar con humanos autónomos cara a cara se está volviendo más importante y parte de la vida moderna. Durante décadas, Digital Domain ha sido pionero en la tecnología humana digital; y Zoey lleva los conceptos de asistentes virtuales como Alexa y Siri varios pasos más allá, creando un ayudante digital con el que realmente puede interactuar.
En el FMX Melissa Cell, Supervisora de Tecnología y Supervisora de Efectos Visuales, Matthias Wittmann explicó su enfoque de modularizar diferentes tecnologías para diseñar personajes que se vean convincentes en apariencia; voz, expresión, gestos y comportamiento, todo con el fin de dar vida a los chatbots modernos. Melissa Cell ha trabajado en Digital Domain durante nueve años como directora técnica e ingeniera de software.
En 2018 se unió al Digital Human Group de Digital Domain para desarrollar humanos digitales realistas para efectos visuales; videojuegos, eventos en vivo y otras aplicaciones en tiempo real. Hablamos de un reconocido pionero en lo que respecta a humanos digitales; habiendo ganado un premio de la Sociedad de Efectos Visuales por mejor personaje animado en una película de acción en vivo, por El Curioso Caso de Benjamin Button. Desde 2015 Matthias se ha especializado en el desarrollo de humanos virtuales interactivos.