Reconstrucción exacta del cabello humano a partir de un video
El Samsung AI Center ha desarrollado un enfoque innovador llamado Neural Haircut que permite reconstruir la geometría realista del cabello humano a partir de videos o imágenes. Este método es capaz de lograr una reconstrucción precisa de la geometría del cabello a nivel de mechón individual, incluso en condiciones de iluminación difíciles.
El proceso consta de dos etapas principales. En la primera etapa, los investigadores logran la reconstrucción conjunta del cabello grueso, las formas del busto y la orientación del cabello utilizando representaciones volumétricas implícitas.
En la segunda etapa, estiman la reconstrucción del cabello a nivel de mechón integrando de manera efectiva las restricciones volumétricas gruesas con mechones de cabello aprendidos y peinados previos a partir de datos sintéticos, a través de un proceso de optimización único.
Para mejorar la precisión de la reconstrucción, se introdujeron pérdidas basadas en imágenes durante el proceso de ajuste, aprovechando un nuevo renderizador diferenciable. Esta combinación de técnicas logra un impresionante realismo y personalización en los peinados reconstruidos resultantes.
Este artículo describe cómo reconstruyen los mechones
En la reconstrucción o simulación se utiliza textura geométrica, tomando muestras de un conjunto de incrustaciones aleatorias de la textura en cada iteración. Luego, obtienen las hebras de cabello correspondientes utilizando un modelo paramétrico de hebra de datos sintéticos previamente entrenado.
Estas hebras se supervisan mediante restricciones geométricas y basadas en la representación, lo que asegura que no se desvíen de la reconstrucción volumétrica y tengan orientaciones adecuadas.
Además, utilizan pérdidas de representación neural y basadas en la silueta para predecir la silueta y la imagen RGB. También se emplea una penalización de regularización (Lprior) que mejora la plausibilidad física de las hebras obtenidas utilizando un modelo de difusión de peinados sintéticos preentrenado.
El resultado es un enfoque avanzado que permite obtener una reconstrucción detallada y realista del cabello, incluso en situaciones desafiantes de iluminación. Para más información sobre el método y el código utilizado, se puede acceder a los enlaces proporcionados.
Puedes ver más sobre el tema aquí.
