Fotogrametría con ZBrush y Marmoset Toolbag
Fotogrametría con ZBrush y Marmoset Toolbag. Andrii Berezin explica sobre el flujo de trabajo detrás del proyecto Ángel lapidado, explica cómo se han editado las texturas y habla sobre la configuración de la iluminación para crear una apariencia dramática.
Introducción del artista
Mi nombre es Andrii Berezin y soy de Ucrania. He estado en la industria de CG desde hace más de 5 años y puedo decir que he encontrado mi vocación en este campo. Empecé mi ruta con la fotogrametría, para mí como principiante, era importante obtener un resultado primario rápido. Los escaneos me lo proporcionan. Este proceso de creación de modelos 3D da el máximo nivel de realismo por lo que personalmente estoy encantado.
Cuando empezó todo esto, había muy pocos tutoriales y era necesario recopilar información poco a poco. Durante mis estudios, conocí a chicos maravillosos que me ayudaron, estoy muy contento de que ahora seamos amigos.
He participado en varios proyectos dedicados a la preservación del patrimonio cultural e histórico nacional de Ucrania. Fue una actividad de voluntariado que me dio una experiencia muy necesaria.
Después de eso, empecé a cooperar con empresas internacionales, en las que me estaba especializando en la reconstrucción y creación de fotogrametría humana digital fotorrealista, elementos de personajes y accesorios optimizados listos para el motor de juegos en 3D.
Debido a los términos de los contratos, no se me permitió agregar los proyectos en los que estaba trabajando a mi cartera. Así que tuve que encontrar tiempo para proyectos personales y desarrollo como artista.
Fotogrametría con ZBrush y Marmoset Toolbag
Hace unos años visité Lviv. Mi objetivo era obtener más conocimiento sobre la creación de escultores locales en direcciones del romanticismo tardío y el realismo. Una gran cantidad de esculturas antiguas que me inspiraron se presentaron en el museo reserva histórica y cultural de importancia nacional Cementerio de Lychakiv. El cementerio fue inaugurado en 1786. Es uno de los cementerios existentes más antiguos de Europa y Ucrania.
La escultura del ángel estaba lejos de las rutas de senderismo, la vi accidentalmente y no pude pasar. Las formas, cortes y acabados de la piedra, así como la dramática historia plasmada hábilmente en la escultura del famoso escultor Julian Markowski (1846-1903) no podían dejarme indiferente ante este diamante.
Hubo que limpiar el sitio antes de nada
La escultura estaba cubierta de hierba y otra vegetación, y esto interfirió en gran medida con las condiciones de rodaje. Además, una variedad de plantas rizadas pasaban directamente por la piedra y, en algunos lugares, crecían malas hierbas en grietas y depresiones.
Por supuesto, todo esto complicó un poco el proceso de obtener un escaneo de alta calidad. Recuerdo que tomé una escoba, fórceps y otras herramientas necesarias y pasé varias horas limpiando cuidadosamente el monumento y el terreno de alrededor.
Fotogrametría con una cámara SLR Canon 750D
Después de limpiar el monumento, me puse manos a la obra con una cámara SLR Canon 750D con lentes de 24 milímetros y 50 milímetros. El escaneo de fotografías se realiza a cielo abierto con cambios de iluminación dinámicos, tuve que cambiar la configuración de la cámara con frecuencia.
Era importante tomar fotografías del objeto con luz dispersa para minimizar la cantidad de sombras, especialmente para excluir las sombras nítidas y, en consecuencia, su visualización en el difuso. El sol se escondía detrás de las nubes y, en ese momento, tenía prisa por tomar tantas fotografías como fuera posible.
Debido a las prisas y otros inconvenientes de la tierra asociados con el terreno, obtuve muchas fotografías borrosas. Esto resultó en 534 fotos en total, 439 de ellas de calidad aceptable que seleccioné en Lightroom. Siempre trabajo con imágenes RAW para maximizar el control y la personalización de la calidad de la exposición, el contraste, las luces y las sombras.
Desde mi experiencia con el software de fotogrametría, Agisoft Metashape ofrece el mejor resultado de mapa difuso y RealityCapture; ya que ofrece una buena calidad de malla. Pero teniendo en cuenta las características del objeto a escanear, decidí limitarme a usar solo Agisoft Metashape.
Podemos ver los resultados de las fotografías alineadas en Agisoft Metashape: nube de puntos de los datos. Los rectángulos azules son los lugares desde donde se tomaron las fotografías. Aquí, puede observar que las condiciones de disparo fueron influenciadas por árboles, cercas y lápidas alrededor.
Esculpir el Ángel lapidado
Después del proceso para construir la malla, podemos ver el resultado de la reconstrucción. Debido a la falta de información, algunos lugares en la geometría del objeto quedaron sin demostrar. Hay varias razones y características de la geometría del objeto y la ausencia de disparos desde la altura.
Pasamos a limpiar en ZBrush. El resultado general parece ser lo suficientemente bueno pero no ideal. Al preparar el modelo para la retopología, elimino las partes adicionales de la malla, uso Close Holes y, para mayor comodidad con la topología, uso DynaMesh, reduciendo los puntos activos del modelo de 10 millones a 200 mil.
Para obtener un modelo optimizado con pocos polígonos, el proceso de retopología en modo manual nos llevaría unas 10-12 horas, según mi estimación, pensé que sería mejor ahorrar este tiempo y cambiar la topología automáticamente. Para ello uso ZRemesher para la retopología automática y uso Polypaint para influir en la densidad de la malla en los lugares correctos del modelo.
Eliminar los defectos de la malla
Después de la corrección final de la topología del modelo y la eliminación de los defectos de la malla, empecé el proceso de limpieza de la malla. Obtuve niveles de 5SDiv y geometría de proyecto del escaneo a cada uno de ellos. También puede ser útil habilitar Morph Target antes de este procedimiento.
Me ayudó a arreglar artefactos después de Project. El cepillo suave también hace un excelente trabajo en esta situación particular. Hay muchos problemas similares en toda la geometría, algunos se eliminan rápidamente y otros deben modificarse. El proceso de limpieza de la escultura con las herramientas de escultura fue largo, trabajé duro en todos los niveles de SDiv.
Para ello, recopilé material de apoyo específico en PureRef, que me ayudó significativamente a palpar las formas y restaurarlas. Mirar las referencias hizo que el trabajo fuera más fácil y claro.
Resultados de la limpieza del modelo
Las formas escultóricas tuvieron que ser restauradas y editadas. Se debería haber prestado más atención a la cara, los dedos de los pies y las manos, así como a las cortinas. Para lograr un resultado de alta calidad, trabajé cada pliegue de ropa desde los primeros niveles SDiv hasta el último.
Texturizado del Ángel lapidado
Luego, usé RizomUV para crear el UV y pasé a Build Texture en Agisoft Metashape. Debo agregar que para una mejor generación del mapa difuso, vale la pena usar un modelo de alto poligonaje. Pero incluso en este caso, el resultado requerirá ediciones y correcciones.
Hay muchos artefactos, en muchos lugares, hay un borrón de texturas. Generé un mapa difuso de 16K y, para lograr una alta calidad, utilicé herramientas como Foundry Mari.
En esta etapa, realizo el trabajo principal de edición de texturas en Mari con la herramienta Tampón de clonar y también utilizo con frecuencia la capacidad de proyectar algunas áreas de las fotografías a las áreas problemáticas de la textura. Puede ser suficiente para obtener un buen resultado en la asociación de estas dos herramientas.
La importancia de las luces y sombras en un render
También es crucial prestar atención a las sombras y áreas oscurecidas de la textura. Tenían que ser iluminados tanto como sea posible. Ahora es más fácil crear el resto de texturas para el modelo usando la ya buena textura Difusa.
Por ejemplo, si necesitas una textura de paso alto para obtener detalles finos y el modelo de gran cantidad de polígonos no se veía demasiado pulido ni anormalmente limpio; esta textura es bastante fácil de obtener en Adobe Photoshop.
Continuando usando ZBrush e importando la textura resultante como un mapa de Desplazamiento, obtengo el detalle deseado para el modelo. Fue necesario volver a utilizar Layers y Morph Target para controlar mejor la aplicación del mapa.
Ahora, el modelo de alto poligonaje puede considerarse completamente completado. Y, después de bakear el mapa normal, el mapa de cavidades y AO, paso al renderizado.
Renderizado del proyecto con fotogrametría
Arriba, he tratado de mostrar las etapas de la configuración de iluminación y los tipos de fuentes de luz en la bolsa de herramientas Marmoset que se usaron para el renderizado final. En primer lugar, decidí la fuente principal de luz y su intensidad y luego pasé a elegir el ángulo correcto.
La elección de las luces de relleno secundarias y sus tipos requería una experimentación constante. Probé muchas opciones y consulté con amigos cada vez que configuraba la iluminación de manera diferente.
El dramatismo de la escultura se dispuso a una iluminación general contrastante, pero decidí jugar precisamente con el contraste de tonos cálidos y fríos. He tratado de lograr el efecto de la brillante iluminación mística lunar logrando el equilibrio entre muchos tipos diferentes de fuentes y sus configuraciones.
Al mismo tiempo, he tratado de hacer más legibles las áreas sombreadas de la imagen. Las soluciones de iluminación adecuadas son muy importantes para mí en el proceso de renderizado. Pueden hacer que el resultado final sea espectacular e interesante al enfocar la atención del espectador en lo principal del objeto.
He tratado de aprovechar al máximo las capacidades de Marmoset Toolbag para una posproducción mínima; y espero haber logrado dar algunos efectos de color interesantes a este render final.
Conclusión del proyecto Ángel lapidado con fotogrametría
Este ha sido mi flujo de trabajo en este proyecto. No han habido desafíos principales aquí porque sabía lo que estaba haciendo bien. Pero como principiante, probablemente me habría encontrado con dificultades que iban desde habilidades fotográficas y configuraciones especiales para el equipo fotográfico hasta la configuración de iluminación correcta para el renderizado.
Para que los resultados de la fotogrametría fueran de una calidad aceptable, he tratado de profundizar en cada etapa de la tubería y realicé muchos experimentos diferentes. Pero, en general, todo consiste en cosas simples e incluso elementales, solo que hay muchas al principio.
Este artículo se ha publicado en inglés en80.lvporAndrii Berezin, artista de fotogrametría. Entrevista realizada porTheodore McKenzie.
Trabajar en la fotogrametría con ZBrush y Marmoset Toolbag
La fotogrametría es una técnica de modelado 3D que utiliza fotografías para generar modelos digitales. ZBrush y Marmoset Toolbag son dos herramientas populares para la creación de modelos 3D, y en conjunto pueden utilizarse para realizar fotogrametría. A continuación dejo un tutorial para trabajar en la fotogrametría con ZBrush y Marmoset Toolbag:
Captura de fotografías: El primer paso en la fotogrametría es tomar fotografías de un objeto desde diferentes ángulos. Es importante asegurarse de tener la mayor cantidad posible de fotografías, con diferentes perspectivas y niveles de detalle. Se recomienda tomar las fotografías en un entorno bien iluminado y utilizar un trípode para evitar movimientos que puedan afectar la calidad de las imágenes.
Creación del modelo 3D en ZBrush: Una vez que se tienen las fotografías, el siguiente paso es crear el modelo 3D en ZBrush. Para ello, se debe importar las imágenes al software y utilizar la función "Structure From Motion" (SFM) para crear el modelo. Esta función utiliza la información de las fotografías para reconstruir la geometría del objeto. Es importante tener en cuenta que la calidad del modelo dependerá en gran medida de la calidad de las fotografías.
Refinamiento del modelo en ZBrush: Una vez que se tiene el modelo básico en ZBrush, se puede proceder a refinar los detalles. Para ello, se puede utilizar la herramienta "Sculpt" para agregar detalles y texturas al modelo. También se pueden aplicar materiales y texturas para darle más realismo al modelo.
Exportación del modelo a Marmoset Toolbag: Una vez que se ha terminado el modelado en ZBrush, se puede exportar el modelo a Marmoset Toolbag para renderizarlo. Para ello, se debe exportar el modelo en formato .obj y luego importarlo a Marmoset Toolbag.
Configuración del renderizado en Marmoset Toolbag: Una vez que se ha importado el modelo a Marmoset Toolbag, se puede proceder a configurar el renderizado. Se deben ajustar las luces, las sombras y la configuración del material para obtener el resultado deseado. También se pueden agregar efectos como profundidad de campo y desenfoque de movimiento para mejorar el aspecto del modelo.
Exportación del renderizado: Una vez que se ha terminado de configurar el renderizado, se puede exportar el resultado en formato de imagen. Marmoset Toolbag permite exportar el renderizado en diferentes formatos, como .jpg o .png.
Post-procesamiento en Photoshop: Finalmente, se puede proceder a realizar post-procesamiento en Adobe Photoshop para mejorar aún más el aspecto del modelo. Se pueden ajustar los niveles de brillo y contraste, aplicar efectos de desenfoque y agregar otros elementos como fondos y textos.
Con estos pasos, se puede crear un modelo 3D utilizando fotogrametría y renderizarlo en Marmoset Toolbag para obtener un resultado de alta calidad. Es importante tener en cuenta que la fotogrametría es un proceso complejo y requiere de un buen conocimiento técnico para lograr buenos resultados.
