Captura movimiento facial desde Microsoft kinect

Jasper brekelmans ha desarrollado un software que permite capturar movimientos faciales y exportar los resultados en formato fbx, requiere Microsoft kinect para Windows.

Aunque Microsoft abandonó oficialmente Kinect hace tiempo, muchos artistas y técnicos de 3D siguen dándole vida como herramienta económica para capturar movimiento facial. No tiene la precisión de soluciones profesionales como Faceware o iPhone con ARKit, pero con algo de ingenio y software adicional, la Kinect (especialmente la versión v2) sigue siendo útil en ciertos flujos de trabajo.



¿Qué hace posible la captura facial con Kinect?

La clave está en el sensor de profundidad que incluye. Aunque Kinect nació para videojuegos, su capacidad para rastrear una malla 3D del rostro en tiempo real permite capturar expresiones básicas. Programas como Brekel Pro Face 2 y Faceshift (cuando existía) aprovecharon esto para permitir la grabación de datos faciales en forma de blendshapes o puntos de tracking que luego pueden aplicarse a rigs en 3ds Max, Blender o Maya.

¿Qué se puede capturar exactamente?

Con Kinect v2 puedes obtener una malla de puntos del rostro, incluyendo movimiento de cejas, párpados, boca, mandíbula, nariz y mejillas. No es hiperpreciso, pero para animaciones estilizadas, previsualización, o personajes secundarios, cumple. El sistema no necesita marcadores ni cascos especiales: solo el sensor, una iluminación decente y un rostro bien encuadrado.

Cómo se integra con software 3D

Brekel, por ejemplo, permite exportar los datos capturados como FBX o archivos de tracking que se pueden vincular directamente a un rig facial. En 3ds Max, puedes usar Morph Targets o un sistema de controladores faciales con constraints y wiring para reproducir la captura. En Blender, la animación puede mapearse a shapekeys o drivers, y en Maya, al clásico sistema de blendshapes. No es plug & play, pero funciona.

Limitaciones (porque todo tiene un precio)

• La resolución de detalle es baja comparada con cámaras modernas.
  
• No capta bien movimientos sutiles ni expresiones rápidas.
  
• Necesita una buena iluminación frontal para no perder tracking.
  
• Y claro, Kinect solo va bien en Windows, y con software compatible.
  

Es irónico que un accesorio creado para hacerte bailar frente a la Xbox ahora sirva para que tus personajes 3D muevan la cara como actores de teatro de instituto... pero eh, mejor eso que quedarse congelados como maniquíes de escaparate.