La recuperación precisa de la malla corporal 3D a partir de una sola cámara RGB es crucial para animar humanoides digitales, pero los métodos actuales como SAM 3D Body son demasiado lentos para aplicaciones interactivas. Presentamos Fast SAM 3D Body, un marco de aceleración que, sin necesidad de reentrenamiento, reformula la inferencia para lograr tasas en tiempo real. Al desacoplar dependencias y aplicar poda, permite una extracción de características paralela y una decodificación optimizada. Más importante, reemplaza el ajuste iterativo de la malla por un mapeo directo, acelerando la conversión a parámetros SMPL más de 10.000 veces. Esto posibilita, por primera vez, la teleoperación visual en tiempo real de un humanoide. 🚀
Desglose Técnico: Paralelización, Poda y Mapeo Directo ⚙️
El núcleo de la aceleración radica en tres innovaciones. Primero, se decouplan las dependencias espaciales seriales del proceso original, permitiendo la extracción paralela de características de múltiples recortes de la imagen. Segundo, se aplica una poda consciente de la arquitectura del transformer para reducir drásticamente la latencia en la decodificación. La tercera y más impactante para aplicaciones de humanoides es el reemplazo del lento ajuste iterativo de la malla (optimización) por un mapeo feedforward directo desde las características del encoder a los parámetros SMPL. Esta conversión directa, compatible con marcos de control de humanoides, es la clave que acelera esa etapa específica en más de cuatro órdenes de magnitud, manteniendo una fidelidad comparable e incluso superior en benchmarks como LSPET.
El Futuro de la Animación y Control de Humanoides 🤖
Este avance trasciende lo técnico, abriendo puertas prácticas inmediatas. La capacidad de obtener la cinemática SMPL en tiempo real desde un único flujo RGB habilita la teleoperación de humanoides sin chalecos o sensores wearables, simplificando enormemente la captura de movimiento para animación. Además, permite la recolección directa de políticas de manipulación para aprendizaje por refuerzo, donde el humanoide puede aprender observando acciones humanas en video. Fast SAM 3D Body acerca la visión de humanoides digitales interactivos y realistas, controlados visualmente y aprendiendo de nosotros de forma natural.
¿Cómo puede Fast SAM 3D Body superar las limitaciones de latencia y precisión en la captura de movimiento para el control en tiempo real de humanoides digitales en entornos de producción?
(PD: Los humanoides digitales tienen la ventaja de que nunca se quejan del rigging.)