La reconstruction 3D des interactions entre personnes et scènes à partir de vidéos ou d'images génère généralement des résultats visuellement plausibles mais physiquement instables. Cette lacune entre perception et simulation empêche leur utilisation dans les moteurs de physique et les applications d'IA incarnée. Nous présentons HSImul3R, un cadre unifié qui comble cette lacune par une optimisation bidirectionnelle avec supervision active du simulateur physique, produisant des reconstructions prêtes pour la simulation et transférables à des robots humanoïdes réels. 🚀
Optimisation Bidirectionnelle avec Supervision du Simulateur Physique ⚙️
HSImul3R intègre le simulateur physique comme superviseur actif dans un pipeline bidirectionnel. Dans la direction forward, un apprentissage par renforcement dirigé vers la scène optimise la dynamique humaine sous une supervision duale : fidélité au mouvement capturé et stabilité des contacts avec les objets. Dans la direction inverse, l'Optimisation Directe par Récompense de Simulation utilise la rétroaction du simulateur sur la stabilité gravitationnelle et le succès de l'interaction pour affiner la géométrie de la scène. Ce cycle conjoint assure que l'avatar humain comme les objets respectent les lois physiques.
Un Avance Crucial pour la Robotique et le Metaverse 🤖
Ce travail transcende la simple visualisation, dotant les humanoïdes numériques d'une base physique essentielle. En produisant des reconstructions stables et simulables, il permet d'entraîner des agents d'IA dans des environnements réalistes et de transférer directement les comportements à des robots physiques. C'est une étape clé pour développer des avatars dans le metaverse qui interagissent avec cohérence physique et pour accélérer l'apprentissage des robots humanoïdes dans des tâches complexes du monde réel.
Comment garantir la stabilité physique et la cohérence biomécanique dans la reconstruction 3D d'humanoïdes numériques à partir de vidéo, en évitant les artefacts comme les enfoncements dans le sol ou les pénétrations entre corps et objets ?
(PD : Les humanoïdes numériques ont l'avantage de ne jamais se plaindre du rigging.)