3D-реконструкция взаимодействий между людьми и сценами из видео или изображений обычно генерирует визуально правдоподобные, но физически нестабильные результаты. Этот разрыв между восприятием и симуляцией препятствует их использованию в физических движках и приложениях воплощенного ИИ. Представляем HSImul3R, унифицированный фреймворк, который устраняет этот разрыв с помощью двунаправленной оптимизации с активным надзором физического симулятора, производя реконструкции, готовые к симуляции и переносимые на реальных гуманоидных роботов. 🚀
Двунаправленная оптимизация с надзором физического симулятора ⚙️
HSImul3R интегрирует физический симулятор как активного надзирателя в двунаправленный пайплайн. В прямом направлении обучение с подкреплением, ориентированное на сцену, оптимизирует динамику человека под двойным надзором: верность захваченному движению и стабильность контактов с объектами. В обратном направлении Прямая оптимизация по награде симуляции использует обратную связь от симулятора по гравитационной стабильности и успеху взаимодействия для уточнения геометрии сцены. Этот совместный цикл обеспечивает соблюдение законов физики как человеческим аватаром, так и объектами.
Ключевой прорыв для робототехники и метавселенной 🤖
Эта работа выходит за рамки простой визуализации, наделяя цифровых гуманоидов фундаментальной физической основой. Производя стабильные и симулируемые реконструкции, она позволяет обучать агентов ИИ в реалистичных средах и напрямую переносить поведения на физических роботов. Это ключевой шаг для разработки аватаров в метавселенной, взаимодействующих с физической coherentностью, и для ускорения обучения гуманоидных роботов сложным задачам реального мира.
Как гарантировать физическую стабильность и биомеханическую coherentность в 3D-реконструкции цифровых гуманоидов из видео, избегая артефактов вроде проваливания в пол или проникновений между телами и объектами?
(ПС: Цифровые гуманоиды имеют преимущество — они никогда не жалуются на риггинг.)