A reconstrução 3D de interações entre pessoas e cenas a partir de vídeos ou imagens geralmente gera resultados visualmente plausíveis, mas fisicamente instáveis. Essa lacuna entre percepção e simulação impede seu uso em motores de física e aplicações de IA encarnada. Apresentamos HSImul3R, um framework unificado que fecha essa lacuna por meio de otimização bidirecional com supervisão ativa do simulador físico, produzindo reconstruções prontas para simulação e transferíveis para robôs humanoides reais. 🚀
Otimização Bidirecional com Supervisão do Simulador Físico ⚙️
HSImul3R integra o simulador físico como supervisor ativo em um pipeline de duas direções. Na direção forward, um Reinforcement Learning direcionado à cena otimiza a dinâmica humana sob uma supervisão dupla: fidelidade ao movimento capturado e estabilidade dos contatos com os objetos. Na direção inversa, a Otimização Direta por Recompensa de Simulação utiliza o feedback do simulador sobre estabilidade gravitacional e sucesso da interação para refinar a geometria da cena. Esse ciclo conjunto garante que tanto o avatar humano quanto os objetos cumpram as leis físicas.
Um Avanço Crucial para a Robótica e o Metaverso 🤖
Este trabalho transcende a mera visualização, dotando os humanoides digitais de uma base física essencial. Ao produzir reconstruções estáveis e simuláveis, permite treinar agentes de IA em ambientes realistas e transferir comportamentos diretamente para robôs físicos. É um passo chave para desenvolver avatares no metaverso que interajam com coerência física e para acelerar o aprendizado de robôs humanoides em tarefas complexas do mundo real.
Como garantir a estabilidade física e a coerência biomecânica na reconstrução 3D de humanoides digitais a partir de vídeo, evitando artefatos como afundamentos no chão ou penetrações entre corpos e objetos?
(PD: Os humanoides digitais têm a vantagem de que nunca reclamam do rigging.)