비디오나 이미지로부터 사람과 장면 간 상호작용의 3D 재구성을 수행하면 시각적으로 그럴듯한 결과가 생성되지만 물리적으로 불안정합니다. 인식과 시뮬레이션 간의 이 격차는 물리 엔진과 구체화된 AI 애플리케이션에서의 사용을 방해합니다. 우리는 HSImul3R을 제시합니다. 이 통합 프레임워크는 물리 시뮬레이터의 능동적 감독을 통한 양방향 최적화로 이 격차를 해소하여 시뮬레이션 준비된 재구성과 실제 휴머노이드 로봇으로의 전이를 가능하게 합니다. 🚀
물리 시뮬레이터 감독을 통한 양방향 최적화 ⚙️
HSImul3R은 물리 시뮬레이터를 양방향 파이프라인의 능동적 감독자로 통합합니다. 순방향에서 장면 지향 강화 학습은 캡처된 움직임에 대한 충실도와 물체와의 접촉 안정성을 이중 감독 하에 인간 역학을 최적화합니다. 역방향에서 시뮬레이션 보상 직접 최적화는 중력 안정성과 상호작용 성공에 대한 시뮬레이터 피드백을 사용하여 장면 기하학을 세밀하게 조정합니다. 이 결합 사이클은 인간 아바타와 물체가 모두 물리 법칙을 준수하도록 보장합니다.
로보틱스와 메타버스를 위한 중추적 발전 🤖
이 작업은 단순한 시각화를 넘어 디지털 휴머노이드에 필수적인 물리적 기반을 부여합니다. 안정적이고 시뮬레이션 가능한 재구성을 생성함으로써 현실적인 환경에서 AI 에이전트를 훈련하고 행동을 물리적 로봇으로 직접 전이할 수 있게 합니다. 메타버스에서 물리적 일관성을 가진 상호작용을 하는 아바타 개발과 실세계 복잡한 작업에서 휴머노이드 로봇 학습을 가속화하는 핵심 단계입니다.
비디오로부터 디지털 휴머노이드의 3D 재구성에서 물리적 안정성과 생체역학적 일관성을 어떻게 보장하며, 바닥 침몰이나 몸체와 물체 간 침투와 같은 아티팩트를 피할 수 있을까요?
(PD: 디지털 휴머노이드는 리깅에 대해 불평하지 않는다는 장점이 있습니다.)