動画や画像から人物とシーンの相互作用の3D再構築は、視覚的に説得力のある結果を生み出しますが、物理的に不安定です。この知覚とシミュレーションのギャップが、物理エンジンや具現化AIアプリケーションでの使用を妨げています。私たちはHSImul3Rを提示します。これは、物理シミュレータの積極的な監督による双方向最適化によりこのギャップを埋める統一フレームワークで、シミュレーション準備完了の再構築を生成し、実在の人型ロボットに転送可能です。🚀
物理シミュレータ監督による双方向最適化 ⚙️
HSImul3Rは、物理シミュレータを双方向パイプラインの積極的な監督者として統合します。正方向では、シーン指向の強化学習が、キャプチャされた動きへの忠実度と物体との接触の安定性を二重監督の下で人間のダイナミクスを最適化します。逆方向では、シミュレーション報酬による直接最適化が、重力安定性と相互作用成功に関するシミュレータのフィードバックを使用してシーンのジオメトリを洗練します。この共同サイクルにより、アバター人間と物体が物理法則を遵守することを保証します。
ロボティクスとメタバースのための重要な進歩 🤖
この仕事は単なる視覚化を超え、デジタル人型に不可欠な物理的基盤を提供します。安定したシミュレーション可能な再構築を生成することで、現実的な環境でAIエージェントを訓練し、動作を物理ロボットに直接転送することを可能にします。これは、メタバースのアバターが物理的に一貫した相互作用を行い、現実世界の複雑なタスクで人型ロボットの学習を加速するための重要なステップです。
ビデオからデジタル人型の3D再構築で物理的安定性と生体力学的整合性をどのように保証し、地面への沈み込みや物体間の貫通などのアーティファクトを避けるか？
(PD: デジタル人型には、リギングについて不平を言わない利点があります。)