NCSOFTは、ビデオゲームとインタラクティブ映画の境界線を曖昧にするプロジェクト「Project M」を発表しました。このプロジェクトはUnreal Engine 5を基盤としていますが、その真の秘密は顔のキャプチャとデジタル化のパイプラインにあります。単なるテクスチャではなく、チームは完全な3D顔面スキャンを実装し、実在の俳優の毛穴や微細な表情までもを捉え、その情報を直接MetaHuman Creatorシステムに転送しています。
技術パイプライン：物理スキャンからリアルタイムアニメーションへ 🎬
ワークフローは、高密度フォトグラメトリによる俳優の顔のボリュメトリックキャプチャから始まります。このベースメッシュはMetaHuman Creatorにインポートされ、顔のアニメーションに必要なブレンドシェイプが生成されます。手動でのスカルプトを必要とする従来の方法とは異なり、NCSOFTは最新世代のモーションキャプチャツールを使用して、俳優のライブパフォーマンスデータを記録します。このデータはUE5内のメタヒューマンに直接マッピングされ、微細な動きの繊細さを失うことなく、表情をリアルタイムで再現することを可能にします。最適化は、インタラクティブな滑らかさを犠牲にすることなく、映画のような忠実度を維持することに重点が置かれており、これは多くのスタジオが解決に苦労してきた技術的な課題です。
デジタルヒューマノイドの新基準 🤖
Project Mは、デジタルヒューマノイドのニッチ分野において、画期的な出来事を示しています。The Mandalorianのような映画プロジェクトが実写俳優と仮想セットを使用する一方で、NCSOFTはインタラクティブ環境で機能しなければならない完全なデジタル俳優に賭けています。重要な違いは、不気味の谷を排除したことです。実際の顔面スキャンとMetaHumanの柔軟性を統合することで、キャラクターはリアルに見えるだけでなく、生きた人間のように振る舞います。このアプローチは、Hellblade 2やThe Matrix Awakensなどのタイトルを凌駕し、物語の原動力として顔の表情にのみ焦点を当てています。
Project MのMetaHumanとUE5による超リアルな顔表現を考慮すると、観客が実写かデジタルか疑問に思わないようにするために、不気味の谷の課題にどのように取り組んでいるのでしょうか？
(追記：デジタルヒューマノイドには、リギングについて決して文句を言わないという利点があります。)