NCSOFT는 비디오 게임과 인터랙티브 영화의 경계를 허무는 프로젝트 M을 공개했습니다. 이 프로젝트는 Unreal Engine 5를 기반으로 하지만, 진정한 비결은 얼굴 캡처 및 디지털화 파이프라인에 있습니다. 단순한 텍스처와 달리, 팀은 실제 배우의 모든 모공과 미세 표정을 포착하기 위해 완전한 3D 얼굴 스캐닝을 구현했으며, 이 정보를 MetaHuman Creator 시스템에 직접 전송합니다.
기술 파이프라인: 물리적 스캔에서 실시간 애니메이션까지 🎬
작업 흐름은 고밀도 사진 측량법을 사용하여 배우의 얼굴을 체적 캡처하는 것으로 시작됩니다. 이 기본 메시는 MetaHuman Creator로 가져와 얼굴 애니메이션에 필요한 블렌드셰이프가 생성됩니다. 수동 조각이 필요한 기존 방식과 달리, NCSOFT는 최첨단 모션 캡처 도구를 사용하여 배우의 라이브 퍼포먼스 데이터를 기록합니다. 이 데이터는 UE5의 메타휴먼에 직접 매핑되어 미세한 제스처의 섬세함을 잃지 않으면서 표정이 실시간으로 재현됩니다. 최적화는 대화형 유연성을 희생하지 않으면서 영화적 충실도를 유지하는 데 중점을 두며, 이는 소수의 스튜디오만이 해결한 기술적 과제입니다.
디지털 휴먼의 새로운 표준 🤖
프로젝트 M은 디지털 휴먼 분야에서 획기적인 전환점을 의미합니다. 만달로리안과 같은 영화 프로젝트가 실제 배우와 함께 가상 세트를 사용하는 반면, NCSOFT는 대화형 환경에서 작동해야 하는 완전한 디지털 배우에 투자합니다. 핵심 차이점은 불쾌한 골짜기를 제거한다는 점입니다. 실제 얼굴 스캔과 MetaHuman의 유연성을 통합함으로써 캐릭터는 실제처럼 보일 뿐만 아니라 살아있는 인간처럼 행동합니다. 이 접근 방식은 Hellblade 2 또는 The Matrix Awakens와 같은 타이틀을 능가하며, 내러티브 엔진으로서 얼굴 표정에만 집중합니다.
MetaHuman과 UE5를 사용한 프로젝트 M의 초현실적인 얼굴을 고려할 때, 관객이 실제 인간인지 디지털 인간인지 의문을 품지 않도록 불쾌한 골짜기의 문제를 어떻게 해결합니까?
(추신: 디지털 휴먼은 리깅에 대해 불평하지 않는다는 장점이 있습니다.)