Компания NCSOFT представила Project M — проект, стирающий грань между видеоигрой и интерактивным фильмом. В основе проекта лежит Unreal Engine 5, но его истинный секрет кроется в конвейере захвата и оцифровки лиц. Вместо простых текстур команда реализовала полное 3D-сканирование лица, чтобы зафиксировать каждую пору и микромимику реального актера, перенося эту информацию непосредственно в систему MetaHuman Creator.
Технический конвейер: от физического сканирования к анимации в реальном времени 🎬
Рабочий процесс начинается с объемного захвата лица актера с помощью высокоплотной фотограмметрии. Полученная базовая сетка импортируется в MetaHuman Creator, где генерируются необходимые блендшейпы для лицевой анимации. В отличие от традиционных методов, требующих ручной лепки, NCSOFT использует современные инструменты захвата движения, которые записывают данные о производительности актера вживую. Эти данные напрямую накладываются на металюдей в UE5, позволяя воспроизводить выражения в реальном времени без потери тонкости микрожестов. Оптимизация направлена на сохранение кинематографической точности без ущерба для интерактивной плавности — техническая задача, которую удалось решить лишь немногим студиям.
Новый стандарт для цифровых гуманоидов 🤖
Project M знаменует собой переломный момент в нише цифровых гуманоидов. В то время как кинопроекты, такие как «Мандалорец», используют виртуальные декорации с реальными актерами, NCSOFT делает ставку на полностью цифрового актера, который должен функционировать в интерактивной среде. Ключевое отличие — устранение «зловещей долины»: благодаря интеграции реального сканирования лица с гибкостью MetaHuman персонаж не только выглядит реальным, но и ведет себя как живой человек. Этот подход превосходит такие проекты, как Hellblade 2 или The Matrix Awakens, поскольку фокусируется исключительно на выразительности лица как на двигателе повествования.
Учитывая гиперреалистичную лицевую анимацию Project M с MetaHuman и UE5, как решается проблема «зловещей долины», чтобы зритель не сомневался, видит ли он реального человека или цифрового?
(P.S. У цифровых гуманоидов есть преимущество: они никогда не жалуются на риггинг.)