NCSOFT a présenté Project M, une proposition qui brouille la frontière entre le jeu vidéo et le film interactif. Le projet utilise Unreal Engine 5 comme base, mais son véritable secret réside dans le pipeline de capture et de numérisation faciale. Loin de simples textures, l'équipe a mis en œuvre un scan 3D facial complet pour capturer chaque pore et micro-expression de l'acteur réel, transférant directement ces informations au système MetaHuman Creator.
Pipeline technique : Du scan physique à l'animation en temps réel 🎬
Le flux de travail commence par la capture volumétrique du visage de l'acteur via photogrammétrie haute densité. Ce maillage de base est importé dans MetaHuman Creator, où sont générés les blendshapes nécessaires à l'animation faciale. Contrairement aux méthodes traditionnelles qui nécessitent une sculpture manuelle, NCSOFT utilise des outils de capture de mouvement de dernière génération qui enregistrent les données de performance de l'acteur en direct. Ces données sont mappées directement sur les métahumains dans UE5, permettant aux expressions de se reproduire en temps réel sans perdre la subtilité des micro-gestes. L'optimisation se concentre sur le maintien de la fidélité cinématographique sans sacrifier la fluidité interactive, un défi technique que peu de studios ont réussi à résoudre.
Le nouveau standard pour les humanoïdes numériques 🤖
Project M marque un avant et un après dans le créneau des humanoïdes numériques. Alors que des projets cinématographiques comme The Mandalorian utilisent des décors virtuels avec des acteurs réels, NCSOFT mise sur un acteur numérique complet qui doit fonctionner dans un environnement interactif. La différence clé est l'élimination de la vallée dérangeante : en intégrant un scan facial réel avec la flexibilité de MetaHuman, le personnage non seulement a l'air réel, mais se comporte comme un être humain vivant. Cette approche surpasse des titres comme Hellblade 2 ou The Matrix Awakens en se concentrant exclusivement sur l'expressivité faciale comme moteur narratif.
Considérant l'hyperréalisme facial de Project M avec MetaHuman et UE5, comment le défi de la vallée dérangeante est-il abordé pour que le public ne se demande pas s'il voit un humain réel ou numérique ?
(PS : Les humanoïdes numériques ont l'avantage de ne jamais se plaindre du rigging.)