NCSOFT hat Project M vorgestellt, ein Konzept, das die Grenze zwischen Videospiel und interaktivem Film verschwimmen lässt. Das Projekt nutzt Unreal Engine 5 als Basis, doch sein wahres Geheimnis liegt in der Pipeline zur Gesichtserfassung und Digitalisierung. Weit entfernt von einfachen Texturen hat das Team ein vollständiges 3D-Gesichtsscanning implementiert, um jede Pore und Mikroexpression des echten Schauspielers einzufangen und diese Informationen direkt an den MetaHuman Creator weiterzuleiten.
Technische Pipeline: Vom physischen Scan zur Echtzeitanimation 🎬
Der Workflow beginnt mit der volumetrischen Erfassung des Schauspielergesichts mittels hochdichter Fotogrammetrie. Dieses Basisnetz wird in MetaHuman Creator importiert, wo die für die Gesichtsanimation erforderlichen Blendshapes generiert werden. Im Gegensatz zu traditionellen Methoden, die manuelles Sculpting erfordern, setzt NCSOFT modernste Motion-Capture-Tools ein, die die Leistungsdaten des Schauspielers live aufzeichnen. Diese Daten werden direkt auf die Metahumans in UE5 abgebildet, sodass die Ausdrücke in Echtzeit wiedergegeben werden können, ohne die Feinheit der Mikrogesten zu verlieren. Die Optimierung konzentriert sich darauf, die filmische Wiedergabetreue zu bewahren, ohne die interaktive Flüssigkeit zu opfern – eine technische Herausforderung, die nur wenige Studios gelöst haben.
Der neue Standard für digitale Humanoide 🤖
Project M markiert einen Wendepunkt in der Nische der digitalen Humanoiden. Während Filmprojekte wie The Mandalorian virtuelle Sets mit echten Schauspielern nutzen, setzt NCSOFT auf einen vollständig digitalen Schauspieler, der in einer interaktiven Umgebung funktionieren muss. Der entscheidende Unterschied ist die Überwindung des Uncanny Valley: Durch die Integration von echtem Gesichtsscan mit der Flexibilität von MetaHuman sieht die Figur nicht nur echt aus, sondern verhält sich auch wie ein lebender Mensch. Dieser Ansatz übertrifft Titel wie Hellblade 2 oder The Matrix Awakens, indem er sich ausschließlich auf die Gesichtsausdruckskraft als narratives Element konzentriert.
In Anbetracht des hyperrealistischen Gesichts von Project M mit MetaHuman und UE5: Wie wird die Herausforderung des Uncanny Valley angegangen, damit das Publikum nicht hinterfragt, ob es einen echten oder digitalen Menschen sieht?
(PS: Digitale Humanoide haben den Vorteil, dass sie sich nie über das Rigging beschweren.)