NCSOFT ha presentato Project M, una proposta che sfuma il confine tra videogioco e film interattivo. Il progetto utilizza Unreal Engine 5 come base, ma il suo vero segreto risiede nella pipeline di cattura e digitalizzazione facciale. Ben lontano da semplici texture, il team ha implementato una scansione 3D facciale completa per catturare ogni poro e microespressione dell'attore reale, trasferendo queste informazioni direttamente al sistema MetaHuman Creator.
Pipeline tecnico: Dalla scansione fisica all'animazione in tempo reale 🎬
Il flusso di lavoro inizia con la cattura volumetrica del volto dell'attore tramite fotogrammetria ad alta densità. Questa mesh di base viene importata in MetaHuman Creator, dove vengono generati i blendshape necessari per l'animazione facciale. A differenza dei metodi tradizionali che richiedono scultura manuale, NCSOFT utilizza strumenti di motion capture all'avanguardia che registrano i dati di performance dell'attore dal vivo. Questi dati vengono mappati direttamente sui metahuman in UE5, permettendo alle espressioni di essere riprodotte in tempo reale senza perdere la sottigliezza dei microgesti. L'ottimizzazione si concentra sul mantenere la fedeltà cinematografica senza sacrificare la fluidità interattiva, una sfida tecnica che pochi studi sono riusciti a risolvere.
Il nuovo standard per umanoidi digitali 🤖
Project M segna un prima e un dopo nella nicchia degli umanoidi digitali. Mentre progetti cinematografici come The Mandalorian utilizzano scenari virtuali con attori reali, NCSOFT punta su un attore digitale completo che deve funzionare in un ambiente interattivo. La differenza chiave è l'eliminazione della valle inquietante: integrando la scansione facciale reale con la flessibilità di MetaHuman, il personaggio non solo appare reale, ma si comporta come un essere umano vivente. Questo approccio supera titoli come Hellblade 2 o The Matrix Awakens concentrandosi esclusivamente sull'espressività facciale come motore narrativo.
Considerando l'iperrealismo facciale di Project M con MetaHuman e UE5, come viene affrontata la sfida della valle inquietante affinché il pubblico non si chieda se sta vedendo un umano reale o digitale?
(PS: Gli umanoidi digitali hanno il vantaggio di non lamentarsi mai del rigging.)