La demo tecnica mostra la vera potenza di Quest Pro Face Tracking

Le capacità di rilevamento dei volti di Quest Pro verranno rapidamente utilizzate per rendere gli avatar di Meta più espressivi, ma gli avatar di nuova generazione trarranno molti più benefici dalla nuova tecnologia.

Una delle grandi novità di Quest Pro è un sistema di rilevamento del volto che utilizza telecamere interne per rilevare il movimento dei tuoi occhi e alcune parti del tuo viso. In combinazione con un modello di apprendimento automatico senza calibrazione, il visore prende ciò che vede e lo trasforma in input che possono guidare l'animazione di qualsiasi avatar.

Copertura di Key Quest Pro:

Quest Pro ha rivelato: specifiche complete, prezzo e data di rilascio

Quest Pro Hands-on - L'alba dell'era delle cuffie per realtà mista

Analisi tecnica di Quest Pro: cosa promette e cosa no

Rivelati i controller Touch Pro: compatibili anche con Quest 2

A breve termine, questo verrà utilizzato con gli avatar esistenti di Meta. E sebbene li renda certamente più espressivi, sembrano comunque un po' sciocchi.

Questo è probabilmente il risultato dell'attuale sistema Meta avatar che non è stato costruito tenendo presente questo livello di rilevamento dei volti. Il "rigging" - la struttura di animazione alla base del modello - non sembra del tutto adatto al compito. Innestare gli input di Face Tracking di Quest Pro sul sistema attuale non rende davvero giustizia a ciò di cui è effettivamente capace.

Fortunatamente Meta ha creato una demo tecnica che mostra cosa è possibile quando un avatar è progettato pensando al face-tracking di Quest Pro (e quando quasi tutta la potenza di elaborazione del visore è dedicata al rendering).

[Contenuto incorporato]

Sì, è ancora un po' traballante, ma ogni movimento che vedi qui è guidato dall'utente che fa gli stessi movimenti, comprese cose come gonfiare le guance o spostare la bocca da un lato all'altro. Nel complesso è una rappresentazione molto più completa di un volto che direi riesca a evitare di entrare nella valle misteriosa.

Ho avuto modo di provare questa demo per me stesso nel mio recente pratica con Quest Pro dove mi sono guardato allo specchio e sono apparso come questo personaggio (che Meta chiama Aura). Sono rimasto davvero colpito dal fatto che, anche senza una calibrazione speciale, il viso che ho visto allo specchio sembrava imitare qualsiasi movimento che potevo pensare di fare con il mio viso.

Sono stato particolarmente attratto dai dettagli della pelle. Se strizzavo gli occhi e arricciavo il naso potevo vedere la pelle intorno ad esso arricciarsi realisticamente, e la stessa cosa quando alzavo la fronte. Questi dettagli sottili, come la piega delle guance che si muovono con la bocca, aggiungono davvero molto all'impressione che questo non sia solo un oggetto di fronte a me, ma qualcosa che ha un essere vivente dietro di esso.

Indipendentemente dal fatto che le espressioni assomiglino o meno me quando sono io quello dietro la maschera è un'altra domanda. Dal momento che la faccia di questo avatar non corrisponde alla mia, in realtà è difficile da dire. Ma che almeno i movimenti siano plausibilmente realistico è un primo passo importante verso avatar virtuali che sembrino naturali e credibili.

Meta afferma che rilascerà la demo di Aura come progetto open source in modo che gli sviluppatori possano vedere come hanno collegato gli input di face tracking all'avatar. La società afferma inoltre che gli sviluppatori saranno in grado di utilizzare un unico set di strumenti per guidare avatar umanoidi o avatar non umani come animali o mostri senza dover modificare ogni avatar individualmente.

Meta afferma che gli sviluppatori saranno in grado di sfruttare un'API di tracciamento facciale che utilizza valori corrispondenti a FACS, un sistema ben noto per descrivere il movimento di diversi muscoli nel viso umano.

Questo è un sistema efficace non solo per rappresentare i volti, ma costituisce anche un'utile barriera alla privacy per gli utenti. Secondo Meta, gli sviluppatori non possono effettivamente accedere alle immagini grezze del viso dell'utente. Invece ottengono una "serie di valori da zero a uno che corrispondono a una serie di movimenti facciali generici, come quando si arriccia il naso o corruga le sopracciglia", dice Meta. "Questi segnali rendono facile per uno sviluppatore preservare il significato semantico del movimento originale del giocatore durante la mappatura dei segnali dall'API Face Tracking al proprio rig personaggio, indipendentemente dal fatto che il suo personaggio sia umanoide o anche qualcosa di più fantastico."

Meta afferma che anche l'azienda stessa non può vedere le immagini catturate dalle fotocamere delle cuffie, né interne né esterne. Vengono elaborati sull'auricolare e quindi immediatamente eliminati, secondo l'azienda, senza mai essere inviati al cloud o agli sviluppatori.