Demo tehnică arată puterea reală a urmăririi feței Quest Pro

Capacitățile de urmărire a feței ale Quest Pro vor fi utilizate rapid pentru a face avatarurile lui Meta mai expresive, dar avatarele de nouă generație vor beneficia mult mai mult de noua tehnologie.

Una dintre noile funcții mari ale Quest Pro este un sistem de urmărire a feței care utilizează camere interne pentru a vă simți mișcarea ochilor și a unor părți ale feței. Combinat cu un model de învățare automată fără calibrare, căștile preia ceea ce vede și îl transformă în intrări care pot conduce animația oricărui avatar.

Acoperire Key Quest Pro:

Quest Pro a fost dezvăluit – Specificații complete, preț și data lansării

Quest Pro Hands-on – Zorii erei căștilor cu realitate mixtă

Analiza tehnică Quest Pro – Ce este promițător și ce nu

Controlere Touch Pro dezvăluite – compatibile și cu Quest 2

Pe termen scurt, acesta va fi folosit cu avatarurile existente ale lui Meta. Și deși cu siguranță îi face mai expresivi, totuși arată oarecum prost.

Acesta este probabil rezultatul faptului că actualul sistem de avatar Meta nu a fost construit având în vedere acest nivel de urmărire a feței. „Telepiarea” – cadrul de animație de bază al modelului – pare să nu fie tocmai potrivit pentru sarcină. Grefarea intrărilor de urmărire a feței lui Quest Pro în sistemul actual nu face cu adevărat dreptate față de ceea ce este capabil de fapt.

Din fericire, Meta a construit o demonstrație tehnologică care arată ce este posibil atunci când un avatar este proiectat având în vedere urmărirea feței lui Quest Pro (și când aproape toată puterea de procesare a căștilor este dedicată redării acestuia).

[Conținutul încorporat]

Da, este încă puțin tremurător, dar fiecare mișcare pe care o vedeți aici este condusă de utilizator care face aceleași mișcări, inclusiv lucruri precum umflarea obrajilor sau mișcarea gurii dintr-o parte în alta. În ansamblu, este o reprezentare mult mai completă a unei fețe despre care aș spune că reușește să evite să intre în valea misterioasă.

Trebuie să încerc acest demo pentru mine în mine practică recentă cu Quest Pro unde m-am uitat în oglindă și am apărut ca acest personaj (pe care Meta îl numește Aura). Am ieșit foarte impresionat că, chiar și fără o calibrare specială, chipul pe care l-am văzut în oglindă părea să imită orice mișcare mi-aș fi putut gândi să fac cu fața mea.

Am fost atrasă în special de detaliile din piele. Dacă mi-aș strânge ochii și mi-aș strânge nasul, aș putea vedea cum pielea din jurul lui se înmulțește în mod realist, și același lucru când am ridicat sprânceana. Aceste detalii subtile, cum ar fi cuta din obraji care se mișcă cu gura, adaugă foarte mult la impresia că acesta nu este doar un obiect în fața mea, ci ceva care are o ființă vie în spatele lui.

Indiferent dacă expresiile arată de fapt sau nu me când eu sunt cel din spatele măștii este o altă întrebare. Deoarece fața acestui avatar nu se potrivește cu a mea, este de fapt greu de spus. Dar că mișcările sunt cel puțin plauzibil de realist este un prim pas important către avatare virtuale care par naturale și credibile.

Meta spune că va lansa demonstrația Aura ca proiect open source, astfel încât dezvoltatorii să poată vedea cum au atașat intrările de urmărire a feței la avatar. De asemenea, compania mai spune că dezvoltatorii vor putea folosi un singur set de instrumente pentru a conduce avataruri umanoizi sau avatare non-umane, cum ar fi animale sau monștri, fără a fi nevoie să modifice fiecare avatar individual.

Meta spune că dezvoltatorii vor putea accesa un API de urmărire a feței care utilizează valori corespunzătoare FACS, un sistem bine recunoscut pentru a descrie mișcarea diferiților mușchi ai feței umane.

Acesta este un sistem eficient nu numai pentru reprezentarea fețelor, dar formează și o barieră de confidențialitate utilă pentru utilizatori. Potrivit Meta, dezvoltatorii nu pot avea acces la imaginile brute ale feței utilizatorului. Insead primesc o „serie de valori zero la unu care corespund cu un set de mișcări faciale generice, cum ar fi atunci când îți strângi nasul sau îți încrești sprâncenele”, spune Meta. „Aceste semnale facilitează pentru un dezvoltator să păstreze semnificația semantică a mișcării inițiale a jucătorului atunci când mapează semnalele de la API-ul Face Tracking la propria platformă de caractere, indiferent dacă personajul lor este umanoid sau chiar ceva mai fantastic.”

Meta susține că chiar și compania în sine nu poate vedea imaginile capturate de camerele căștilor, fie interne, fie externe. Acestea sunt procesate pe căști și apoi imediat șterse, potrivit companiei, fără a fi niciodată trimise în cloud sau dezvoltatorilor.