Tech Demo viser den virkelige kraften til Quest Pro Face Tracking

Quest Pros ansiktssporingsfunksjoner vil raskt bli tatt i bruk for å gjøre Metas avatarer mer uttrykksfulle, men neste generasjons avatarer vil dra mye mer av den nye teknologien.

En av Quest Pros store nye funksjoner er et ansiktssporingssystem som bruker interne kameraer til å registrere bevegelsene til øynene og enkelte deler av ansiktet ditt. Kombinert med en kalibreringsfri maskinlæringsmodell tar headsettet det det ser og gjør det om til innganger som kan drive animasjonen til enhver avatar.

Key Quest Pro-dekning:

Quest Pro avslørt – fullstendige spesifikasjoner, pris og utgivelsesdato

Quest Pro Hands-on – The Dawn of the Mixed Reality Headset Era

Quest Pro teknisk analyse – Hva er lovende og hva som ikke er

Touch Pro-kontrollere avslørt – også kompatibel med Quest 2

På kort sikt vil dette bli tatt i bruk med Metas eksisterende avatarer. Og selv om det absolutt gjør dem mer uttrykksfulle, ser de fortsatt litt klønete ut.

Dette er sannsynligvis resultatet av at det nåværende Meta-avatarsystemet ikke er bygget med dette nivået av ansiktssporing i tankene. "Riggingen" - det underliggende animasjonsrammeverket til modellen - virker ikke helt egnet for oppgaven. Å pode Quest Pros ansiktssporingsinnganger på det nåværende systemet yter egentlig ikke rettferdighet til det det faktisk er i stand til.

Heldigvis har Meta bygget en teknisk demo som viser hva som er mulig når en avatar er designet med Quest Pros ansiktssporing i tankene (og når nesten all hodesettets prosessorkraft er dedikert til å gjengi den).

[Innebygd innhold]

Ja, det er fortsatt litt skjelven, men hver bevegelse du ser her blir drevet av brukeren som gjør de samme bevegelsene, inkludert ting som å puste ut kinnene eller flytte munnen fra den ene siden til den andre. I det hele tatt er det en mye mer fullstendig representasjon av et ansikt som jeg vil hevde klarer å unngå å gå inn i den uhyggelige dalen.

Jeg må prøve denne demoen for meg selv i min nylig hands-on med Quest Pro hvor jeg så inn i speilet og dukket opp som denne karakteren (som Meta kaller Aura). Jeg ble veldig imponert over at ansiktet jeg så i speilet, selv uten spesiell kalibrering, så ut til å etterligne de bevegelsene jeg kunne tenke meg å gjøre med ansiktet mitt.

Jeg ble spesielt tiltrukket av detaljene i huden. Hvis jeg myste og skrudde opp nesen, kunne jeg se huden rundt den samle seg realistisk, og det samme når jeg hevet brynet. Disse subtile detaljene, som folden i kinnene som beveger seg med munnen, gir virkelig mye til inntrykket av at dette ikke bare er en gjenstand foran meg, men noe som har et levende vesen bak seg.

Hvorvidt uttrykkene faktisk ser ut eller ikke me når jeg er den bak masken er et annet spørsmål. Siden denne avatarens ansikt ikke stemmer overens med mitt eget, er det faktisk vanskelig å si. Men at bevegelsene er i hvert fall plausibelt realistisk er et første viktig skritt mot virtuelle avatarer som føles naturlige og troverdige.

Meta sier at den vil gi ut Aura-demoen som et åpen kildekode-prosjekt slik at utviklere kan se hvordan de har festet ansiktssporingsinngangene til avataren. Selskapet sier også at utviklere vil kunne bruke et enkelt verktøysett for å kjøre menneskelige avatarer eller ikke-menneskelige avatarer som dyr eller monstre uten å måtte justere hver avatar individuelt.

Meta sier at utviklere vil kunne trykke på et ansiktssporings-API som bruker verdier som tilsvarer FACS, et godt anerkjent system for å beskrive bevegelsen til forskjellige muskler i det menneskelige ansiktet.

Dette er et effektivt system ikke bare for å representere ansikter, men det danner også en nyttig personvernbarriere for brukere. Ifølge Meta kan utviklere faktisk ikke få tilgang til råbildene av brukerens ansikt. I stedet får de en "serie med null-til-en verdier som samsvarer med et sett med generiske ansiktsbevegelser, som når du kryper på nesen eller rynker øyenbrynene," sier Meta. "Disse signalene gjør det enkelt for en utvikler å bevare den semantiske betydningen av spillerens opprinnelige bevegelse når de kartlegger signaler fra Face Tracking API til sin egen karakterrigg, enten karakteren deres er humanoid eller til og med noe mer fantastisk."

Meta hevder at selv selskapet selv ikke kan se bildene tatt av hodesettets kameraer, verken interne eller eksterne. De blir behandlet på hodesettet og deretter slettet umiddelbart, ifølge selskapet, uten noen gang å bli sendt til skyen eller til utviklere.