Tech Demo viser den virkelige kraft af Quest Pro Face Tracking

Quest Pros ansigtssporingsfunktioner vil hurtigt blive taget i brug for at gøre Metas avatarer mere udtryksfulde, men næste generations avatarer vil drage meget mere fordel af den nye teknologi.

En af Quest Pros store nye funktioner er et ansigtssporingssystem, der bruger interne kameraer til at fornemme bevægelsen af ​​dine øjne og nogle dele af dit ansigt. Kombineret med en kalibreringsfri maskinlæringsmodel tager headsettet, hvad det ser, og forvandler det til input, der kan drive animationen af ​​enhver avatar.

Key Quest Pro-dækning:

Quest Pro Revealed – Fuld specifikationer, pris og udgivelsesdato

Quest Pro Hands-on – Dawn of the Mixed Reality Headset Era

Quest Pro teknisk analyse – hvad er lovende og hvad er ikke

Touch Pro-controllere afsløret – også kompatible med Quest 2

På kort sigt vil dette blive taget i brug med Metas eksisterende avatarer. Og selvom det bestemt gør dem mere udtryksfulde, ser de stadig noget fjollede ud.

Dette er sandsynligvis resultatet af, at det nuværende Meta-avatar-system ikke er bygget med dette niveau af ansigtssporing i tankerne. 'Rigging' - modellens underliggende animationsramme - synes ikke helt at passe til opgaven. At pode Quest Pro's face-tracking input til det nuværende system yder ikke rigtig retfærdighed til, hvad det faktisk er i stand til.

Heldigvis har Meta bygget en teknisk demo, som viser, hvad der er muligt, når en avatar er designet med Quest Pros ansigtssporing i tankerne (og når næsten hele headsettets processorkraft er dedikeret til at gengive den).

[Indlejret indhold]

Ja, det er stadig lidt rystende, men hver bevægelse, du ser her, bliver drevet af brugeren, der laver de samme bevægelser, inklusive ting som at puste kinderne ud eller flytte munden fra den ene side til den anden. I det hele taget er det en meget mere komplet gengivelse af et ansigt, som jeg vil påstå, formår at undgå at komme ind i den uhyggelige dal.

Jeg skal prøve denne demo for mig selv i min seneste hands-on med Quest Pro hvor jeg kiggede ind i spejlet og optrådte som denne karakter (som Meta kalder Aura). Jeg kom derfra virkelig imponeret over, at selv uden nogen speciel kalibrering syntes det ansigt, jeg så i spejlet, at efterligne de bevægelser, jeg kunne tænke mig at lave med mit ansigt.

Jeg blev især tiltrukket af detaljerne i huden. Hvis jeg knibede og kneb op i næsen, kunne jeg se huden omkring den samle sig realistisk, og det samme, når jeg løftede brynet. Disse subtile detaljer, som krøllen i kinderne, der bevæger sig med munden, tilføjer virkelig meget til indtrykket af, at dette ikke bare er et objekt foran mig, men noget, der har et levende væsen bag sig.

Hvorvidt udtrykkene rent faktisk ser ud eller ej me hvornår jeg er den, der står bag masken, er et andet spørgsmål. Da denne avatars ansigt ikke matcher mit eget, er det faktisk svært at sige. Men at bevægelserne er i hvert fald plausibelt realistisk er et første vigtigt skridt mod virtuelle avatarer, der føles naturlige og troværdige.

Meta siger, at det vil frigive Aura-demoen som et open source-projekt, så udviklere kan se, hvordan de har knyttet face-tracking-input til avataren. Virksomheden siger også, at udviklere vil være i stand til at bruge et enkelt værktøjssæt til at køre humanoide avatarer eller ikke-menneskelige avatarer som dyr eller monstre uden at skulle justere hver avatar individuelt.

Meta siger, at udviklere vil være i stand til at trykke på en ansigtssporings-API, der bruger værdier, der svarer til FACS, et velkendt system til at beskrive bevægelsen af ​​forskellige muskler i det menneskelige ansigt.

Dette er et effektivt system, ikke kun til at repræsentere ansigter, men det danner også en nyttig privatlivsbarriere for brugere. Ifølge Meta kan udviklere faktisk ikke få adgang til de rå billeder af brugerens ansigt. I stedet får de en "serie af nul-til-en-værdier, der svarer til et sæt generiske ansigtsbevægelser, som når du krymper din næse eller rynker dine øjenbryn," siger Meta. "Disse signaler gør det nemt for en udvikler at bevare den semantiske betydning af spillerens oprindelige bevægelse, når de kortlægger signaler fra Face Tracking API til deres egen karakterrig, uanset om deres karakter er humanoid eller endda noget mere fantastisk."

Meta hævder, at selv virksomheden ikke selv kan se billederne taget af headsettets kameraer, hverken interne eller eksterne. De behandles på headsettet og slettes derefter straks, ifølge virksomheden, uden nogensinde at blive sendt til skyen eller til udviklere.