Technische demo toont de echte kracht van Quest Pro Face Tracking

De face-trackingmogelijkheden van Quest Pro zullen snel worden gebruikt om Meta's avatars expressiever te maken, maar next-gen avatars zullen veel meer profiteren van de nieuwe technologie.

Een van de grote nieuwe functies van Quest Pro is een gezichtsvolgsysteem dat interne camera's gebruikt om de beweging van je ogen en sommige delen van je gezicht te voelen. Gecombineerd met een kalibratievrij machine learning-model, neemt de headset wat hij ziet en verandert het in inputs die de animatie van elke avatar kunnen aansturen.

Key Quest Pro-dekking:

Quest Pro onthuld - Volledige specificaties, prijs en releasedatum

Quest Pro Hands-on – De dageraad van het tijdperk van de mixed reality-headset

Technische analyse van Quest Pro - Wat is veelbelovend en wat niet?

Touch Pro-controllers onthuld - ook compatibel met Quest 2

Op korte termijn zal dit worden gebruikt met de bestaande avatars van Meta. En hoewel het ze zeker expressiever maakt, zien ze er nog steeds een beetje gek uit.

Dit is waarschijnlijk het gevolg van het feit dat het huidige Meta-avatarsysteem niet is gebouwd met dit niveau van face-tracking in gedachten. De 'rigging' - het onderliggende animatieraamwerk van het model - lijkt niet helemaal geschikt voor de taak. Het enten van de face-tracking-inputs van Quest Pro op het huidige systeem doet niet echt recht aan waartoe het in staat is.

Gelukkig heeft Meta een technische demo gebouwd die laat zien wat er mogelijk is wanneer een avatar is ontworpen met Quest Pro's face-tracking in gedachten (en wanneer bijna alle verwerkingskracht van de headset is gewijd aan het weergeven ervan).

[Ingesloten inhoud]

Ja, het is nog steeds een beetje wankel, maar elke beweging die je hier ziet, wordt aangedreven door de gebruiker die dezelfde bewegingen maakt, inclusief dingen als de wangen opblazen of de mond van de ene naar de andere kant bewegen. Over het algemeen is het een veel completere weergave van een gezicht waarvan ik zou zeggen dat het erin slaagt de griezelige vallei binnen te gaan.

Ik moet deze demo zelf proberen in mijn recente hands-on met Quest Pro waar ik in de spiegel keek en verscheen als dit personage (dat Meta Aura noemt). Ik kwam echt onder de indruk dat, zelfs zonder speciale kalibratie, het gezicht dat ik in de spiegel zag, alle bewegingen leek na te bootsen die ik kon bedenken om met mijn gezicht te maken.

Ik werd vooral aangetrokken door het detail in de huid. Als ik mijn neus dichtkneep en samenkneep, kon ik de huid eromheen realistisch zien samentrekken, en hetzelfde gebeurde toen ik mijn voorhoofd optrok. Deze subtiele details, zoals de plooi in de wangen die met de mond meebewegen, voegen echt veel toe aan de indruk dat dit niet alleen een object voor me is, maar iets dat een levend wezen erachter heeft.

Of de uitdrukkingen er echt uitzien of niet me wanneer ik degene ben achter het masker is een andere vraag. Aangezien het gezicht van deze avatar niet overeenkomt met dat van mij, is het eigenlijk moeilijk te zeggen. Maar dat de bewegingen in ieder geval zijn aannemelijk realistisch is een eerste belangrijke stap naar virtuele avatars die natuurlijk en geloofwaardig aanvoelen.

Meta zegt dat het de Aura-demo zal uitbrengen als een open source-project, zodat ontwikkelaars kunnen zien hoe ze de face-tracking-ingangen aan de avatar hebben gekoppeld. Het bedrijf zegt ook dat ontwikkelaars een enkele toolset kunnen gebruiken voor het besturen van humanoïde avatars of niet-menselijke avatars zoals dieren of monsters zonder elke avatar afzonderlijk te hoeven aanpassen.

Meta zegt dat ontwikkelaars een face-tracking-API kunnen gebruiken die waarden gebruikt die overeenkomen met FACS, een algemeen erkend systeem voor het beschrijven van de beweging van verschillende spieren in het menselijk gezicht.

Dit is een effectief systeem, niet alleen voor het weergeven van gezichten, maar het vormt ook een nuttige privacybarrière voor gebruikers. Volgens Meta kunnen ontwikkelaars eigenlijk geen toegang krijgen tot de onbewerkte afbeeldingen van het gezicht van de gebruiker. Insead krijgen ze een "reeks nul-op-één-waarden die overeenkomen met een reeks generieke gezichtsbewegingen, zoals wanneer je je neus dichtknijpt of je wenkbrauwen fronst", zegt Meta. "Deze signalen maken het voor een ontwikkelaar gemakkelijk om de semantische betekenis van de originele beweging van de speler te behouden bij het in kaart brengen van signalen van de Face Tracking API aan hun eigen personage-rig, of hun personage nu een humanoïde is of zelfs iets meer fantastisch."

Meta beweert dat zelfs het bedrijf zelf de beelden niet kan zien die zijn vastgelegd door de camera's van de headset, zowel intern als extern. Ze worden op de headset verwerkt en vervolgens onmiddellijk verwijderd, aldus het bedrijf, zonder ooit naar de cloud of naar ontwikkelaars te worden gestuurd.