Tech Demo visar den verkliga kraften i Quest Pro Face Tracking

Quest Pros ansiktsspårningsfunktioner kommer snabbt att användas för att göra Metas avatarer mer uttrycksfulla, men nästa generations avatarer kommer att dra mycket mer nytta av den nya tekniken.

En av Quest Pros stora nya funktioner är ett ansiktsspårningssystem som använder interna kameror för att känna av dina ögons rörelser och vissa delar av ditt ansikte. I kombination med en kalibreringsfri maskininlärningsmodell tar headsetet vad det ser och förvandlar det till ingångar som kan driva animeringen av vilken avatar som helst.

Key Quest Pro-täckning:

Quest Pro Revealed – Fullständiga specifikationer, pris och releasedatum

Quest Pro Hands-on – The Dawn of the Mixed Reality Headset Era

Quest Pro teknisk analys – vad som är lovande och vad som inte är det

Touch Pro-kontroller avslöjade – även kompatibel med Quest 2

På kort sikt kommer detta att användas med Metas befintliga avatarer. Och även om det verkligen gör dem mer uttrycksfulla, ser de fortfarande något fåniga ut.

Detta är sannolikt resultatet av att det nuvarande Meta-avatarsystemet inte har byggts med denna nivå av ansiktsspårning i åtanke. 'Rigningen' – modellens underliggande animationsramverk – verkar inte riktigt lämpa sig för uppgiften. Att ympa Quest Pros ansiktsspårningsingångar på det nuvarande systemet gör inte riktigt rättvisa åt vad det faktiskt kan.

Som tur är har Meta byggt en teknisk demo som visar vad som är möjligt när en avatar är designad med Quest Pros ansiktsspårning i åtanke (och när nästan all headsetets processorkraft är dedikerad till att rendera den).

[Inbäddat innehåll]

Ja, det är fortfarande lite skakigt, men varje rörelse du ser här drivs av att användaren gör samma rörelser, inklusive saker som att blåsa ut kinderna eller flytta munnen från ena sidan till den andra. På det hela taget är det en mycket mer komplett representation av ett ansikte som jag skulle hävda lyckas undvika att komma in i den kusliga dalen.

Jag måste prova den här demon själv i min senaste hands-on med Quest Pro där jag tittade in i spegeln och dök upp som den här karaktären (som Meta kallar Aura). Jag kom bort riktigt imponerad av att, även utan någon speciell kalibrering, verkade ansiktet jag såg i spegeln efterlikna alla rörelser jag kunde tänka mig att göra med mitt ansikte.

Jag drogs särskilt till detaljerna i huden. Om jag kisade och ryckte upp näsan kunde jag se hur huden runt den hopade sig realistiskt, och samma sak när jag höjde pannan. Dessa subtila detaljer, som vecket på kinderna som rör sig med munnen, ger verkligen mycket till intrycket av att det här inte bara är ett föremål framför mig, utan något som har en levande varelse bakom sig.

Huruvida uttrycken faktiskt ser ut eller inte me när jag är den bakom masken är en annan fråga. Eftersom den här avatarens ansikte inte matchar mitt eget är det faktiskt svårt att säga. Men att rörelserna är åtminstone antagligen realistiskt är ett första viktigt steg mot virtuella avatarer som känns naturliga och trovärdiga.

Meta säger att det kommer att släppa Aura-demon som ett projekt med öppen källkod så att utvecklare kan se hur de har kopplat ingångarna för ansiktsspårning till avataren. Företaget säger också att utvecklare kommer att kunna använda en enda verktygsuppsättning för att driva humanoida avatarer eller icke-mänskliga avatarer som djur eller monster utan att behöva justera varje avatar individuellt.

Meta säger att utvecklare kommer att kunna trycka på ett ansiktsspårnings-API som använder värden som motsvarar FACS, ett välkänt system för att beskriva rörelsen av olika muskler i det mänskliga ansiktet.

Detta är ett effektivt system inte bara för att representera ansikten, utan det utgör också en användbar integritetsbarriär för användare. Enligt Meta kan utvecklare faktiskt inte få tillgång till de råa bilderna av användarens ansikte. I stället får de en "serie noll-till-ett-värden som motsvarar en uppsättning allmänna ansiktsrörelser, som när du kniper på näsan eller rynkar dina ögonbryn", säger Meta. "Dessa signaler gör det enkelt för en utvecklare att bevara den semantiska innebörden av spelarens ursprungliga rörelse när han mappar signaler från Face Tracking API till sin egen karaktärsrigg, oavsett om deras karaktär är humanoid eller till och med något mer fantastiskt."

Meta hävdar att inte ens företaget självt kan se bilderna som tagits av headsetets kameror, varken interna eller externa. De bearbetas på headsetet och raderas sedan omedelbart, enligt företaget, utan att någonsin skickas till molnet eller till utvecklare.