Tehniline demo näitab Quest Pro näojälgimise tõelist jõudu

Quest Pro näojälgimise võimalusi hakatakse kiiresti kasutama, et muuta Meta avatarid väljendusrikkamaks, kuid järgmise põlvkonna avatarid saavad uuest tehnoloogiast palju rohkem kasu.

Üks Quest Pro suurtest uutest funktsioonidest on näo jälgimise süsteem, mis kasutab sisemiste kaamerate abil teie silmade ja mõne näoosa liikumist. Koos kalibreerimisvaba masinõppemudeliga võtab peakomplekt seda, mida näeb, ja muudab selle sisenditeks, mis võivad juhtida mis tahes avatari animatsiooni.

Key Quest Pro leviala:

Quest Pro avalikustati – täielikud andmed, hind ja väljalaskekuupäev

Quest Pro praktiline tegevus – segareaalsuse peakomplekti ajastu koidik

Quest Pro tehniline analüüs – mis on paljulubav ja mis mitte

Ilmunud on Touch Pro kontrollerid – ühilduvad ka Quest 2-ga

Lähiajal hakatakse seda kasutama koos Meta olemasolevate avataridega. Ja kuigi see muudab need kindlasti väljendusrikkamaks, näevad nad siiski mõnevõrra tobedad välja.

Tõenäoliselt on see tingitud sellest, et praegust Meta avatari süsteemi ei ehitatud sellisel tasemel nägude jälgimist silmas pidades. „Taglastus” – mudeli aluseks olev animatsiooniraamistik – ei tundu ülesande jaoks päris sobiv. Quest Pro näojälgimise sisendite lisamine praegusesse süsteemi ei vasta tegelikult sellele, milleks see tegelikult võimeline on.

Õnneks on Meta koostanud tehnilise demo, mis näitab, mis on võimalik, kui avatari kujundamisel on silmas peetud Quest Pro näojälgimist (ja kui peaaegu kogu peakomplekti töötlusvõimsus on pühendatud selle renderdamisele).

[Varjatud sisu]

Jah, see on endiselt pisut värisev, kuid iga liigutus, mida siin näete, on tingitud sellest, et kasutaja teeb samu liigutusi, sealhulgas selliseid asju nagu põskede väljapuhumine või suu liigutamine ühelt küljelt teisele. Üldiselt on see näo palju täielikum esitus, mis minu arvates suudab vältida sattumist kummalisse orgu.

Ma pean seda demot enda jaoks proovima hiljutine praktiline kogemus Quest Proga kus ma vaatasin peeglisse ja ilmusin selle tegelasena (keda Meta nimetab Auraks). Tulin sealt tõeliselt muljet, et isegi ilma spetsiaalse kalibreerimiseta näis peeglist nähtud nägu jäljendavat mis tahes liigutusi, mida ma suutsin oma näoga teha.

Eriti tõmbas mind naha detail. Kui ma kissitasin ja krõmpsutasin oma nina, nägin, kuidas nahk selle ümber reaalselt kokku kuhjub, ja sama asi ka siis, kui ma kulmu kergitasin. Need peened detailid, nagu põskede kortsud, mis liiguvad koos suuga, annavad tõesti palju juurde muljet, et see pole lihtsalt objekt minu ees, vaid midagi, mille taga on elusolend.

Olenemata sellest, kas väljendid tegelikult välja näevad või mitte me Millal mina olen see maski taga, on teine ​​küsimus. Kuna selle avatari nägu ei ühti minu omaga, on seda tegelikult raske öelda. Aga et liigutused on vähemalt usutavalt realistlik on esimene oluline samm loomulike ja usutavatena tunduvate virtuaalsete avataride suunas.

Meta ütleb, et avaldab Aura demo avatud lähtekoodiga projektina, et arendajad saaksid näha, kuidas nad on avatarile näojälgimise sisendid lisanud. Ettevõte ütleb ka, et arendajad saavad kasutada ühte tööriistakomplekti humanoid-avatarite või mitteinimesest avataride (nt loomade või koletiste) juhtimiseks, ilma et nad peaksid iga avatari eraldi kohandama.

Meta sõnul saavad arendajad kasutada näojälgimise API-t, mis kasutab väärtusi, mis vastavad FACS-ile, mis on hästi tunnustatud süsteem inimese näo erinevate lihaste liikumise kirjeldamiseks.

See ei ole tõhus süsteem mitte ainult nägude esitamiseks, vaid moodustab ka kasutajate jaoks kasuliku privaatsusbarjääri. Meta sõnul ei saa arendajad tegelikult ligipääsu kasutaja näo toorpiltidele. Selle asemel saavad nad "null-ühe väärtuste jada, mis vastavad üldistele näoliigutustele, nagu nina krimpsutamine või kulmude kortsutamine," ütleb Meta. "Nende signaalide abil on arendajal lihtne säilitada mängija algse liikumise semantiline tähendus, kaardistades signaale Face Tracking API-st oma tegelaste platvormile, olenemata sellest, kas nende tegelane on humanoid või isegi midagi fantastilisemat."

Meta väidab, et isegi ettevõte ise ei näe peakomplekti kaameratega jäädvustatud pilte, ei sise- ega väliseid. Neid töödeldakse peakomplektis ja seejärel kustutatakse ettevõtte sõnul kohe, ilma et neid kunagi pilve või arendajatele saata.