Tehnična predstavitev prikazuje resnično moč sledenja obrazu Quest Pro

Zmožnosti sledenja obrazu Quest Pro bodo hitro uporabljene, da bodo Metini avatarji bolj izraziti, vendar bodo avatarji naslednje generacije imeli veliko več koristi od nove tehnologije.

Ena od velikih novih funkcij Quest Pro je sistem za sledenje obrazu, ki uporablja notranje kamere za zaznavanje gibanja vaših oči in nekaterih delov obraza. V kombinaciji z modelom strojnega učenja brez kalibracije slušalke vzamejo, kar vidijo, in to spremenijo v vhode, ki lahko poganjajo animacijo katerega koli avatarja.

Pokritost Key Quest Pro:

Razkritje Quest Pro – popolne specifikacije, cena in datum izdaje

Quest Pro Hands-on – Zora dobe slušalk mešane resničnosti

Tehnična analiza Quest Pro – kaj je obetavno in kaj ne

Razkriti krmilniki Touch Pro – združljivi tudi z Quest 2

V kratkem bo to uporabljeno z obstoječimi Metinimi avatarji. In čeprav jih zagotovo naredi bolj izrazite, so še vedno videti nekoliko trapasto.

To je verjetno posledica tega, da trenutni sistem meta avatarjev ni bil zgrajen ob upoštevanju te ravni sledenja obrazu. Zdi se, da "naprava" - osnovni okvir animacije modela - ni povsem primeren za to nalogo. Cepljenje vnosov Quest Pro za sledenje obrazom na trenutni sistem v resnici ne ustreza temu, česar je dejansko zmožen.

Na srečo je Meta ustvarila tehnično predstavitev, ki prikazuje, kaj je mogoče, ko je avatar zasnovan z upoštevanjem sledenja obrazu Quest Pro (in ko je skoraj vsa procesorska moč slušalk namenjena njegovemu upodabljanju).

[Vgrajeni vsebina]

Da, še vedno je nekoliko tresoč, vendar vsak gib, ki ga vidite tukaj, povzroči uporabnik, ki dela enake gibe, vključno s stvarmi, kot je napihovanje lic ali premikanje ust z ene strani na drugo. Na splošno je to veliko bolj popolna predstavitev obraza, za katerega bi trdil, da se uspe izogniti vstopu v čudaško dolino.

Sam moram preizkusiti ta demo v svojem nedavna praktična uporaba Quest Pro kjer sem se pogledal v ogledalo in se pojavil kot ta lik (ki ga Meta imenuje Aura). Odšel sem res navdušen nad tem, da se je zdelo, da obraz, ki sem ga videl v ogledalu, tudi brez posebne kalibracije posnema vse gibe, ki bi jih lahko naredil z obrazom.

Še posebej so me pritegnile podrobnosti v koži. Če sem pomežiknil in stisnil nos, sem lahko videl, da se koža okoli nosu realistično nabira, in enako je bilo, ko sem dvignil obrv. Ti subtilni detajli, kot je guba na licih, ki se premika z usti, res veliko prispevajo k vtisu, da to ni samo predmet pred mano, ampak nekaj, kar ima za seboj živo bitje.

Ne glede na to, ali izrazi dejansko izgledajo ali ne me kdaj sem jaz tisti za masko je drugo vprašanje. Ker se obraz tega avatarja ne ujema z mojim, je pravzaprav težko reči. Ampak da so gibi vsaj verjetno realno je prvi pomemben korak k virtualnim avatarjem, ki delujejo naravno in verodostojno.

Meta pravi, da bo izdala demo Aura kot odprtokodni projekt, tako da bodo lahko razvijalci videli, kako so vhode za sledenje obrazu pritrdili na avatar. Podjetje tudi pravi, da bodo razvijalci lahko uporabili en sam nabor orodij za upravljanje humanoidnih avatarjev ali nečloveških avatarjev, kot so živali ali pošasti, ne da bi bilo treba prilagoditi vsak avatar posebej.

Meta pravi, da se bodo razvijalci lahko dotaknili API-ja za sledenje obrazu, ki uporablja vrednosti, ki ustrezajo FACS, dobro priznanemu sistemu za opis gibanja različnih mišic na človeškem obrazu.

To je učinkovit sistem ne le za predstavljanje obrazov, ampak predstavlja tudi uporabno oviro glede zasebnosti za uporabnike. Po mnenju Mete razvijalci dejansko ne morejo dobiti dostopa do neobdelanih slik uporabnikovega obraza. Namesto tega dobijo "niz vrednosti od nič proti ena, ki ustrezajo nizu splošnih gibov obraza, na primer, ko stisnete nos ali namrščite obrvi," pravi Meta. "Ti signali razvijalcu olajšajo ohranitev semantičnega pomena prvotnega gibanja igralca pri preslikavi signalov iz API-ja za sledenje obrazom na lastno opremo likov, ne glede na to, ali je njihov lik humanoid ali celo kaj bolj fantastičnega."

Meta trdi, da celo samo podjetje ne more videti slik, ki jih posnamejo kamere slušalk, bodisi notranje bodisi zunanje. Po navedbah podjetja se obdelajo na slušalkah in nato takoj izbrišejo, ne da bi jih sploh poslali v oblak ali razvijalcem.