Tekninen demo näyttää Quest Pron kasvojen seurannan todellisen voiman

Quest Pron kasvojenseurantaominaisuudet otetaan nopeasti käyttöön, jotta Metan avatarista saadaan ilmaisuvoimaisempia, mutta seuraavan sukupolven avatarit hyötyvät paljon enemmän uudesta tekniikasta.

Yksi Quest Pron suurista uusista ominaisuuksista on kasvojen seurantajärjestelmä, joka käyttää sisäisiä kameroita silmiesi ja joidenkin kasvosi osien liikkeen havaitsemiseen. Yhdessä kalibrointivapaan koneoppimismallin kanssa kuulokkeet ottavat näkemänsä ja muuttavat sen tuloiksi, jotka voivat ohjata minkä tahansa avatarin animaatiota.

Key Quest Pron kattavuus:

Quest Pro paljastettu – täydelliset tiedot, hinta ja julkaisupäivä

Quest Pro -käytännöt – Mixed Reality -kuulokkeiden aikakauden kynnyksellä

Quest Pron tekninen analyysi – mikä on lupaavaa ja mikä ei

Touch Pro -ohjaimet paljastettiin – yhteensopiva myös Quest 2:n kanssa

Lähitulevaisuudessa tämä otetaan käyttöön Metan olemassa olevien avatareiden kanssa. Ja vaikka se varmasti tekee niistä ilmeisempiä, ne näyttävät silti hieman hölmöiltä.

Tämä on todennäköisesti seurausta siitä, että nykyistä Meta-avatarjärjestelmää ei ole rakennettu tämän tason kasvojenseurantaa ajatellen. "Takila" - mallin taustalla oleva animaatiokehys - ei näytä olevan aivan sopiva tehtävään. Quest Pron kasvojenseurantatulojen siirtäminen nykyiseen järjestelmään ei todellakaan tee oikeutta sille, mihin se todella pystyy.

Onneksi Meta on rakentanut teknisen demon, joka näyttää, mikä on mahdollista, kun avatar on suunniteltu Quest Pron kasvojenseurantaa ajatellen (ja kun melkein kaikki kuulokkeiden prosessointiteho on omistettu sen hahmontamiseen).

[Upotetun sisällön]

Kyllä, se on edelleen hieman tärisevää, mutta jokainen täällä näkemäsi liike on käyttäjän ajamana, joka tekee samoja liikkeitä, kuten poskien turvotusta tai suun liikuttamista puolelta toiselle. Kaiken kaikkiaan se on paljon täydellisempi esitys kasvoista, joiden uskoisin onnistuvan välttämään pääsyn järjettömään laaksoon.

Minun täytyy kokeilla tätä demoa itse viime aikoina Quest Pron kanssa jossa katsoin peiliin ja näytin tämän hahmona (jota Meta kutsuu Auraksi). Tulin pois todella vaikuttuneena, että vaikka ilman erityistä kalibrointia, peilistä näkemäni kasvot näyttivät jäljittelevän mitä tahansa liikkeitä, jotka voisin ajatella tekeväni kasvoillani.

Minua veti erityisesti ihon yksityiskohdat. Jos siristin ja rypistin nenääni, näin sen ympärillä olevan ihon kasaantuvan realistisesti, ja saman asian kohotin kulmakarvaani. Nämä hienovaraiset yksityiskohdat, kuten poskien rypyt, jotka liikkuvat suun mukana, lisäävät todella paljon vaikutelmaa, että tämä ei ole vain esine edessäni, vaan jotain, jonka takana on elävä olento.

Näyttävätkö ilmaisut todella siltä vai eivät me Kun minä olen naamion takana, on toinen kysymys. Koska tämän avatarin kasvot eivät vastaa minun kasvojani, sitä on itse asiassa vaikea sanoa. Mutta että liikkeet ovat ainakin uskottavan realistinen on ensimmäinen tärkeä askel kohti virtuaalisia avatareja, jotka tuntuvat luonnollisilta ja uskottavilta.

Meta sanoo julkaisevansa Aura-demon avoimen lähdekoodin projektina, jotta kehittäjät voivat nähdä, kuinka he ovat liittäneet kasvojenseurantatulot avatariin. Yhtiö sanoo myös, että kehittäjät voivat käyttää yhtä työkalusarjaa humanoidiavatarien tai ei-ihmishahmojen, kuten eläinten tai hirviöiden, ohjaamiseen tarvitsematta säätää jokaista avataria erikseen.

Meta sanoo, että kehittäjät voivat napauttaa kasvojen seurantasovellusliittymää, joka käyttää arvoja, jotka vastaavat FACS:ää, joka on hyvin tunnistettu järjestelmä ihmisen kasvojen eri lihasten liikkeiden kuvaamiseen.

Tämä ei ole tehokas järjestelmä pelkästään kasvojen esittämiseen, vaan se muodostaa myös hyödyllisen yksityisyyden esteen käyttäjille. Metan mukaan kehittäjät eivät itse asiassa pääse käsiksi käyttäjän kasvojen raakakuviin. Sen sijaan he saavat "sarjan nollasta yhteen arvoja, jotka vastaavat yleisiä kasvojen liikkeitä, kuten kun rypistyt nenääsi tai rypistelet kulmakarvojasi", Meta sanoo. "Näiden signaalien avulla kehittäjän on helppo säilyttää pelaajan alkuperäisen liikkeen semanttinen merkitys, kun hän kartoittaa signaaleja Face Tracking API:sta omaan hahmojärjestelmäänsä, olipa heidän hahmonsa humanoidi tai jopa jotain fantastisempaa."

Meta väittää, ettei edes yritys itse näe kuulokkeiden sisäisten tai ulkoisten kameroiden ottamia kuvia. Ne käsitellään kuulokemikrofonilla ja poistetaan sitten välittömästi, yrityksen mukaan lähettämättä niitä koskaan pilveen tai kehittäjille.