Tech Demo pokazuje prawdziwą moc śledzenia twarzy Quest Pro

Możliwości śledzenia twarzy Quest Pro zostaną szybko wykorzystane, aby awatary Meta były bardziej wyraziste, ale awatary nowej generacji mogą znacznie więcej skorzystać z nowej technologii.

Jedną z dużych nowych funkcji Quest Pro jest system śledzenia twarzy, który wykorzystuje wewnętrzne kamery do wykrywania ruchu twoich oczu i niektórych części twarzy. W połączeniu z modelem uczenia maszynowego niewymagającym kalibracji, zestaw słuchawkowy bierze to, co widzi, i zamienia je w dane wejściowe, które mogą napędzać animację dowolnego awatara.

Pokrycie Key Quest Pro:

Ujawniono Quest Pro – pełna specyfikacja, cena i data premiery

Quest Pro Hands-on – Narodziny ery zestawu słuchawkowego rzeczywistości mieszanej

Analiza techniczna Quest Pro – co obiecuje, a czego nie

Ujawniono kontrolery Touch Pro – również kompatybilne z Quest 2

W najbliższym czasie zostanie to wykorzystane z istniejącymi awatarami Meta. I choć z pewnością sprawia, że ​​są bardziej wyraziste, nadal wyglądają nieco głupkowato.

Jest to prawdopodobnie wynikiem tego, że obecny system awatarów Meta nie jest tworzony z myślą o takim poziomie śledzenia twarzy. „Ring” — podstawowa struktura animacji modelu — wydaje się nie do końca pasować do tego zadania. Przeszczepienie danych wejściowych śledzenia twarzy Quest Pro do obecnego systemu tak naprawdę nie oddaje tego, do czego jest rzeczywiście zdolny.

Na szczęście Meta stworzyła demonstrację techniczną, która pokazuje, co jest możliwe, gdy awatar jest zaprojektowany z myślą o śledzeniu twarzy Quest Pro (i gdy prawie cała moc przetwarzania zestawu słuchawkowego jest przeznaczona do jego renderowania).

[Osadzone treści]

Tak, nadal jest trochę chwiejny, ale każdy ruch, który tu widzisz, jest napędzany przez użytkownika wykonującego te same ruchy, w tym takie rzeczy, jak nadymanie policzków lub przesuwanie ust z jednej strony na drugą. Ogólnie rzecz biorąc, jest to o wiele pełniejsza reprezentacja twarzy, której, jak sądzę, udaje się uniknąć wkroczenia w niesamowitą dolinę.

Muszę wypróbować to demo dla siebie w moim ostatnie zajęcia praktyczne z Quest Pro gdzie spojrzałem w lustro i pojawiłem się jako ta postać (którą Meta nazywa Aura). Odszedłem naprawdę pod wrażeniem tego, że nawet bez specjalnej kalibracji twarz, którą widziałem w lustrze, wydawała się naśladować wszelkie ruchy, jakie mogłem wykonać swoją twarzą.

Szczególnie pociągał mnie szczegół skóry. Jeśli zmrużyłem oczy i zmarszczyłem nos, mogłem zobaczyć, jak skóra wokół niego napina się realistycznie i to samo, gdy uniosłem brwi. Te subtelne detale, jak marszczenie policzków poruszające się wraz z ustami, naprawdę dodają wrażenia, że ​​to nie jest tylko przedmiot przede mną, ale coś, co ma za sobą żywą istotę.

Czy wyrażenia rzeczywiście wyglądają, czy nie me kiedy to ja jestem za maską, to inna sprawa. Ponieważ twarz tego awatara nie pasuje do mojej, trudno powiedzieć. Ale że ruchy są przynajmniej prawdopodobnie realistyczne to pierwszy ważny krok w kierunku wirtualnych awatarów, które są naturalne i wiarygodne.

Meta twierdzi, że wyda demo Aura jako projekt open source, aby programiści mogli zobaczyć, w jaki sposób dołączyli dane do śledzenia twarzy do awatara. Firma twierdzi również, że programiści będą mogli używać jednego zestawu narzędzi do kierowania humanoidalnymi awatarami lub nieludzkimi awatarami, takimi jak zwierzęta lub potwory, bez konieczności dostosowywania każdego awatara indywidualnie.

Meta mówi, że programiści będą mogli wykorzystać interfejs API do śledzenia twarzy, który wykorzystuje wartości odpowiadające FACS, dobrze rozpoznanemu systemowi opisu ruchu różnych mięśni na ludzkiej twarzy.

Jest to skuteczny system nie tylko do reprezentowania twarzy, ale także stanowi użyteczną barierę prywatności dla użytkowników. Według Meta programiści nie mogą w rzeczywistości uzyskać dostępu do surowych obrazów twarzy użytkownika. W środku otrzymują „serię wartości zero do jednego, które odpowiadają zestawowi ogólnych ruchów twarzy, na przykład gdy marszczysz nos lub marszczysz brwi” – ​​mówi Meta. „Sygnały te ułatwiają programiście zachowanie semantycznego znaczenia oryginalnego ruchu gracza podczas mapowania sygnałów z interfejsu API śledzenia twarzy do własnego zestawu postaci, niezależnie od tego, czy ich postać jest humanoidalna, czy nawet coś bardziej fantastycznego”.

Meta twierdzi, że nawet sama firma nie widzi obrazów zarejestrowanych przez kamery zestawu słuchawkowego, ani wewnętrzne, ani zewnętrzne. Są one przetwarzane na zestawie słuchawkowym, a następnie natychmiast usuwane, według firmy, bez wysyłania do chmury lub do programistów.