Технічна демонстрація показує справжню силу відстеження обличчя Quest Pro

Можливості відстеження обличчя Quest Pro будуть швидко використані, щоб зробити аватари Meta більш виразними, але аватари нового покоління отримають набагато більше переваг від нової технології.

Однією з великих нових функцій Quest Pro є система відстеження обличчя, яка використовує внутрішні камери, щоб сприймати рух ваших очей і деяких частин вашого обличчя. У поєднанні з моделлю машинного навчання без калібрування гарнітура бере те, що бачить, і перетворює це на вхідні дані, які можуть керувати анімацією будь-якого аватара.

Ключове покриття Quest Pro:

Представлено Quest Pro – повні характеристики, ціна та дата випуску

Quest Pro Hands-on – світанок ери гарнітур змішаної реальності

Технічний аналіз Quest Pro – що перспективно, а що ні

Розкрито контролери Touch Pro – також сумісні з Quest 2

Найближчим часом це буде використано з наявними аватарами Meta. І хоча це, безумовно, робить їх більш виразними, вони все одно виглядають дещо тупо.

Ймовірно, це результат того, що поточна система мета-аватар не створена з урахуванням такого рівня відстеження обличчя. «Рігінг» — основа анімації моделі — здається не зовсім придатною для цього завдання. Пересадка вхідних даних Quest Pro для відстеження обличчя до поточної системи насправді не віддає належного значення тому, на що вона насправді здатна.

На щастя, Meta створила технічну демонстрацію, яка показує, що можливо, коли аватар розроблено з урахуванням функції відстеження обличчя Quest Pro (і коли майже вся обчислювальна потужність гарнітури спрямована на його рендеринг).

[Вбудоване вміст]

Так, він все ще трохи тремтить, але кожен рух, який ви тут бачите, керується користувачем, який робить ті самі рухи, включаючи такі дії, як надування щік або рухи рота з одного боку на інший. Загалом це набагато більш повне зображення обличчя, яке, на мою думку, вдається уникнути входу в дивовижну долину.

Я повинен спробувати цю демонстрацію на собі останні практичні дії з Quest Pro де я подивився в дзеркало і з’явився як цей персонаж (якого Мета називає Аура). Я пішов справді вражений тим, що навіть без спеціального калібрування обличчя, яке я бачив у дзеркалі, здавалося, імітує будь-які рухи, які я міг зробити своїм обличчям.

Мене особливо привернули деталі шкіри. Якби я примружився та зморщив ніс, я міг побачити, як шкіра навколо нього реалістично згортається, і те саме, коли я підняв брову. Ці тонкі деталі, як-от складка на щоках, що рухається разом із ротом, справді посилюють враження, що переді мною не просто об’єкт, а щось, за чим стоїть жива істота.

Незалежно від того, чи виглядають вирази насправді me коли я за маскою це інше питання. Оскільки обличчя цього аватара не збігається з моїм, насправді важко сказати. Але що рухи є принаймні правдоподібно реалістичні це перший важливий крок до створення природних і правдоподібних віртуальних аватарів.

Meta каже, що випустить демонстрацію Aura як проект з відкритим вихідним кодом, щоб розробники могли побачити, як вони приєднали вхідні дані для відстеження обличчя до аватара. У компанії також кажуть, що розробники зможуть використовувати єдиний набір інструментів для управління гуманоїдними аватарами або нелюдськими аватарами, такими як тварини чи монстри, без необхідності налаштовувати кожен аватар окремо.

Meta каже, що розробники зможуть використовувати API відстеження обличчя, який використовує значення, що відповідають FACS, добре визнаній системі для опису руху різних м’язів на обличчі людини.

Це ефективна система не лише для представлення облич, але й створює корисний бар’єр конфіденційності для користувачів. За словами Meta, розробники насправді не можуть отримати доступ до необроблених зображень обличчя користувача. Натомість вони отримують «серію значень від нуля до одиниці, які відповідають набору загальних рухів обличчя, наприклад, коли ви сморщуєте ніс або зморщуєте брови», — каже Мета. «Ці сигнали дозволяють розробнику легко зберегти семантичне значення оригінального руху гравця під час відображення сигналів від Face Tracking API на власну систему персонажа, незалежно від того, чи є його персонаж гуманоїдом чи навіть чимось більш фантастичним».

Meta стверджує, що навіть сама компанія не може бачити зображення, зроблені камерами гарнітури, як внутрішніми, так і зовнішніми. За словами компанії, вони обробляються на гарнітурі, а потім негайно видаляються, не надсилаючи їх у хмару чи розробникам.