Техническая демонстрация демонстрирует реальную мощь функции отслеживания лиц Quest Pro

Возможности отслеживания лица Quest Pro будут быстро использованы, чтобы сделать аватары Meta более выразительными, но аватары следующего поколения получат гораздо больше преимуществ от новой технологии.

Одной из больших новых функций Quest Pro является система отслеживания лица, которая использует внутренние камеры для определения движения ваших глаз и некоторых частей вашего лица. В сочетании с моделью машинного обучения без калибровки гарнитура берет то, что видит, и превращает его в входные данные, которые могут управлять анимацией любого аватара.

Ключевое покрытие Quest Pro:

Представлен Quest Pro — полные характеристики, цена и дата выхода

Quest Pro Hands-on — рассвет эры гарнитур смешанной реальности

Технический анализ Quest Pro — что многообещающе, а что нет

Представлены контроллеры Touch Pro — также совместимые с Quest 2

В ближайшее время это будет использовано с существующими аватарами Meta. И хотя это, безусловно, делает их более выразительными, они все равно выглядят несколько глупо.

Вероятно, это результат того, что текущая система мета-аватаров не создавалась с учетом такого уровня отслеживания лица. «Оснащение» — лежащая в основе анимации структура модели — кажется не совсем подходящей для этой задачи. Привнесение входных данных для отслеживания лица Quest Pro в текущую систему на самом деле не соответствует тому, на что она на самом деле способна.

К счастью, Meta создала техническую демонстрацию, которая показывает, что возможно, когда аватар разработан с учетом отслеживания лица Quest Pro (и когда почти вся вычислительная мощность гарнитуры предназначена для его рендеринга).

[Встраиваемое содержимое]

Да, это все еще немного шатко, но каждое движение, которое вы видите здесь, управляется пользователем, совершающим одни и те же движения, включая такие вещи, как надувание щек или перемещение рта с одной стороны на другую. В целом это гораздо более полное изображение лица, которое, я бы сказал, избегает попадания в зловещую долину.

Я должен попробовать эту демонстрацию для себя в моем недавний практический опыт с Quest Pro где я посмотрел в зеркало и появился как этот персонаж (которого Мета называет Аурой). Я был очень впечатлен тем, что даже без специальной калибровки лицо, которое я видел в зеркале, казалось, имитировало любые движения, которые я мог сделать своим лицом.

Меня особенно привлекла детализация кожи. Если бы я прищурился и сморщил нос, я мог бы увидеть, как кожа вокруг него реалистично взъерошивается, и то же самое, когда я поднял бровь. Эти тонкие детали, такие как складка на щеках, двигающаяся вместе со ртом, действительно усиливают впечатление, что это не просто объект передо мной, а нечто, за которым стоит живое существо.

Действительно ли выражения выглядят как me когда я тот, кто за маской, это другой вопрос. Поскольку лицо этого аватара не совпадает с моим, на самом деле сложно сказать. Но чтобы движения были хотя бы правдоподобно реалистичный — это первый важный шаг к созданию виртуальных аватаров, которые кажутся естественными и правдоподобными.

Meta заявляет, что выпустит демо-версию Aura как проект с открытым исходным кодом, чтобы разработчики могли увидеть, как они прикрепили входные данные для отслеживания лица к аватару. Компания также заявляет, что разработчики смогут использовать единый набор инструментов для управления гуманоидными аватарами или нечеловеческими аватарами, такими как животные или монстры, без необходимости индивидуальной настройки каждого аватара.

Мета говорит, что разработчики смогут использовать API для отслеживания лица, который использует значения, соответствующие FACS, хорошо известной системе для описания движения различных мышц человеческого лица.

Это эффективная система не только для представления лиц, но и создает полезный барьер конфиденциальности для пользователей. Согласно Meta, разработчики не могут получить доступ к необработанным изображениям лица пользователя. Взамен они получают «серию значений от нуля до единицы, которые соответствуют набору общих движений лица, например, когда вы морщите нос или хмурите брови», — говорит Мета. «Эти сигналы позволяют разработчику легко сохранить семантическое значение исходного движения игрока при сопоставлении сигналов от API отслеживания лиц с их собственным персонажем, независимо от того, является ли их персонаж гуманоидом или даже чем-то более фантастическим».

Meta утверждает, что даже сама компания не может видеть изображения, снятые камерами гарнитуры, ни внутренними, ни внешними. Они обрабатываются на гарнитуре, а затем немедленно удаляются, по словам компании, никогда не отправляясь в облако или разработчикам.