Мета-исследователи демонстрируют отслеживание тела в Quest 2 без дополнительных трекеров

Мета-исследователи продемонстрировали отслеживание тела Quest 2 без дополнительных трекеров.

Текущие системы виртуальной реальности поставляются с гарнитурой и удерживаемыми контроллерами, поэтому отслеживайте только положение головы и рук. Положение ваших локтей, туловища и ног можно оценить с помощью класса алгоритмов, называемых обратной кинематикой (ИК), но это только иногда точны для локтей и редко правильны для ног. Существует слишком много потенциальных решений для каждого заданного набора положений головы и рук.

Учитывая ограничения ИК, некоторые Современные VR-приложения показывают только ваши руки, а многие показывают только верхнюю часть тела. Гарнитуры для ПК, использующие отслеживание SteamVR, поддерживают изношенные дополнительные трекеры, такие как Vive Tracker от HTC, но три, необходимые для отслеживания тела, стоят к северу от 350 долларов, и поэтому они не поддерживаются в большинстве игр.

Но в новая статья под названием QuestSim, исследователи Meta продемонстрировали систему, управляемую нейронной сетью, которая может оценивать правдоподобную позу всего тела, используя только данные отслеживания от Quest 2 и его контроллеров. Никаких дополнительных трекеров или внешних датчиков не требуется.

Результирующее движение аватара довольно точно соответствует реальному движению пользователя. Исследователи даже утверждают, что полученная точность и джиттер превосходят изношенные IMU-трекеры — устройства только с акселерометром и гироскопом, такие как анонсированные Pico 4. Пико фитнес-браслет (Пико утверждает, что работает над собственным алгоритмом машинного обучения).

Однако здесь есть подвох. Как видно на видео, эта система предназначена для определения приоритетности создания правдоподобного все тело позируйте так, чтобы руки аватара точно соответствовали положению рук пользователя. Задержка системы также составляет 160 мс — более 11 кадров при частоте 72 Гц. Учитывая эти проблемы, QuestSim будет пригоден только для того, чтобы видеть тела аватаров других людей, но не видеть свое собственное тело, если смотреть вниз.

Но, тем не менее, видеть полное движение тела аватаров других людей было бы гораздо предпочтительнее, чем часто критикуемые безногие верхние тела нынешних аватаров Меты. Итак, эта система или что-то подобное появится в Quest 2?

Мета-технический директор Эндрю Босворт определенно намекал на это на прошлой неделе. Когда спросил об отслеживании ног в Instagram «спроси меня о чем угодно» Босворт ответил:

«Да, нас много высмеивали из-за безногих аватаров, и я думаю, что это очень справедливо и довольно забавно.

Наличие ног на вашем собственном аватаре, которые не соответствуют вашим настоящим ногам, очень смущает людей. Но, конечно, мы можем ставить ноги другим людям, как видите, и вас это совершенно не беспокоит.

Итак, мы работаем над ногами, которые выглядят естественными для стороннего наблюдателя, потому что они не знают, как на самом деле расположены ваши настоящие ноги, но, вероятно, вы, когда будете смотреть на свои собственные ноги, по-прежнему ничего не увидите. Это наша текущая стратегия».

Однако краткосрочное решение может не соответствовать качеству этого алгоритма. Исследовательские работы в области машинного обучения, как правило, выполняются на мощных графических процессорах ПК с относительно низкой частотой кадров. В документе не упоминается производительность описанной системы, но RTX 3080 указан как используемый для обучения.

Проходит ежегодное мероприятие Meta Connect AR/VR всего за 2 недели, поэтому любое объявление об отслеживании тела, скорее всего, будет происходить во время него.