В Quest 3 теперь есть отслеживание тела изнутри и MR-окклюзия

Разработчики Quest 3 теперь могут интегрировать три основные новые функции для улучшения виртуальной и смешанной реальности.

Отслеживание тела наизнанку (IOBT) и генеративные ноги были анонсировано вместе с Quest 3 как будет в декабре. Окклюзия для смешанной реальности через Depth API была ранее была экспериментальной функциейЭто означает, что разработчики могут протестировать его, но не могут отправить его в сборки Quest Store или App Lab.

Все три функции теперь доступны как часть v60 SDK для Unity и собственного кода. Между тем, интеграция v60 Unreal Engine включает Depth API, но не IOBT или Generative Legs.

Отслеживание верхней части тела изнутри наружу

Функция Inside-Out Body Tracking (IOBT) использует боковые камеры Quest 3, направленные вниз, для отслеживания вашего запястья, локтей, плеч и туловища с использованием передовых алгоритмов компьютерного зрения.

IOBT предотвращает проблемы с расчетными руками обратной кинематики (IK), которые часто неверны и вызывают дискомфорт, поскольку система просто делает предположения на основе местоположения вашей головы и рук. Когда разработчики интегрируют IOBT, вы увидите свои руки и торс в их фактическом положении, а не в приблизительном.

Это отслеживание верхней части тела также позволяет разработчикам привязывать движение большого пальца к направлению вашего тела, а не только к голове или рукам, и вы можете выполнять новые действия, например наклоняться через выступ, и реалистично отображать это на своем аватаре.

Генеративные ноги искусственного интеллекта

IOBT работает только для верхней части тела. Для нижней части тела Meta запустила Generative Legs.

Generative Legs использует «современную» модель искусственного интеллекта для оценки положения ваших ног — технологию, которую компания уже разработала. исследования в течение многих лет. 

В Quest 3 Generative Legs обеспечивает более реалистичную оценку, чем предыдущие гарнитуры, благодаря использованию в качестве входных данных отслеживания верхней части тела, но он также работает в Quest Pro и Quest 2, используя только голову и руки.

Однако система Generative Legs — это всего лишь оценка, а не отслеживание, поэтому, хотя она может обнаруживать прыжки и приседания, она не фиксирует многие реальные движения, такие как поднятие коленей.

Вместе отслеживание верхней части тела наизнанку и генеративные ноги позволяют создавать правдоподобные полные тела в виртуальной реальности, называемые Full Body Synthesis, без использования внешнего оборудования.

Ранее Meta объявила, что Full Body Synthesis появится в Supernatural, Swordsman VR и Drunken Bar Fight.

API глубины для окклюзии в смешанной реальности

In наш обзор квеста 3 мы резко раскритиковали отсутствие динамической окклюзии смешанной реальности. Хотя виртуальные объекты могут появляться за грубой сеткой сцены, созданной при сканировании помещения, они всегда отображаются перед движущимися объектами, такими как ваши руки и другие люди, даже если они находятся дальше, что выглядит резко и неестественно.

Разработчики уже могли реализовать динамическую окклюзию для ваших рук с помощью сетки Hand Tracking, но немногие это сделали, потому что она обрезается на запястье, поэтому остальная часть руки не включается.

Новый Depth API предоставляет разработчикам покадровую приблизительную карту глубины, созданную гарнитурой с ее точки зрения. Это можно использовать для реализации окклюзии как для движущихся объектов, так и для более мелких деталей статических объектов, поскольку они могут не быть захвачены в сетке сцены.

Динамическая окклюзия должна сделать смешанную реальность в Quest 3 более естественной. Однако разрешение измерения глубины гарнитуры очень низкий, поэтому он не улавливает такие детали, как пространство между пальцами, и вы увидите пустой зазор по краям объектов.

Карту глубины также рекомендуется использовать только до 4 метров, после чего «точность значительно падает», поэтому разработчики могут также захотеть использовать Scene Mesh для статической окклюзии.

Разработчики могут реализовать окклюзию двумя способами: жестким и мягким. Hard по сути бесплатен, но имеет неровные края, а Soft требует затрат на графический процессор, но выглядит лучше. Глядя на пример Meta, трудно представить, что какой-либо разработчик выберет Hard.

Однако в обоих случаях окклюзия требует использования специальных шейдеров окклюзии Meta или специальной реализации ее в ваших пользовательских шейдерах. Это далеко не решение, которое можно выполнить одним щелчком мыши, и, вероятно, разработчикам придется приложить значительные усилия для его поддержки.

Помимо окклюзии, разработчики также могут использовать Depth API для реализации визуальных эффектов на основе глубины в смешанной реальности, таких как туман.

Вы можете найти документацию для Единство здесь и для Нереально здесь. Обратите внимание, что документация еще не обновлена ​​для соответствия общедоступной версии.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.uploadvr.com/quest-3-inside-out-upper-body-tracking-and-dynamic-occlusion/