Meta представляет свою систему смешанной реальности Meta Reality

Стереоскопическая передача цвета, пространственная привязка и понимание сцены обеспечат более реалистичные впечатления от смешанной реальности.

По словам Сартака Рэя, менеджера по продукту в Meta, возможность видеть окружающий мир и взаимодействовать с ним посредством смешанной реальности открывает новые возможности для виртуальной реальности. «Вы можете играть с друзьями в одной физической комнате или работать с огромными виртуальными мониторами с физическими инструментами, и это шаг к нашему долгосрочному видению дополненной реальности».

Вопреки распространенному мнению, смешанная реальность наиболее эффективна, если устройство VR/AR может убедительно сочетать физический и виртуальный миры. Это означает, что гарнитура должна делать больше, чем просто передавать 2D-видео. последнее сообщение в блоге on Окулус.com.

Чтобы поддержать свою приверженность разработке передовых технологий виртуальной реальности, Meta объявила о запуске Meta Reality, новой системы смешанной реальности, которая предлагает взглянуть изнутри на то, что нужно для создания исключительного опыта.

Стереоскопическая передача цвета для пространственного восприятия

Meta осознает важность сквозной цветопередачи и стереоскопической 3D-технологии, когда речь идет о создании комфортной и захватывающей смешанной реальности.

«Meta Quest Pro сочетает в себе два вида камеры для воссоздания реалистичной глубины, что обеспечивает удобство для людей в смешанной реальности, созданной с использованием цветного Passthrough», — пояснил Рикардо Сильвейра Кабрал, руководитель отдела разработки Meta Computer Vision. «Кроме того, подсказки стереотекстуры позволяют мозгу пользователя делать все остальное и определять глубину, даже когда реконструкция глубины не идеальна или находится за пределами возможностей системы».

Например, при использовании Passthrough ваш мозг узнает, что кофейная чашка находится примерно так же далеко от вашей руки, как и от ручки, которая находится рядом с вами.

Oculus Insight, который мог захватить только 100 точек интереса для определения положения гарнитуры в комнате, был технологией, которая предоставила первую автономную систему отслеживания для потребительского устройства виртуальной реальности. С тех пор он был модернизирован, чтобы включить глубокое зондирование. Для сравнения, Meta Quest Pro может воспроизводить до 10,000 3 точек интереса в секунду при различных условиях освещения, что позволяет вам создавать улучшенное трехмерное представление вашего физического пространства в режиме реального времени.

Благодаря этому процессу Meta может создавать трехмерную модель физического мира, которая постоянно обновляется. Затем вы можете использовать эти данные для создания среды прогнозируемого рендеринга, которая может создавать изображения вашей реальной среды. Чтобы компенсировать задержку рендеринга, реконструкции настраиваются на левый и правый взгляд пользователя через Асинхронный TimeWarp алгоритм.

По словам Сильвейры Кабрал, использование цветной стереоскопической камеры позволяет команде более реалистично интерпретировать реальный мир.

Понимание сцены для смешивания виртуального контента с физическим миром

Компонент Scene Understanding платформы Presence был представлен во время мероприятия Connect 2021. Эта технология позволяет разработчикам создавать сложные среды смешанной реальности с учетом сцен. По словам Вей Лю, менеджера по продукту Meta Quest Pro, компонент Scene Understanding был разработан, чтобы помочь разработчикам сосредоточиться на развитии своего бизнеса и опыте..

«Мы представили Scene Understanding как системное решение, — сказал Люу.

Понимание сцены разбито на три области:

• Модель сцены – Единое, комплексное, актуальное и управляемое системой представление среды, состоящее из геометрической и семантической информации. Основными элементами модели сцены являются якоря. Каждый якорь может быть прикреплен к различным компонентам. Например, гостиная пользователя организована вокруг отдельных Якорей с семантическими метками, такими как пол, потолок, стены, стол и диван. Якоря прикрепляются с помощью простого геометрического представления: 2D-границы или 3D-ограничивающей рамки.
• Захват сцены – Поток, управляемый системой, который позволяет пользователям ходить и фиксировать архитектуру своей комнаты и мебель для создания модели сцены. В будущем цель будет состоять в том, чтобы предоставить автоматизированную версию захвата сцены, которая не требует, чтобы люди вручную снимали свое окружение.
• API сцены – Интерфейс, который приложения могут использовать для доступа к пространственной информации в модели сцены для различных вариантов использования, включая размещение контента, физику, навигацию и т. д. С помощью API сцены разработчики могут использовать модель сцены, чтобы виртуальный мяч отскакивал от физических поверхностей в реальная комната или виртуальный робот, который может взбираться по физическим стенам.

«Понимание сцены снижает трение для разработчиков, позволяя им создавать максимально правдоподобные и захватывающие MR-опыты с эффектами окклюзии и столкновений в реальном времени», — добавил Рэй.

Пространственные привязки для размещения виртуальных объектов

Разработчики могут легко создавать первоклассные приложения смешанной реальности, используя пространственные привязки, которые являются основной возможностью платформы Meta Quest Pro. Например, дизайнер продукта может легко закрепить несколько 3D-моделей в физическом пространстве, используя такую ​​платформу, как Гравитационный эскиз создать бесшовную среду для своего продукта.

«Если стереоскопическое прохождение цвета и понимание сцены делают тяжелую работу, позволяя MR сочетать физический и виртуальный мир, наши возможности привязки обеспечивают соединительную ткань, которая скрепляет все это вместе», — сказала менеджер по продуктам Meta Лаура Ону.

Вместе с моделью сцены пространственные привязки можно использовать для создания богатой и автоматической среды для различных событий и ситуаций. Например, вы можете создать виртуальную дверь, соединенную с физической стеной. Это будет огромным шагом для компаний, которые рассматривают технологию XR для своих корпоративных решений в области цифровых двойников, автоматизации складов и даже робототехники.

На данный момент кажется, что Мета больше ориентирована на социальный опыт. «Сочетая понимание сцены с пространственными привязками, вы можете смешивать и адаптировать свой опыт MR к среде пользователя, чтобы создать новый мир, полный возможностей», — говорит Ону, добавляя: «Вы можете стать секретным агентом в своей собственной гостиной». , размещайте виртуальную мебель в своей комнате или нарисуйте пристройку к дому, создавайте физические игры и многое другое».

Общие пространственные привязки для совместной работы

Кроме того, Meta добавила в платформу Presence функцию общих пространственных привязок. Это позволяет вам создавать локальные многопользовательские игры, делясь своими якорями с другими пользователями в том же пространстве. Это позволит вам и другим друзьям играть в настольную виртуальную игру на физическом столе так же, как Наклон пять доставляет им игровой опыт.

Выигрышная комбинация для смешанной реальности

Комбинация пространственных привязок, транзита и понимания сцены может помочь создать богатую и интерактивную среду, которая выглядит и ощущается как реальный мир. Авинав Пашин, менеджер по продукту Meta Quest Pro, отметил, что существует множество компромиссов, связанных с созданием отличной и удобной среды смешанной реальности для пользователей.

Будущее Meta Reality все еще развивается, поскольку компания постоянно совершенствует платформу с помощью обновлений программного обеспечения и аппаратных инноваций, которые будут реализованы в следующем поколении их продуктов. Сильвейра Кабрал, менеджер по продукту Meta Quest Pro, отметила, что первый продукт компании — важный шаг в развитии Meta Reality.

«Мы хотим учиться вместе с разработчиками, поскольку они создают захватывающий опыт, который переопределяет то, что возможно с гарнитурой VR. Эта история еще не завершена — это только первая страница».

Кредит изображения: Мета