Знакомство с метареальностью: взгляд на технологии, необходимые для убедительного сочетания виртуального и физического миров

Смешанная реальность (MR) может открыть двери для множества уникальных впечатлений: от продуктивности и совместной работы с коллегами в реальном времени до общения с друзьями и семьей, до новых типов игр и интерактивных приложений, о которых мы еще даже не мечтали. В то время как VR полностью погружает вас в цифровую среду, MR дает вам свободу передвигаться и взаимодействовать с людьми и объектами в вашем физическом пространстве, одновременно наслаждаясь виртуальным контентом, открывая новый класс AR-подобных впечатлений в VR, которые расширяют ваше физическое пространство.

«Возможность видеть физический мир вокруг вас и сочетать его с виртуальным контентом сегодня открывает новые возможности для виртуальной реальности — например, совмещенные игры, в которые вы можете играть с друзьями в одной физической комнате, или возможности продуктивной работы, сочетающие огромные виртуальные мониторы с физическими инструментами. », — объясняет мета-менеджер по продуктам Сартак Рэй. «И это шаг к нашему долгосрочному видению дополненной реальности».

Существует распространенное заблуждение, что смешанную реальность можно создать, просто показывая в реальном времени видео высокого разрешения физического мира внутри гарнитуры, но правда гораздо сложнее. Правдоподобные впечатления от МРТ требуют способности убедительно сочетать виртуальный и физический миры — это означает, что гарнитура должна делать больше, чем просто отображать ваше физическое окружение в виде 2D-видео. Фактически он должен реконструировать вашу комнату в цифровом виде как трехмерное пространство с пониманием объектов и поверхностей вокруг вас. Для этого требуется сложная система из множества аппаратных и программных технологий, таких как датчики высокого разрешения, сквозной, с искусственным интеллектом Понимание сценыи Пространственные якоря, и все это работает плавно и комфортно.

В Meta мы постоянно инвестируем в оригинальные исследования и разработки для создания передовых технологий виртуальной реальности, которые мы поставляем потребителям в больших масштабах, при этом ставя людей на первое место в нашем дизайне. Мы сосредотачиваемся на деталях, опираясь на глубокое понимание того, как люди воспринимают мир вокруг себя, и на стремление связать это восприятие с захватывающим опытом, который вдохновляет людей на возможности виртуальной и смешанной реальности. Сегодня мы представляем новое название нашей уникальной системы смешанной реальности — Meta Reality — и даем вам возможность взглянуть изнутри на то, что входит в по-настоящему первоклассный опыт МРТ.

Стереоскопическая передача цвета для пространственного восприятия

Прежде всего, настоящий опыт МРТ должен быть комфортным и ощущаться как естественный опыт просмотра — прямой видеопоток, который не может передать ощущение глубины, просто не может этого обеспечить, даже если он имеет высокое разрешение. Кроме того, если Passthrough моноскопичен (виден под одним углом обзора) и/или не имеет признаков глубины, это может быть неудобно для зрителя. Для сквозной Для удобства изображения, отображаемые в отдельном глазном буфере, должны генерироваться под двумя отдельными углами, обеспечивая стереоскопические сигналы. Это, наряду с наличием информации о глубине и цвете, важно для воссоздания комфортных ощущений.

Наше решение для стереоскопической цветной передачи использует специальную аппаратную архитектуру, передовые алгоритмы компьютерного зрения и новейшие технологии машинного обучения, которые моделируют то, как ваши глаза естественным образом видят мир вокруг вас, чтобы справиться с этой задачей. Лучшее разрешение камеры и дисплея обеспечивает улучшенное качество изображения: камеры Meta Quest Pro захватывают в четыре раза больше пикселей, чем камеры Meta Quest 2. Но, что, возможно, более важно, его рендеринг на основе изображений, реконструкция стереогеометрии и понимание глубины определяют расположение объектов относительно сцены в данной комнате. Этот новый стек алгоритмов позволяет Meta Quest Pro идентифицировать аспекты геометрии помещения и точно определять местоположение объектов в трехмерном пространстве. Поэтому, когда вы тянетесь к чашке кофе на своем столе и смотрите на нее в стереоскопическом цветном режиме Passthrough, ваш мозг понимает, что чашка находится дальше от вашей руки, чем ручка, стоящая рядом с вами.

«Meta Quest Pro объединяет изображения с двух камер для воссоздания реалистичной глубины, что гарантирует, что опыт смешанной реальности, созданный с использованием цветовой передачи, будет комфортным для людей», — объясняет инженер-менеджер Meta Computer Vision Рикардо Сильвейра Кабрал. «Но также сигналы стереотекстуры позволяют мозгу пользователя сделать все остальное и определить глубину, даже если реконструкция глубины не идеальна или находится за пределами диапазона системы».

запомнить Oculus Insight— наша технология, которая позволила создать первую автономную полнофункциональную систему отслеживания «наизнанку» для потребительского устройства виртуальной реальности? Мы модернизировали его возможности измерения глубины, чтобы создавать плотное трехмерное представление заданного пространства в реальном времени. В то время как Insight использует около 3 точек интереса в комнате, чтобы точно определить положение гарнитуры в пространстве, наше решение для определения глубины в Meta Quest Pro генерирует до 100 10,000 точек на кадр на расстоянии до пяти метров при различных условиях естественного и искусственного освещения. Мы используем эту информацию для создания трехмерной сетки физического мира, объединяя полученные результаты в нескольких кадрах для создания плотного трехмерного и стабильного во времени представления пространства. Эта сетка затем используется при прогнозирующем рендеринге для создания изображений физического мира. Это означает, что реконструкции индивидуально деформируются для просмотра левым и правым глазом гарнитуры с помощью нашего Асинхронный TimeWarp технология, которая прогнозирует положение глаз пользователя на несколько миллисекунд в будущем, чтобы компенсировать задержку рендеринга.

Наконец, добавление цвета делает весь процесс более реалистичным. «Цветная камера используется для раскрашивания стереоскопического изображения, чтобы максимально приблизить его к физическому миру», — говорит Сильвейра Кабрал. «Благодаря этой архитектуре и оптимизации, выполненной по всему конвейеру, мы можем обеспечить сквозную передачу стереоскопического цвета в Meta Quest Pro для всех существующих игр Meta Quest 2 и будущих приложений MR по умолчанию без дополнительных вычислительных ресурсов. Это означает, что существующие приложения, использующие Passthrough в Meta Quest 2, будут работать с новой технологией Passthrough стереоскопического цвета Meta Quest Pro прямо из коробки».

Если сложить все это, стереоскопическая цветовая передача Meta Quest Pro Passthrough приведет к более комфортному восприятию глубины и меньшему количеству визуальных искажений, чем моноскопические решения, открывая качественные возможности смешанной реальности в масштабе комнаты.

Понимание сцены для смешивания виртуального контента с физическим миром

Представлен как часть Платформа присутствия во время Connect 2021, Понимание сцены позволяет разработчикам быстро создавать сложные и учитывающие сцены MR-приложения, которые обеспечивают богатое взаимодействие со средой пользователя.

«Чтобы свести к минимуму сложность и позволить разработчикам сосредоточиться на построении своего опыта и бизнеса, мы представили функцию понимания сцены как системное решение», — отмечает мета-менеджер по продуктам Вэй Лю.

• Модель сцены представляет собой единое, комплексное, актуальное и управляемое системой представление среды, состоящее из геометрической и семантической информации. Основными элементами модели сцены являются якоря, и к каждому якорю можно прикрепить различные компоненты. Например, гостиная пользователя организована вокруг отдельных якорей со семантическими метками, такими как пол, потолок, стены, стол и диван. К каждому из них также прикреплено простое геометрическое представление: 2D-граница или 3D-ограничительная рамка.
• Захват сцены — это управляемый системой процесс, который позволяет пользователям гулять и захватывать архитектуру и мебель своей комнаты для создания модели сцены. В будущем наша цель — создать автоматизированную версию Scene Capture, которая не потребует от людей вручную снимать окружение.
• API сцены — это интерфейс, с помощью которого приложения могут запрашивать и получать доступ к пространственной информации в модели сцены для различных вариантов использования, включая размещение контента, физику, навигацию и т. д. С помощью API сцены разработчики могут использовать модель сцены, чтобы виртуальный мяч отскакивал от физических поверхностей в реальную комнату или виртуального робота, который может масштабироваться по физическим стенам.

«Понимание сцены снижает трудности для разработчиков, позволяя им создавать максимально правдоподобные и захватывающие MR-приложения с эффектами окклюзии и столкновений в реальном времени», — говорит Рэй.

Пространственные привязки для размещения виртуальных объектов

«Если стереоскопическая передача цвета и понимание сцены делают тяжелую работу, позволяя МР-опытам сочетать физический и виртуальный мир, наши возможности закрепления обеспечивают соединительную ткань, которая скрепляет все это», — говорит менеджер по мета-продуктам Лаура Ону.

Пространственные якоря — это основная возможность, помогающая разработчикам приступить к созданию первоклассных приложений смешанной реальности. Они позволяют приложению создавать систему отсчета или точку отсчета в пространстве, которая позволяет виртуальному объекту сохраняться в пространстве с течением времени. Благодаря пространственным привязкам дизайнер продукта может закрепить несколько 3D-схем в одном месте. Гравитационный эскизили группа друзей может закрепить игровой мир в Демео на поверхность своего стола, чтобы они могли вернуться к той же настройке и продолжить игру на следующий день.

Пространственные привязки можно использовать в сочетании с привязками модели сцены (стены, стол, пол и т. д.) для создания насыщенных впечатлений и автоматического размещения в масштабе комнаты. Комната пользователя становится холстом пространственного рендеринга как для игрового процесса, так и для продуктивности. Разработчик может решить прикрепить виртуальную дверь к физической стене. Затем пользователь может открыть его, чтобы открыть для себя полностью захватывающий виртуальный мир со своими персонажами, которые затем могут войти в физическое пространство.

«Объединив понимание сцены с пространственными привязками, вы можете объединить и адаптировать свои впечатления от MR к среде пользователя, чтобы создать новый мир, полный возможностей», — отмечает Ону. "Ты можешь стать секретным агентом в собственной гостиной, разместите виртуальную мебель в своей комнате или набросать расширение в вашем доме, создавать игры по физике, и более."

Общие пространственные привязки для совместного опыта

И последнее, но не менее важное: мы добавили Общие пространственные привязки к платформе присутствия. Общие пространственные привязки позволяют использовать якоря, созданные одним человеком, совместно с другими людьми в том же физическом пространстве. Это позволяет разработчикам создавать локальные многопользовательские игры, создавая общую глобальную систему координат для нескольких пользователей. Например, два или более человека могут сидеть за одним физическим столом и играть поверх него в виртуальную настольную игру. Открыть чтобы узнать больше.

Выигрышная комбинация для смешанной реальности

Вам нужны стереоскопическая передача цвета, понимание сцены, пространственные привязки и общие пространственные привязки, а также окклюзия и столкновение в реальном времени, обнаружение объектов и информация об освещении — все это объединено в одном пакете для обеспечения истинного и значимого опыта МРТ. И все это должно учитывать такие ограничения, как стоимость производительности, вычислительные мощности и тепловые режимы. Но, прежде всего, ключевым моментом является обеспечение комфорта.

«Как и в большинстве случаев в сфере технологий, здесь приходится идти на компромиссы», — признает менеджер по мета-продуктам Авинав Пашине. «Хотя наше нынешнее решение не идеально, оно экономит вычислительные ресурсы, обеспечивая при этом максимальный комфорт для пользователя, и благодаря этому мы можем обеспечить большую глубину и широту инструментов разработчика».

Это только начало. Meta Reality будет продолжать развиваться за счет обновлений программного обеспечения, а также за счет аппаратных усовершенствований, которые будут реализованы в будущих продуктах Meta Quest.

«Meta Quest Pro — первое из многих MR-устройств, в которых раскрывается потрясающий потенциал этой новой технологии», — добавляет Сильвейра Кабрал. «Мы хотим учиться вместе с разработчиками, поскольку они создают захватывающий опыт, который переопределяет возможности VR-гарнитуры. Эта история еще не завершена — это всего лишь первая страница».