Meta представляє свою систему змішаної реальності Meta Reality

Стереоскопічне перенесення кольорів, просторове прив’язування та розуміння сцени забезпечать більш реалістичний досвід змішаної реальності.

За словами Сартхака Рея, менеджера з продукції Meta, можливість бачити навколишній світ і взаємодіяти з ним через змішану реальність відкриває нові можливості для VR. «Ви можете грати з друзями в тій самій фізичній кімнаті або працювати над продуктивністю, яка поєднує величезні віртуальні монітори з фізичними інструментами, і це крок до нашого довгострокового бачення доповненої реальності».

Всупереч поширеній думці, досвід змішаної реальності є найефективнішим, якщо пристрій VR/AR може переконливо поєднувати фізичний і віртуальний світи. Це означає, що гарнітура повинна робити більше, ніж просто забезпечувати 2D-відео, за словами a недавня публікація в блозі on Oculus.com.

Для подальшого розвитку передових технологій віртуальної реальності Meta оголосила про запуск Meta Reality, нової системи змішаної реальності, яка пропонує поглянути зсередини на те, що потрібно для створення виняткового досвіду.

Стереоскопічна передача кольорів для просторового усвідомлення

Meta визнає важливість технології передачі кольору та стереоскопічної 3D-технології, коли справа доходить до надання комфортних і захоплюючих відчуттів змішаної реальності.

«Meta Quest Pro поєднує в собі дві камери, щоб відтворити реалістичну глибину, що гарантує, що досвід змішаної реальності, створений за допомогою кольорового проходу, буде комфортним для людей», — пояснив менеджер з розробки комп’ютерного бачення Meta Рікардо Сільвейра Кабрал. «Але також підказки стереотекстури дозволяють мозку користувача зробити все інше і зробити висновок про глибину, навіть якщо реконструкція глибини не ідеальна або виходить за межі діапазону системи».

Наприклад, під час використання Passthrough ваш мозок дізнається, що чашка кави знаходиться приблизно так само далеко від вашої руки, як і ручка, яка сидить поруч з вами.

Oculus Insight, який міг зафіксувати лише 100 точок інтересу для визначення положення гарнітури в кімнаті, був технологією, яка забезпечила першу автономну систему відстеження для споживчого пристрою VR. З тих пір його було оновлено, щоб увімкнути глибоке зондування. Для порівняння, Meta Quest Pro може створювати до 10,000 3 точок інтересу в секунду за різних умов освітлення, дозволяючи вам створювати покращене XNUMXD-представлення вашого фізичного простору в режимі реального часу.

Завдяки цьому процесу Meta може створити тривимірну модель фізичного світу, яка постійно оновлюється. Потім ви можете використовувати ці дані, щоб створити структуру прогнозованого відтворення, яка може створювати зображення вашого реального середовища. Щоб компенсувати затримку візуалізації, реконструкції налаштовані на погляд лівого та правого ока користувачів через Асинхронний TimeWarp алгоритм.

За словами Сільвейри Кабрал, використання кольорової стереоскопічної камери дозволяє команді забезпечити більш реалістичну інтерпретацію реального світу.

Розуміння сцени для змішування віртуального вмісту з фізичним світом

Компонент Scene Understanding платформи Presence Platform був представлений під час події Connect 2021. Ця технологія дає змогу розробникам створювати складні змішані реалії з урахуванням сцени. За словами Вей Лю, менеджера з продуктів Meta Quest Pro, компонент компанії Scene Understanding був розроблений, щоб допомогти розробникам зосередитися на створенні свого бізнесу та розвитку досвіду..

«Ми представили Scene Understanding як системне рішення, — сказав Лю.

Розуміння сцени розбивається на три області:

• Модель сцени - Єдине, комплексне, актуальне та кероване системою представлення середовища, що складається з геометричної та семантичної інформації. Основними елементами моделі сцени є прив’язки. Кожен якір можна прикріпити до різних компонентів. Наприклад, вітальня користувача організована навколо окремих прив’язок із семантичними мітками, такими як підлога, стеля, стіни, стіл і диван. Анкери прикріплюються за допомогою простого геометричного зображення: двовимірної межі або тривимірної обмежувальної рамки.
• Зйомка сцени – Керований системою потік, який дозволяє користувачам ходити та знімати архітектуру кімнати та меблі для створення моделі сцени. У майбутньому мета полягатиме в тому, щоб надати автоматизовану версію Scene Capture, яка не вимагатиме від людей вручну знімати оточення.
• API сцени – Інтерфейс, який програми можуть використовувати для доступу до просторової інформації в моделі сцени для різних випадків використання, включаючи розміщення вмісту, фізику, навігацію тощо. За допомогою Scene API розробники можуть використовувати модель сцени, щоб віртуальний м’яч відскакував від фізичних поверхонь у реальну кімнату або віртуального робота, який може масштабувати фізичні стіни.

«Розуміння сцени зменшує тертя для розробників, дозволяючи їм створювати МР-досвід, який є максимально правдоподібним і захоплюючим завдяки ефектам оклюзії та зіткнення в реальному часі», — додав Рей.

Просторові прив’язки для віртуального розміщення об’єктів

Розробники можуть легко створювати першокласну змішану реальність за допомогою Spatial Anchors, яка є основною можливістю платформи Meta Quest Pro. Наприклад, дизайнер продукту може легко закріпити кілька 3D-моделей у фізичному просторі за допомогою платформи, як Ескіз гравітації створити ідеальне середовище для свого продукту.

«Якщо стереоскопічне перенесення кольорів і розуміння сцени виконують важку роботу, щоб дозволити МР-дослідженню поєднувати фізичний і віртуальний світ, наші можливості прив’язки забезпечують сполучну тканину, яка утримує все це разом», — сказала менеджер із продуктів Meta Лаура Ону.

Разом із моделлю сцени просторові прив’язки можна використовувати для створення насичених автоматичних середовищ для різноманітних переживань і ситуацій. Наприклад, ви можете створити віртуальні двері, з’єднані з фізичною стіною. Це було б величезним кроком для компаній, які шукають технологію XR для своїх корпоративних рішень у сфері цифрових побратимів, автоматизації складів і навіть робототехніки.

Наразі здається, що Мета більше зосереджена на соціальному досвіді. «Поєднуючи розуміння сцени з просторовими прив’язками, ви можете змішувати та адаптувати свій досвід МР до ​​середовища користувача, щоб створити новий світ, повний можливостей», — за словами Ону, який додає: «Ви можете стати секретним агентом у власній вітальні». , розмістіть віртуальні меблі у своїй кімнаті або намалюйте ескіз розширення свого будинку, створіть ігри з фізики тощо».

Спільні просторові прив’язки для спільного розміщення

Крім того, Meta додала функцію Shared Spatial Anchors до платформи присутності. Це дозволяє створювати локальні багатокористувацькі умови, ділячись своїми якорями з іншими користувачами в одному просторі. Це дозволить вам та іншим друзям грати в настільну гру VR на фізичному столі так само, як і Нахил п'ять надає свої ігрові враження.

Виграшна комбінація для змішаної реальності

Поєднання Spatial Anchors, Passthrough і Scene Understanding може допомогти створити насичене та інтерактивне середовище, яке створене так, щоб виглядати та відчуватися як реальний світ. Авінав Пашине, менеджер із продуктів Meta Quest Pro, зазначив, що для створення чудового та комфортного середовища змішаної реальності для користувачів є багато компромісів.

Майбутнє Meta Reality все ще розвивається, оскільки компанія постійно вдосконалює платформу за допомогою оновлень програмного забезпечення та апаратних інновацій, які будуть представлені в наступному поколінні їхніх продуктів. Сільвейра Кабрал, менеджер із продуктів Meta Quest Pro, зазначив, що перший продукт компанії є важливим кроком в еволюції Meta Reality.

«Ми хочемо вчитися разом із розробниками, коли вони створюють переконливі враження, які переосмислюють те, що можливо з гарнітурою VR. Ця історія ще не завершена — це лише перша сторінка».

Авторство зображення: Meta