Відстеження погляду змінює гру для XR, що виходить далеко за межі Foveated Rendering

Відстеження погляду — здатність швидко й точно вимірювати напрямок, куди дивиться користувач, перебуваючи всередині гарнітури VR — часто говорять у контексті рендерингу з ямками та того, як це може знизити вимоги до продуктивності гарнітур XR. І в той час як фовеатний рендеринг є захоплюючим випадком використання стеження за очима в гарнітурах AR і VR, стеження за очима приносить набагато більше.

Оновлено – 2 травня 2023 р

Про відстеження очей говорять щодо XR як про далеку технологію протягом багатьох років, але апаратне забезпечення нарешті стає все більш доступним для розробників і клієнтів. PSVR 2 і Quest Pro є найпомітнішими прикладами гарнітур із вбудованим відстеженням очей, а також Varjo Aero, Vive Pro Eye тощо.

З таким імпульсом лише за кілька років ми побачимо, що відстеження очей стане стандартною частиною споживчих гарнітур XR. Коли це станеться, існує широкий спектр функцій, які технологія може ввімкнути, щоб значно покращити досвід.

Фовеатний рендеринг

Давайте спочатку почнемо з того, з яким багато людей вже знайомі. Foveated рендеринг має на меті зменшити обчислювальну потужність, необхідну для відображення вимогливих сцен AR і VR. Назва походить від «ямки» — невеликої ямки в центрі сітківки людини, яка щільно заповнена фоторецепторами. Це ямка, яка дає нам зір із високою роздільною здатністю в центрі нашого поля зору; тим часом наш периферійний зір насправді дуже погано вловлює деталі та колір і краще налаштований на виявлення руху та контрасту, ніж на бачення деталей. Ви можете думати про це як про камеру, яка має великий датчик із лише кількома мегапікселями та ще один менший датчик посередині з великою кількістю мегапікселів.

Область вашого зору, в якій ви можете бачити з високою деталізацією, насправді набагато менша, ніж більшість думає, — лише кілька градусів по центру вашого огляду. Різниця в роздільній здатності між ямкою та іншою частиною сітківки настільки різка, що без вашої ямки ви не змогли б розібрати текст на цій сторінці. Ви можете легко переконатися в цьому самі: якщо зосереджуватись на це слово і спробуйте прочитати лише два речення нижче, ви побачите, що майже неможливо розібрати, що говорять слова, навіть якщо ви бачите що в сім'ї щось схожі на слова. Причина того, що люди переоцінюють фовеальну область свого зору, здається, полягає в тому, що мозок виконує багато несвідомих інтерпретацій і передбачень, щоб створити модель того, яким, на нашу думку, є світ.

Foveated рендеринг має на меті використати цю особливість нашого зору, відтворюючи віртуальну сцену у високій роздільній здатності лише в тій області, яку бачить фовеа, а потім різко зменшує складність сцени в нашому периферійному зорі, де деталі все одно неможливо розпізнати. . Це дозволяє нам зосередити більшу частину обчислювальної потужності там, де вона найбільше сприяє деталізації, заощаджуючи ресурси обробки в інших місцях. Це може здатися невеликою проблемою, але зі збільшенням роздільної здатності дисплея гарнітур XR і поля огляду потужність, необхідна для відтворення складних сцен, швидко зростає.

Відстеження погляду, звичайно, вступає в дію, тому що нам потрібно завжди швидко та з високою точністю знати, де знаходиться центр погляду користувача, щоб здійснити фовеативне рендеринг. Хоча це важко зробити, не помітивши користувача, це можливо, і це було досить ефективно продемонстровано на останніх гарнітурах, таких як Quest Pro та PSVR 2.

Автоматичне виявлення та налаштування користувача

Окрім виявлення руху, стеження за очима також можна використовувати як біометричний ідентифікатор. Це робить відстеження погляду чудовим кандидатом для кількох профілів користувачів в одній гарнітурі — коли я надягаю гарнітуру, система може миттєво ідентифікувати мене як унікального користувача та викликати моє персоналізоване середовище, бібліотеку вмісту, прогрес гри та налаштування. Коли друг одягає гарнітуру, система може завантажуватися їх налаштування та збережені дані.

Відстеження зору також можна використовувати для точного вимірювання IPD (відстані між очима). Для XR важливо знати свій IPD тому що потрібно перемістити лінзи та дисплеї в оптимальне положення для комфорту та якості зображення. На жаль, зрозуміло, що багато людей не знають, що таке ІПД.

З відстеженням очей було б легко миттєво виміряти IPD кожного користувача, а потім мати програмне забезпечення гарнітури, щоб допомогти користувачеві налаштувати IPD гарнітури відповідно до відповідності, або попередити користувачів, що їх IPD знаходиться за межами діапазону, який підтримується гарнітурою.

У більш просунутих гарнітурах цей процес може бути невидимим і автоматичним — IPD можна виміряти непомітно, а гарнітура може мати моторизоване регулювання IPD, яке автоматично переміщує лінзи в правильне положення без необхідності користувача про це знати, наприклад на Varjo Aero, наприклад.

Варіофокальні дисплеї

Оптичні системи, які використовуються в сучасних гарнітурах VR, працюють досить добре, але насправді вони досить прості та не підтримують важливу функцію людського зору: динамічний фокус. Це тому, що дисплей у гарнітурах XR завжди знаходиться на однаковій відстані від наших очей, навіть якщо стереоскопічна глибина свідчить про протилежне. Це призводить до проблеми, яка називається конфліктом вергенції та пристосування. Якщо ви хочете дізнатися більше, перегляньте наш посібник нижче:

Варифокальні дисплеї — ті, які можуть динамічно змінювати фокусну глибину — пропонуються як рішення цієї проблеми. Існує кілька підходів до варіофокальних дисплеїв, мабуть, найпростішим із яких є оптична система, у якій дисплей фізично переміщується вперед і назад від об’єктива, щоб миттєво змінювати фокусну глибину.

Для створення такого керованого варіофокального дисплея потрібне відстеження очей, оскільки системі потрібно точно знати, куди в сцені дивиться користувач. Простежуючи шлях у віртуальну сцену від кожного з очей користувача, система може знайти точку перетину цих шляхів, встановлюючи правильну фокальну площину, на яку дивиться користувач. Потім ця інформація надсилається на дисплей для відповідного налаштування, встановлюючи фокусну глибину відповідно до віртуальної відстані від ока користувача до об’єкта.

Добре реалізований варіофокальний дисплей може не тільки усунути конфлікт вергенції та розміщення, але також дозволить користувачам фокусуватися на віртуальних об’єктах, набагато ближчих до них, ніж у існуючих гарнітурах.

І задовго до того, як ми розмістимо варіофокальні дисплеї в гарнітурах XR, відстеження очей можна було б використовувати для імітації глибини різкості, яка могла б приблизно розмивати об’єкти поза фокальною площиною очей користувача.

На даний момент на ринку немає основних гарнітур із варіофокальними можливостями, але є зростаючий обсяг досліджень і розробок намагаючись з’ясувати, як зробити цю функцію компактною, надійною та доступною.

Фовеатні дисплеї

У той час як фовеатична візуалізація спрямована на кращий розподіл потужності візуалізації між частиною нашого зору, де ми можемо чітко бачити, і периферичним зором із низьким рівнем деталізації, щось подібне можна досягти для фактичної кількості пікселів.

Замість того, щоб просто змінювати деталі візуалізації в певних частинах дисплея порівняно з іншими, фововані дисплеї – це ті, які фізично переміщуються (або в деяких випадках «керуються»), щоб залишатися перед поглядом користувача, куди б він не дивився.

Foveated дисплеї відкривають двері для досягнення набагато вищої роздільної здатності в гарнітурах AR і VR без грубого форсування проблеми, намагаючись втиснути пікселі з вищою роздільною здатністю в усе поле зору. Це не тільки коштує дорого, але й стикається зі складними обмеженнями щодо потужності та розміру, оскільки кількість пікселів наближається до роздільної здатності сітківки ока. Замість цього рифлені дисплеї перемістять менший дисплей із щільністю пікселів туди, куди дивиться користувач, на основі даних відстеження очей. Такий підхід може навіть призвести до більших полів огляду, ніж можна було б досягти за допомогою одного плоского дисплея.

Varjo — це одна компанія, яка працює над системою лоткового дисплея. Вони використовують типовий дисплей, який охоплює широке поле зору (але не дуже піксельний), а потім поверх нього накладають мікродисплей із набагато більшою щільністю пікселів. Поєднання цих двох засобів означає, що користувач отримує як широке поле зору для периферійного зору, так і область дуже високої роздільної здатності для фовеального зору.

Зрозуміло, цей ямчастий дисплей все ще статичний (область високої роздільної здатності залишається посередині дисплея), а не динамічний, але компанія розглянув ряд методів переміщення дисплея щоб зона високої роздільної здатності завжди була в центрі вашого погляду.

Продовження на сторінці 2: Кращі соціальні аватари »

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
• Карбування майбутнього з Адріенн Ешлі. Доступ тут.
• джерело: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/