Вивчення взаємодії інтерфейсу користувача XR у «Idea Engine»

Перевидано Платоном

читають: 0

Двигун ідей дозволяє створювати та ділитися досвідом віртуальної реальності та змішаної реальності. Створення такого інструменту загального призначення потребує складних інтерфейсів користувача. У цій гостьовій статті розробник Бретт Джексон ділиться своїми підходами до взаємодії інтерфейсу користувача.

Гостьова стаття Бретта Джексона

Бретт Джексон розробляє VR-проекти з 2015 року і є директором нової британської компанії X82 Ltd. Серед його попередніх випусків: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR і mobile VR) і 120Hz (SideQuest).

У XR зазвичай користувальницький інтерфейс представлено через двовимірні інтерактивні панелі. Це не захоплююча перспектива, але звична та ефективна. Однак, навіть якщо ми погодимося на це двовимірне вторгнення в наші XR-світи, все ще є нові міркування та можливості звільнитися від двовимірних парадигм.

Мені швидко набридли лазерні вказівники, які перебільшували рухи моїх рук на віддалених панелях, а також їхні непослідовні вектори цілі та періодичне виявлення щипків. Я надаю перевагу зв’язку та взаємодії зі світом. Я хочу, щоб панель була прямо переді мною, щоб я міг її зручно розташувати та використовувати як справжній пристрій.

Мій останній проект, Двигун ідей, розроблено з використанням StereoKit, бібліотека OpenXR з відкритим кодом. Він має філософію «руки перш за все» та забезпечує готову підтримку відстеження рук, а також підтримку контролера. Це дозволяє ефективно створювати динамічні вікна з типовими елементами керування інтерфейсу користувача. Це чудовий інструмент для швидкого створення XR-проектів і має багато інших переваг.

Панелі

Отже, моєю відправною точкою є панель інтерфейсу користувача, яку ми можемо схопити в будь-якій точці (без спеціальних ручок або країв), з гарною аурою, що відображається, коли ми знаходимося в радіусі захоплення. Тепер давайте додамо більше міркувань XR.

У XR користувачеві легко опинитися за панеллю інтерфейсу користувача. Замість того, щоб показувати порожній задній або перевернутий інтерфейс користувача, я перевертаю інтерфейс користувача в той бік, на який дивиться користувач — просто. Це звучить тривіально, але варто розглянути конкретні сценарії XR. Інший підхід полягає в автоматичному обертанні панелі так, щоб вона постійно дивилася обличчям до гравця, але це позбавляє користувача контролю. Якщо вони хочуть панель під дивним кутом, дозвольте їм, можливо, у них є вагома причина.

Розмір окремої панелі має бути невеликим (розмір сторінки / розмір монітора), щоб користувач міг легко сприймати вміст, не повертаючи голови, але XR надає нам багато місця. Мені подобається шукати можливості вирватися за межі сторінки. Мої області, які можна прокручувати, мають ручку для захоплення та переміщення вмісту. Під час захоплення ви бачите значно розширений вигляд області вмісту, і ви можете перетягувати в цьому режимі, забезпечуючи більший діапазон розміщення.

Я показую підказки збоку від панелей із лінією до компонента інтерфейсу користувача, який вони описують. Це зменшує кількість тексту на панелі. Користувачі можуть переглядати підказки та приховувати ті, з якими вони знайомі.

В іншому проекті я створив прототип тривимірної діаграми Ганта, яка горизонтально прокручувалась за межі сторінки та зникала вдалині. Основна увага користувача все ще була зосереджена на центральній панелі звичайного розміру, але вони могли опціонально оглянути ширший контекст.

Незважаючи на те, що панелі зручні та знайомі, ми не повинні відчувати себе обмеженими їхніми межами, і цікаво шукати способи вирватися.

StereoKit познайомив мене з радіальним ручним меню, яке я потім розширив. Мені подобається ця ідея, тому що ним керуєш однією рукою, тому це зручно, доступно. Я роблю ту саму систему меню доступною як праворуч, так і ліворуч, і використовую той самий підхід для спливаючих меню на панелях для узгодженості.

Моє об’ємне меню йде на крок далі, і його керує суто бажання використати цей 3-й вимір. Я використовую його для вибору місць призначення телепорту (з покажчиком на кожне місце призначення) і для вибору найближчих вузлів для редагування. Я також використовую його для введення з клавіатури під час перегляду адрес метавсесвіту. Це досить експериментально. Його перевага полягає в тому, що всі символи розташовані на однаковій відстані від центру, і ви бачите введений текст, не відводячи погляду (поширена проблема з віртуальними клавіатурами). Недоліком є те, що він незнайомий користувачам, тому я очікую певного опору йому. Зверніть увагу на відео, що літери розташовуються по спіралі спереду назад в алфавітному порядку, тож за короткий час їхнє положення стане звичним.

Незабаром ви зможете додавати подібні меню до своїх власних проектів Idea Engine.

3D віджети

Пакет кольорів надавав ідеальну можливість експериментувати, маючи три значення (відтінок, насиченість і значення), які можна було зіставити з трьома вимірами. У моїй тривимірній палітрі кольорів ви можете змінити всі три значення одночасно або окремо встановити відтінок, насиченість або значення. Мені здається, що з ним цікавіше взаємодіяти, ніж із повзунками на 3D-сторінці.

Подібно до пересування, я хочу рухатися в 3D, тому я створив 3D-джойстик для плавного відстеження рухів руками. Просто перетягніть сферу в потрібному напрямку та покрутіть зап’ястям для швидкого або плавного обертання. Він працює в режимі ходьби або польоту, і обертання можна вимкнути, якщо користувач вважає, що це занадто багато, щоб думати про все в одному елементі керування. Я все ще підтримую традиційні рухи на основі контролера, але це керування однією рукою дублює функціональність кількох джойстиків/кнопок і є цікавим прикладом того, як 3D-рух рук може задовольняти вимоги по-новому.

Руки

У всіх моїх прикладах відео ви побачите, що я ховаю руку користувача, щойно він починає взаємодіяти з інтерфейсом користувача. Багато розробників докладають зусиль, щоб ретельно створювати пози для захоплення для різних цілей, і це виглядає акуратно, але для мене добре поставлена рука, яка не відображає положення моєї власної руки, відволікає більше, ніж відсутність руки взагалі. Рука також може бути візуальною перешкодою після початку взаємодії.

Коли рука відсутня, я також можу пом’якшити або перебільшити рух руки без будь-якого візуального конфлікту. Я пом’якшую рух руки в палітрі кольорів, щоб знизити чутливість, і перебільшую рух руки під час прокручування, коли вмісту багато.

текст

Хоча Idea Engine підтримує Sketchfab для завантаження 3D-моделей, штучний інтелект для створення зображень та імпортування фото/аудіо, важко перевершити легкість і доступність тексту та усного слова для передачі складних оповідей. Маючи це на увазі, мені потрібна була гідна підтримка тексту, щоб користувачі могли об’єднати всі доступні формати, щоб розповісти свої історії.

Текст зазвичай не виглядає чудово у VR, тому я згасаю його, коли ви йдете, щоб видалити непривабливі артефакти та закрити текстові панелі. Користувачам буде цікаво досліджувати середовище, а не читати текст, тому я маю можливість наказати диктору автоматично зачитувати будь-який блоковий текст, який вам трапляється.

Введення тексту було проблемою без чудового рішення. Я створив введення тексту в мобільному стилі з підтримкою вирізання та вставки та автоматичною розбивкою на сторінки за допомогою віртуальної клавіатури. Коли я закінчив, я подумав, що це нормально, але я не хотів би вводити довгий уривок у XR. Потім я додав підтримку перетворення голосу в текст. Це допомогло, але я виявив, що мені потрібно було багато редагувати після диктування, і це все одно повільніше, ніж використання традиційних засобів. Тепер я дозволяю користувачам підключатися до своєї гарнітури з браузера на будь-якому пристрої, яким вони володіють, і імпортувати текст через веб-сторінку. Я регулярно використовую всі три техніки, використовуючи браузер для введення довгого тексту.

Мій урок тут полягає в тому, що вам не завжди потрібно вирішувати все в XR. Іноді краще використовувати більш відповідні пристрої, а потім імпортувати результати.

Спробуй

Від освітніх інтелект-карт до інтерактивних історій та ігор, ви можете використовувати ресурси CC та імпортувати власні фотографії, звуки та текст, щоб створити свою ідею. Потім оживіть його, додавши стани, події та сценарії високого рівня, і поділіться ним у нашому метавсесвіті X82. Наповнений функціями інструмент кінцевого користувача для вивчення можливостей XR.