Исследование взаимодействия пользовательского интерфейса XR в «Idea Engine»

Двигатель идей позволяет создавать и делиться опытом виртуальной реальности и смешанной реальности. Создание такого универсального инструмента требует сложных пользовательских интерфейсов. В этой гостевой статье разработчик Бретт Джексон делится своими подходами к взаимодействию с пользовательским интерфейсом.

Гостевая статья Бретта Джексона

Бретт Джексон занимается разработкой VR-проектов с 2015 года и является директором новой британской компании. ООО «Х82». Среди его предыдущих релизов: Dimensional (ПК VR), Breath Tech (ПК VR), Jigsaw 360 (ПК VR и мобильный VR) и 120 Гц (SideQuest).

В XR пользовательский интерфейс обычно представляют через интерактивные 2D-панели. Это не захватывающая перспектива, но она знакома и эффективна. Однако даже если мы согласимся с этим 2D-вторжением в наши XR-миры, все еще остаются новые соображения и возможности вырваться из 2D-парадигм.

Мне быстро надоели лазерные указатели, которые преувеличивали движения моей руки на удаленных панелях, а также их непоследовательные векторы цели и прерывистое обнаружение защемления. Я предпочитаю общаться и взаимодействовать с миром. Я хочу, чтобы панель находилась прямо передо мной, чтобы я мог удобно расположить ее и использовать как реальное устройство.

Мой последний проект, Двигатель идей, разработан с использованием СтереоКит, библиотека OpenXR с открытым исходным кодом. Он придерживается философии «сначала руки» и обеспечивает готовую поддержку отслеживания рук, а также поддержку контроллера. Это позволяет эффективно создавать динамические окна с типичными элементами управления пользовательского интерфейса. Это отличный инструмент для быстрого создания проектов XR, который имеет множество других преимуществ.

Панели

Итак, моя отправная точка — это панель пользовательского интерфейса, которую мы можем захватить в любой точке (никаких специальных маркеров или краев, которые нужно найти), с красивой аурой, отображаемой, когда мы находимся в радиусе захвата. Теперь давайте добавим больше соображений XR.

В XR пользователю легко оказаться за панелью пользовательского интерфейса. Вместо того, чтобы показывать пустой задний или перевернутый пользовательский интерфейс, я переворачиваю пользовательский интерфейс в ту сторону, на которую смотрит пользователь, — это просто. Звучит тривиально, но стоит рассмотреть конкретные сценарии XR. Другой подход — автоматически поворачивать панель так, чтобы она всегда была обращена к игроку, но это лишает пользователя контроля. Если они хотят, чтобы панель была под странным углом, позвольте им, возможно, у них есть веская причина.

Отдельная панель должна иметь небольшой размер (размер страницы / размер монитора), чтобы пользователь мог легко воспринимать содержимое, не поворачивая головы, но XR предоставляет нам достаточно места. Мне нравится искать возможности вырваться за границы страницы. В моих прокручиваемых областях есть ручка для захвата и перемещения содержимого. При захвате вы видите значительно расширенный вид области содержимого, и в этом режиме вы можете перетаскивать его, обеспечивая больший диапазон размещения.

Я показываю подсказки сбоку от панелей с линией, указывающей на описываемый ими компонент пользовательского интерфейса. Это уменьшает количество текста на панели. Пользователи могут просматривать советы и скрывать те, с которыми они знакомы.

В другом проекте я создал прототип трехмерной диаграммы Ганта, которая прокручивалась по странице горизонтально и исчезала вдали. Основное внимание пользователей по-прежнему было сосредоточено на центральной панели нормального размера, но при желании они могли рассматривать более широкий контекст.

Хотя панели удобны и привычны, мы не должны чувствовать себя ограниченными их границами, и искать способы вырваться из них — это весело.

Меню

StereoKit познакомил меня с радиальным меню, которое я затем расширил. Мне нравится эта идея, потому что ею управляешь одной рукой, поэтому это удобно, доступно. Я делаю одну и ту же систему меню доступной как для правой, так и для левой руки и использую один и тот же подход для всплывающих меню на панелях для обеспечения единообразия.

Мое объемное меню идет на шаг дальше и вызвано исключительно желанием использовать это третье измерение. Я использую его для выбора пунктов назначения телепортации (с указателем на каждый пункт назначения) и выбора близлежащих узлов для редактирования. Я также использую его для ввода с клавиатуры при просмотре адресов метавселенной. Это довольно экспериментально. Его преимущество состоит в том, что все символы расположены на равном расстоянии от центра, и вы видите вводимые данные, не отводя взгляда (частая проблема виртуальных клавиатур). Недостаток в том, что он незнаком пользователям, поэтому я ожидаю некоторого сопротивления. Обратите внимание, что в видео буквы расходятся по спирали спереди назад в алфавитном порядке, поэтому через некоторое время их положение должно стать знакомым.

Вскоре вы сможете добавлять подобные меню в свои собственные проекты Idea Engine.

3D-виджеты

Палитра цветов предлагала идеальную возможность для экспериментов, имея три значения (оттенок, насыщенность и значение), которые можно было сопоставить с тремя измерениями. В моей палитре цветов 3D вы можете изменить все три значения одновременно или индивидуально установить оттенок, насыщенность или значение. Я считаю, что с ними интереснее взаимодействовать, чем со ползунками на 3D-странице.

То же самое и с передвижением: я хочу двигаться в 3D, поэтому я сделал 3D-джойстик для плавного перемещения, отслеживаемого вручную. Просто перетащите сферу в нужном направлении и вращайте запястьем, чтобы добиться резкого или плавного вращения. Он работает в режиме ходьбы или полета, и вращение можно отключить, если пользователю кажется слишком много думать обо всем в одном элементе управления. Я по-прежнему поддерживаю традиционное движение с помощью контроллера, но это управление одной рукой дублирует функциональность нескольких джойстиков/кнопок и является интересным примером того, как трехмерное движение руки может по-новому удовлетворить требования.

Руки

Во всех моих примерах видео вы увидите, что я скрываю руку пользователя, как только он начинает взаимодействовать с пользовательским интерфейсом. Многие разработчики вкладывают усилия в тщательное создание поз захвата для разных целей, и это выглядит аккуратно, но для меня хорошо поставленная рука, которая не отражает положение моей собственной руки, отвлекает больше, чем отсутствие руки вообще. Рука также может стать визуальным препятствием после начала взаимодействия.

Когда рука убрана, я также могу ослабить или преувеличить движение руки без какого-либо визуального конфликта. Я ослабляю движение рук в палитре цветов, чтобы снизить чувствительность, и усиливаю движение рук при прокрутке, когда контента много.

Текст

Хотя Idea Engine поддерживает Sketchfab для загрузки 3D-моделей, искусственный интеллект для создания изображений и импорт фото/аудио, трудно превзойти простоту и доступность текста и устной речи для передачи сложных повествований. Учитывая это, мне нужна была достойная поддержка текста, чтобы пользователи могли объединять все доступные форматы, чтобы рассказывать свои истории.

Текст обычно выглядит не очень хорошо в виртуальной реальности, поэтому я затемняю его, когда вы уходите, чтобы удалить неприглядные артефакты, а также закрыть текстовые панели. Пользователям будет интересно исследовать окружающую среду, а не читать текст, поэтому у меня есть возможность заставить рассказчика автоматически зачитывать любой блок текста, с которым вы столкнетесь.

Ввод текста был проблемой, не имеющей хорошего решения. Я создал ввод текста в мобильном стиле с поддержкой вырезания и вставки и автоматической нумерацией страниц с помощью виртуальной клавиатуры. Закончив, я подумал: ничего страшного, но мне бы не хотелось набирать длинный отрывок в XR. Затем я добавил поддержку преобразования голоса в текст. Это помогло, но я обнаружил, что после диктовки мне нужно много редактировать, и это все равно медленнее, чем при использовании традиционных средств. Теперь я разрешаю пользователям подключаться к своей гарнитуре из браузера на любых принадлежащих им устройствах и импортировать текст через веб-страницу. Я регулярно использую все три метода, используя браузер для ввода длинного текста.

Мой урок заключался в том, что не всегда нужно решать все в XR. Иногда предпочтительнее использовать более подходящие устройства, а затем импортировать результаты.

Попробуйте это

От образовательных интеллект-карт до интерактивных историй и игр — вы можете использовать ресурсы CC и импортировать свои собственные фотографии, звуки и текст для реализации своей идеи. Затем воплотите его в жизнь, добавив состояния, события и сценарии высокого уровня, и поделитесь ими в нашей метавселенной X82. Многофункциональный инструмент для конечного пользователя, позволяющий изучить возможности XR.

Ассоциация публичная альфа-версия теперь доступна и ее можно бесплатно загрузить в App Lab., чтобы вы могли опробовать любую из обсуждаемых функций и оставить мне свой отзыв.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/