Відстеження рук вперше стало доступним в Oculus Quest ще наприкінці 2019 року. З ентузіазму щодо цього нового методу введення я опублікував демонстрацію Кубізм до SideQuest з експериментальною підтримкою відстеження рук лише через кілька днів. Зайве говорити, що ця початкова демонстрація мала кілька недоліків і насправді не враховувала обмежень технології, тому я вирішив спочатку виключити підтримку відстеження рук у повному випуску. Кубізм в магазині Oculus. Знадобилося більше розробки, спираючись на уроки, отримані з роботи інших розробників, щоб створити те, що я з радістю випустив у нещодавньому Кубізм оновлення ручного відстеження. Ось внутрішній погляд на процес проектування.
Гостьова стаття автора Томас Ван Бувел
Томас — бельгійсько-бразильський розробник віртуальної реальності, який зараз працює в Брюсселі. Незважаючи на те, що його початковий досвід займається архітектурою, його поточна робота у VR охоплює такі інді-ігри Кубізм до корпоративного програмного забезпечення для архітекторів та інженерів, як рішення.
Це оновлення базується на уроках, отриманих від багатьох інших ігор і розробників, які вивчали відстеження рук протягом останнього року (Цікава казка про викрадених домашніх тварин, Симулятор відпустки, Лука Мефісто, Денніс Кунерт, та декілька інших).
У цій статті я хотів би поділитися деякими речами, яких я навчився, вирішуючи специфічні проблеми кубізм взаємодії рук.
Оптимізація для точних взаємодій
кубізм взаємодія обертається навколо розміщення маленьких неправильних частин головоломки в сітці головоломки. Це означало, що головною вимогою для введення ручного відстеження була точність, як підбирання та розміщення частин на сітці, так і точний вибір частин із завершеної головоломки. Це визначило більшість дизайнерських рішень щодо ручного введення.
Руки-привиди
Я рано вирішив НЕ зробіть руки заснованими на фізиці, але натомість дозвольте їм проходити крізь шматки, доки один не буде активно захоплений.
Це дозволило уникнути невмілого відштовхування плаваючих частин головоломки, коли ви намагаєтеся схопити їх у повітрі, але, що ще важливіше, це полегшило вищипування шматочків у середині повної головоломки, оскільки ви можете просто вставити пальці та схопити шматочок замість потрібно зрозуміти, як їх фізично вилучити.
Прозорість рук свідчить про те, що руки не є фізичними, тому легше вибирати шматочки з середини головоломки.
Зв'яжіться з Grabbing
Існує кілька підходів до виявлення наміру користувачів схопити та відпустити об’єкти, як-от фокусування на затисканнях пальців або повному обертанні суглоба пальця під час перевірки загальної зони взаємодії на долоні.
для кубізм дрібні та неправильні шматочки головоломки, однак, підхід, який, здавалося, найкраще відповідав вимогам до точності, був контактним підходом, коли шматок захоплюється, як тільки великий і вказівний пальці перетинаються один і той же шматок і зближуються на невеликій відстані, без необхідності повна щіпка.
Як підійти в Цікава казка про викрадених домашніх тварин, пальці фіксуються на місці, як тільки починається захоплення, щоб створити враження більш стійкого захоплення. Під час захоплення шматок прилягає до кореня кисті (зап’ястя). Оскільки це здається найстабільнішим гусеничним з’єднанням, він допомагає досягти більш стійкого зчеплення та гарантує, що деталь залишається на одному рівні з зафіксованими пальцями.
Шматок захоплюється, коли великий і вказівний пальці перетинаються його і трохи зближуються. Обертання вказівного та великого пальців фіксуються на місці, щоб створити враження стійкого захоплення.
Як тільки шматок захоплюється, відстань між великим і вказівним пальцем зберігається, і на основі цієї відстані розраховується запас вивільнення. Як тільки великий і вказівний пальці розходяться за межі цього поля, частина відпускається.
Кілька засобів захисту намагаються запобігти ненавмисним випускам: ми не перевіряємо наявність випуску, коли впевненість відстеження нижче певного порогового значення, і після того, як впевненість відстеження відновлюється, ми чекаємо кілька кадрів, доки не перевіряємо повторно. Перед фактичним відпусканням пальці також повинні бути за межами відпуску на кілька кадрів.
Візуалізація налагодження: під час захоплення початкова відстань захоплення між кінчиками пальців зберігається (зовнішнє червоне коло). Фрагмент звільняється, коли реальне положення кінчиків пальців виходить за певний край (синє коло).
Існує також система, подібна до Метод перехоплення в симуляторі відпустки. Через відсутність тактильного зворотного зв’язку під час захоплення шматка нерідкі випадки, коли пальці наближаються один до одного під час захоплення. Якщо вони закриваються за певний поріг, поля вивільнення коригуються, щоб полегшити випуск фрагмента.
Спробуйте самі: щоб побачити ці візуалізації налагодження в грі, перейдіть до «Налаштування > Відстеження рук > Візуалізації налагодження» та увімкніть «Віджети взаємодії».
Візуалізація налагодження: якщо пальці переміщуються один до одного під час захоплення за певний поріг (внутрішнє червоне коло), поля відпускання знову коригуються, щоб зробити відпускання фрагмента менш «липким».
Однією з обмежень цього підходу є те, що він трохи ускладнює захоплення пальцями, відмінними від вказівних. Попередня реалізація також дозволяла хапатися між середнім і великим пальцем, але це часто призводило до помилкових спрацьовувань під час вилучення частин з повної сітки головоломки, оскільки було важко оцінити, яким пальцем гравець мав намір схопити певний фрагмент.
Це не було б проблемою, якби захоплення оберталося навколо повних щипків пальців, оскільки це призводить до більш чіткого бінарного введення, з якого можна визначити наміри користувача (ціною менш природного відчуття захоплення пози).
Перевірка середини
Крім перевірки того, яка частина вказівного і великого пальців перетинаються, додаткова перевірка відбувається в середній точці між кінчиком вказівного і великого пальців.
Незалежно від того, над якою фігурою наводиться ця серединна точка, буде пріоритетним для захоплення, що допомагає уникнути помилкових спрацьовувань, коли гравець намагається захопити фігуру в повній сітці.
У наведеному нижче прикладі, якщо гравець має намір схопити зелену фігуру за її правий край, він ненавмисно схопить жовту фігуру, якби ми не виконали цю перевірку середини.
Зліва: великий, вказівний і середня точка між кінчиками пальців позначено жовтим кольором → захопити жовтим. Справа: великий і вказівний пальці позначено жовтим, середня точка зеленим → захопити зеленим
Захоплення головоломки
Захоплення головоломки схоже на захоплення частин головоломки, за винятком того, що воно ініціюється виконанням повного щипка в зоні захоплення навколо головоломки.
Розмір цієї зони динамічно збільшується при переході з контролерів на руки. Це трохи полегшує захоплення та допомагає зменшити ймовірність випадкового захоплення шматка в сітці замість самої сітки.
Зона захоплення навколо головоломки розширюється при переході з контролерів на руки, що полегшує захоплення. Хоча це вимагає повного щипка, захоплення головоломки схоже на захоплення шматочків пазла.
Динамічне згладжування рук
Дані відстеження рук, надані Oculus Quest, все ще можуть мати трохи тремтіння, навіть якщо впевненість відстеження висока. Це також може вплинути на гру, оскільки тремтіння може бути набагато помітнішим, якщо тримати сітку головоломки або довгий шматок головоломки за край, що ускладнює точне розміщення частин на сітці.
Згладжування даних відстеження може мати великий шлях для отримання більш стабільного вигляду захоплень, але його потрібно робити помірно, оскільки занадто сильне згладжування призведе до відчуття «відставання» для рук. Щоб збалансувати це, розгладьте руку Кубізм динамічно налаштовується залежно від того, тримає ваша рука щось чи ні.
Спробуйте самі: щоб побачити ефект розгладжування рук, спробуйте вимкнути його під
«Налаштування > Відстеження рук > Згладжування рук».
Підвищення згладжування положень рук під час утримання об’єктів допомагає досягти більш стабільного зчеплення, що полегшує точне розміщення на сітці.
Натискання кнопок
Одну річ я помітив кубізм Оригінальна демонстрація відстеження рук полягала в тому, що більшість людей намагалися натискати кнопки, хоча на той час це не підтримувалося. Тому однією з моїх цілей у цій новій версії відстеження рук було зробити кнопки фактично натисканими.
На кнопки можна наводити курсор, коли промінь від кінчика вказівного пальця потрапляє на коллайдер на задній частині кнопки. Якщо вказівний палець потім перетинається з коллайдером, реєструється натискання. Якщо індекс перетинає коллайдер без попереднього наведення курсора, натискання не реєструється. Це допомагає запобігти помилковим результатам, коли палець рухається знизу вгору.
Є ще кілька перевірок, щоб запобігти помилковим результатам: raycast вимкнено, коли палець не дивиться на кнопку або коли гравець не дивиться на свій палець під час натискання.
Спробуйте самі: щоб побачити цю візуалізацію налагодження в грі, перейдіть до «Налаштування > Відстеження рук > Налагодження візуалізації» та увімкніть «Віджети взаємодії».
Візуалізація налагодження: передача променів з наконечника індексу перевіряє, чи наведений палець на кнопку. Щоб запобігти помилковим результатам, взаємодія вимкнена, коли палець не дивиться на кнопку або коли гравець не дивиться на свій палець.
Керівні взаємодії
Однією з головних проблем побудови будь-якої взаємодії для відстеження рук є те, що, на відміну від кнопок на контролері, які або натискаються, або не натискаються, люди можуть намагатися підійти до взаємодії своїми руками, очікуючи того ж результату. .
Тестування гри з різноманітною групою людей може допомогти вам дізнатися, як люди підходять до взаємодії, представленої їм, і може допомогти уточнити підказки взаємодії, які спрямовують їх до очікуваних жестів. Тестування відтворення також може допомогти вам вивчити деякі відхилення, які ви можете вловити, додавши деяку надмірність взаємодії.
Сигнали взаємодії
Під час захоплення шматка є кілька ознак. Коли користувач вперше наводить курсор на фрагмент, його вказівний і великий палець набувають кольору цього фрагмента, щоб вказати, що його можна захопити, і щоб повідомити, які пальці можуть захопити його (натхненно попередньою роботою Лука Мефісто, Барретт Фокс і Мартін Шуберт). Частина також виділена, щоб вказати, що її можна захопити.
Кілька сигналів також вказують на успішне захоплення: кінчики пальців стають твердими, виділення на шматку блимають, і відтворюється короткий звуковий сигнал.
Різні підказки як на руці, так і на керівній частині головоломки та підтверджують взаємодію захоплення.
Кнопки мають кілька підказок, які вказують на те, що їх можна натиснути. Подібно до частин головоломки, кінчик вказівного пальця виділяється білим, коли ви наводите курсор на кнопку, вказуючи, який палець може взаємодіяти. Як і з контролерами, кнопки висуваються назовні при наведенні курсора, але цього разу розширену кнопку насправді можна натиснути: як тільки покажчик торкнеться її, вона слідує за пальцем, поки не буде натиснута повністю, після чого звуковий сигнал підтверджує клацання.
Незначна тінь на поверхні кнопки вказує на положення та відстань покажчика до кнопки та допомагає керувати взаємодією з натисканням.
Різні підказки спрямовують взаємодію з кнопками: кнопки витягуються назовні при наведенні курсора, кінчик вказівного пальця виділено, тінь показує, де буде взаємодіяти кінчик, а кнопка слідує за пальцем при натисканні.
Надлишковість взаємодії
Оскільки деякі люди можуть підходити до деяких взаємодій ненавмисно, може бути корисно спробувати врахувати це, де це можливо, додавши деяку надмірність до способів, яким люди можуть використовувати свої руки для взаємодії. Підказки взаємодії все ще можуть спрямовувати їх до передбачуваної взаємодії, але надмірність може допомогти уникнути їх непотрібної застрявання.
Коли справа доходить до захоплення фігур, кілька тестувальників спробують схопити фігури, спочатку стиснувши кулак, а не кінчиками пальців. Якщо коллайдери охоплюють весь палець, а не лише кінчик пальця, пристойна кількість цих перших захоплень все одно буде зареєстровано.
Я повинен зазначити, що цей підхід все ще потребує вдосконалення, оскільки він також створює деякі проблеми, які викликають ненавмисне захоплення у випадках, коли навколо ігрової зони плаває багато фігур. Кращим підходом у майбутньому може бути також перевірка загального обертання пальця, щоб замість цього врахувати захоплення кулаком.
Хоча захоплення розроблено навколо кінчиків пальців, коллайдери на вказівному та великому пальці охоплюють весь палець, щоб допомогти ловити різні форми захоплення.
З кнопками було кілька тестувальників, які намагалися затиснути їх, а не натиснути. Здавалося, частково це сталося, коли вони раніше навчилися затискати кнопки на головному екрані Oculus безпосередньо перед запуском гри.
З цієї причини кнопки також можна натискати, розтискаючи, коли на них наведено курсор, і, сподіваємося, такі підказки, як виділений індекс і тінь, зрештою підкажуть їм натиснути кнопки.
Стискання під час наведення курсора на кнопки також реєструється як клацання.
На першій кнопці, з якою гравці стикаються під час використання рук, також чітко вказано «Натисни, щоб почати», щоб допомогти людям перейти від щипання до натискання після переходу з головного меню Oculus.
Обмеження викладання
Хоча якість відстеження рук Quest покращилася за останній рік, вона все ще має свої обмеження — і усвідомлення гравцем цих обмежень може мати великий вплив на те, наскільки добре вони сприймають свій досвід.
Кубізм реалізує кілька способів навчання гравця щодо поточних обмежень відстеження рук у Quest.
Коли гравець вперше перемикається на відстеження рук (під час запуску або в середині гри), модальний інформує його про деякі найкращі методи, як-от грати в добре освітленому просторі та уникати схрещування рук.
Коли користувач переходить на відстеження рук, модальний інформує його про обмеження та передові методи. Інструкція «Натисни, щоб почати» допомагає навчити нових користувачів, що в цій грі можна натискати кнопки природно.
Важливо визнати, що більшість людей, швидше за все, відразу відкинуть подібні модальні засоби або швидко забудуть його вказівки, тому також важливо повідомити, чому під час роботи все може піти не так.
In Кубізм, стрілки стануть червоними, щоб сигналізувати про втрату відстеження. У деяких ігрових тестах люди тримали одну руку на колінах, а грали з іншою, і дивувалися, чому їхня рука на колінах здається замороженою. Щоб допомогти інформувати про подібні випадки, на руці відображається повідомлення, у якому чітко вказується, чому рука заморожена, якщо втрата відстеження продовжується. Якщо відстеження втрачено саме через те, що гравець схрещує руки, повідомлення змінюється, щоб повідомити його не робити цього.
Зліва: руки червоніють, коли відстеження вперше втрачено. Середній: коли відстеження втрати зберігається, повідомлення інформує гравця про те, що відбувається. Справа: якщо відстеження втрачено через закриті руки, це також вказується
Для більш досвідчених гравців або гравців, які вважають за краще грати однією рукою, цю функцію можна замінити в налаштуваннях, якщо руки згасають, коли вони втрачають відстеження, що більше нагадує поведінку в домашньому меню Oculus.
Червоні стрілки та попереджувальні повідомлення можна замінити в налаштуваннях на зникаючі руки.
Майбутня робота
Хоча відстеження рук у Quest все ще має свої обмеження кубізм його підтримка є вже в другій версії, є ще багато можливостей для вдосконалення.
Незважаючи на це, я радий почати вивчати та підтримувати ці нові методи введення. У короткостроковій перспективі, я думаю, вони можуть допомогти зробити подібний досвід доступнішим і легше поділитися з новими користувачами віртуальної реальності.
Кадри змішаної реальності, зняті на iPhone за допомогою програми Reality Mixer Фабіо Дела Антоніо, дають уявлення про те, якою може бути гра в Cubism на гарнітурі AR у майбутньому.
У довгостроковій перспективі, здається, є хороші шанси, що відстеження рук стане основним вхідним матеріалом для майбутніх автономних пристроїв AR, тому, сподіваюся, це оновлення може стати першим невеликим кроком до версії AR. Кубізм.
Якщо вам сподобався цей погляд на дизайн відстеження рук у кубізмі, обов’язково подивіться Попередня гостьова стаття Томаса, яка описує дизайн ширшої гри.
Повідомлення Приклад: Дизайн, який стоїть за відстеженням рук «кубізму». вперше з'явився на Дорога до ВР.
- '
- "
- &
- 2019
- МЕНЮ
- абсолют
- рахунки
- Додатковий
- вже
- хоча
- кількість
- Інший
- додаток
- підхід
- AR
- архітектура
- ПЛОЩА
- навколо
- стаття
- аудіо
- доступний
- обізнаність
- фон
- ставати
- КРАЩЕ
- передового досвіду
- Біт
- Брюссель
- будувати
- Створюємо
- Будує
- тематичне дослідження
- випадків
- Залучайте
- проблеми
- контроль
- Перевірки
- Коло
- ближче
- майбутній
- довіра
- контролер
- Поточний
- дані
- дизайн
- Розробник
- розробників
- розробка
- прилади
- DID
- різний
- відстань
- вниз
- Падіння
- Рано
- край
- Інженери
- підприємство
- програмне забезпечення підприємства
- приклад
- Крім
- розширюється
- очікуваний
- досвід
- Досліди
- продовжити
- облицювання
- в'янути
- особливість
- зворотний зв'язок
- Рисунок
- Перший
- спалах
- недоліки
- форми
- Повний
- майбутнє
- гра
- Games
- Загальне
- отримання
- Цілі
- буде
- добре
- захоплення
- зелений
- сітка
- гість
- керівництво
- керівні вказівки
- щасливий
- має
- допомога
- допомагає
- Високий
- Виділено
- Головна
- Як
- How To
- HTTPS
- ідея
- Impact
- реалізація
- важливо
- збільшений
- індекс
- натхненний
- Маючи намір
- намір
- взаємодія
- iPhone
- питання
- питання
- IT
- сам
- запуск
- запуск
- УЧИТЬСЯ
- вчений
- Led
- Уроки, витягнуті
- замкнений
- Довго
- шукати
- РОБОТИ
- Робить
- більше
- найбільш
- рухатися
- Природний
- Інше
- Люди
- фізичний
- частина
- Play
- гравець
- гравці
- Plenty
- це можливо
- press
- процес
- виробляти
- якість
- пошук
- швидко
- Реальність
- зменшити
- зареєстрований
- звільнити
- Релізи
- замінити
- вимагається
- Вимога
- результати
- Екран
- витриманий
- комплект
- тінь
- Поділитись
- Короткий
- аналогічний
- Розмір
- невеликий
- So
- Софтвер
- що в сім'ї щось
- Простір
- конкретно
- автономні
- старт
- починається
- стан
- Штати
- вкрали
- зберігати
- Вивчення
- успішний
- підтримка
- Підтриманий
- Підтримуючий
- поверхню
- система
- Навчання
- Технологія
- через
- час
- Поради
- разом
- топ
- Відстеження
- прозорість
- Оновити
- використання
- користувачі
- візуалізації
- vr
- чекати
- Що
- Що таке
- Чи
- ВООЗ
- в
- без
- Work
- працює
- рік
- YouTube