Śledzenie rąk po raz pierwszy stało się dostępne w Oculus Quest pod koniec 2019 roku. Z entuzjazmu dla tej nowej metody wprowadzania danych opublikowałem demo Kubizm do SideQuest z eksperymentalną obsługą śledzenia rąk zaledwie kilka dni później. Nie trzeba dodawać, że to początkowe demo miało kilka wad i tak naprawdę nie brało pod uwagę ograniczeń technologii, dlatego początkowo postanowiłem pominąć obsługę śledzenia rąk w pełnej wersji Kubizm w sklepie Oculus. Potrzeba było więcej pracy, opierając się na lekcjach wyciągniętych z pracy innych programistów, aby zbudować coś, co z przyjemnością wydałem w ostatnim Kubizm aktualizacja śledzenia dłoni. Oto spojrzenie na proces projektowania.
Artykuł gościnny autorstwa Thomasa Van Bouwela
Thomas jest belgijsko-brazylijskim deweloperem VR, obecnie mieszkającym w Brukseli. Chociaż jego oryginalne doświadczenie związane jest z architekturą, jego obecna praca w VR obejmuje gry niezależne, takie jak Kubizm do oprogramowania korporacyjnego dla architektów i inżynierów, takich jak Rozwiązać.
Ta aktualizacja opiera się na wnioskach wyciągniętych z wielu innych gier i deweloperów, którzy badali śledzenie rozdań przez ostatni rok (Ciekawa opowieść o skradzionych zwierzętach, Symulator wakacji, Łukasz Mefisto, Dennysa Kuhnertai kilka innych).
W tym artykule chciałbym podzielić się kilkoma rzeczami, których nauczyłem się, podejmując wyzwania specyficzne dla Kubizm interakcje rąk.
Optymalizacja pod kątem precyzyjnych interakcji
Kubizm interakcje polegają na umieszczaniu małych, nieregularnych elementów układanki na siatce układanki. Oznaczało to, że głównym wymaganiem dotyczącym ręcznego śledzenia była precyzja, zarówno w podnoszeniu i umieszczaniu elementów na siatce, jak i precyzyjnym wybieraniu elementów z ukończonej układanki. To wpłynęło na większość decyzji projektowych dotyczących ręcznego wprowadzania danych.
Duchowe ręce
Postanowiłem wcześnie nie uczyń ręce oparte na fizyce, ale zamiast tego pozwól im przechodzić przez kawałki, aż ktoś zostanie aktywnie złapany.
Dzięki temu uniknięto niezręcznego odpychania pływających elementów układanki, gdy próbujesz je złapać w powietrzu, ale co ważniejsze, ułatwiło to wyrywanie elementów w środku pełnej układanki, ponieważ możesz po prostu włożyć palce i chwycić kawałek zamiast Muszę wymyślić, jak je fizycznie podważyć.
Dłonie, sygnalizowane przez ich przezroczystość, nie są fizyczne, co ułatwia wybieranie elementów ze środka układanki.
Kontakt Chwytanie
Istnieje kilka podejść do wykrywania intencji użytkownika, który chce chwycić i puścić obiekty, np. Skupienie się na uszczypnięciach palców lub całkowitym obrocie palca podczas sprawdzania ogólnej strefy interakcji w dłoni.
W razie zamówieenia projektu Kubizm jednak małe i nieregularne elementy układanki, podejście, które wydawało się najlepiej odpowiadać wymaganiom precyzji, było podejściem kontaktowym, w którym element jest chwytany, gdy tylko kciuk i wskaźnik przecinają ten sam element i są łączone na niewielkiej odległości, bez konieczności pełna szczypta.
Podobnego do podejście w Ciekawa opowieść o skradzionych zwierzętach, palce są blokowane w miejscu, gdy tylko zacznie się chwytanie, aby sprawiać wrażenie bardziej stabilnego, wyglądającego chwytu. Kawałek jest trzymany w rodzicielstwie do nasady dłoni (nadgarstka) podczas chwytania. Ponieważ wydaje się, że jest to najbardziej stabilne połączenie gąsienicowe, pomaga uzyskać stabilniejszy chwyt i gwarantuje, że element pozostaje wyrównany z zablokowanymi palcami.
Kawałek jest chwytany, gdy kciuk i palec wskazujący go przecinają i są lekko zbliżane. Obrót palca wskazującego i kciuka zostaje następnie zablokowany, co pomaga sprawiać wrażenie stabilnego chwytu.
Gdy tylko kawałek zostanie złapany, odległość między kciukiem a palcem wskazującym jest zapisywana, a margines zwolnienia jest obliczany na podstawie tej odległości. Gdy kciuk i wskaźnik oddalą się poza ten margines, kawałek zostaje zwolniony.
Kilka zabezpieczeń próbuje zapobiec niezamierzonym wydaniom: nie sprawdzamy wydania, gdy pewność śledzenia spadnie poniżej określonego progu, a po ponownym uzyskaniu pewności śledzenia czekamy kilka klatek, aż ponownie sprawdzimy wydanie. Palce muszą również znajdować się poza marginesem zwolnienia przez kilka klatek przed faktycznym zwolnieniem.
Wizualizacja debugowania: podczas chwytania zapisywana jest początkowa odległość między opuszkami palców (zewnętrzne czerwone kółko). Kawałek jest uwalniany, gdy rzeczywiste położenie opuszków palców przesunie się poza pewien margines (niebieskie kółko).
Istnieje również system podobny do Metoda overgrab w Vacation Simulator. Ze względu na brak dotykowego sprzężenia zwrotnego podczas chwytania elementu, nierzadko zdarza się, że palce zbliżają się do siebie podczas chwytania. Jeśli zamkną się poza pewien próg, marginesy zwolnienia są dostosowywane, aby ułatwić uwolnienie utworu.
Spróbuj sam: aby zobaczyć te wizualizacje debugowania w grze, przejdź do „Ustawienia> Śledzenie rozdań> Wizualizacje debugowania” i włącz „Widżety interakcji”.
Wizualizacja debugowania: Jeśli palce przesuwają się do siebie podczas chwytania powyżej pewnego progu (wewnętrzne czerwone kółko), marginesy uwalniania są ponownie regulowane, aby uwolnienie elementu wydawało się mniej „lepkie”.
Jedynym ograniczeniem tego podejścia jest to, że sprawia, że wsparcie chwytania palcami innymi niż wskazujący jest nieco trudniejsze. Wcześniejsza implementacja pozwalała również na chwytanie między środkowym palcem a kciukiem, ale często prowadziło to do fałszywych trafień podczas chwytania elementów z pełnej siatki układanki, ponieważ trudno było ocenić, którym palcem gracz zamierzał chwycić określony element.
Nie stanowiłoby to problemu, gdyby chwytanie obracało się wokół pełnego szczypania palców, ponieważ daje to bardziej przejrzysty plik binarny wejściowy, na podstawie którego można określić zamiary użytkownika (kosztem mniej naturalnej pozycji chwytania).
Kontrola punktu środkowego
Oprócz sprawdzenia, który element przecinają się wskazujący i kciuk, następuje dodatkowa kontrola w punkcie środkowym między opuszkiem palca wskazującego i kciuka.
Niezależnie od tego, nad jakim elementem znajduje się ten punkt środkowy, priorytet zostanie złapany, co pomaga uniknąć fałszywych trafień, gdy gracz próbuje złapać element na pełnej siatce.
W poniższym przykładzie, jeśli gracz zamierza chwycić zieloną figurę za prawą krawędź, niechcący złapie żółtą figurę, jeśli nie wykonamy tego testu w punkcie środkowym.
Lewy: kciuk, wskaźnik i punkt środkowy między opuszkami palców są w kolorze żółtym → chwytanie w kolorze żółtym. Po prawej: kciuk i indeks są na żółto, środek jest na zielono → chwytak zielony
Chwytanie puzzli
Chwytanie łamigłówki działa podobnie do chwytania puzzli, z wyjątkiem tego, że jest inicjowane przez wykonanie pełnego uszczypnięcia w strefie chwytania wokół łamigłówki.
Rozmiar tej strefy jest dynamicznie zwiększany podczas przełączania się z kontrolerów na dłonie. Ułatwia to nieco chwytanie i pomaga zmniejszyć prawdopodobieństwo przypadkowego złapania elementu siatki zamiast samej siatki.
Strefa chwytania wokół łamigłówki rozszerza się podczas przełączania kontrolerów na dłonie, ułatwiając chwytanie. Chociaż wymaga pełnego uszczypnięcia, chwytanie puzzli działa podobnie do chwytania elementów układanki.
Dynamiczne wygładzanie dłoni
Dane śledzenia dłoni dostarczane przez Oculus Quest nadal mogą mieć pewne wahania, nawet jeśli pewność śledzenia jest wysoka. Może to również wpływać na grę, ponieważ drgania mogą być znacznie bardziej zauważalne, gdy trzymasz siatkę puzzli lub długi element układanki za krawędź, co utrudnia precyzyjne umieszczanie elementów na siatce.
Wygładzanie danych śledzenia może w znacznym stopniu przyczynić się do uzyskania bardziej stabilnych chwytów, ale należy je wykonywać z umiarem, ponieważ zbyt duże wygładzanie spowoduje „opóźnienie” w rękach. Aby to zrównoważyć, ręcznie wygładzaj Kubizm jest dynamicznie dostosowywany w zależności od tego, czy Twoja ręka coś trzyma, czy nie.
Spróbuj sam: aby zobaczyć efekt wygładzania dłoni, spróbuj wyłączyć go pod
„Ustawienia> Śledzenie dłoni> Wygładzanie dłoni”.
Zwiększenie wygładzania pozycji dłoni podczas trzymania przedmiotów pomaga uzyskać bardziej stabilny chwyt, ułatwiając nieco precyzyjne umieszczanie na siatce.
Naciskanie przycisków
Zauważyłem jedną rzecz Kubizm oryginalne demo śledzenia dłoni polegało na tym, że większość ludzi próbowała naciskać przyciski, mimo że nie było to obsługiwane w tamtym czasie. Dlatego jednym z moich celów w tej nowej wersji śledzenia rąk było sprawienie, aby przyciski faktycznie można było naciskać.
Przyciski można najechać kursorem, gdy promień z czubka palca wskazującego uderza w zderzacz z tyłu przycisku. Jeśli palec wskazujący przecina się następnie z zderzaczem, rejestrowane jest naciśnięcie. Jeśli indeks przecina zderzacz bez uprzedniego najechania na niego, żadna prasa nie zostanie zarejestrowana. Pomaga to zapobiegać fałszywym trafom, gdy palec przesuwa się od dołu do góry.
Jest jeszcze kilka sprawdzeń, które zapobiegają fałszywym alarmom: funkcja raycast jest wyłączona, gdy palec nie jest skierowany w stronę przycisku lub gdy gracz nie patrzy na swój palec podczas naciskania.
Spróbuj sam: aby zobaczyć tę wizualizację debugowania w grze, przejdź do „Ustawienia> Śledzenie rąk> Debuguj wizualizacje” i włącz „Widżety interakcji”.
Wizualizacja debugowania: raycast z końcówki indeksu sprawdza, czy palec znajduje się nad przyciskiem. Aby zapobiec fałszywym trafom, interakcja jest wyłączona, gdy palec nie jest skierowany w stronę przycisku lub gdy gracz nie patrzy na swój palec.
Przewodnie interakcje
Jednym z głównych wyzwań związanych z budowaniem jakiejkolwiek interakcji w celu śledzenia ręki jest to, że w przeciwieństwie do przycisków na kontrolerze, które są naciskane lub nie, istnieje wiele różnych sposobów, w jakie ludzie mogą próbować podejść do interakcji rękami, oczekując tego samego wyniku. .
Testowanie z udziałem różnych osób może pomóc ci dowiedzieć się, jak ludzie podchodzą do przedstawionych im interakcji, i może pomóc w udoskonaleniu wskazówek dotyczących interakcji, które prowadzą ich do oczekiwanych gestów. Playtesting może również pomóc Ci poznać niektóre z wartości odstających, które możesz chcieć wyłapać, dodając pewną nadmiarowość interakcji.
Wskazówki dotyczące interakcji
Podczas chwytania figury jest kilka wskazówek. Kiedy użytkownik po raz pierwszy unosi się nad kawałkiem, jego wskaźnik i kciuk przyjmują kolor tego elementu, zarówno po to, aby wskazać, że można go chwycić, jak i aby zasygnalizować, które palce mogą go chwycić (inspirowane wcześniejszą pracą: Łukasz Mefisto, Barrett Fox i Martin Schubert). Kawałek jest również podświetlony, aby wskazać, że można go chwycić.
Kilka wskazówek również wskazuje, kiedy chwytanie się powiedzie: opuszki palców stają się solidne, podświetlenia na utworze migają i odtwarzana jest krótka wskazówka dźwiękowa.
Różne wskazówki zarówno na dłoni, jak i przewodniku po kawałku układanki, potwierdzające interakcję chwytania.
Przyciski mają kilka wskazówek, które pomagają wskazać, że można je nacisnąć. Podobnie jak w przypadku puzzli, czubek palca wskazującego jest podświetlony na biało po najechaniu na przycisk, wskazując, który palec może wchodzić w interakcję. Podobnie jak w przypadku kontrolerów, przyciski wysuwają się na zewnątrz po najechaniu kursorem, ale tym razem rozszerzony przycisk może być faktycznie wciśnięty: po dotknięciu indeksu podąża za palcem, aż zostanie całkowicie wciśnięty, w którym to momencie sygnał dźwiękowy potwierdza kliknięcie.
Subtelny cień na powierzchni przycisku wskazuje położenie i odległość wskaźnika od przycisku i pomaga kierować interakcją z prasą.
Różne wskazówki dotyczące interakcji z przyciskami: przyciski wysuwają się na zewnątrz, gdy są najechane, czubek palca wskazującego jest podświetlony, cień pokazuje, gdzie końcówka będzie wchodzić w interakcję, a przycisk podąża za palcem po naciśnięciu.
Nadmiarowość interakcji
Ponieważ niektórzy ludzie mogą podchodzić do niektórych interakcji w niezamierzony sposób, dobrze jest spróbować wyjaśnić to tam, gdzie to możliwe, dodając trochę nadmiarowości do sposobów, w jakie ludzie mogą używać rąk do interakcji. Wskazówki dotyczące interakcji mogą nadal prowadzić ich do zamierzonej interakcji, ale nadmiarowość może pomóc uniknąć niepotrzebnego blokowania.
Jeśli chodzi o chwytanie elementów, kilku testerów próbowało chwytać elementy najpierw pięścią, zamiast używać koniuszków palców. Dzięki temu, że zderzacze obejmują cały palec, a nie tylko czubek palca, przyzwoita liczba tych pierwszych chwytów nadal będzie zarejestrowana.
Powinienem zauważyć, że to podejście nadal wymaga pewnych ulepszeń, ponieważ wprowadza również pewne problemy powodujące niezamierzone chwytanie w przypadkach, gdy wokół obszaru gry unosi się wiele elementów. Lepszym podejściem w przyszłości może być również sprawdzenie całkowitego obrotu palca, aby zamiast tego uwzględnić chwytanie pięścią.
Chociaż chwytanie jest zaprojektowane wokół koniuszków palców, zderzaki na palcu wskazującym i kciuku pokrywają cały palec, pomagając złapać różne formy chwytania.
W przypadku guzików było kilku testerów, którzy próbowali je szczypać, zamiast naciskać. Po części wydawało się, że miało to miejsce, gdy wcześniej nauczyli się szczypać przyciski na ekranie głównym Oculus, tuż przed uruchomieniem gry.
Z tego powodu przyciski można również klikać, ściskając je po najechaniu kursorem i miejmy nadzieję, że wskazówki, takie jak podświetlony indeks i cień, ostatecznie poprowadzą ich do naciśnięcia przycisków.
Ściśnięcie podczas najeżdżania na przyciski również jest rejestrowane jako kliknięcie.
Pierwszy przycisk, który gracze napotykają podczas używania rąk, również wyraźnie mówi „Naciśnij, aby rozpocząć”, aby pomóc ludziom przejść od szczypania do pchania po wyjściu z menu głównego Oculus.
Ograniczenia w nauczaniu
Chociaż jakość śledzenia rąk w Quest poprawiła się w ciągu ostatniego roku, nadal ma swoje ograniczenia - a świadomość gracza o tych ograniczeniach może mieć duży wpływ na to, jak dobrze postrzegają swoje wrażenia.
Kubizm wprowadza kilka sposobów na nauczenie graczy obecnych ograniczeń śledzenia rąk w Quest.
Kiedy gracz po raz pierwszy przełącza się na śledzenie rozdań (podczas startu lub w trakcie gry), modal informuje go o niektórych najlepszych praktykach, takich jak gra w dobrze oświetlonej przestrzeni i unikanie skrzyżowania rąk.
Kiedy użytkownik przełącza się na śledzenie ręki, modal informuje go o ograniczeniach i najlepszych praktykach. Instrukcja „Push to Start” pomaga nauczyć nowych użytkowników, że w tej grze przyciski można w naturalny sposób naciskać.
Ważne jest, aby przyznać, że większość ludzi może natychmiast odrzucić takie modały lub szybko zapomnieć o ich wytycznych, więc ważne jest również sygnalizowanie, dlaczego coś może pójść źle podczas doświadczenia.
In Kubizm, wskazówki zmienią kolor na czerwony, sygnalizując utratę śledzenia. W niektórych playtestach ludzie trzymali jedną rękę na kolanach i bawili się drugą i byli zdziwieni, dlaczego ich ręka na kolanach wydaje się zamrożona. Aby pomóc w informowaniu o takich przypadkach, na dłoni wyświetlany jest komunikat, który jasno określa, dlaczego ręka jest zamrożona, jeśli śledzenie strat nie ustąpi. Jeśli śledzenie zostanie utracone, ponieważ gracz skrzyżuje ręce, komunikat zmieni się, aby poinformować go, aby tego nie robili.
Lewy: wskazówki zmieniają kolor na czerwony, gdy namierzenie zostało po raz pierwszy utracone. Środkowy: gdy śledzenie strat nie ustąpi, komunikat informuje gracza o tym, co się dzieje. Po prawej: jest to również wskazane, jeśli utrata śledzenia z powodu niedrożności dłoni
W przypadku bardziej doświadczonych graczy lub graczy, którzy wolą grać jedną ręką, tę funkcję można zastąpić w ustawieniach, powodując zanikanie rąk, gdy tracą śledzenie, bardziej przypominając zachowanie w menu głównym Oculus.
Czerwone wskazówki i komunikaty ostrzegawcze można zastąpić w ustawieniach zanikającymi wskazówkami.
Przyszłej pracy
Śledzenie rąk w Quest nadal ma swoje ograniczenia i chociaż Kubizm wsparcie dla niego jest już w drugiej wersji, wciąż jest dużo miejsca na ulepszenia.
Niezależnie od tego jestem podekscytowany rozpoczęciem odkrywania i wspierania tych nowych metod wprowadzania danych. Myślę, że na krótką metę mogą one pomóc uczynić takie doświadczenia bardziej dostępnymi i łatwiejszymi do udostępnienia nowym użytkownikom VR.
Materiał nagrany w rzeczywistości mieszanej zarejestrowany na iPhonie za pomocą aplikacji Reality Mixer Fabio Dela Antonio daje wyobrażenie o tym, jak w przyszłości będzie można grać w kubizm na zestawie słuchawkowym AR.
Wydaje się, że w dłuższej perspektywie istnieje duża szansa, że śledzenie rąk będzie podstawą dla przyszłych samodzielnych urządzeń AR, więc mam nadzieję, że ta aktualizacja może być pierwszym małym krokiem w kierunku wersji AR Kubizm.
Jeśli podobało Ci się to spojrzenie na projekt śledzenia dłoni w kubizmie, koniecznie sprawdź Poprzedni artykuł Thomasa, który omawia projekt szerszej gry.
Post Studium przypadku: projekt kryjący się za śledzeniem dłoni „kubizmu” pojawiła się najpierw na Droga do rzeczywistości wirtualnej.
- '
- "
- &
- 2019
- O nas
- bezwzględny
- Konto
- Dodatkowy
- już
- Chociaż
- ilość
- Inne
- Aplikacja
- podejście
- AR
- architektura
- POWIERZCHNIA
- na około
- artykuł
- audio
- dostępny
- świadomość
- tło
- stają się
- BEST
- Najlepsze praktyki
- Bit
- Bruksela
- budować
- Budowanie
- Buduje
- studium przypadku
- Etui
- zapasy
- wyzwania
- kontrola
- Wykrywanie urządzeń szpiegujących
- Okrągłe
- bliższy
- przyjście
- pewność siebie
- kontroler
- Aktualny
- dane
- Wnętrze
- Deweloper
- deweloperzy
- oprogramowania
- urządzenia
- ZROBIŁ
- różne
- dystans
- na dół
- Spadek
- Wcześnie
- krawędź
- Inżynierowie
- Enterprise
- oprogramowanie firmowe
- przykład
- Z wyjątkiem
- rozszerza się
- spodziewany
- doświadczenie
- Doświadczenia
- rozciągać się
- okładzina
- blaknąć
- Cecha
- informacja zwrotna
- Postać
- i terminów, a
- Migać
- Skazy
- formularze
- pełny
- przyszłość
- gra
- Games
- Ogólne
- miejsce
- Gole
- będzie
- dobry
- chwycić
- Zielony
- Krata
- Gość
- poprowadzi
- wytyczne
- Zaoszczędzić
- mający
- pomoc
- pomaga
- Wysoki
- Podświetlony
- Strona główna
- W jaki sposób
- How To
- HTTPS
- pomysł
- Rezultat
- realizacja
- ważny
- wzrosła
- wskaźnik
- inspirowane
- Zamiar
- zamiar
- wzajemne oddziaływanie
- iPhone
- problem
- problemy
- IT
- samo
- uruchomić
- wodowanie
- UCZYĆ SIĘ
- dowiedziałem
- Doprowadziło
- Lessons Learned
- zamknięty
- długo
- poszukuje
- WYKONUJE
- Dokonywanie
- jeszcze
- większość
- ruch
- Naturalny
- Inne
- Ludzie
- fizyczny
- kawałek
- Grać
- gracz
- gracze
- Volcano Plenty Vaporizer Storz & Bickel
- możliwy
- naciśnij
- wygląda tak
- produkować
- jakość
- poszukiwanie
- szybko
- Rzeczywistość
- zmniejszyć
- zarejestrowany
- zwolnić
- prasowe
- otrzymuje
- wymagany
- wymagania
- Efekt
- Ekran
- zaprawiony
- zestaw
- Shadow
- Share
- Short
- podobny
- Rozmiar
- mały
- So
- Tworzenie
- coś
- Typ przestrzeni
- swoiście
- standalone
- początek
- rozpocznie
- Stan
- Zjednoczone
- skradziony
- sklep
- Badanie
- udany
- wsparcie
- Utrzymany
- Wspierający
- Powierzchnia
- system
- Nauczanie
- Technologia
- Przez
- czas
- wskazówki
- razem
- Top
- Śledzenie
- Przezroczystość
- Aktualizacja
- posługiwać się
- Użytkownicy
- wyobrażanie sobie
- vr
- czekać
- Co
- Co to jest
- czy
- KIM
- w ciągu
- bez
- Praca
- działa
- rok
- youtube