Ekskluzywne: projektowanie skrótów jednoręcznych dla VR i AR

Aby nowe technologie komputerowe mogły w pełni wykorzystać swój potencjał, potrzebują nowych interfejsów użytkownika. Najbardziej istotne interakcje w przestrzeniach wirtualnych opierają się na bezpośrednich fizycznych manipulacjach, takich jak szczypanie i chwytanie, ponieważ są one powszechnie dostępne. Jednak zespół Leap Motion zbadał również bardziej egzotyczne i ekscytujące paradygmaty interfejsu, od HUDów ramion i cyfrowych urządzeń do noszenia, po rozmieszczane widżety zawierające przyciski, suwaki, a nawet trackballe 3D i selektory kolorów.

Artykuł gościnny autorstwa Barretta Foxa i Martina Schuberta

Barrett jest głównym inżynierem interaktywnym VR w Leap Motion. Dzięki połączeniu prototypowania, narzędzi i tworzenia przepływu pracy z pętlą sprzężenia zwrotnego kierowanego przez użytkowników, Barrett naciska, szturcha, rzuca się i szturcha granice interakcji z komputerem.

Martin jest głównym projektantem wirtualnej rzeczywistości i ewangelistą Leap Motion. Stworzył wiele doświadczeń, takich jak Weightless, Geometric i Mirrors, a obecnie bada, jak sprawić, by wirtualny był bardziej namacalny.

Barrett i Martin należą do elity Leap Motion zespół prezentujący merytoryczną pracę w VR / AR UX w innowacyjny i angażujący sposób.

Gdy przechodzimy od zwykłych aplikacji VR do głębszych i dłuższych sesji, priorytety projektowe w naturalny sposób przesuwają się w kierunku produktywności i ergonomii. Jednym z najbardziej krytycznych obszarów projektowania interakcji, który pojawia się, jest przełączanie trybów i skróty.

Dziś używamy skrótów klawiaturowych tak często, że trudno sobie wyobrazić bez nich korzystanie z komputera. Ctrl + Z, Ctrl + C i Ctrl + V to podstawa wydajności wprowadzania danych za pomocą klawiatury i myszy. Większość z was czytających to zobowiązała się do pamięci mięśniowej.

W rzeczywistości wirtualnej widzieliśmy, że wejścia kontrolerów stosunkowo łatwo przyjmują ten paradygmat skrótu, przypisując polecenia do przycisków, wyzwalaczy, gładzików i drążków analogowych. Aby zwiększyć lub zmniejszyć rozmiar pędzla w Plandeka Brush przesuwasz palcem w prawo lub w lewo po gładziku dłoni pędzla.

Ale co się dzieje, gdy myślimy o szybkich wyborach jedną ręką do wprowadzania gołymi rękami? Wymaga to innego sposobu myślenia, ponieważ nie mamy przycisków ani innych mechanicznych elementów, na których można by się oprzeć. W naszej poprzedniej pracy mapowaliśmy tego rodzaju polecenia na interfejsy użytkownika w przestrzeni świata (np. Panele sterowania) lub interfejsy do noszenia, które używają paradygmatu palety, gdzie jedna ręka działa jako zbiór opcji, a druga działa jako selektor .

Ale gdybyśmy mogli zmienić tryb lub zmodyfikować aktualnie aktywne narzędzie jedną ręką zamiast dwóch, dostrzeglibyśmy wzrost szybkości, ostrości i komfortu, które sumowałyby się w czasie. Moglibyśmy nawet zaprojektować ucieleśniony i przestrzenny system skrótów bez konieczności patrzenia na nasze ręce, uwalniając wzrok i zwiększając produktywność.

Bezpośrednia manipulacja a abstrakcyjne gesty

Jednym ze sposobów aktywacji skrótu jedną ręką byłoby zdefiniowanie abstrakcyjnego gestu jako wyzwalacza. Zasadniczo byłaby to pozycja ręki lub ruch ręki w czasie. Jest to wyjątek od ogólnej zasady w Leap Motion, w której zazwyczaj preferujemy bezpośrednią fizyczną manipulację wirtualnymi obiektami jako paradygmat interakcji zamiast używania abstrakcyjnych gestów. Dzieje się tak z kilku powodów:

• Abstrakcyjne gesty są często niejednoznaczne. Jak zdefiniujemy abstrakcyjny gest, taki jak „przesuń palcem w górę” w trójwymiarowej przestrzeni? Kiedy i gdzie zaczyna się lub kończy przesunięcie? Jak szybko należy to zakończyć? Ile palców musi być zaangażowanych?
• Mniej abstrakcyjne interakcje zmniejszają krzywą uczenia się dla użytkowników. Każdy może wykorzystać doświadczenie życiowe, bezpośrednio manipulując obiektami fizycznymi w prawdziwym świecie. Próba nauczenia użytkownika określonych ruchów, aby mógł niezawodnie wykonywać polecenia, jest poważnym wyzwaniem.
• Skróty muszą być szybko i łatwo dostępne, ale trudne do przypadkowego uruchomienia. Te cele projektowe wydają się sprzeczne! Łatwość dostępu oznacza poszerzenie zakresu prawidłowych pozycji / ruchów, ale to sprawia, że ​​częściej uruchamiamy skrót w sposób niezamierzony.

Aby wyjść poza ten problem, zdecydowaliśmy, że zamiast używać jednego gestu do uruchamiania skrótu, podzielimy akcję na dwa kolejne etapy.

Pierwsza brama: Palm Up

Nasza filozofia projektowania interakcji zawsze opiera się na istniejących konwencjach i metaforach. Jednym z głównych precedensów, który ustanowiliśmy z biegiem czasu w naszych eksploracjach cyfrowych urządzeń do noszenia, jest to, że ręczne menu są uruchamiane przez obrócenie dłoni w stronę użytkownika.

Działa to dobrze w segmentowaniu interakcji na podstawie kierunku, w którym zwrócone są twoje dłonie. Dłonie odwrócone od siebie i skierowane w stronę reszty sceny oznaczają interakcję ze światem zewnętrznym. Dłonie zwrócone ku sobie oznaczają interakcje w polu bliskim z wewnętrznymi interfejsami użytkownika. Kierunek dłoni wydawał się odpowiednim pierwszym warunkiem, działającym jako brama między normalnym ruchem ręki a zamiarem użytkownika do aktywowania skrótu.

Druga brama: szczypta

Teraz, gdy Twoja dłoń jest skierowana w Twoją stronę, szukaliśmy drugiej czynności, która byłaby łatwa do uruchomienia, dobrze zdefiniowana i celowa. Szczypta sprawdza wszystkie te pola:

• To nie wymaga wysiłku. Po prostu rusz palcem wskazującym i kciukiem!
• Jest dobrze zdefiniowany. Otrzymujesz auto-haptyczne sprzężenie zwrotne, gdy twoje palce dotykają, a działanie może być zdefiniowane i reprezentowane przez system śledzenia jako osiągnięcie minimalnej odległości między śledzonym palcem wskazującym i kciukiem.
• To celowe. Nie jest prawdopodobne, abyś roztargniony uszczypnął palce dłonią do góry.

Wykonanie obu tych czynności, jednej po drugiej, jest szybkie i łatwe, ale trudne do wykonania w niezamierzony sposób. Ta sekwencja wydawała się solidną podstawą do samodzielnej eksploracji skrótów. Następnym wyzwaniem było to, jak stać nas na ten ruch, czyli innymi słowy, skąd ktoś będzie wiedział, że właśnie to musi zrobić.

Myśląc o zaletach bezpośredniej manipulacji w porównaniu z abstrakcyjnymi gestami, zastanawialiśmy się, czy moglibyśmy połączyć te dwa paradygmaty. Czy używając wirtualnego obiektu do prowadzenia użytkownika przez interakcję, możemy sprawić, że poczuje się, jakby bezpośrednio czymś manipulował, podczas gdy w rzeczywistości wykonywał akcję bliższą abstrakcyjnemu gestowi?

Powerball

Nasze rozwiązanie polegało na stworzeniu przedmiotu przyczepionego do grzbietu dłoni, który będzie wizualnym wskaźnikiem postępów w interakcji oraz celem uszczypnięcia. Jeśli Twoja dłoń jest zwrócona w bok, przedmiot pozostaje zablokowany na grzbiecie dłoni. Gdy dłoń obraca się w swoją stronę, obiekt ożywia się z dłoni w kierunku przesunięcia transformacji, które jest powyżej, ale nadal względem dłoni.

Gdy Twoja dłoń całkowicie zwróci się w swoją stronę, a obiekt zostanie animowany do swojej pozycji końcowej, uszczypnięcie obiektu - bezpośrednia manipulacja - uruchomi skrót. Nazwaliśmy ten obiekt Powerball. Po kilku eksperymentach sprawiliśmy, że animacja znalazła się w punkcie szczypania (stale aktualizowanej pozycji definiowanej jako punkt środkowy między palcem wskazującym a końcówkami kciuka).

To połączenie afordancji graficznej, pseudo-bezpośredniej manipulacji, ruchu gestów i ucieleśnionej akcji okazało się łatwe do nauczenia i dojrzałe z potencjałem do rozszerzenia. Teraz nadszedł czas, aby przyjrzeć się, jakie rodzaje systemów interfejsów skrótów będą ergonomiczne i niezawodnie śledzone z tej pozycji z zaciśniętymi dłońmi.

Ciąg dalszy na stronie 2: Wybór interfejsu przestrzennego »