Badanie interakcji interfejsu użytkownika XR w „Idea Engine”

Opublikowane ponownie przez Plato

Obserwuje: 0

Silnik Pomysłów pozwala tworzyć i udostępniać doświadczenia VR i rzeczywistości mieszanej. Zbudowanie takiego narzędzia ogólnego przeznaczenia wymaga skomplikowanych interfejsów użytkownika. W tym artykule gościnnym programista Brett Jackson dzieli się swoim podejściem do interakcji z interfejsem użytkownika.

Artykuł gościnny autorstwa Bretta Jacksona

Brett Jackson rozwija projekty VR od 2015 roku i jest dyrektorem nowej brytyjskiej firmy X82 spółka z ograniczoną odpowiedzialnością. Jego poprzednie produkcje to: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR i mobilna VR) oraz 120 Hz (SideQuest).

W XR często przedstawia się interfejs użytkownika za pomocą interaktywnych paneli 2D. Nie jest to ekscytująca perspektywa, ale jest znajoma i skuteczna. Jednak nawet jeśli zaakceptujemy tę ingerencję 2D w nasze światy XR, wciąż istnieją nowe rozważania i możliwości uwolnienia się od paradygmatów 2D.

Szybko znudziły mi się wskaźniki laserowe, które wyolbrzymiały ruch mojej ręki na odległych panelach, a także ich niespójne wektory celu i sporadyczne wykrywanie uszczypnięć. Moją pasją jest kontakt ze światem i kontakt z nim. Chcę, aby panel znajdował się tuż przede mną, aby móc go wygodnie ustawić i używać go jak prawdziwego urządzenia.

Mój najnowszy projekt, Silnik Pomysłów, jest rozwijany przy użyciu Zestaw stereo, biblioteka OpenXR o otwartym kodzie źródłowym. Kieruje się filozofią „najpierw ręce” i zapewnia gotową obsługę śledzenia dłoni, a także obsługę kontrolera. Pozwala na sprawne tworzenie dynamicznych okien z typowymi kontrolkami UI. Jest to doskonałe narzędzie do szybkiego tworzenia projektów XR i ma wiele innych zalet.

Panele

Dlatego moim punktem wyjścia jest panel interfejsu użytkownika, który możemy chwycić w dowolnym miejscu (bez specjalnych uchwytów i krawędzi do znalezienia) z ładną aurą wyświetlaną, gdy jesteśmy w zasięgu chwytu. Dodajmy teraz więcej uwag dotyczących XR.

W XR użytkownik może łatwo znaleźć się za panelem interfejsu użytkownika. Zamiast pokazywać pusty tył lub odwrócony interfejs użytkownika, odwracam go w stronę, na którą patrzy użytkownik – proste. Brzmi banalnie, ale warto rozważyć konkretne scenariusze XR. Innym podejściem jest automatyczne obracanie panelu tak, aby był stale skierowany w stronę gracza, ale to pozbawia użytkownika kontroli. Jeśli chcą panel pod dziwnym kątem, niech im, mogą mieć dobry powód.

Pojedynczy panel powinien mieć niewielki rozmiar (rozmiar strony/rozmiar monitora), aby użytkownik mógł łatwo chłonąć zawartość bez konieczności odwracania głowy, ale XR zapewnia nam mnóstwo miejsca. Lubię szukać okazji do przełamania granic strony. Moje przewijane obszary mają uchwyt do chwytania i przenoszenia zawartości. Po chwyceniu zobaczysz znacznie rozszerzony widok obszaru zawartości, a w tym trybie możesz przeciągać i upuszczać, zapewniając większy zakres umieszczenia.

Wskazówki pokazuję z boku paneli, z linią do komponentu interfejsu użytkownika, który opisują. Zmniejsza to ilość tekstu na panelu. Użytkownicy mogą przeglądać wskazówki i ukrywać te, które znają.

W innym projekcie stworzyłem prototyp trójwymiarowego wykresu Gantta, który przewijał stronę w poziomie i znikał w oddali. Użytkownik skupiał się głównie na panelu centralnym normalnej wielkości, ale opcjonalnie mógł spojrzeć na niego w szerszym kontekście.

Chociaż panele są wygodne i znajome, nie powinniśmy czuć się ograniczeni ich granicami i fajnie jest szukać sposobów na przełamanie.

dietetyczne

StereoKit zapoznał mnie z menu wskazówek promieniowych, które następnie rozwinąłem. Podoba mi się ten pomysł, bo obsługuje się go jedną ręką, więc jest wygodny i dostępny. Udostępniam ten sam system menu zarówno dla prawej, jak i lewej ręki i stosuję to samo podejście do wyskakujących menu na panelach, aby zachować spójność.

Moje menu wolumetryczne idzie o krok dalej i wynikało wyłącznie z chęci wykorzystania tego trzeciego wymiaru. Używam go do wybierania miejsc docelowych teleportacji (ze wskaźnikiem do każdego miejsca docelowego) i wybierania pobliskich węzłów do edycji. Używam go również do wprowadzania danych z klawiatury podczas przeglądania adresów Metaverse. To jest dość eksperymentalne. Ma tę zaletę, że wszystkie symbole znajdują się w równej odległości od środka, a wprowadzane informacje można zobaczyć bez konieczności odwracania wzroku (częsty problem w przypadku klawiatur wirtualnych). Wadą jest to, że jest nieznany użytkownikom, więc spodziewam się pewnego oporu. Zwróć uwagę na film, że litery poruszają się spiralnie od przodu do tyłu w kolejności alfabetycznej, więc po chwili ich położenie powinno być znajome.

Wkrótce będziesz mógł dodawać takie menu do własnych projektów Idea Engine.

Widżety 3D

Próbnik kolorów stanowił idealną okazję do eksperymentowania, mając trzy wartości (odcień, nasycenie i wartość), które można było odwzorować na 3 wymiary. W moim selektorze kolorów 3D możesz zmienić wszystkie trzy wartości na raz lub indywidualnie ustawić odcień, nasycenie lub wartość. Uważam, że interakcja z suwakami na stronie 2D jest ciekawsza niż z suwakami.

Podobnie jest z lokomocją – chcę poruszać się w 3D, więc stworzyłem joystick 3D, który umożliwia płynne poruszanie się ręcznie. Po prostu przeciągnij kulę w kierunku, w którym chcesz się poruszać, i obróć nadgarstek, aby uzyskać szybki lub płynny obrót. Działa w trybie chodzenia lub latania, a obrót można wyłączyć, jeśli użytkownik uzna, że jest za dużo myślenia o wszystkim w jednym sterowaniu. Nadal wspieram tradycyjny ruch oparty na kontrolerze, ale to sterowanie jedną ręką powiela funkcjonalność wielu joysticków/przycisków i stanowi ciekawy przykład tego, jak ruch ręki 3D może spełniać wymagania w nowy sposób.

siła robocza

We wszystkich moich przykładowych filmach zobaczysz, że chowam rękę użytkownika, gdy tylko zacznie on wchodzić w interakcję z interfejsem użytkownika. Wielu programistów wkłada wysiłek w staranne tworzenie pozycji chwytania do różnych celów i wygląda to nieźle, ale dla mnie dobrze ułożona ręka, która nie odzwierciedla pozycji mojej własnej ręki, bardziej rozprasza niż brak ręki. Ręka może również stanowić przeszkodę wizualną po rozpoczęciu interakcji.

Po usunięciu ręki mogę również tłumić lub wyolbrzymiać ruchy dłoni bez żadnego wizualnego konfliktu. Tłumię ruchy dłoni w próbniku kolorów, aby zmniejszyć czułość i wyolbrzymić ruchy dłoni podczas przewijania, gdy jest dużo treści.

Tekst

Choć Idea Engine obsługuje Sketchfab do pobierania modeli 3D, sztuczną inteligencję do generowania obrazów oraz importowania zdjęć i plików audio, trudno przebić łatwość i dostępność tekstu oraz słowa mówionego w celu przekazywania złożonych narracji. Mając to na uwadze, potrzebowałem przyzwoitej obsługi tekstu, aby użytkownicy mogli łączyć wszystkie dostępne formaty i opowiadać swoje historie.

Tekst zazwyczaj nie wygląda dobrze w rzeczywistości wirtualnej, więc wyciszam go, gdy odchodzisz, aby usunąć nieestetyczne artefakty i zamknąć panele tekstowe. Użytkownicy będą chcieli eksplorować środowisko, a nie czytać tekst, dlatego mam opcję, aby narrator automatycznie czytał każdy napotkany tekst blokowy.

Wprowadzanie tekstu było wyzwaniem bez świetnego rozwiązania. Stworzyłem sposób wprowadzania tekstu w stylu mobilnym z obsługą wycinania i wklejania oraz automatyczną paginacją za pomocą wirtualnej klawiatury. Kiedy skończyłem, pomyślałem: OK, ale nie chciałbym wpisywać długiego fragmentu w XR. Następnie dodałem obsługę zamiany głosu na tekst. To pomogło, ale odkryłem, że po dyktowaniu muszę dużo edytować, a to i tak jest wolniejsze niż przy użyciu tradycyjnych środków. Teraz pozwalam użytkownikom łączyć się z zestawami słuchawkowymi za pośrednictwem przeglądarki na dowolnym posiadanym urządzeniu i importować tekst za pośrednictwem strony internetowej. Regularnie korzystam ze wszystkich trzech technik, a przeglądarka służy do wpisywania długich tekstów.

Moja lekcja była taka, że nie zawsze trzeba rozwiązywać wszystko w XR. Czasami lepiej jest użyć bardziej odpowiednich urządzeń, a następnie zaimportować wyniki.

Wypróbuj to

Od edukacyjnych map myśli po interaktywne historie i gry — możesz wykorzystywać zasoby CC i importować własne zdjęcia, dźwięki i tekst, aby zbudować swój pomysł. Następnie ożywij go, dodając stany, zdarzenia i skrypty wysokiego poziomu, a następnie udostępnij je w naszym metawersie X82. Bogate w funkcje narzędzie dla użytkownika końcowego umożliwiające odkrywanie możliwości XR.