Explorarea interacțiunilor interfeței utilizator XR în „Idea Engine”

Motor de idei vă permite să creați și să partajați experiențe VR și realitate mixtă. Construirea unui astfel de instrument de uz general necesită interfețe de utilizator complexe. În acest articol pentru invitați, dezvoltatorul Brett Jackson își împărtășește abordările cu privire la interacțiunea cu UI.

Articol invitat de Brett Jackson

Brett Jackson dezvoltă proiecte VR din 2015 și este directorul noii companii din Marea Britanie X82 Ltd. Lansările sale anterioare includ: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR și mobil VR) și 120Hz (SideQuest).

Este obișnuit să prezentați o interfață de utilizare prin panouri interactive 2D în XR. Nu este o perspectivă interesantă, dar este familiară și eficientă. Cu toate acestea, chiar dacă acceptăm această intruziune 2D în lumile noastre XR, există încă noi considerente și oportunități de a ne elibera de paradigmele 2D.

M-am săturat rapid de indicatoarele laser care exagerau mișcarea mâinii pe panourile îndepărtate, împreună cu vectorii lor țintă inconsecvenți și detectarea intermitentă a ciupirii. Preferința mea este să ajung și să interacționez cu lumea. Vreau panoul chiar în fața mea, astfel încât să îl pot poziționa confortabil și să-l pot folosi ca pe un dispozitiv din lumea reală.

Cel mai recent proiect al meu, Motor de idei, este dezvoltat folosind StereoKit, o bibliotecă open-source, OpenXR. Are o filozofie a mâinii în primul rând și oferă asistență de urmărire a mâinilor de pe piață, precum și suport pentru controler. Permite crearea eficientă a ferestrelor dinamice cu controale tipice ale UI. Este un instrument excelent pentru a crea rapid proiecte XR și are multe alte beneficii.

Panouri

Deci punctul meu de plecare este un panou UI pe care îl putem apuca în orice moment (fără mânere sau margini speciale de găsit) cu o aură plăcută afișată atunci când ne aflăm în raza de apucare. Acum, să adăugăm mai multe considerații XR.

În XR, este ușor pentru un utilizator să ajungă în spatele unui panou UI. În loc să arăt o interfață de utilizare goală sau inversată, întorc interfața de utilizare în partea la care se uită utilizatorul - simplu. Sună banal, dar merită să luați în considerare scenariile specifice XR. O altă abordare este rotirea automată a panoului pentru a fi în mod constant în fața jucătorului, dar acest lucru elimină controlul utilizatorului. Dacă vor panoul într-un unghi ciudat, lăsați-i, s-ar putea să aibă un motiv întemeiat.

Un panou individual ar trebui să fie păstrat la o dimensiune mică (dimensiunea paginii/dimensiunea monitorului), astfel încât utilizatorul să poată absorbi cu ușurință conținutul fără a fi nevoit să întoarcă capul, dar XR ne oferă spațiu din belșug. Îmi place să caut oportunități de a ieși din limitele paginii. Zonele mele care pot fi derulate au un mâner pentru a apuca și a muta conținutul. În timp ce prindeți, vedeți o vizualizare foarte extinsă a zonei de conținut și puteți glisa și plasa în acest mod, oferind o gamă de plasare mai mare.

Arăt sfaturi pe partea laterală a panourilor, cu o linie către componenta UI pe care o descriu. Acest lucru reduce cantitatea de text de pe panou. Utilizatorii pot parcurge sfaturile și le pot ascunde pe cele cu care sunt familiarizați.

Într-un alt proiect, am creat prototipul unei diagrame Gantt 3D care a defilat orizontal din pagină și s-a estompat în depărtare. Accentul principal al utilizatorului a fost încă pe panoul central de dimensiuni normale, dar au putut opțional să ia în context mai larg.

Deși panourile sunt convenabile și familiare, nu ar trebui să ne simțim constrânși de limitele lor și este distractiv să căutăm modalități de a ieși.

Meniuri

StereoKit m-a introdus în meniul manual radial, pe care l-am extins apoi. Îmi place această idee pentru că o operezi cu o singură mână, deci este convenabilă, accesibilă. Fac același sistem de meniu disponibil atât pe mâna dreaptă, cât și pe cea stângă și folosesc aceeași abordare pentru meniurile pop-up de pe panouri pentru consecvență.

Meniul meu volumetric duce lucrurile cu un pas mai departe și a fost condus doar de dorința de a folosi acea a treia dimensiune. Îl folosesc pentru a selecta destinații de teleportare (cu un indicator către fiecare destinație) și pentru a selecta nodurile din apropiere de editat. Îl folosesc și pentru introducerea de la tastatură atunci când răsfoiesc adresele metaverse. Acest lucru este destul de experimental. Are avantajul că toate simbolurile sunt echidistante de centru și vă vedeți intrarea fără a fi nevoie să priviți în altă parte (o problemă comună cu tastaturile virtuale). Dezavantajul este că nu este familiar pentru utilizatori, așa că mă aștept la o oarecare rezistență la el. Observați în videoclip, literele se îndepărtează din față în spate în ordine alfabetică, așa că în scurt timp, poziția lor ar trebui să devină familiară.

În curând, veți putea adăuga meniuri ca acestea la propriile proiecte Idea Engine.

Widgeturi 3D

Un selector de culori a oferit o oportunitate ideală de a experimenta, având trei valori (nuanță, saturație și valoare) care puteau fi mapate la 3 dimensiuni. În selectorul meu de culori 3D, puteți modifica toate cele trei valori simultan sau puteți seta individual nuanța, saturația sau valoarea. Consider că este mai interesant să interacționezi decât cu glisoarele dintr-o pagină 2D.

În mod similar cu locomoția, vreau să mă mișc în 3D, așa că am creat un joystick 3D pentru o mișcare ușoară urmărită manual. Pur și simplu trageți sfera în direcția în care doriți să călătoriți și rotiți încheietura mâinii pentru o rotire rapidă sau lină. Funcționează în modul mers pe jos sau zbor, iar rotația poate fi dezactivată dacă utilizatorului consideră că este prea mult să se gândească la toate într-un singur control. Susțin în continuare mișcarea tradițională bazată pe controler, dar acest control cu ​​o singură mână dublează funcționalitatea mai multor joystick-uri / butoane și este un exemplu interesant al modului în care mișcarea mâinii 3D poate îndeplini cerințele în moduri noi.

mâini

În toate videoclipurile mele de exemplu, veți vedea că ascund mâna utilizatorului de îndată ce acesta începe să interacționeze cu interfața de utilizare. Mulți dezvoltatori investesc eforturi pentru a crea cu atenție poziții de captare în diferite scopuri, iar asta arată bine, dar pentru mine, o mână bine poziționată care nu reflectă propria mea poziția mâinii este mai distragătoare decât nici o mână. O mână poate fi, de asemenea, o obstrucție vizuală odată ce interacțiunea a început.

Cu mâna plecată, sunt, de asemenea, liber să atenuez sau să exagerez mișcarea mâinii fără niciun conflict vizual. Am atenuat mișcarea mâinii în selectorul de culori pentru a reduce sensibilitatea și pentru a exagera mișcarea mâinii atunci când derulez când există mult conținut.

Text

În timp ce Idea Engine acceptă Sketchfab pentru a descărca modele 3D, AI pentru a genera imagini și importul foto/audio, este greu să depășiți ușurința și accesibilitatea textului și a cuvântului rostit pentru a transmite narațiuni complexe. Având în vedere acest lucru, aveam nevoie de suport decent pentru text, astfel încât utilizatorii să poată îmbina toate formatele disponibile pentru a-și spune poveștile.

Textul, în general, nu arată grozav în VR, așa că îl estompez pe măsură ce pleci pentru a elimina artefactele inestetice și pentru a închide și panourile de text. Utilizatorii vor fi dornici să exploreze mediul mai degrabă decât să citească text, așa că am opțiunea ca un narator să citească automat orice text bloc pe care îl întâlnești.

Introducerea textului a fost o provocare fără o soluție excelentă. Am creat introducerea textului în stil mobil cu suport pentru tăiere și lipire și paginare automată folosind o tastatură virtuală. Când am terminat, m-am gândit că este în regulă, dar nu aș vrea să scriu un pasaj lung în XR. Apoi am adăugat suport voce-text. Asta a ajutat, dar am constatat că trebuie să fac multă editare după dictarea mea și că a fost încă mai lent decât folosirea mijloacelor tradiționale. Acum le permit utilizatorilor să se conecteze la căștile lor dintr-un browser pe orice dispozitive pe care le dețin și să importe text printr-o pagină web. Folosesc în mod regulat toate cele trei tehnici, browserul fiind folosit pentru introducerea textului lung.

Lecția mea aici a fost că nu trebuie întotdeauna să rezolvi totul în XR. Uneori este de preferat să folosiți dispozitive mai potrivite și apoi să importați rezultatele.

Încearcă

De la hărți mentale educaționale, până la povești și jocuri interactive, puteți utiliza elementele CC și puteți importa propriile fotografii, sunete și text pentru a vă construi ideea. Apoi, aduceți-l la viață adăugând stări, evenimente și scripturi de nivel înalt și partajați-l pe metaversul nostru X82. Un instrument plin de funcții pentru utilizatorul final pentru a explora posibilitățile XR.

public alpha este acum disponibil și gratuit pentru descărcare din App Lab, astfel încât să puteți veni și să încercați oricare dintre funcțiile discutate și să-mi oferiți feedback-ul dvs.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/