Raziskovanje interakcij uporabniškega vmesnika XR v 'Idea Engine'

Ponovno objavil Platon

Spremljevalci: 0

Idejni motor omogoča ustvarjanje in deljenje izkušenj VR in mešane resničnosti. Izdelava takšnega splošnega orodja zahteva zapletene uporabniške vmesnike. V tem gostujočem članku razvijalec Brett Jackson deli svoje pristope k interakciji uporabniškega vmesnika.

Gostujoči članek Bretta Jacksona

Brett Jackson od leta 2015 razvija projekte VR in je direktor novega britanskega podjetja. X82 Ltd. Njegove prejšnje izdaje vključujejo: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & mobile VR) in 120Hz (SideQuest).

Običajno je predstaviti uporabniški vmesnik prek 2D interaktivnih plošč v XR. To ni vznemirljiva možnost, je pa znana in učinkovita. Toda tudi če sprejmemo ta 2D vdor v naše XR svetove, še vedno obstajajo novi premisleki in priložnosti, da se osvobodimo 2D paradigem.

Hitro sem se naveličal laserskih kazalcev, ki so pretiravali z gibanjem moje roke na oddaljenih ploščah, skupaj z njihovimi nedoslednimi ciljnimi vektorji in občasnim zaznavanjem ščipa. Moja prednost je doseči in komunicirati s svetom. Želim, da je plošča tik pred seboj, da jo lahko udobno postavim in uporabljam kot napravo v resničnem svetu.

Moj zadnji projekt, Idejni motor, je razvit z uporabo StereoKit, odprtokodna knjižnica OpenXR. Ima filozofijo roke na prvem mestu in zagotavlja takojšnjo podporo za sledenje rokam ter podporo krmilniku. Omogoča učinkovito ustvarjanje dinamičnih oken s tipičnimi kontrolami uporabniškega vmesnika. Je odlično orodje za hitro ustvarjanje projektov XR in ima številne druge prednosti.

Plošče

Moja izhodiščna točka je torej plošča uporabniškega vmesnika, ki jo lahko zgrabimo na kateri koli točki (brez posebnih ročajev ali robov, ki jih je treba najti) z lepo avro, ki se prikaže, ko smo v dosegu prijemanja. Zdaj pa dodajmo še več premislekov XR.

V XR lahko uporabnik zlahka konča za ploščo uporabniškega vmesnika. Namesto da pokažem prazen zadnji del ali obrnjen uporabniški vmesnik, obrnem uporabniški vmesnik na stran, kamor uporabnik gleda – preprosto. Sliši se trivialno, vendar je vredno razmisliti o posebnih scenarijih XR. Drug pristop je samodejno vrtenje plošče tako, da je nenehno obrnjena proti igralcu, vendar to uporabniku odvzame nadzor. Če hočejo ploščo pod čudnim kotom, naj jim, morda imajo dober razlog.

Posamezna plošča naj bo majhna (velikost strani/velikost monitorja), da lahko uporabnik zlahka absorbira vsebino, ne da bi mu bilo treba obračati glavo, XR pa nam zagotavlja obilico prostora. Rad iščem priložnosti za preboj iz meja strani. Moja območja, po katerih se lahko premikam, imajo ročaj za zajemanje in premikanje vsebine. Med prijemom vidite močno razširjen pogled na področje vsebine in v tem načinu lahko povlečete in spustite, kar zagotavlja večji obseg umestitve.

Namige prikazujem ob strani plošč, s črto do komponente uporabniškega vmesnika, ki jo opisujejo. To zmanjša količino besedila na plošči. Uporabniki lahko krožijo med nasveti in skrijejo tiste, ki jih poznajo.

V drugem projektu sem naredil prototip 3D gantograma, ki se je vodoravno pomaknil s strani in zbledel v daljavo. Uporabnikov glavni poudarek je bil še vedno na osrednji plošči običajne velikosti, vendar so lahko opcijsko pogledali v širši kontekst.

Čeprav so plošče priročne in poznane, se ne smemo počutiti omejene z njihovimi mejami in zabavno je iskati načine, kako se izogniti.

Meniji

StereoKit mi je predstavil radialni ročni meni, ki sem ga nato razširil. Ta ideja mi je všeč, ker jo upravljate z eno roko, zato je priročna, dostopna. Enak sistem menijev dam na voljo na desni in levi strani in zaradi doslednosti uporabljam enak pristop za pojavne menije na ploščah.

Moj volumetrični meni gre stvari še korak dlje in vodila me je zgolj želja po uporabi te 3. dimenzije. Uporabljam ga za izbiro ciljev teleportiranja (s kazalcem na vsak cilj) in za izbiro bližnjih vozlišč za urejanje. Uporabljam ga tudi za vnos s tipkovnico, ko brskam po naslovih metaverse. To je precej eksperimentalno. Ima prednost, da so vsi simboli enako oddaljeni od središča in vidite svoj vnos, ne da bi morali pogledati stran (pogosta težava pri virtualnih tipkovnicah). Pomanjkljivost je, da ga uporabniki ne poznajo, zato pričakujem nekaj odpora do njega. Upoštevajte, da se črke v videoposnetku spiralno premikajo od spredaj nazaj po abecednem vrstnem redu, tako da bi vam njihov položaj kmalu moral postati znan.

Takšne menije boste kmalu lahko dodajali svojim projektom Idea Engine.

3D pripomočki

Izbirnik barv je ponudil idealno priložnost za eksperimentiranje, saj je imel tri vrednosti (odtenek, nasičenost in vrednost), ki jih je bilo mogoče preslikati v 3 dimenzije. V mojem 3D izbirniku barv lahko spremenite vse tri vrednosti hkrati ali posamezno nastavite odtenek, nasičenost ali vrednost. Zdi se mi, da je interakcija z njim bolj zanimiva kot z drsniki na 2D strani.

Podobno pri gibanju se želim premikati v 3D, zato sem izdelal 3D igralno palico za nemoteno ročno sledenje gibanja. Preprosto povlecite kroglo v smeri, v katero želite potovati, in zavrtite zapestje za zaskok ali gladko vrtenje. Deluje v načinu hoje ali letenja, rotacijo pa je mogoče onemogočiti, če se uporabniku zdi preveč razmišljati o vsem v enem upravljalniku. Še vedno podpiram tradicionalno premikanje na podlagi krmilnika, vendar ta enoročni nadzor podvaja funkcionalnost več igralnih palic/gumbov in je zanimiv primer, kako lahko 3D premikanje roke izpolnjuje zahteve na nove načine.

roke

V vseh mojih vzorčnih videoposnetkih boste videli, da uporabnikovo roko skrijem takoj, ko začne komunicirati z uporabniškim vmesnikom. Številni razvijalci vlagajo trud v skrbno ustvarjanje položajev za prijemanje za različne namene in to je videti lepo, toda zame je dobro postavljena roka, ki ne odraža položaja moje roke, bolj moteča kot nobena roka. Roka je lahko tudi vizualna ovira, ko se interakcija začne.

Ko roka ni več, lahko tudi zmanjšam ali pretiravam gibanje roke brez vidnega konflikta. Zmanjšam gibanje roke v izbirniku barv, da zmanjšam občutljivost in pretiravam z gibanjem roke pri drsenju, ko je veliko vsebine.

Besedilo

Medtem ko Idea Engine podpira Sketchfab za prenos 3D modelov, AI za ustvarjanje slik in uvažanje fotografij/zvoka, je težko premagati enostavnost in dostopnost besedila in izgovorjene besede za posredovanje kompleksnih pripovedi. S tem v mislih sem potreboval dostojno podporo za besedilo, da bi lahko uporabniki združili vse razpoložljive formate in povedali svoje zgodbe.

Besedilo na splošno ni videti dobro v VR, zato ga zbledim, ko se oddaljite, da odstranim grde artefakte in zaprem tudi besedilne plošče. Uporabniki bodo radi raziskovali okolje in ne brali besedila, zato imam možnost, da pripovedovalec samodejno prebere vsako blokovno besedilo, na katerega naletite.

Vnos besedila je bil izziv brez odlične rešitve. Ustvaril sem vnos besedila v mobilnem slogu s podporo za izrezovanje in lepljenje ter samodejnim označevanjem strani z uporabo navidezne tipkovnice. Ko sem končal, sem si mislil, da je to v redu, vendar ne bi rad tipkal dolgega odlomka v XR. Nato sem dodal podporo za pretvorbo glasu v besedilo. To je pomagalo, vendar sem ugotovil, da moram po nareku opraviti veliko urejanja, kar je še vedno počasneje kot pri tradicionalnih sredstvih. Zdaj uporabnikom omogočam, da se povežejo s svojimi slušalkami iz brskalnika v kateri koli napravi, ki jo imajo, in uvozijo besedilo prek spletne strani. Redno uporabljam vse tri tehnike, pri čemer brskalnik uporabljam za vnos dolgega besedila.

Moja lekcija tukaj je bila, da vam ni treba vedno rešiti vsega v XR. Včasih je bolje uporabiti primernejše naprave in nato uvoziti rezultate.

Poskusi

Od izobraževalnih miselnih zemljevidov do interaktivnih zgodb in iger lahko izkoristite sredstva CC in uvozite svoje fotografije, zvoke in besedilo, da ustvarite svojo idejo. Nato ga oživite z dodajanjem stanj, dogodkov in skriptiranja na visoki ravni ter ga delite v našem metaverzumu X82. Orodje za končnega uporabnika s številnimi funkcijami za raziskovanje možnosti XR.

O javna alfa je zdaj na voljo in jo lahko brezplačno prenesete na App Lab, tako da lahko pridete in preizkusite katero koli od obravnavanih funkcij ter mi posredujete povratne informacije.