XR-i kasutajaliidese interaktsioonide uurimine ideemootoris

Idee mootor võimaldab luua ja jagada VR-i ja segareaalsuse kogemusi. Sellise üldotstarbelise tööriista loomine nõuab keerulisi kasutajaliideseid. Selles külalisartiklis jagab arendaja Brett Jackson oma lähenemisviise kasutajaliidese suhtlusele.

Külalisartikkel Brett Jacksonilt

Brett Jackson on VR-projekte arendanud alates 2015. aastast ja on uue Ühendkuningriigis asuva ettevõtte direktor X82 Ltd. Tema varasemate väljaannete hulka kuuluvad: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR ja mobiilne VR) ja 120 Hz (SideQuest).

On tavaline, et kasutajaliides esitatakse XR-is interaktiivsete 2D-paneelide kaudu. See ei ole põnev väljavaade, kuid see on tuttav ja tõhus. Kuid isegi kui aktsepteerime seda 2D-sissetungi meie XR-maailma, on endiselt uusi kaalutlusi ja võimalusi 2D-paradigmadest vabanemiseks.

Tüdinesin kiiresti laserosutitest, mis liialdasid mu käeliigutustega kaugetel paneelidel, samuti nende ebaühtlastest sihtvektoritest ja katkendliku pigistustuvastusest. Minu eelistus on jõuda maailmaga ja suhelda. Ma tahan paneeli otse enda ette, et saaksin seda mugavalt paigutada ja kasutada nagu pärismaailma seadet.

Minu viimane projekt, Idee mootor, on välja töötatud kasutades StereoKit, avatud lähtekoodiga OpenXR-i teek. Sellel on käed-eelkõige filosoofia ja see pakub kastist väljas käsitsi jälgimise tuge ja kontrolleri tuge. See võimaldab tüüpiliste kasutajaliidese juhtelementidega tõhusalt luua dünaamilisi aknaid. See on suurepärane tööriist XR-projektide kiireks loomiseks ja sellel on palju muid eeliseid.

Paneelid

Nii et minu lähtepunktiks on kasutajaliidese paneel, millest saame haarata mis tahes kohas (spetsiaalseid käepidemeid ega servi pole vaja leida), millel on kena aura, mis kuvatakse, kui oleme haaramisulatuses. Lisame nüüd veel XR-i kaalutlusi.

XR-is on kasutajal lihtne kasutajaliidese paneeli taha sattuda. Selle asemel, et näidata tühja tagumist või ümberpööratud kasutajaliidest, pööran kasutajaliidese selle poole, mida kasutaja vaatab – lihtne. See kõlab triviaalselt, kuid tasub kaaluda XR-i spetsiifilisi stsenaariume. Teine lähenemisviis on paneeli automaatne pööramine, et see oleks pidevalt mängija poole suunatud, kuid see eemaldab kasutajalt kontrolli. Kui nad tahavad paneeli kummalise nurga all, siis laske neil olla, neil võib olla hea põhjus.

Üksik paneel tuleks hoida väikese suurusega (lehe suurus / monitori suurus), et kasutaja saaks selle sisu hõlpsalt omastada, ilma et peaks pead pöörama, kuid XR pakub meile palju ruumi. Mulle meeldib otsida võimalusi lehepiirist välja murdmiseks. Minu keritavatel aladel on käepide sisu haaramiseks ja liigutamiseks. Haaratuna näete sisuala oluliselt laiendatud vaadet ning saate selles režiimis lohistada, pakkudes suuremat paigutusvahemikku.

Näitan näpunäiteid paneelide küljel koos joonega nende kirjeldatud kasutajaliidese komponendile. See vähendab paneelil oleva teksti hulka. Kasutajad saavad näpunäiteid sirvida ja tuttavaid näpunäiteid peita.

Ühes teises projektis prototüüpisin 3D Gantti diagrammi, mis keris lehelt horisontaalselt maha ja tuhmus kaugusesse. Kasutaja põhitähelepanu oli endiselt normaalsuuruses keskpaneelil, kuid nad said valikuliselt võtta ka laiema konteksti.

Kuigi paneelid on mugavad ja tuttavad, ei tohiks me tunda end nende piiridest piiratuna ja on tore otsida võimalusi väljamurdmiseks.

Menüüd

StereoKit tutvustas mulle radiaalset käsimenüüd, mida siis laiendasin. Mulle meeldib see idee, kuna kasutate seda ühe käega, nii et see on mugav ja juurdepääsetav. Teen sama menüüsüsteemi kättesaadavaks nii paremal kui ka vasakul käel ja kasutan järjepidevuse huvides sama lähenemist paneelide hüpikmenüüdes.

Minu mahuline menüü viib asjad sammu edasi ja seda ajendas puhtalt soov kasutada seda kolmandat mõõdet. Kasutan seda sihtpunktide teleportimiseks (igale sihtkohale kursoriga) ja lähedalasuvate sõlmede valimiseks, mida redigeerida. Kasutan seda ka klaviatuuril sisestamiseks metaversumi aadresside sirvimisel. See on üsna eksperimentaalne. Selle eeliseks on see, et kõik sümbolid on keskelt võrdsel kaugusel ja näete oma sisendit ilma, et peaksite pilku kõrvale vaatama (tavaline probleem virtuaalsete klaviatuuride puhul). Puuduseks on see, et see on kasutajatele võõras, seega ootan sellele mõningast vastupanu. Pange tähele, et tähed liiguvad tähestiku järjekorras eest-tagasi spiraalselt, nii et mõne aja pärast peaks nende asukoht tuttavaks saama.

Peagi saate selliseid menüüsid lisada oma Idea Engine'i projektidesse.

3D-vidinad

Värvivalija pakkus ideaalset võimalust katsetamiseks, omades kolme väärtust (toon, küllastus ja väärtus), mida sai kaardistada kolme mõõtmega. Minu 3D-värvivalijas saate muuta kõiki kolme väärtust korraga või määrata eraldi tooni, küllastuse või väärtuse. Mulle tundub, et sellega on huvitavam suhelda kui 3D-lehel liuguritega.

Sarnaselt liikumisega tahan liikuda 3D-s, seega tegin sujuvaks käsitsi jälgitavaks liikumiseks 3D-juhtkangi. Lihtsalt lohistage kera selles suunas, kuhu soovite sõita, ja rullige randme klõpsatusega või sujuvaks pööramiseks. See töötab kõndimis- või lendamise režiimis ja pöörlemise saab keelata, kui kasutajale tundub liiga palju mõelda kõigele ühes juhtnupus. Toetan endiselt traditsioonilist kontrolleripõhist liikumist, kuid see ühe käega juhtimine dubleerib mitme juhtkangi/nupu funktsionaalsust ja on huvitav näide sellest, kuidas 3D-käe liikumine võib uutel viisidel nõudeid täita.

Käed

Kõigis minu näitevideotes näete, et ma peidan kasutaja käe kohe, kui ta kasutajaliidesega suhtlema hakkab. Paljud arendajad panustavad hoolikalt erinevatel eesmärkidel haaratavate pooside loomisesse ja see näeb kena välja, kuid minu jaoks häirib hästi poseeritud käsi, mis ei peegelda minu enda käte asendit, rohkem tähelepanu kui käe puudumine. Käsi võib olla ka visuaalne takistus, kui suhtlus on alanud.

Kui käsi on kadunud, võin vabalt ka käte liigutamist summutada või liialdada ilma igasuguse visuaalse konfliktita. Summutan käe liikumist värvivalijas, et vähendada tundlikkust ja liialdan käe liigutamist kerimisel, kui sisu on palju.

Tekst

Kuigi Idea Engine toetab Sketchfabi 3D-mudelite allalaadimiseks, AI-d piltide genereerimiseks ja fotode/heli importimiseks, on keerukate narratiivide edastamiseks raske ületada teksti ja suulise sõna lihtsust ja juurdepääsetavust. Seda silmas pidades vajasin korralikku teksti tuge, et kasutajad saaksid oma lugude jutustamiseks ühendada kõik saadaolevad vormingud.

Tekst ei näe VR-is üldiselt hea välja, nii et ma kustutan selle, kui lähete minema, et eemaldada inetuid esemeid ja sulgeda ka tekstipaneelid. Kasutajad soovivad teksti lugemise asemel pigem keskkonda uurida, nii et mul on võimalus lasta jutustajal automaatselt ette lugeda mis tahes blokeeritud teksti, mida kohtate.

Tekstisisestus oli väljakutse ilma suurepärase lahenduseta. Lõin virtuaalse klaviatuuri abil mobiilistiilis tekstisisestuse koos lõikamise ja kleepimise toega ning automaatse lehekülgede vahetamisega. Kui ma lõpetasin, mõtlesin, et see on okei, aga ma ei tahaks XR-is pikka lõiku kirjutada. Seejärel lisasin hääle tekstiks toe. See aitas, kuid avastasin, et pean pärast dikteerimist palju toimetama ja see oli siiski aeglasem kui traditsiooniliste vahendite kasutamine. Nüüd luban kasutajatel luua oma peakomplektiga ühenduse mis tahes seadme brauserist ja importida teksti veebilehe kaudu. Kasutan regulaarselt kõiki kolme tehnikat, kusjuures brauserit kasutatakse pika teksti sisestamiseks.

Minu õppetund oli see, et alati ei pea kõike XR-is lahendama. Mõnikord on parem kasutada sobivamaid seadmeid ja seejärel tulemused importida.

Proovi

Alates harivatest mõttekaartidest kuni interaktiivsete lugude ja mängudeni saate kasutada CC-varasid ning importida oma idee loomiseks oma fotosid, helisid ja teksti. Seejärel äratage see ellu, lisades olekuid, sündmusi ja kõrgetasemelist skripti ning jagage seda meie X82 metaversumis. Funktsioonidest pakatav lõppkasutaja tööriist XR-i võimaluste uurimiseks.

. avalik alfa on nüüd App Labis saadaval ja tasuta allalaaditav, et saaksite tulla ja proovida kõiki käsitletud funktsioone ja anda mulle tagasisidet.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/