Utforske XR-brukergrensesnittinteraksjoner i 'Idea Engine'

Publisert av Platon

Følgere: 0

Idémotor lar deg lage og dele VR og mixed reality-opplevelser. Å bygge et slikt generellt verktøy krever komplekse brukergrensesnitt. I denne gjesteartikkelen deler utvikler Brett Jackson sine tilnærminger til UI-interaksjon.

Gjesteartikkel av Brett Jackson

Brett Jackson har utviklet VR-prosjekter siden 2015 og er direktør for det nye Storbritannia-baserte selskapet X82 Ltd. Hans tidligere utgivelser inkluderer: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & mobil VR) og 120Hz (SideQuest).

Det er vanlig å presentere et brukergrensesnitt gjennom 2D interaktive paneler i XR. Det er ikke et spennende prospekt, men det er kjent og effektivt. Men selv om vi aksepterer denne 2D-inntrengningen i våre XR-verdener, er det fortsatt nye hensyn og muligheter til å bryte fri fra 2D-paradigmer.

Jeg ble raskt lei av laserpekere som overdrev håndbevegelsene mine på fjerne paneler, sammen med deres inkonsekvente målvektorer og intermitterende klemdeteksjon. Min preferanse er å nå ut og samhandle med verden. Jeg vil ha panelet rett foran meg slik at jeg kan plassere det komfortabelt og bruke det som en virkelig enhet.

Mitt siste prosjekt, Idémotor, er utviklet ved hjelp av StereoKit, et OpenXR-bibliotek med åpen kildekode. Den har en hands-first-filosofi og gir støtte for håndsporing så vel som kontrollerstøtte. Det muliggjør effektiv oppretting av dynamiske vinduer med typiske brukergrensesnittkontroller. Det er et utmerket verktøy for raskt å lage XR-prosjekter og har mange andre fordeler.

Paneler

Så utgangspunktet mitt er et UI-panel som vi kan ta tak i når som helst (ingen spesielle håndtak eller kanter å finne) med en fin aura som vises når vi er innenfor rekkevidde. La oss nå legge til flere XR-hensyn.

I XR er det lett for en bruker å havne bak et UI-panel. I stedet for å vise et tomt brukergrensesnitt bak eller omvendt, snur jeg brukergrensesnittet til siden brukeren ser på – enkelt. Det høres trivielt ut, men det er verdt å vurdere XR-spesifikke scenarier. En annen tilnærming er å automatisk rotere panelet slik at det hele tiden vender mot spilleren, men dette fjerner kontrollen fra brukeren. Hvis de vil ha panelet i en merkelig vinkel, la dem, de kan ha en god grunn.

Et individuelt panel bør holdes i liten størrelse (sidestørrelse / skjermstørrelse) slik at brukeren enkelt kan absorbere innholdet uten å måtte snu hodet, men XR gir oss en overflod av plass. Jeg liker å se etter muligheter til å bryte ut av sidegrensen. De rullbare områdene mine har et håndtak for å gripe og flytte innholdet. Mens du griper den, ser du en kraftig utvidet visning av innholdsområdet, og du kan dra og slippe mens du er i denne modusen, noe som gir et større plasseringsområde.

Jeg viser tips til siden av paneler, med en linje til UI-komponenten de beskriver. Dette reduserer mengden tekst på panelet. Brukere kan bla gjennom tips og skjule de de er kjent med.

I et annet prosjekt laget jeg en prototype på et 3D Gantt-diagram som rullet horisontalt av siden og bleknet ut i det fjerne. Brukerens hovedfokus var fortsatt på sentralpanelet i normal størrelse, men de kunne valgfritt ta inn i den bredere konteksten.

Selv om paneler er praktiske og kjente, bør vi ikke føle oss begrenset av grensene deres, og det er morsomt å se etter måter å bryte ut på.

Menyer

StereoKit introduserte meg for den radielle håndmenyen, som jeg deretter utvidet. Jeg liker denne ideen fordi du betjener den med én hånd, så den er praktisk og tilgjengelig. Jeg gjør det samme menysystemet tilgjengelig på både høyre og venstre hånd og bruker samme tilnærming for popup-menyer på paneler for konsistens.

Min volumetriske meny tar ting et skritt videre og ble drevet utelukkende av et ønske om å bruke den tredje dimensjonen. Jeg bruker den til å velge teleportere destinasjoner (med en peker til hver destinasjon) og til å velge nærliggende noder som skal redigeres. Jeg bruker den også for tastaturinndata når jeg surfer på metaverseadresser. Dette er ganske eksperimentelt. Det har fordelen at alle symboler er like langt fra midten, og du ser input uten å måtte se bort (et vanlig problem med virtuelle tastaturer). Ulempen er at det er ukjent for brukere, så jeg forventer en viss motstand mot det. Legg merke til i videoen at bokstavene spiraler bort fra forsiden til baksiden i alfabetisk rekkefølge, så i løpet av kort tid bør posisjonen deres bli kjent.

Du vil snart kunne legge til menyer som disse til dine egne Idea Engine-prosjekter.

3D-widgets

En fargevelger tilbød en ideell mulighet til å eksperimentere, med tre verdier (nyanse, metning og verdi) som kunne kartlegges til 3 dimensjoner. I min 3D-fargevelger kan du endre alle tre verdiene samtidig eller individuelt angi fargetone, metning eller verdi. Jeg føler det er mer interessant å samhandle med enn skyveknapper på en 2D-side.

På samme måte med bevegelse ønsker jeg å bevege meg i 3D, så jeg laget en 3D-joystick for jevn håndsporet bevegelse. Bare dra sfæren i den retningen du vil reise, og rull håndleddet for å få en knepp eller jevn rotasjon. Den fungerer i gå- eller flymodus, og rotasjonen kan deaktiveres hvis brukeren synes det er for mye å tenke på alt i én kontroll. Jeg støtter fortsatt tradisjonell kontrollerbasert bevegelse, men denne enhåndskontrollen dupliserer funksjonaliteten til flere joysticks/knapper og er et interessant eksempel på hvordan 3d-håndbevegelser kan møte kravene på nye måter.

hender

I alle eksempelvideoene mine vil du se at jeg skjuler brukerens hånd så snart de begynner å samhandle med brukergrensesnittet. Mange utviklere investerer krefter i å nøye lage gripeposisjoner for forskjellige formål, og det ser pent ut, men for meg er en godt posert hånd som ikke reflekterer min egen håndposisjon mer distraherende enn ingen hånd i det hele tatt. En hånd kan også være en visuell hindring når interaksjonen har startet.

Når hånden er borte, står jeg også fritt til å dempe eller overdrive håndbevegelser uten noen visuell konflikt. Jeg demper håndbevegelser i fargevelgeren for å senke følsomheten og overdrive håndbevegelsen ved rulling når det er mye innhold.

tekst

Mens Idea Engine støtter Sketchfab for å laste ned 3D-modeller, AI for å generere bilder og import av foto/lyd, er det vanskelig å slå lettheten og tilgjengeligheten til tekst og det talte ordet for å formidle komplekse fortellinger. Med dette i tankene trengte jeg anstendig støtte for tekst slik at brukere kunne slå sammen alle tilgjengelige formater for å fortelle historiene sine.

Tekst ser vanligvis ikke bra ut i VR, så jeg toner den ut når du går bort for å fjerne stygge gjenstander og lukke ned tekstpaneler også. Brukere vil være opptatt av å utforske miljøet i stedet for å lese tekst, så jeg har muligheten til å la en forteller automatisk lese opp all blokktekst du møter.

Tekstinntasting var en utfordring uten en god løsning. Jeg opprettet tekstinndata i mobilstil med støtte for klipp og lim og automatisk paginering ved hjelp av et virtuelt tastatur. Da jeg var ferdig, tenkte jeg, det er OK, men jeg vil ikke skrive en lang passasje i XR. Så la jeg til stemme-til-tekst-støtte. Det hjalp, men jeg fant ut at jeg trengte å gjøre mye redigering etter diktatet mitt, og det gikk fortsatt tregere enn å bruke tradisjonelle midler. Nå lar jeg brukere koble til headsettet fra en nettleser på alle enheter de eier og importere tekst via en nettside. Jeg bruker regelmessig alle tre teknikkene, med nettleseren som brukes for lang tekstinntasting.

Min leksjon her var at du ikke alltid trenger å løse alt i XR. Noen ganger er det å foretrekke å bruke mer passende enheter og deretter importere resultatene.

Prøv det

Fra pedagogiske tankekart, til interaktive historier og spill, kan du utnytte CC-ressurser og importere dine egne bilder, lyder og tekst for å bygge ideen din. Deretter kan du gi den liv ved å legge til tilstander, hendelser og skripting på høyt nivå og dele den på vår X82-metaverse. Et funksjonsfylt sluttbrukerverktøy for å utforske mulighetene til XR.