XR-käyttöliittymän vuorovaikutusten tutkiminen Idea Enginessä

Idea Moottori voit luoda ja jakaa VR- ja sekatodellisuuskokemuksia. Tällaisen yleiskäyttöisen työkalun rakentaminen vaatii monimutkaisia ​​käyttöliittymiä. Tässä vierasartikkelissa kehittäjä Brett Jackson jakaa lähestymistapansa käyttöliittymän vuorovaikutukseen.

Vierasartikkeli Brett Jackson

Brett Jackson on kehittänyt VR-projekteja vuodesta 2015 lähtien ja on uuden brittiläisen yrityksen johtaja. X82 Ltd. Hänen aikaisempia julkaisujaan ovat: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR ja mobiili VR) ja 120 Hz (SideQuest).

On yleistä, että käyttöliittymä esitetään 2D-interaktiivisten paneelien kautta XR:ssä. Se ei ole jännittävä mahdollisuus, mutta se on tuttu ja tehokas. Vaikka hyväksyisimmekin tämän 2D-tunkeutumisen XR-maailmoihimme, on silti uusia näkökohtia ja mahdollisuuksia päästä eroon 2D-paradigmoista.

Kyllästyin nopeasti laserosoittimiin, jotka liioittivat käteni liikettä kaukaisilla paneeleilla, sekä niiden epäjohdonmukaisiin kohdevektoreihin ja ajoittaiseen puristusten havaitsemiseen. Haluan tavoittaa maailman ja olla vuorovaikutuksessa sen kanssa. Haluan paneelin suoraan eteeni, jotta voin sijoittaa sen mukavasti ja käyttää sitä kuin todellista laitetta.

Uusin projektini, Idea Moottori, on kehitetty käyttämällä StereoKit, avoimen lähdekoodin OpenXR-kirjasto. Siinä on kädet ensin -filosofia ja se tarjoaa valmiin käsinseurantatuen sekä ohjaimen tuen. Se mahdollistaa dynaamisten ikkunoiden tehokkaan luomisen tyypillisillä käyttöliittymäsäätimillä. Se on erinomainen työkalu XR-projektien nopeaan luomiseen, ja sillä on monia muita etuja.

Paneelit

Joten lähtökohtani on käyttöliittymäpaneeli, johon voimme tarttua missä tahansa pisteessä (ei erityisiä kahvoja tai reunoja löytää), ja jossa on mukava aura, joka näkyy, kun olemme tarttumisalueella. Lisätään nyt lisää XR-näkökohtia.

XR:ssä käyttäjän on helppo päätyä käyttöliittymäpaneelin taakse. Sen sijaan, että näyttäisin tyhjän takaosan tai käänteisen käyttöliittymän, käännän käyttöliittymän sivulle, jota käyttäjä katsoo – yksinkertaista. Se kuulostaa triviaalilta, mutta XR-kohtaisia ​​skenaarioita kannattaa harkita. Toinen tapa on kääntää paneelia automaattisesti siten, että se on jatkuvasti soitinta kohti, mutta tämä poistaa ohjauksen käyttäjältä. Jos he haluavat paneelin oudossa kulmassa, anna heidän olla, heillä voi olla hyvä syy.

Yksittäinen paneeli tulee pitää pienenä (sivun koko / näytön koko), jotta käyttäjä voi helposti imeä sisällön ilman, että hänen tarvitsee kääntää päätään, mutta XR tarjoaa meille runsaasti tilaa. Haluan etsiä mahdollisuuksia murtautua sivurajojen ulkopuolelle. Vieritettävillä alueillani on kahva sisällön tarttumiseen ja siirtämiseen. Kun tartutaan, näet huomattavasti laajemman näkymän sisältöalueesta, ja voit vetää ja pudottaa tässä tilassa, mikä tarjoaa suuremman sijoittelualueen.

Näytän vihjeitä paneelien sivuilla ja viivan niiden kuvaamaan käyttöliittymäkomponenttiin. Tämä vähentää tekstin määrää paneelissa. Käyttäjät voivat selata vinkkejä ja piilottaa ne, jotka he tuntevat.

Toisessa projektissa tein prototyypin 3D Gantt -kaavion, joka rullasi sivulta vaakasuunnassa ja haalistui kaukaisuuteen. Käyttäjän pääpaino oli edelleen normaalikokoisessa keskuspaneelissa, mutta valinnaisesti he pystyivät ottamaan huomioon laajemman kontekstin.

Vaikka paneelit ovat käteviä ja tuttuja, meidän ei pitäisi tuntea olevansa niiden rajojen rajoittamia, ja on hauskaa etsiä tapoja murtautua.

Valikot

StereoKit esitteli minulle radiaalisen käsivalikon, jota sitten laajensin. Pidän tästä ideasta, koska käytät sitä yhdellä kädellä, joten se on kätevä ja helposti saatavilla. Teen saman valikkojärjestelmän saataville sekä oikealle että vasemmalle ja käytän samaa lähestymistapaa paneelien ponnahdusvalikoihin johdonmukaisuuden vuoksi.

Volumetrinen menuni vie asioita askeleen pidemmälle, ja sitä ohjasi puhtaasti halu hyödyntää tuota kolmatta ulottuvuutta. Käytän sitä teleporttikohteiden valitsemiseen (osoittimella kuhunkin kohteeseen) ja lähellä olevien solmujen valitsemiseen muokattavaksi. Käytän sitä myös näppäimistön syöttämiseen metaverse-osoitteita selaillessani. Tämä on aika kokeellista. Sen etuna on, että kaikki symbolit ovat yhtä kaukana keskustasta, ja näet syötteesi ilman, että sinun tarvitsee katsoa pois (yleinen ongelma virtuaalisissa näppäimistöissä). Haittapuolena on, että se on käyttäjille tuntematon, joten odotan sille jonkin verran vastustusta. Huomaa videolla, että kirjaimet kiertyvät edestä taaksepäin aakkosjärjestyksessä, joten hetken kuluttua niiden sijainnin pitäisi tulla tutuksi.

Pian voit lisätä tällaisia ​​valikoita omiin Idea Engine -projekteihisi.

3D-widgetit

Värinvalitsin tarjosi ihanteellisen mahdollisuuden kokeilla, sillä sillä oli kolme arvoa (sävy, kylläisyys ja arvo), jotka voitiin yhdistää kolmeen ulottuvuuteen. 3D-värinvalitsimessani voit muuttaa kaikkia kolmea arvoa kerralla tai määrittää yksitellen sävyn, kylläisyyden tai arvon. Minusta sen kanssa on mielenkiintoisempaa olla vuorovaikutuksessa kuin liukusäätimien kanssa 3D-sivulla.

Samoin liikkumisen kanssa haluan liikkua 3D:ssä, joten tein 3D-joystickin sujuvaa käsin jäljittävää liikettä varten. Vedä palloa haluamaasi suuntaan ja pyöritä rannettasi, jotta se kääntyy napsahtaen tai tasaisesti. Se toimii kävely- tai lentämistilassa ja pyöriminen voidaan kytkeä pois päältä, jos käyttäjän mielestä on liikaa ajatella kaikkea yhdessä säätimessä. Tuen edelleen perinteistä ohjainpohjaista liikettä, mutta tämä yhden käden ohjaus monistaa useiden ohjaussauvojen/painikkeiden toiminnallisuuden ja on mielenkiintoinen esimerkki siitä, kuinka 3D-käden liike voi täyttää vaatimukset uudella tavalla.

käsissä

Kaikissa esimerkkivideoissani näet, että piilotan käyttäjän käden heti, kun hän alkaa olla vuorovaikutuksessa käyttöliittymän kanssa. Monet kehittäjät panostavat ponnisteluihin luodakseen huolellisesti tartuntaasennuksia eri tarkoituksiin, ja se näyttää siistiltä, ​​mutta minulle hyvin aseteltu käsi, joka ei heijasta omaa käden asentoa, on enemmän häiritsevää kuin ei kättä ollenkaan. Käsi voi olla myös visuaalinen este, kun vuorovaikutus on alkanut.

Kun käsi on poissa, voin myös vapaasti vaimentaa tai liioitella käden liikettä ilman visuaalisia ristiriitoja. Vaimentelen käsien liikettä värinvalitsimessa herkkyyden alentamiseksi ja liioittelen käden liikettä rullattaessa, kun sisältöä on paljon.

teksti

Vaikka Idea Engine tukee Sketchfabia 3D-mallien lataamiseen, tekoälyä kuvien luomiseen ja valokuvien/äänien tuontia, on vaikea päihittää tekstin ja puhutun sanan helppoutta ja saavutettavuutta monimutkaisten kertomusten välittämiseen. Tätä silmällä pitäen tarvitsin kunnollista tukea tekstille, jotta käyttäjät voivat yhdistää kaikki käytettävissä olevat muodot kertoakseen tarinansa.

Teksti ei yleensä näytä hyvältä VR:ssä, joten häivistän sen, kun kävelet pois, jotta voit poistaa rumia esineitä ja sulkea myös tekstipaneelit. Käyttäjät ovat kiinnostuneita tutkimaan ympäristöä tekstin lukemisen sijaan, joten minulla on mahdollisuus saada kertoja lukemaan automaattisesti kaikki kohtaamasi lohkoteksti.

Tekstinsyöttö oli haaste ilman loistavaa ratkaisua. Tein mobiilityylisen tekstinsyötön leikkaus- ja liittämistuella sekä automaattisen sivutuksen virtuaalisen näppäimistön avulla. Kun lopetin, ajattelin, että se on ok, mutta en haluaisi kirjoittaa pitkää kohtaa XR: ään. Sitten lisäsin puheen tekstiksi tuen. Se auttoi, mutta huomasin, että minun piti tehdä paljon editointia saneluni jälkeen ja se oli silti hitaampaa kuin perinteisten keinojen käyttäminen. Nyt annan käyttäjien muodostaa yhteyden kuulokemikrofoninsa selaimella millä tahansa omistamillaan laitteilla ja tuoda tekstiä verkkosivun kautta. Käytän säännöllisesti kaikkia kolmea tekniikkaa, selainta käytetään pitkän tekstin syöttämiseen.

Oppituntini tässä oli, että sinun ei aina tarvitse ratkaista kaikkea XR:ssä. Joskus on parempi käyttää sopivampia laitteita ja tuoda sitten tulokset.

Kokeile sitä

Voit hyödyntää CC-resursseja ja tuoda omia valokuviasi, ääniäsi ja tekstiäsi rakentaaksesi ideasi opetuksellisista ajatuskartoista interaktiivisiin tarinoihin ja peleihin. Herätä se sitten henkiin lisäämällä tiloja, tapahtumia ja korkeatasoista komentosarjaa ja jaa se X82-metaversumiimme. Monipuolinen loppukäyttäjätyökalu XR:n mahdollisuuksien tutkimiseen.

- julkinen alfa on nyt saatavilla ja ladattavissa ilmaiseksi App Labissa, joten voit tulla kokeilemaan mitä tahansa keskusteltuja ominaisuuksia ja antaa palautetta.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/