Utforska XR-användargränssnittsinteraktioner i "Idea Engine"

Idémotor låter dig skapa och dela VR och mixed reality-upplevelser. Att bygga ett sådant generellt verktyg kräver komplexa användargränssnitt. I den här gästartikeln delar utvecklaren Brett Jackson med sig av sina metoder för interaktion med användargränssnitt.

Gästartikel av Brett Jackson

Brett Jackson har utvecklat VR-projekt sedan 2015 och är direktör för det nya Storbritannien-baserade företaget X82 Ltd. Hans tidigare utgåvor inkluderar: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & mobil VR) och 120Hz (SideQuest).

Det är vanligt att presentera ett användargränssnitt genom interaktiva 2D-paneler i XR. Det är inget spännande perspektiv, men det är välbekant och effektivt. Men även om vi accepterar detta 2D-intrång i våra XR-världar, finns det fortfarande nya överväganden och möjligheter att bryta sig loss från 2D-paradigm.

Jag tröttnade snabbt på laserpekare som överdrev min handrörelse på avlägsna paneler, tillsammans med deras inkonsekventa målvektorer och intermittenta nypdetektering. Jag föredrar att nå ut och interagera med världen. Jag vill ha panelen precis framför mig så att jag kan placera den bekvämt och använda den som en verklig enhet.

Mitt senaste projekt, Idémotor, utvecklas med hjälp av Stereokit, ett OpenXR-bibliotek med öppen källkod. Den har en hands-first-filosofi och ger out-of-the-box support för handspårning såväl som kontrollstöd. Det möjliggör ett effektivt skapande av dynamiska fönster med typiska UI-kontroller. Det är ett utmärkt verktyg för att snabbt skapa XR-projekt och har många andra fördelar.

Paneler

Så min utgångspunkt är en UI-panel som vi kan ta tag i när som helst (inga speciella handtag eller kanter att hitta) med en trevlig aura som visas när vi är inom räckhåll. Låt oss nu lägga till fler XR-överväganden.

I XR är det lätt för en användare att hamna bakom en UI-panel. Istället för att visa ett tomt gränssnitt på baksidan eller omvänt gränssnitt vänder jag gränssnittet åt sidan som användaren tittar på – enkelt. Det låter trivialt, men det är värt att överväga XR-specifika scenarier. Ett annat tillvägagångssätt är att automatiskt rotera panelen så att den hela tiden är vänd mot spelaren, men detta tar bort kontrollen från användaren. Om de vill ha panelen i en konstig vinkel, låt dem, de kan ha en bra anledning.

En individuell panel bör hållas i en liten storlek (sidstorlek / bildskärmsstorlek) så att användaren enkelt kan ta till sig innehållet utan att behöva vända på huvudet, men XR ger oss ett överflöd av utrymme. Jag gillar att leta efter möjligheter att bryta mig ur sidgränsen. Mina rullningsbara områden har ett handtag för att ta tag i och flytta innehållet. När du griper den ser du en kraftigt utökad vy av innehållsområdet, och du kan dra och släppa i det här läget, vilket ger ett större placeringsintervall.

Jag visar tips vid sidan av paneler, med en linje till UI-komponenten de beskriver. Detta minskar mängden text på panelen. Användare kan bläddra igenom tips och dölja de de känner till.

I ett annat projekt gjorde jag en prototyp av ett 3D Gantt-diagram som rullade bort från sidan horisontellt och bleknade i fjärran. Användarens huvudfokus låg fortfarande på den normalstora centralpanelen, men de kunde valfritt ta in det bredare sammanhanget.

Även om paneler är bekväma och välbekanta, bör vi inte känna oss begränsade av deras gränser och det är roligt att leta efter sätt att bryta ut.

Menyer

StereoKit introducerade mig för den radiella handmenyn, som jag sedan utökade på. Jag gillar den här idén eftersom du använder den med en hand, så den är bekväm, tillgänglig. Jag gör samma menysystem tillgängligt på både höger och vänster hand och använder samma tillvägagångssätt för popup-menyer på paneler för konsekvens.

Min volymetriska meny tar saker ett steg längre och drevs enbart av en önskan att använda den 3:e dimensionen. Jag använder den för att välja teleporterade destinationer (med en pekare till varje destination) och för att välja närliggande noder att redigera. Jag använder den också för tangentbordsinmatning när jag bläddrar i metaverse-adresser. Detta är ganska experimentellt. Det har fördelen att alla symboler är på samma avstånd från mitten, och du ser din input utan att behöva titta bort (ett vanligt problem med virtuella tangentbord). Nackdelen är att det är obekant för användarna, så jag förväntar mig ett visst motstånd mot det. Lägg märke till i videon att bokstäverna går i spiral från framsidan till baksidan i alfabetisk ordning, så om en kort stund bör deras position bli bekant.

Du kommer snart att kunna lägga till menyer som dessa till dina egna Idea Engine-projekt.

3D-widgets

En färgväljare erbjöd en idealisk möjlighet att experimentera, med tre värden (nyans, mättnad och värde) som kunde mappas till tre dimensioner. I min 3D-färgväljare kan du ändra alla tre värdena samtidigt eller individuellt ställa in nyans, mättnad eller värde. Jag tycker att det är mer intressant att interagera med än skjutreglage på en 3D-sida.

På samma sätt med förflyttning vill jag röra mig i 3D, så jag gjorde en 3D-joystick för smidig handspårningsrörelse. Dra helt enkelt sfären i den riktning du vill resa och rulla handleden för att knäppa eller smidigt rotera. Den fungerar i gång- eller flygläge och rotationen kan inaktiveras om användaren tycker att det är för mycket att tänka på allt i en kontroll. Jag stöder fortfarande traditionella kontrollerbaserade rörelser, men denna enhandskontroll duplicerar funktionaliteten hos flera joysticks/knappar och är ett intressant exempel på hur 3d-handrörelser kan möta krav på nya sätt.

händer

I alla mina exempelvideor kommer du att se att jag gömmer användarens hand så snart de börjar interagera med användargränssnittet. Många utvecklare satsar på att noggrant skapa gripposer för olika ändamål, och det ser snyggt ut, men för mig är en välpositionerad hand som inte reflekterar min egen handposition mer distraherande än ingen hand alls. En hand kan också vara ett visuellt hinder när interaktionen väl har börjat.

Med handen borta är jag också fri att dämpa eller överdriva handrörelser utan någon visuell konflikt. Jag dämpar handrörelser i färgväljaren för att sänka känsligheten och överdriva handrörelser vid scrollning när det är mycket innehåll.

text

Medan Idea Engine stöder Sketchfab för att ladda ner 3D-modeller, AI för att generera bilder och import av foto/ljud, är det svårt att slå lättheten och tillgängligheten för text och det talade ordet för att förmedla komplexa berättelser. Med detta i åtanke behövde jag anständigt stöd för text så att användare kunde slå samman alla tillgängliga format för att berätta sina historier.

Text ser i allmänhet inte bra ut i VR, så jag tonar ut den när du går därifrån för att ta bort fula artefakter och stänga ner textpaneler också. Användare kommer att vara angelägna om att utforska miljön snarare än att läsa text, så jag har möjlighet att låta en berättare automatiskt läsa upp all blocktext du stöter på.

Textinmatning var en utmaning utan en bra lösning. Jag skapade textinmatning i mobilstil med stöd för klipp och klistra och automatisk paginering med ett virtuellt tangentbord. När jag var klar tänkte jag att det är OK, men jag skulle inte vilja skriva ett långt avsnitt i XR. Sedan lade jag till stöd för röst-till-text. Det hjälpte, men jag upptäckte att jag behövde göra mycket redigering efter min diktering och det var fortfarande långsammare än att använda traditionella metoder. Nu tillåter jag användare att ansluta till sina headset från en webbläsare på alla enheter de äger och importera text via en webbsida. Jag använder regelbundet alla tre teknikerna, med webbläsaren som används för lång textinmatning.

Min lärdom här var att man inte alltid behöver lösa allt i XR. Ibland är det bättre att använda lämpligare enheter och sedan importera resultaten.

Testa

Från pedagogiska tankekartor till interaktiva berättelser och spel, du kan utnyttja CC-tillgångar och importera dina egna foton, ljud och text för att bygga din idé. Väck det sedan till liv genom att lägga till tillstånd, händelser och skript på hög nivå och dela det på vår X82-metavers. Ett funktionsspäckat slutanvändarverktyg för att utforska möjligheterna med XR.

Smakämnen public alpha är nu tillgänglig och gratis att ladda ner på App Lab, så att du kan komma och prova någon av funktionerna som diskuteras och ge mig din feedback.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/