Onderzoek naar XR-gebruikersinterface-interacties in ‘Idea Engine’

Idee-motor stelt u in staat VR- en mixed reality-ervaringen te creëren en te delen. Het bouwen van zo’n tool voor algemene doeleinden vereist complexe gebruikersinterfaces. In dit gastartikel deelt ontwikkelaar Brett Jackson zijn benadering van UI-interactie.

Gastartikel door Brett Jackson

Brett Jackson ontwikkelt sinds 2015 VR-projecten en is directeur van het nieuwe Britse bedrijf X82 Ltd. Zijn eerdere releases zijn onder meer: ​​Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR en mobiele VR) en 120Hz (SideQuest).

Het is gebruikelijk om een ​​gebruikersinterface te presenteren via interactieve 2D-panelen in XR. Het is geen opwindend vooruitzicht, maar het is vertrouwd en efficiënt. Maar zelfs als we deze 2D-indringing in onze XR-werelden accepteren, zijn er nog steeds nieuwe overwegingen en mogelijkheden om los te komen van 2D-paradigma's.

Ik werd al snel moe van laserpointers die mijn handbewegingen op verre panelen overdreven, samen met hun inconsistente doelvectoren en intermitterende knijpdetectie. Mijn voorkeur gaat uit naar het bereiken en communiceren met de wereld. Ik wil het paneel recht voor me hebben, zodat ik het comfortabel kan positioneren en gebruiken als een echt apparaat.

Mijn nieuwste project, Idee-motor, is ontwikkeld met behulp van StereoKit, een open-source OpenXR-bibliotheek. Het heeft een hands-first-filosofie en biedt kant-en-klare ondersteuning voor handtracking en controllerondersteuning. Het maakt de efficiënte creatie van dynamische vensters met typische UI-bedieningselementen mogelijk. Het is een uitstekend hulpmiddel om snel XR-projecten te maken en heeft nog vele andere voordelen.

Panelen

Mijn uitgangspunt is dus een UI-paneel dat we op elk punt kunnen pakken (er zijn geen speciale handvatten of randen te vinden) met een mooie uitstraling die wordt weergegeven als we ons binnen grijpbereik bevinden. Laten we nu meer XR-overwegingen toevoegen.

In XR kan een gebruiker gemakkelijk achter een UI-paneel terechtkomen. In plaats van een lege achterkant of omgekeerde gebruikersinterface weer te geven, draai ik de gebruikersinterface naar de kant waar de gebruiker naar kijkt: eenvoudig. Het klinkt triviaal, maar het is de moeite waard om XR-specifieke scenario’s te overwegen. Een andere benadering is om het paneel automatisch te draaien zodat het constant naar de speler gericht is, maar hierdoor wordt de controle van de gebruiker weggenomen. Als ze het paneel in een vreemde hoek willen, laat ze dat dan doen, daar hebben ze misschien een goede reden voor.

Een individueel paneel moet klein gehouden worden (paginaformaat / monitorformaat) zodat de gebruiker de inhoud gemakkelijk kan absorberen zonder zijn hoofd te hoeven draaien, maar XR biedt ons een overvloed aan ruimte. Ik zoek graag naar mogelijkheden om de paginagrens te doorbreken. Mijn schuifbare gebieden hebben een handvat waarmee u de inhoud kunt pakken en verplaatsen. Terwijl je het vastpakt, zie je een sterk uitgebreide weergave van het inhoudsgebied, en in deze modus kun je slepen en neerzetten, waardoor je een groter plaatsingsbereik krijgt.

Ik toon tips aan de zijkant van panelen, met een lijn naar de UI-component die ze beschrijven. Dit vermindert de hoeveelheid tekst op het paneel. Gebruikers kunnen door tips bladeren en de tips verbergen waarmee ze vertrouwd zijn.

In een ander project maakte ik een prototype van een 3D-Gantt-diagram dat horizontaal van de pagina scrolde en in de verte vervaagde. De focus van de gebruiker lag nog steeds op het middenpaneel van normale grootte, maar hij kon desgewenst ook de bredere context in zich opnemen.

Hoewel panelen handig en vertrouwd zijn, moeten we ons niet beperkt voelen door hun grenzen en is het leuk om te zoeken naar manieren om eruit te komen.

Menu's

StereoKit liet me kennismaken met het radiale handmenu, dat ik vervolgens uitbreidde. Ik vind dit idee leuk omdat je het met één hand bedient, dus het is handig en toegankelijk. Ik stel hetzelfde menusysteem beschikbaar aan zowel de rechter- als de linkerhand en gebruik dezelfde aanpak voor pop-upmenu's op panelen voor consistentie.

Mijn volumetrische menu gaat een stap verder en werd puur gedreven door de wens om gebruik te maken van die derde dimensie. Ik gebruik het om teleportbestemmingen te selecteren (met een verwijzing naar elke bestemming) en om nabijgelegen knooppunten te selecteren om te bewerken. Ik gebruik het ook voor toetsenbordinvoer bij het bladeren door metaverse adressen. Dit is behoorlijk experimenteel. Het heeft het voordeel dat alle symbolen zich op gelijke afstand van het midden bevinden en dat u uw invoer kunt zien zonder weg te hoeven kijken (een veel voorkomend probleem bij virtuele toetsenborden). Het nadeel is dat het onbekend is voor gebruikers, dus ik verwacht er enige weerstand tegen. Merk op dat in de video de letters in alfabetische volgorde van voren naar achteren draaien, dus binnen korte tijd zou hun positie bekend moeten worden.

Binnenkort kunt u dit soort menu's toevoegen aan uw eigen Idea Engine-projecten.

3D-widgets

Een kleurenkiezer bood een ideale mogelijkheid om te experimenteren, met drie waarden (tint, verzadiging en waarde) die konden worden toegewezen aan drie dimensies. In mijn 3D-kleurenkiezer kunt u alle drie de waarden in één keer wijzigen of afzonderlijk de tint, verzadiging of waarde instellen. Ik vind dat het interessanter is om mee te communiceren dan met sliders op een 3D-pagina.

Op dezelfde manier wil ik met voortbeweging in 3D bewegen, dus heb ik een 3D-joystick gemaakt voor soepele, met de hand gevolgde bewegingen. Sleep de bol eenvoudig in de richting waarin u wilt reizen en rol uw pols voor een snelle of soepele rotatie. Het werkt in loop- of vliegmodus en de rotatie kan worden uitgeschakeld als de gebruiker het te veel vindt om in één besturing over alles na te denken. Ik ben nog steeds voorstander van traditionele, op een controller gebaseerde bewegingen, maar deze bediening met één hand dupliceert de functionaliteit van meerdere joysticks/knoppen en is een interessant voorbeeld van hoe 3D-handbewegingen op nieuwe manieren aan de eisen kunnen voldoen.

handen

In al mijn voorbeeldvideo's zie je dat ik de hand van de gebruiker verberg zodra deze met de gebruikersinterface begint te communiceren. Veel ontwikkelaars investeren moeite in het zorgvuldig creëren van grijphoudingen voor verschillende doeleinden, en dat ziet er netjes uit, maar voor mij is een goed gepositioneerde hand die mijn eigen handpositie niet weerspiegelt, meer afleidend dan helemaal geen hand. Een hand kan ook een visuele belemmering vormen zodra de interactie is begonnen.

Nu de hand weg is, ben ik ook vrij om de handbeweging te dempen of te overdrijven zonder enig visueel conflict. Ik demp handbewegingen in de kleurkiezer om de gevoeligheid te verlagen en handbewegingen te overdrijven tijdens het scrollen als er veel inhoud is.

Tekst

Hoewel Idea Engine Sketchfab ondersteunt voor het downloaden van 3D-modellen, AI voor het genereren van afbeeldingen en het importeren van foto's en audio, is het moeilijk om het gemak en de toegankelijkheid van tekst en gesproken woord te verslaan bij het overbrengen van complexe verhalen. Met dit in gedachten had ik goede ondersteuning voor tekst nodig, zodat gebruikers alle beschikbare formaten konden samenvoegen om hun verhalen te vertellen.

Tekst ziet er over het algemeen niet geweldig uit in VR, dus ik vervaag het terwijl je wegloopt om lelijke artefacten te verwijderen en ook tekstpanelen te sluiten. Gebruikers willen graag de omgeving verkennen in plaats van tekst lezen, dus ik heb de mogelijkheid om een ​​verteller automatisch elke bloktekst die je tegenkomt te laten voorlezen.

Tekstinvoer was een uitdaging zonder een geweldige oplossing. Ik heb tekstinvoer in mobiele stijl gemaakt met ondersteuning voor knippen en plakken en automatische paginering met behulp van een virtueel toetsenbord. Toen ik klaar was, dacht ik: dat is oké, maar ik zou geen lange passage in XR willen typen. Vervolgens heb ik spraak-naar-tekst-ondersteuning toegevoegd. Dat hielp, maar ik merkte dat ik na mijn dictaat veel moest bewerken en dat ging nog steeds langzamer dan met traditionele middelen. Nu sta ik gebruikers toe om vanuit een browser op elk apparaat dat ze bezitten verbinding te maken met hun headset en tekst te importeren via een webpagina. Ik gebruik regelmatig alle drie de technieken, waarbij de browser wordt gebruikt voor het invoeren van lange tekst.

Mijn les hier was dat je niet altijd alles in XR hoeft op te lossen. Soms verdient het de voorkeur om geschiktere apparaten te gebruiken en vervolgens de resultaten te importeren.

Probeer het

Van educatieve mindmaps tot interactieve verhalen en games: u kunt CC-middelen gebruiken en uw eigen foto's, geluiden en tekst importeren om uw idee vorm te geven. Breng het vervolgens tot leven door statussen, gebeurtenissen en scripting op hoog niveau toe te voegen en deel het op onze X82-metaverse. Een tool boordevol functionaliteiten voor eindgebruikers om de mogelijkheden van XR te verkennen.

De public alpha is nu beschikbaar en gratis te downloaden via App Lab, zodat u alle besproken functies kunt komen uitproberen en mij uw feedback kunt geven.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/