Esplorazione delle interazioni dell'interfaccia utente XR in "Idea Engine"

Motore delle idee ti consente di creare e condividere esperienze VR e di realtà mista. Costruire uno strumento così generico richiede interfacce utente complesse. In questo articolo ospite, lo sviluppatore Brett Jackson condivide i suoi approcci all'interazione dell'interfaccia utente.

Articolo ospite di Brett Jackson

Brett Jackson sviluppa progetti VR dal 2015 ed è il direttore della nuova società con sede nel Regno Unito X82 Ltd. Le sue versioni precedenti includono: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR e VR mobile) e 120Hz (SideQuest).

È comune presentare un'interfaccia utente tramite pannelli interattivi 2D in XR. Non è una prospettiva entusiasmante, ma è familiare ed efficiente. Tuttavia, anche se accettiamo questa intrusione 2D nei nostri mondi XR, ci sono ancora nuove considerazioni e opportunità per liberarsi dai paradigmi 2D.

Mi sono presto stancato dei puntatori laser che esageravano il movimento della mia mano su pannelli distanti, insieme ai loro vettori di destinazione incoerenti e al rilevamento intermittente del pizzicamento. La mia preferenza è raggiungere e interagire con il mondo. Voglio il pannello proprio di fronte a me in modo da poterlo posizionare comodamente e utilizzarlo come un dispositivo reale.

Il mio ultimo progetto, Motore delle idee, è sviluppato utilizzando StereoKit, una libreria OpenXR open source. Ha una filosofia “hands-first” e fornisce supporto immediato per il tracciamento delle mani, nonché supporto per il controller. Consente la creazione efficiente di finestre dinamiche con i tipici controlli dell'interfaccia utente. È uno strumento eccellente per creare rapidamente progetti XR e offre molti altri vantaggi.

Pannelli

Quindi il mio punto di partenza è un pannello dell'interfaccia utente che possiamo afferrare in qualsiasi punto (senza maniglie o bordi speciali da trovare) con una bella aura visualizzata quando siamo nel raggio d'azione. Ora aggiungiamo ulteriori considerazioni sull’XR.

In XR, è facile per un utente finire dietro un pannello dell'interfaccia utente. Invece di mostrare un'interfaccia utente posteriore vuota o invertita, capovolgo l'interfaccia utente sul lato rivolto all'utente: semplice. Sembra banale, ma vale la pena considerare scenari specifici dell’XR. Un altro approccio consiste nel ruotare automaticamente il pannello per essere costantemente rivolto verso il giocatore, ma ciò rimuove il controllo da parte dell'utente. Se vogliono che il pannello abbia un'angolazione strana, lascialo fare, potrebbero avere una buona ragione.

Un singolo pannello dovrebbe essere mantenuto a piccole dimensioni (dimensione della pagina/dimensione del monitor) in modo che l'utente possa assorbire facilmente i contenuti senza dover girare la testa, ma XR ci offre molto spazio. Mi piace cercare opportunità per uscire dai limiti della pagina. Le mie aree scorrevoli hanno una maniglia per afferrare e spostare il contenuto. Durante la cattura, viene visualizzata una visualizzazione notevolmente ampliata dell'area del contenuto e puoi trascinare e rilasciare in questa modalità, fornendo un intervallo di posizionamento più ampio.

Mostro i suggerimenti a lato dei pannelli, con una linea che indica il componente dell'interfaccia utente che descrivono. Ciò riduce la quantità di testo sul pannello. Gli utenti possono scorrere i suggerimenti e nascondere quelli con cui hanno familiarità.

In un altro progetto, ho prototipato un diagramma di Gantt 3D che scorreva orizzontalmente fuori dalla pagina e sfumava in lontananza. L'attenzione principale dell'utente era ancora sul pannello centrale di dimensioni normali, ma era possibile, facoltativamente, inquadrare il contesto più ampio.

Sebbene i pannelli siano comodi e familiari, non dovremmo sentirci vincolati dai loro limiti ed è divertente cercare modi per uscire.

menu

StereoKit mi ha fatto conoscere il menu delle mani radiali, che poi ho ampliato. Mi piace questa idea perché la gestisci con una mano, quindi è comoda, accessibile. Rendo disponibile lo stesso sistema di menu sia sulla mano destra che su quella sinistra e utilizzo lo stesso approccio per i menu a comparsa sui pannelli per coerenza.

Il mio menu volumetrico fa un ulteriore passo avanti ed è stato guidato esclusivamente dal desiderio di utilizzare quella terza dimensione. Lo uso per selezionare le destinazioni del teletrasporto (con un puntatore a ciascuna destinazione) e per selezionare i nodi vicini da modificare. Lo uso anche per l'input da tastiera durante la navigazione degli indirizzi metaverse. Questo è abbastanza sperimentale. Ha il vantaggio che tutti i simboli sono equidistanti dal centro e puoi vedere il tuo input senza dover distogliere lo sguardo (un problema comune con le tastiere virtuali). Lo svantaggio è che non è familiare agli utenti, quindi mi aspetto una certa resistenza. Nota nel video, le lettere si allontanano a spirale da davanti a dietro in ordine alfabetico, quindi in breve tempo la loro posizione dovrebbe diventare familiare.

Presto potrai aggiungere menu come questi ai tuoi progetti Idea Engine.

Widget 3D

Un selettore di colori offriva un'opportunità ideale per sperimentare, avendo tre valori (tonalità, saturazione e valore) che potevano essere mappati su 3 dimensioni. Nel mio selettore colori 3D, puoi modificare tutti e tre i valori contemporaneamente o impostare individualmente tonalità, saturazione o valore. Sento che è più interessante interagire rispetto agli slider su una pagina 2D.

Allo stesso modo con la locomozione, voglio muovermi in 3D, quindi ho realizzato un joystick 3D per movimenti fluidi seguiti a mano. Trascina semplicemente la sfera nella direzione in cui desideri viaggiare e ruota il polso per ottenere una rotazione fluida o scattante. Funziona in modalità camminata o volo e la rotazione può essere disabilitata se l'utente ritiene che sia troppo pensare a tutto in un unico controllo. Supporto ancora il movimento tradizionale basato su controller, ma questo controllo con una sola mano duplica la funzionalità di più joystick/pulsanti ed è un esempio interessante di come il movimento della mano 3D possa soddisfare i requisiti in modi nuovi.

Mani

In tutti i miei video di esempio, vedrai che nascondo la mano dell'utente non appena inizia a interagire con l'interfaccia utente. Molti sviluppatori investono sforzi nella creazione accurata di pose di presa per scopi diversi, e questo sembra carino, ma per me, una mano ben posizionata che non riflette la posizione della mia mano è più fonte di distrazione di nessuna mano. Una mano può anche costituire un ostacolo visivo una volta iniziata l'interazione.

Senza la mano, sono anche libero di smorzare o esagerare il movimento della mano senza alcun conflitto visivo. Smorzo il movimento della mano nel selettore colori per ridurre la sensibilità ed esagerare il movimento della mano durante lo scorrimento quando ci sono molti contenuti.

Testo

Anche se Idea Engine supporta Sketchfab per scaricare modelli 3D, l'intelligenza artificiale per generare immagini e l'importazione di foto/audio, è difficile battere la facilità e l'accessibilità del testo e della parola per trasmettere narrazioni complesse. Con questo in mente, avevo bisogno di un supporto decente per il testo in modo che gli utenti potessero unire tutti i formati disponibili per raccontare le loro storie.

In genere il testo non ha un bell'aspetto in VR, quindi lo sbiadisco mentre ti allontani per rimuovere gli artefatti antiestetici e chiudere anche i pannelli di testo. Gli utenti saranno desiderosi di esplorare l'ambiente piuttosto che leggere il testo, quindi ho la possibilità di fare in modo che un narratore legga automaticamente qualsiasi testo in blocco che incontri.

L'immissione di testo è stata una sfida senza un'ottima soluzione. Ho creato un input di testo in stile mobile con supporto taglia e incolla e impaginazione automatica utilizzando una tastiera virtuale. Quando ho finito, ho pensato, va bene, ma non vorrei scrivere un passaggio lungo in XR. Quindi ho aggiunto il supporto da voce a testo. Ciò mi ha aiutato, ma ho scoperto che dovevo apportare molte modifiche dopo la dettatura e che era comunque più lento rispetto all'uso dei mezzi tradizionali. Ora consento agli utenti di connettersi alle proprie cuffie da un browser su qualsiasi dispositivo di loro proprietà e di importare testo tramite una pagina Web. Utilizzo regolarmente tutte e tre le tecniche, utilizzando il browser per l'immissione di testi lunghi.

La mia lezione qui è stata che non è sempre necessario risolvere tutto in XR. A volte è preferibile utilizzare dispositivi più adatti e poi importare i risultati.

Provalo

Dalle mappe mentali educative alle storie e ai giochi interattivi, puoi sfruttare le risorse CC e importare foto, suoni e testi per realizzare la tua idea. Quindi, dagli vita aggiungendo stati, eventi e script di alto livello e condividilo sul nostro metaverso X82. Uno strumento per l'utente finale ricco di funzionalità per esplorare le possibilità di XR.

Il public alpha è ora disponibile e scaricabile gratuitamente su App Lab, così puoi venire a provare qualsiasi delle funzionalità discusse e darmi il tuo feedback.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/