Az XR felhasználói felület interakcióinak felfedezése az „Idea Engine” programban

Ötlet motor lehetővé teszi a VR és a vegyes valóság élményeinek létrehozását és megosztását. Egy ilyen általános célú eszköz elkészítése összetett felhasználói felületeket igényel. Ebben a vendégcikkben Brett Jackson fejlesztő megosztja a felhasználói felület interakciójával kapcsolatos megközelítéseit.

Vendég cikke Brett Jacksontól

Brett Jackson 2015 óta fejleszt VR-projekteket, és az új brit székhelyű vállalat igazgatója. X82 Kft. Korábbi kiadásai a következők: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR és mobil VR) és 120 Hz (SideQuest).

Gyakori, hogy a felhasználói felületet 2D interaktív paneleken keresztül mutatják be az XR-ben. Nem izgalmas lehetőség, de ismerős és hatékony. Azonban még ha elfogadjuk is ezt a 2D-s behatolást az XR világunkba, még mindig vannak új megfontolások és lehetőségek a 2D paradigmáktól való megszabaduláshoz.

Hamar elegem lett a lézermutatókból, amelyek eltúlozták a kezemet a távoli paneleken, valamint az inkonzisztens célvektoraikat és a szaggatott csípések érzékelését. Én inkább az, hogy elérjem a világot és kapcsolatba kerüljek vele. Közvetlenül magam előtt szeretném a panelt, hogy kényelmesen elhelyezhessem, és úgy használhassam, mint egy valódi eszközt.

Legújabb projektem, Ötlet motorsegítségével fejlesztették ki StereoKit, egy nyílt forráskódú OpenXR könyvtár. Ez a kéz az első filozófia, és azonnali kézi követést, valamint vezérlő támogatást biztosít. Lehetővé teszi dinamikus ablakok hatékony létrehozását tipikus felhasználói felület vezérlőkkel. Kiváló eszköz az XR projektek gyors létrehozásához, és számos egyéb előnnyel is rendelkezik.

Panelek

Tehát a kiindulópontom egy UI panel, amelyet bárhol megragadhatunk (nincs speciális fogantyú vagy él), amely szép aurával jelenik meg, amikor fogási tartományban vagyunk. Most adjunk hozzá további XR-megfontolásokat.

Az XR-ben a felhasználó könnyen egy UI panel mögé kerül. Ahelyett, hogy üres hátsó vagy fordított felhasználói felületet jelenítenék meg, a felhasználói felületet arra az oldalra fordítom, amelyet a felhasználó néz – ez egyszerű. Triviálisan hangzik, de érdemes megfontolni az XR-specifikus forgatókönyveket. Egy másik megközelítés a panel automatikus elforgatása, hogy állandóan a lejátszó felé nézzen, de ez elveszi a vezérlést a felhasználótól. Ha furcsa szögben akarják a panelt, hagyják, jó okuk lehet.

Az egyes paneleket kis méretben kell tartani (oldalméret / monitorméret), hogy a felhasználó könnyen felszívja a tartalmat anélkül, hogy el kellene fordítania a fejét, de az XR bőséges helyet biztosít számunkra. Szeretem keresni a lehetőségeket, hogy kitörjek az oldalhatáron. A görgethető területeimnek van egy fogantyúja a tartalom megragadásához és mozgatásához. Ha megragadja, a tartalmi terület nagymértékben kibővített nézete látható, és ebben a módban húzással húzhatja, így nagyobb elhelyezési tartományt biztosít.

Tippeket mutatok a panelek oldalán, egy vonallal az általuk leírt UI-komponenshez. Ez csökkenti a szöveg mennyiségét a panelen. A felhasználók végiglapozhatják a tippeket, és elrejthetik azokat, amelyeket ismernek.

Egy másik projektben egy 3D Gantt-diagram prototípusát készítettem, amely vízszintesen gördült le az oldalról, és elhalványult a távolba. A felhasználó továbbra is a normál méretű központi panelre helyezte a hangsúlyt, de opcionálisan a tágabb kontextusba is bele tudott venni.

Bár a panelek kényelmesek és ismerősek, nem szabad magunkat korlátozni a határaik miatt, és jó móka keresni a kitörési lehetőségeket.

Menük

A StereoKit bemutatott nekem a radiális kézi menüt, amit aztán kibővítettem. Tetszik ez az ötlet, mert az ember egy kézzel működteti, így kényelmes, hozzáférhető. Ugyanazt a menürendszert teszem elérhetővé a jobb és a bal oldalon is, és a konzisztencia érdekében ugyanazt a megközelítést használom a panelek előugró menüihez.

A volumetrikus menüm egy lépéssel tovább viszi a dolgokat, és pusztán az a vágy vezérelte, hogy kihasználjam ezt a harmadik dimenziót. Használom a célállomások teleportálására (minden célpontra mutató mutatóval) és a közeli csomópontok kiválasztására a szerkesztéshez. A metaverzum címek böngészésekor is használom billentyűzet bevitelre. Ez meglehetősen kísérleti jellegű. Ennek az az előnye, hogy minden szimbólum egyenlő távolságra van a középponttól, és anélkül látja a bevitelt, hogy el kellene néznie (gyakori probléma a virtuális billentyűzeteknél). Hátránya, hogy ismeretlen a felhasználók számára, ezért némi ellenállásra számítok vele. Figyeljük meg a videón, hogy a betűk ábécé sorrendben elölről hátrafelé haladnak, így rövid időn belül ismerőssé válhat a helyzetük.

Hamarosan hozzáadhat ehhez hasonló menüket saját Idea Engine-projektjeihez.

3D widgetek

A színválasztó ideális lehetőséget kínált a kísérletezésre, három értékkel (színárnyalat, telítettség és érték), amelyeket 3 dimenzióra lehetett leképezni. A 3D színválasztómban mindhárom értéket egyszerre módosíthatja, vagy külön-külön beállíthatja a színárnyalatot, a telítettséget vagy az értéket. Úgy érzem, sokkal érdekesebb vele kommunikálni, mint a csúszkákkal egy 2D oldalon.

Hasonlóan a helyváltoztatáshoz, 3D-ben szeretnék mozogni, ezért készítettem egy 3D joystickot a gördülékeny kézi mozgáshoz. Egyszerűen húzza a gömböt abba az irányba, amerre haladni szeretne, és húzza meg a csuklóját a pattintáshoz vagy a sima forgatáshoz. Séta vagy repülő üzemmódban működik, és a forgatás letiltható, ha a felhasználó túl sok mindent egy vezérlőben gondol. Továbbra is támogatom a hagyományos vezérlő alapú mozgást, de ez az egykezes vezérlés megismétli a több joystick/gomb funkcionalitását, és érdekes példa arra, hogy a 3D kézmozgatás új módokon képes megfelelni a követelményeknek.

kezek

Az összes példavideómban látni fogod, hogy elrejtem a felhasználó kezét, amint elkezd kommunikálni a felhasználói felülettel. Sok fejlesztő erőfeszítést fektet abba, hogy gondosan hozzon létre kapaszkodó pózokat különböző célokra, és ez jól néz ki, de számomra egy jól pózolt kéz, amely nem tükrözi a saját kezemet, jobban elvonja a figyelmet, mint a kéz nélküli kéz. A kéz vizuális akadály is lehet, miután az interakció elkezdődött.

Ha nincs kéz, szabadon csillapíthatom vagy eltúlozhatom a kézmozgást vizuális konfliktusok nélkül. Csillapítom a kéz mozgását a színválasztóban, hogy csökkentsem az érzékenységet, és eltúlozzam a kézmozgást görgetéskor, amikor sok tartalom van.

szöveg

Míg az Idea Engine támogatja a Sketchfabot a 3D-s modellek letöltéséhez, az AI-t a képek generálásához és a fényképek/audio importáláshoz, nehéz felülmúlni a szöveg és a kimondott szó könnyedségét és hozzáférhetőségét az összetett narratívák közvetítéséhez. Ezt szem előtt tartva megfelelő támogatásra volt szükségem a szöveghez, hogy a felhasználók az összes rendelkezésre álló formátumot egyesíthessék történetük elmondásához.

A szöveg általában nem néz ki jól VR-ben, ezért elhalványítom, amikor elmegy, hogy eltávolítsam a csúnya műtermékeket, és bezárjam a szövegpaneleket is. A felhasználók szívesen fedeznék fel a környezetet, nem pedig szöveget olvasnának, így lehetőségem van arra, hogy a narrátor automatikusan felolvassa a blokkolt szövegeket, amelyekkel találkozik.

A szövegbevitel nagyszerű megoldás nélkül kihívás volt. Mobil stílusú szövegbevitelt készítettem kivágás és beillesztés támogatással és automatikus lapozással virtuális billentyűzet segítségével. Amikor befejeztem, azt gondoltam, ez rendben van, de nem szeretnék hosszú részt beírni XR-be. Aztán hozzáadtam a hang-szöveg támogatást. Ez segített, de rájöttem, hogy sokat kell szerkesztenem a diktálás után, és ez még mindig lassabb volt, mint a hagyományos eszközök használata. Mostantól lehetővé teszem a felhasználóknak, hogy csatlakozzanak a fülhallgatójukhoz a böngészőből bármely saját eszközükön, és szöveget importáljanak egy weboldalon keresztül. Mindhárom technikát rendszeresen használom, a hosszú szövegbevitelre használt böngészővel.

A tanulságom az volt, hogy nem kell mindig mindent XR-ben megoldani. Néha jobb, ha megfelelőbb eszközöket használ, majd importálja az eredményeket.

Próbáld ki

Az oktató gondolattérképektől az interaktív történetekig és játékokig kihasználhatja a CC-eszközöket, és importálhatja saját fotóit, hangjait és szövegeit, hogy megépítse ötleteit. Ezután keltse életre állapotok, események és magas szintű szkriptek hozzáadásával, és ossza meg X82 metaverzumunkon. Funkciókkal teli, végfelhasználói eszköz az XR lehetőségeinek felfedezéséhez.

A A nyilvános alfa már elérhető és ingyenesen letölthető az App Labból, így eljöhet és kipróbálhatja a tárgyalt funkciók bármelyikét, és visszajelzést adhat.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/