Menjelajahi Interaksi Antarmuka Pengguna XR di 'Mesin Ide'

Mesin Ide memungkinkan Anda membuat dan berbagi pengalaman VR dan realitas campuran. Membangun alat serba guna memerlukan antarmuka pengguna yang kompleks. Dalam Artikel Tamu ini, pengembang Brett Jackson berbagi pendekatannya terhadap interaksi UI.

Artikel Tamu oleh Brett Jackson

Brett Jackson telah mengembangkan proyek VR sejak 2015 dan merupakan direktur perusahaan baru yang berbasis di Inggris X82 Ltd. Rilisan sebelumnya meliputi: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & mobile VR) dan 120Hz (SideQuest).

Menyajikan UI melalui panel interaktif 2D di XR merupakan hal yang umum. Ini bukan prospek yang menarik, namun familiar dan efisien. Namun, meskipun kita menerima intrusi 2D ke dunia XR kita, masih ada pertimbangan dan peluang baru untuk melepaskan diri dari paradigma 2D.

Saya segera bosan dengan penunjuk laser yang membesar-besarkan gerakan tangan saya pada panel yang jauh, bersama dengan vektor target yang tidak konsisten dan deteksi cubitan yang terputus-putus. Preferensi saya adalah menjangkau dan berinteraksi dengan dunia. Saya ingin panelnya tepat di depan saya sehingga saya dapat memposisikannya dengan nyaman dan menggunakannya seperti perangkat di dunia nyata.

Proyek terbaru saya, Mesin Ide, dikembangkan menggunakan StereoKit, perpustakaan OpenXR sumber terbuka. Ini memiliki filosofi hands-first dan memberikan dukungan pelacakan tangan yang out-of-the-box serta dukungan pengontrol. Hal ini memungkinkan pembuatan jendela dinamis secara efisien dengan kontrol UI yang khas. Ini adalah alat luar biasa untuk membuat proyek XR dengan cepat dan memiliki banyak manfaat lainnya.

Panel

Jadi titik awal saya adalah panel UI yang dapat kita ambil kapan saja (tidak ada pegangan atau tepian khusus yang dapat ditemukan) dengan aura bagus yang ditampilkan saat kita berada dalam jangkauan pengambilan. Sekarang, mari tambahkan lebih banyak pertimbangan XR.

Di XR, mudah bagi pengguna untuk berada di belakang panel UI. Daripada menampilkan UI belakang atau terbalik yang kosong, saya membalik UI ke sisi yang dilihat pengguna—sederhana. Kedengarannya sepele, namun ada baiknya mempertimbangkan skenario spesifik XR. Pendekatan lain adalah dengan memutar panel secara otomatis agar terus menghadap pemain, namun hal ini menghilangkan kendali dari pengguna. Jika mereka menginginkan panel pada sudut yang aneh, biarkan saja, mereka mungkin punya alasan yang bagus.

Panel individual harus dibuat dalam ukuran kecil (ukuran halaman/ukuran monitor) sehingga pengguna dapat dengan mudah menyerap konten tanpa harus menoleh, tetapi XR memberi kita banyak ruang. Saya suka mencari peluang untuk keluar dari batas halaman. Area saya yang dapat digulir memiliki pegangan untuk mengambil dan memindahkan konten. Saat diambil, Anda melihat tampilan area konten yang jauh lebih luas, dan Anda dapat menarik dan melepas saat berada dalam mode ini, sehingga memberikan rentang penempatan yang lebih luas.

Saya menunjukkan tip di samping panel, dengan garis ke komponen UI yang dijelaskannya. Ini mengurangi jumlah teks pada panel. Pengguna dapat menelusuri tip dan menyembunyikan tip yang mereka kenal.

Dalam proyek lain, saya membuat prototipe bagan Gantt 3D yang menggulir halaman secara horizontal dan memudar di kejauhan. Fokus utama pengguna masih pada panel tengah berukuran normal, namun mereka dapat mengambil konteks yang lebih luas secara opsional.

Meskipun panel nyaman dan familier, kita tidak boleh merasa dibatasi oleh batasannya dan mencari cara untuk keluar darinya adalah hal yang menyenangkan.

menu

StereoKit memperkenalkan saya pada menu tangan radial, yang kemudian saya kembangkan. Saya menyukai ide ini karena Anda mengoperasikannya dengan satu tangan, sehingga nyaman dan mudah diakses. Saya membuat sistem menu yang sama tersedia di sisi kanan dan kiri dan menggunakan pendekatan yang sama untuk menu popup di panel untuk konsistensi.

Menu volumetrik saya mengambil langkah lebih jauh dan murni didorong oleh keinginan untuk memanfaatkan dimensi ke-3 itu. Saya menggunakannya untuk memilih tujuan teleportasi (dengan penunjuk ke setiap tujuan) dan untuk memilih node terdekat untuk diedit. Saya juga menggunakannya untuk input keyboard saat menelusuri alamat metaverse. Ini cukup eksperimental. Keuntungannya adalah semua simbol memiliki jarak yang sama dari pusat, dan Anda dapat melihat masukan Anda tanpa harus memalingkan muka (masalah umum pada keyboard virtual). Kekurangannya adalah ia asing bagi pengguna, jadi saya perkirakan akan ada penolakan terhadapnya. Perhatikan dalam video, huruf-hurufnya berputar dari depan ke belakang sesuai urutan abjad, jadi dalam waktu singkat, posisinya akan menjadi familiar.

Anda akan segera dapat menambahkan menu seperti ini ke proyek Mesin Ide Anda.

Widget 3D

Pemilih warna menawarkan peluang ideal untuk bereksperimen, memiliki tiga nilai (rona, saturasi, dan nilai) yang dapat dipetakan ke 3 dimensi. Di pemilih warna 3D saya, Anda dapat mengubah ketiga nilai sekaligus atau mengatur rona, saturasi, atau nilai satu per satu. Saya merasa lebih menarik untuk berinteraksi daripada penggeser pada halaman 2D.

Sama halnya dengan penggerak, saya ingin bergerak dalam 3D, jadi saya membuat joystick 3D untuk gerakan tangan yang mulus. Cukup seret bola ke arah yang ingin Anda gerakkan dan putar pergelangan tangan Anda untuk memutarnya dengan cepat atau mulus. Ini beroperasi dalam mode berjalan atau terbang dan rotasi dapat dinonaktifkan jika pengguna merasa terlalu banyak memikirkan semuanya dalam satu kontrol. Saya masih mendukung gerakan berbasis pengontrol tradisional, tetapi kontrol satu tangan ini menduplikasi fungsi beberapa joystick/tombol dan merupakan contoh menarik tentang bagaimana gerakan tangan 3d dapat memenuhi persyaratan dengan cara baru.

tangan

Di semua contoh video saya, Anda akan melihat saya menyembunyikan tangan pengguna segera setelah mereka mulai berinteraksi dengan UI. Banyak pengembang yang menginvestasikan upayanya untuk secara hati-hati menciptakan pose ambil untuk berbagai tujuan, dan itu terlihat rapi, tetapi bagi saya, posisi tangan yang baik dan tidak mencerminkan posisi tangan saya lebih mengganggu daripada tidak ada tangan sama sekali. Tangan juga bisa menjadi penghalang penglihatan setelah interaksi dimulai.

Dengan hilangnya tangan, saya juga bebas meredam atau membesar-besarkan gerakan tangan tanpa adanya konflik visual. Saya meredam gerakan tangan di color picker untuk menurunkan sensitivitas dan membesar-besarkan gerakan tangan saat menggulir saat konten banyak.

Teks

Meskipun Idea Engine mendukung Sketchfab untuk mengunduh model 3D, AI untuk menghasilkan gambar, dan mengimpor foto/audio, kemudahan dan aksesibilitas teks dan kata-kata yang diucapkan untuk menyampaikan narasi yang kompleks sulit dikalahkan. Mengingat hal ini, saya memerlukan dukungan teks yang layak sehingga pengguna dapat menggabungkan semua format yang tersedia untuk menceritakan kisah mereka.

Teks umumnya tidak terlihat bagus di VR, jadi saya memudarkannya saat Anda berjalan pergi untuk menghapus artefak yang tidak sedap dipandang dan menutup panel teks juga. Pengguna akan tertarik untuk menjelajahi lingkungan daripada membaca teks, jadi saya memiliki opsi untuk meminta narator secara otomatis membacakan teks blok apa pun yang Anda temui.

Masukan teks adalah sebuah tantangan tanpa solusi yang hebat. Saya membuat input teks gaya seluler dengan dukungan potong dan tempel dan penomoran halaman otomatis menggunakan keyboard virtual. Ketika saya selesai, saya berpikir, tidak apa-apa, tapi saya tidak ingin mengetik bagian yang panjang di XR. Lalu saya menambahkan dukungan suara ke teks. Itu membantu, tetapi saya menyadari bahwa saya perlu melakukan banyak pengeditan setelah dikte saya dan itu masih lebih lambat dibandingkan menggunakan cara tradisional. Sekarang saya mengizinkan pengguna untuk terhubung ke headset mereka dari browser di perangkat apa pun yang mereka miliki dan mengimpor teks melalui halaman web. Saya secara teratur menggunakan ketiga teknik tersebut, dengan browser yang digunakan untuk entri teks yang panjang.

Pelajaran saya di sini adalah Anda tidak selalu harus menyelesaikan semuanya di XR. Terkadang lebih baik menggunakan perangkat yang lebih sesuai dan kemudian mengimpor hasilnya.

Cobalah

Dari peta pikiran yang mendidik, hingga cerita dan permainan interaktif, Anda dapat memanfaatkan aset CC dan mengimpor foto, suara, dan teks Anda sendiri untuk membangun ide Anda. Kemudian, hidupkan dengan menambahkan status, peristiwa, dan skrip tingkat tinggi, lalu bagikan di metaverse X82 kami. Alat pengguna akhir yang penuh fitur untuk mengeksplorasi kemungkinan XR.

Grafik alpha publik sekarang tersedia dan gratis untuk diunduh di App Lab, sehingga Anda dapat datang dan mencoba salah satu fitur yang dibahas dan memberikan masukan Anda kepada saya.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/