Explorando las interacciones de la interfaz de usuario XR en 'Idea Engine'

Motor de ideas le permite crear y compartir experiencias de realidad virtual y mixta. La creación de una herramienta de propósito general de este tipo requiere interfaces de usuario complejas. En este artículo invitado, el desarrollador Brett Jackson comparte sus enfoques sobre la interacción con la interfaz de usuario.

Artículo invitado de Brett Jackson

Brett Jackson ha estado desarrollando proyectos de realidad virtual desde 2015 y es el director de la nueva empresa con sede en el Reino Unido. X82 Ltda.. Sus lanzamientos anteriores incluyen: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR y Mobile VR) y 120Hz (SideQuest).

Es común presentar una interfaz de usuario a través de paneles interactivos 2D en XR. No es una perspectiva emocionante, pero sí familiar y eficiente. Sin embargo, incluso si aceptamos esta intrusión 2D en nuestros mundos XR, todavía existen nuevas consideraciones y oportunidades para liberarnos de los paradigmas 2D.

Rápidamente me cansé de los punteros láser que exageraban el movimiento de mi mano en paneles distantes, junto con sus vectores de objetivo inconsistentes y su detección intermitente de pellizcos. Mi preferencia es acercarme e interactuar con el mundo. Quiero el panel justo frente a mí para poder colocarlo cómodamente y usarlo como un dispositivo del mundo real.

Mi último proyecto, Motor de ideas, se desarrolla utilizando Kit estéreo, una biblioteca OpenXR de código abierto. Tiene una filosofía de manos primero y proporciona soporte de seguimiento manual listo para usar, así como soporte de controlador. Permite la creación eficiente de ventanas dinámicas con controles de interfaz de usuario típicos. Es una excelente herramienta para crear rápidamente proyectos XR y tiene muchos otros beneficios.

Placas

Entonces, mi punto de partida es un panel de interfaz de usuario que podemos agarrar en cualquier punto (sin manijas ni bordes especiales que encontrar) con un aura agradable que se muestra cuando estamos en el rango de agarre. Ahora, agreguemos más consideraciones sobre XR.

En XR, es fácil para un usuario terminar detrás de un panel de interfaz de usuario. En lugar de mostrar una interfaz de usuario trasera en blanco o invertida, giro la interfaz de usuario hacia el lado que mira el usuario: simple. Suena trivial, pero vale la pena considerar escenarios específicos de XR. Otro enfoque es rotar automáticamente el panel para mirar constantemente al jugador, pero esto le quita el control al usuario. Si quieren el panel en un ángulo extraño, déjelos, puede que tengan una buena razón.

Un panel individual debe mantenerse en un tamaño pequeño (tamaño de página/tamaño de monitor) para que el usuario pueda absorber fácilmente el contenido sin tener que girar la cabeza, pero XR nos proporciona una gran cantidad de espacio. Me gusta buscar oportunidades para salir del límite de la página. Mis áreas desplazables tienen un controlador para capturar y mover el contenido. Mientras está agarrado, verá una vista muy ampliada del área de contenido y puede arrastrar y soltar mientras está en este modo, lo que proporciona un mayor rango de ubicación.

Muestro sugerencias al costado de los paneles, con una línea hacia el componente de la interfaz de usuario que describen. Esto reduce la cantidad de texto en el panel. Los usuarios pueden recorrer los consejos y ocultar los que conocen.

En otro proyecto, hice un prototipo de un diagrama de Gantt 3D que se desplazaba horizontalmente fuera de la página y se desvanecía en la distancia. La atención principal del usuario todavía estaba en el panel central de tamaño normal, pero, opcionalmente, podía ver el contexto más amplio.

Si bien los paneles son convenientes y familiares, no debemos sentirnos limitados por sus límites y es divertido buscar formas de escapar.

Menús

StereoKit me presentó el menú de mano radial, que luego amplié. Me gusta esta idea porque se maneja con una mano, por lo que es conveniente y accesible. Hago que el mismo sistema de menú esté disponible tanto en la mano derecha como en la izquierda y uso el mismo enfoque para los menús emergentes en los paneles para mantener la coherencia.

Mi menú volumétrico va un paso más allá y fue impulsado únicamente por el deseo de hacer uso de esa tercera dimensión. Lo uso para seleccionar destinos de teletransporte (con un puntero a cada destino) y para seleccionar nodos cercanos para editar. También lo uso para la entrada del teclado cuando busco direcciones de metaverso. Esto es bastante experimental. Tiene la ventaja de que todos los símbolos están equidistantes del centro y puedes ver tu entrada sin tener que apartar la mirada (un problema común con los teclados virtuales). El inconveniente es que los usuarios no lo conocen, por lo que espero cierta resistencia. Observe que en el video las letras se alejan en espiral de adelante hacia atrás en orden alfabético, por lo que en poco tiempo su posición debería resultarle familiar.

Pronto podrás agregar menús como estos a tus propios proyectos de Idea Engine.

Aparatos 3D

Un selector de color ofrecía una oportunidad ideal para experimentar, ya que tenía tres valores (tono, saturación y valor) que podían asignarse a 3 dimensiones. En mi selector de color 3D, puedes cambiar los tres valores a la vez o establecer individualmente el tono, la saturación o el valor. Siento que es más interesante interactuar con ellos que con los controles deslizantes en una página 2D.

De manera similar, con la locomoción, quiero moverme en 3D, así que hice un joystick 3D para un movimiento fluido con la mano. Simplemente arrastre la esfera en la dirección que desea viajar y gire la muñeca para lograr una rotación rápida o suave. Funciona en modo caminar o volar y la rotación se puede desactivar si al usuario le resulta demasiado pensar en todo en un solo control. Sigo apoyando el movimiento tradicional basado en controladores, pero este control con una sola mano duplica la funcionalidad de múltiples joysticks/botones y es un ejemplo interesante de cómo el movimiento de la mano en 3D puede cumplir con los requisitos de nuevas maneras.

Manos

En todos mis videos de ejemplo, verás que oculto la mano del usuario tan pronto como comienza a interactuar con la interfaz de usuario. Muchos desarrolladores invierten esfuerzos en crear cuidadosamente poses de agarre para diferentes propósitos, y eso se ve genial, pero para mí, una mano bien posada que no refleja la posición de mi propia mano distrae más que ninguna mano. Una mano también puede ser una obstrucción visual una vez iniciada la interacción.

Sin la mano, también soy libre de amortiguar o exagerar el movimiento de la mano sin ningún conflicto visual. Amortigué el movimiento de la mano en el selector de color para reducir la sensibilidad y exagero el movimiento de la mano cuando me desplazo cuando hay mucho contenido.

Texto

Si bien Idea Engine admite Sketchfab para descargar modelos 3D, IA para generar imágenes e importación de fotografías y audio, es difícil superar la facilidad y accesibilidad del texto y la palabra hablada para transmitir narrativas complejas. Con esto en mente, necesitaba un soporte decente para texto para que los usuarios pudieran combinar todos los formatos disponibles para contar sus historias.

El texto generalmente no se ve muy bien en la realidad virtual, por lo que lo atenúo cuando te alejas para eliminar artefactos antiestéticos y también cerrar los paneles de texto. Los usuarios estarán interesados ​​en explorar el entorno en lugar de leer texto, por lo que tengo la opción de hacer que un narrador lea automáticamente cualquier texto en bloque que encuentre.

La entrada de texto fue un desafío sin una gran solución. Creé entrada de texto estilo móvil con soporte para cortar y pegar y paginación automática usando un teclado virtual. Cuando terminé, pensé: está bien, pero no me gustaría escribir un pasaje largo en XR. Luego agregué soporte de voz a texto. Eso ayudó, pero descubrí que necesitaba editar mucho después de mi dictado y eso era aún más lento que usar los medios tradicionales. Ahora permito a los usuarios conectarse a sus auriculares desde un navegador en cualquier dispositivo que posean e importar texto a través de una página web. Utilizo habitualmente las tres técnicas y el navegador se utiliza para introducir textos largos.

Mi lección aquí fue que no siempre es necesario resolver todo en XR. A veces es preferible utilizar dispositivos más adecuados y luego importar los resultados.

Pruébalo

Desde mapas mentales educativos hasta historias y juegos interactivos, puedes aprovechar los recursos CC e importar tus propias fotos, sonidos y texto para desarrollar tu idea. Luego, dale vida agregando estados, eventos y secuencias de comandos de alto nivel y compártelo en nuestro metaverso X82. Una herramienta de usuario final repleta de funciones para explorar las posibilidades de XR.

La La versión alfa pública ya está disponible y se puede descargar gratis en App Lab, para que puedas venir y probar cualquiera de las funciones comentadas y darme tu opinión.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/