Explorando as interações da interface do usuário XR no ‘Idea Engine’

Motor de ideias permite criar e compartilhar experiências de VR e realidade mista. Construir uma ferramenta de uso geral requer interfaces de usuário complexas. Neste artigo convidado, o desenvolvedor Brett Jackson compartilha suas abordagens para a interação da IU.

Artigo convidado de Brett Jackson

Brett Jackson desenvolve projetos de VR desde 2015 e é o diretor da nova empresa sediada no Reino Unido X82 Ltda. Seus lançamentos anteriores incluem: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR e VR móvel) e 120Hz (SideQuest).

É comum apresentar uma UI por meio de painéis interativos 2D em XR. Não é uma perspectiva empolgante, mas é familiar e eficiente. No entanto, mesmo que aceitemos esta intrusão 2D nos nossos mundos XR, ainda existem novas considerações e oportunidades para nos libertarmos dos paradigmas 2D.

Rapidamente me cansei dos ponteiros laser que exageravam o movimento da minha mão em painéis distantes, junto com seus vetores de alvo inconsistentes e detecção intermitente de pinçamento. Minha preferência é alcançar e interagir com o mundo. Quero o painel bem na minha frente para poder posicioná-lo confortavelmente e usá-lo como um dispositivo do mundo real.

Meu último projeto, Motor de ideias, é desenvolvido usando Kit estéreo, uma biblioteca OpenXR de código aberto. Ele tem uma filosofia de colocar as mãos em primeiro lugar e fornece suporte pronto para uso de rastreamento manual, bem como suporte para controlador. Ele permite a criação eficiente de janelas dinâmicas com controles típicos de UI. É uma excelente ferramenta para criar projetos XR rapidamente e tem muitos outros benefícios.

Painéis

Portanto, meu ponto de partida é um painel de UI que podemos agarrar em qualquer ponto (sem alças ou bordas especiais para encontrar) com uma aura agradável exibida quando estamos ao alcance de captura. Agora, vamos adicionar mais considerações sobre XR.

No XR, é fácil para um usuário acabar atrás de um painel de IU. Em vez de mostrar uma IU traseira em branco ou invertida, viro a IU para o lado que o usuário está olhando – simples. Parece trivial, mas vale a pena considerar cenários específicos de XR. Outra abordagem é girar automaticamente o painel para ficar constantemente de frente para o jogador, mas isso remove o controle do usuário. Se eles querem o painel em um ângulo estranho, deixe-os, eles podem ter um bom motivo.

Um painel individual deve ser mantido em um tamanho pequeno (tamanho da página / tamanho do monitor) para que o usuário possa absorver facilmente o conteúdo sem ter que virar a cabeça, mas o XR nos oferece muito espaço. Gosto de procurar oportunidades para sair dos limites da página. Minhas áreas roláveis ​​possuem uma alça para capturar e mover o conteúdo. Enquanto capturado, você terá uma visão bastante expandida da área de conteúdo e poderá arrastar e soltar neste modo, proporcionando uma faixa de posicionamento maior.

Mostro dicas na lateral dos painéis, com uma linha para o componente de UI que elas descrevem. Isso reduz a quantidade de texto no painel. Os usuários podem percorrer dicas e ocultar aquelas com as quais estão familiarizados.

Em outro projeto, criei um protótipo de um gráfico de Gantt 3D que rolava para fora da página horizontalmente e desaparecia na distância. O foco principal do usuário ainda estava no painel central de tamanho normal, mas eles puderam, opcionalmente, considerar o contexto mais amplo.

Embora os painéis sejam convenientes e familiares, não devemos nos sentir limitados por seus limites e é divertido procurar maneiras de sair.

Menus

O StereoKit me apresentou o menu radial, que depois expandi. Gosto dessa ideia porque você a opera com uma mão, por isso é conveniente e acessível. Disponibilizo o mesmo sistema de menus à direita e à esquerda e uso a mesma abordagem para menus pop-up em painéis para maior consistência.

Meu menu volumétrico vai um passo além e foi movido puramente pelo desejo de fazer uso dessa 3ª dimensão. Eu o uso para selecionar destinos de teletransporte (com um ponteiro para cada destino) e para selecionar nós próximos para editar. Eu também o uso para entrada de teclado ao navegar em endereços do metaverso. Isso é bastante experimental. Tem a vantagem de todos os símbolos estarem equidistantes do centro e você ver sua entrada sem precisar desviar o olhar (um problema comum em teclados virtuais). A desvantagem é que ele não é familiar aos usuários, então espero alguma resistência a ele. Observe no vídeo que as letras espiralam da frente para trás em ordem alfabética, então em pouco tempo sua posição deve se tornar familiar.

Em breve, você poderá adicionar menus como esses aos seus próprios projetos do Idea Engine.

Widgets 3D

Um seletor de cores ofereceu uma oportunidade ideal para experimentar, tendo três valores (matiz, saturação e valor) que podiam ser mapeados em três dimensões. No meu seletor de cores 3D, você pode alterar todos os três valores de uma vez ou definir individualmente o matiz, a saturação ou o valor. Acho que é mais interessante interagir do que controles deslizantes em uma página 3D.

Da mesma forma com a locomoção, quero me mover em 3D, então criei um joystick 3D para movimentos suaves controlados manualmente. Basta arrastar a esfera na direção desejada e girar o pulso para obter uma rotação rápida ou suave. Ele opera em modo de caminhada ou vôo e a rotação pode ser desabilitada caso o usuário ache muito difícil pensar em tudo em um só controle. Ainda apoio o movimento tradicional baseado em controlador, mas esse controle com uma mão duplica a funcionalidade de vários joysticks/botões e é um exemplo interessante de como o movimento da mão 3D pode atender aos requisitos de novas maneiras.

mãos

Em todos os meus vídeos de exemplo, você verá que escondo a mão do usuário assim que ele começa a interagir com a IU. Muitos desenvolvedores investem esforços na criação cuidadosa de poses de agarramento para diferentes propósitos, e isso parece legal, mas para mim, uma mão bem posicionada que não reflete a posição da minha própria mão distrai mais do que nenhuma mão. Uma mão também pode ser uma obstrução visual após o início da interação.

Sem a mão, também estou livre para amortecer ou exagerar o movimento da mão sem qualquer conflito visual. Eu amorteço o movimento da mão no seletor de cores para diminuir a sensibilidade e exagerar o movimento da mão ao rolar quando há muito conteúdo.

Texto

Embora o Idea Engine suporte Sketchfab para download de modelos 3D, IA para gerar imagens e importação de fotos/áudio, é difícil superar a facilidade e acessibilidade do texto e da palavra falada para transmitir narrativas complexas. Com isso em mente, eu precisava de um suporte decente para texto, para que os usuários pudessem mesclar todos os formatos disponíveis para contar suas histórias.

O texto geralmente não fica bem em VR, então eu apago-o conforme você se afasta para remover artefatos desagradáveis ​​e fechar os painéis de texto também. Os usuários estarão interessados ​​em explorar o ambiente em vez de ler o texto, então tenho a opção de fazer com que um narrador leia automaticamente qualquer bloco de texto que encontrar.

A entrada de texto foi um desafio sem uma ótima solução. Criei entrada de texto no estilo mobile com suporte para recortar e colar e paginação automática usando um teclado virtual. Quando terminei, pensei: tudo bem, mas não gostaria de digitar uma passagem longa em XR. Então adicionei suporte de voz para texto. Isso ajudou, mas descobri que precisava fazer muitas edições depois do ditado e isso ainda era mais lento do que usar os meios tradicionais. Agora permito que os usuários se conectem ao fone de ouvido a partir de um navegador em qualquer dispositivo de sua propriedade e importem texto por meio de uma página da web. Eu uso regularmente todas as três técnicas, com o navegador usado para entrada de textos longos.

Minha lição aqui foi que nem sempre você precisa resolver tudo em XR. Às vezes é preferível usar dispositivos mais adequados e depois importar os resultados.

Experimente

De mapas mentais educacionais a histórias e jogos interativos, você pode aproveitar os recursos do CC e importar suas próprias fotos, sons e texto para construir sua ideia. Em seguida, dê vida a ele adicionando estados, eventos e scripts de alto nível e compartilhe-os em nosso metaverso X82. Uma ferramenta de usuário final repleta de recursos para explorar as possibilidades do XR.

A alfa público já está disponível e pode ser baixado gratuitamente no App Lab, para que você possa experimentar qualquer um dos recursos discutidos e me dar seu feedback.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/