Um guia conciso para iniciantes sobre design e desenvolvimento do Apple Vision Pro

O Apple Vision Pro trouxe novas ideias sobre como os aplicativos XR devem ser projetados, controlados e construídos. Neste artigo de convidado, Sterling Crispin oferece um guia conciso sobre o que os desenvolvedores XR iniciantes devem ter em mente ao abordar o desenvolvimento de aplicativos para o Apple Vision Pro.

Artigo convidado por Sterling Crispin

Sterling Crispin é um artista e engenheiro de software com uma década de experiência na indústria de computação espacial. Seu trabalho se estendeu entre o design de produtos e a P&D de novas tecnologias em empresas como Apple, Snap Inc e várias outras startups de tecnologia que trabalham em computadores faciais.

Nota do editor: O autor gostaria de lembrar aos leitores que ele não é um representante da Apple; esta informação é uma opinião pessoal e não contém informações não públicas. Além disso, mais informações sobre o desenvolvimento do Vision Pro podem ser encontradas em Vídeos da WWDC23 da Apple (selecione Filtro → visionOS).

À frente está o meu conselho para projetar e desenvolver produtos para o Vision Pro. Este artigo inclui uma visão geral básica da plataforma, ferramentas, portabilidade de aplicativos, design geral de produto, prototipagem, design perceptivo, consultoria de negócios e muito mais.

Visão geral

Os aplicativos no visionOS são organizados em 'cenas', que são Windows, Volumes e Spaces.

O Windows é uma versão espacial do que você veria em um computador normal. Eles são retângulos delimitados de conteúdo com os quais os usuários se cercam. Podem ser janelas de diferentes aplicativos ou várias janelas de um aplicativo.

Volumes são coisas como objetos 3D ou pequenas cenas interativas. Como um mapa 3D ou um pequeno jogo que flutua à sua frente em vez de ser totalmente imersivo.

Os espaços são experiências totalmente imersivas em que apenas um aplicativo é visível. Isso pode estar cheio de muitas janelas e volumes do seu aplicativo. Ou como jogos de realidade virtual em que o sistema desaparece e é todo o conteúdo totalmente imersivo que o envolve. Você pode pensar no próprio visionOS como um espaço compartilhado onde os aplicativos coexistem e você tem menos controle. Já os Full Spaces oferecem mais controle e imersão, mas não coexistem com outros aplicativos. Os espaços têm estilos de imersão: misto, progressivo e completo. O que define quanto do mundo real você deseja que o usuário veja.

Entrada do usuário

Os usuários podem olhar para a interface do usuário e beliscar como mostram os vídeos de demonstração do Apple Vision Pro. Mas você também pode estender a mão e tocar diretamente nas janelas, como se fosse um iPad flutuante. Ou use um trackpad bluetooth ou controlador de videogame. Você também pode procurar e falar nas barras de pesquisa. Há também um Dwell Control para entrada apenas com os olhos, mas esse é realmente um recurso de acessibilidade. Para uma abordagem de desenvolvimento simples, seu aplicativo pode usar apenas eventos como um TapGesture. Nesse caso, você não precisará se preocupar com a origem desses eventos.

Áudio espacial

O Vision Pro possui um sistema de áudio espacial avançado que faz com que os sons pareçam realmente estar na sala, considerando o tamanho e os materiais da sala. Usar sons sutis para interação com a interface do usuário e aproveitar o design de som para experiências imersivas será muito importante. Certifique-se de levar este tópico a sério.

Desenvolvimento

Se você deseja criar algo que funcione entre o Vision Pro, iPad e iOS, estará operando no ecossistema de desenvolvimento da Apple, usando ferramentas como XCode e SwiftUI. No entanto, se seu objetivo é criar uma experiência de RV totalmente imersiva para o Vision Pro que também funcione em outros headsets como o Meta's Quest ou o PlayStation VR, você deve usar o Unity.

Ferramentas da Apple

Para o ecossistema da Apple, você usará o SwiftUI para criar a IU que o usuário vê e o conteúdo geral do seu aplicativo. RealityKit é o mecanismo de renderização 3D que lida com materiais, objetos 3D e simulações de luz. Você usará o ARKit para compreensão avançada da cena, como se desejasse que alguém lançasse dardos virtuais e colidisse com a parede real ou fizesse coisas avançadas com o rastreamento manual. Mas esses recursos avançados de AR estão disponíveis apenas em Full Spaces. Há também o Reality Composer Pro, que é um editor de conteúdo 3D que permite arrastar coisas em uma cena 3D e criar espaços ou volumes ricos em mídia. É como o Unity de dieta criado especificamente para essa pilha de desenvolvimento.

Uma coisa legal do Reality Composer é que ele já está cheio de ativos, materiais e animações. Isso ajuda os desenvolvedores que não são artistas a criar algo rapidamente e deve ajudar a criar uma aparência mais unificada para tudo construído com a ferramenta. Prós e contras dessa decisão de produto, mas no geral deve ser útil.

Aplicativos iOS existentes

Se você estiver trazendo um aplicativo para iPad ou iOS, provavelmente funcionará sem modificações como uma janela no espaço compartilhado. Se o seu aplicativo for compatível com iPad e iPhone, o headset usará a versão para iPad.

Para personalizar seu aplicativo iOS existente para aproveitar melhor o fone de ouvido, você pode usar a API Ornament para criar pequenas ilhas flutuantes de interface do usuário na frente ou ao lado do aplicativo, para torná-lo mais espacial. Ironicamente, se seu aplicativo estiver usando muitos recursos do ARKit, você provavelmente precisará 'reimaginá-lo' significativamente para funcionar no Vision Pro, já que o ARKit foi muito atualizado para o fone de ouvido.

Se você está animado para criar algo novo para o Vision Pro, minha opinião pessoal é que você deve priorizar como seu aplicativo agregará valor no iPad e no iOS também. Caso contrário, você estará perdendo centenas de milhões de usuários.

Unity

Você pode criar para o Vision Pro com o mecanismo de jogo Unity, que é um tópico enorme. Novamente, você precisa usar o Unity se estiver construindo para o Vision Pro, bem como um headset Meta como o Quest ou o PSVR 2.

O Unity suporta a construção de Bounded Volumes para o Shared Space que existe junto com o conteúdo nativo do Vision Pro. E Volumes Ilimitados, para conteúdo imersivo que pode aproveitar recursos AR avançados. Por fim, você também pode criar mais aplicativos semelhantes a VR, que oferecem mais controle sobre a renderização, mas parecem não ter suporte para o entendimento de cena ARKit, como detecção de avião. A abordagem de Volume dá ao RealityKit mais controle sobre a renderização, então você tem que usar a ferramenta PolySpatial do Unity para converter materiais, shaders e outros recursos.

O suporte Unity para Vision Pro inclui toneladas de interações que você esperaria ver em VR, como se teletransportar para um novo local ou pegar e jogar objetos virtuais.

Produto Design

Você poderia simplesmente criar um aplicativo semelhante ao iPad que aparecesse como uma janela flutuante, usar as interações padrão e encerrar o dia. Mas, como eu disse acima, o conteúdo pode existir em um amplo espectro de imersão, locais e usar uma ampla variedade de entradas. Portanto, a gama combinatória de possibilidades pode ser esmagadora.

Se você não passou 100 horas em VR, faça uma missão 2 ou 3 o mais rápido possível e tente de tudo. Não importa se você é designer, gerente de produto ou CEO, você precisa fazer uma Quest e passar 100 horas em VR para começar a entender a linguagem dos aplicativos espaciais.

recomendo muito conferir Laboratório de Física da Mão como ponto de partida e visão geral para entender as interações diretas. Há muitas coisas sutis que eles fazem que imbuem objetos virtuais com um senso de fisicalidade. E a YouTubeVR app que foi lançado em 2019 parece e se parece bastante com um aplicativo visionOS básico, vale a pena conferir.

Mantenha um diário do que funciona e do que não funciona.

Pergunte a si mesmo: 'Quais designs de aplicativos são confortáveis ​​ou causam fadiga?', 'Quais aplicativos têm o tempo de diversão ou valor mais rápido?', 'O que é confuso e o que é intuitivo?', 'Que experiências você se incomodaria em fazer mais que uma vez?' Seja brutalmente honesto. Aprenda com o que foi tentado tanto quanto possível.

Conselhos gerais de design

Eu recomendo fortemente o processo de design thinking no estilo IDEO, ele também funciona para computação espacial. Você deve absolutamente experimentá-lo se não estiver familiarizado. Há Kit de Design com recursos e este vídeo que, embora datado, é um ótimo exemplo do processo.

O caminho para a computação espacial é um cemitério de ideias utópicas que falharam. As pessoas tendem a gastar muito tempo construindo grandes soluções para problemas imaginários de usuários imaginários. Parece óbvio, mas, em vez disso, você deve tentar construir algo o mais rápido possível que atenda a uma necessidade humana real e, em seguida, melhorar iterativamente a partir daí.

Continue na página 2: Formatos Espaciais e Interação »

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
• Fonte: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/