Una guía concisa para principiantes sobre el diseño y desarrollo de Apple Vision Pro

Apple Vision Pro ha traído nuevas ideas a la mesa sobre cómo se deben diseñar, controlar y construir las aplicaciones XR. En este artículo invitado, Sterling Crispin ofrece una guía concisa sobre lo que los desarrolladores de XR primerizos deben tener en cuenta al abordar el desarrollo de aplicaciones para Apple Vision Pro.

Artículo invitado por Sterling Crispin

Sterling Crispin es artista e ingeniero de software con una década de experiencia en la industria de la computación espacial. Su trabajo ha abarcado desde el diseño de productos hasta la I+D de nuevas tecnologías en empresas como Apple, Snap Inc y varias otras empresas emergentes tecnológicas que trabajan en computadoras faciales.

Nota del editor: El autor quisiera recordar a los lectores que él no es un representante de Apple; esta información es una opinión personal y no contiene información no pública. Además, se puede encontrar más información sobre el desarrollo de Vision Pro en Vídeos de la WWDC23 de Apple (seleccione Filtro → visionOS).

Más adelante está mi consejo para diseñar y desarrollar productos para Vision Pro. Este artículo incluye una descripción general básica de la plataforma, las herramientas, las aplicaciones de portabilidad, el diseño general del producto, la creación de prototipos, el diseño perceptivo, los consejos comerciales y más.

General

Las aplicaciones en visionOS están organizadas en "escenas", que son Windows, Volúmenes y Espacios.

Windows es una versión espacial de lo que verías en una computadora normal. Son rectángulos delimitados de contenido con los que los usuarios se rodean. Estas pueden ser ventanas de diferentes aplicaciones o múltiples ventanas de una aplicación.

Los volúmenes son cosas como objetos 3D o pequeñas escenas interactivas. Como un mapa 3D o un pequeño juego que flota frente a ti en lugar de ser completamente inmersivo.

Los espacios son experiencias totalmente inmersivas en las que solo se ve una aplicación. Eso podría estar lleno de muchas ventanas y volúmenes de su aplicación. O como los juegos de realidad virtual en los que el sistema desaparece y todo el contenido que te rodea es totalmente inmersivo. Puede pensar en visionOS en sí mismo como un espacio compartido donde las aplicaciones coexisten juntas y usted tiene menos control. Mientras que Full Spaces le brinda el mayor control e inmersión, pero no coexiste con otras aplicaciones. Los espacios tienen estilos de inmersión: mixta, progresiva y completa. Que define cuánto o poco del mundo real quieres que vea el usuario.

Entrada del usuario

Los usuarios pueden mirar la interfaz de usuario y pellizcar como se muestra en los videos de demostración de Apple Vision Pro. Pero también puede extender la mano y tocar las ventanas directamente, como si fuera un iPad flotante. O use un trackpad bluetooth o un controlador de videojuegos. También puede mirar y hablar en las barras de búsqueda. También hay un control de permanencia para la entrada de solo ojos, pero esa es realmente una función de accesibilidad. Para un enfoque de desarrollo simple, su aplicación solo puede usar eventos como TapGesture. En este caso, no tendrá que preocuparse por el origen de estos eventos.

Audio espacial

Vision Pro tiene un sistema de audio espacial avanzado que hace que los sonidos parezcan estar realmente en la habitación considerando el tamaño y los materiales de la habitación. Usar sonidos sutiles para la interacción de la interfaz de usuario y aprovechar el diseño de sonido para experiencias inmersivas será muy importante. Asegúrese de tomar este tema en serio.

Desarrollo

Si desea crear algo que funcione entre Vision Pro, iPad e iOS, estará operando dentro del ecosistema de desarrollo de Apple, utilizando herramientas como XCode y SwiftUI. Sin embargo, si su objetivo es crear una experiencia de realidad virtual completamente inmersiva para Vision Pro que también funcione en otros auriculares como Meta's Quest o PlayStation VR, debe usar Unity.

Herramientas de manzana

Para el ecosistema de Apple, usará SwiftUI para crear la interfaz de usuario que ve el usuario y el contenido general de su aplicación. RealityKit es el motor de renderizado 3D que maneja materiales, objetos 3D y simulaciones de luz. Usarás ARKit para una comprensión avanzada de la escena, por ejemplo, si quieres que alguien lance dardos virtuales y haga que choquen con su pared real, o hacer cosas avanzadas con el seguimiento manual. Pero esas ricas funciones de AR solo están disponibles en Full Spaces. También está Reality Composer Pro, que es un editor de contenido 3D que le permite arrastrar cosas alrededor de una escena 3D y crear espacios o volúmenes ricos en medios. Es como Diet-Unity creado específicamente para esta pila de desarrollo.

Una cosa interesante con Reality Composer es que ya está lleno de activos, materiales y animaciones. Eso ayuda a los desarrolladores que no son artistas a construir algo rápidamente y debería ayudar a crear una apariencia más unificada para todo lo creado con la herramienta. Pros y contras de esa decisión de producto, pero en general debería ser útil.

Aplicaciones de iOS existentes

Si trae una aplicación para iPad o iOS, probablemente funcionará sin modificaciones como una ventana en el espacio compartido. Si su aplicación es compatible con iPad y iPhone, los auriculares usarán la versión para iPad.

Para personalizar su aplicación iOS existente para aprovechar mejor los auriculares, puede usar la API Ornament para crear pequeñas islas flotantes de interfaz de usuario frente a su aplicación o junto a ella, para que se sienta más espacial. Irónicamente, si su aplicación utiliza muchas funciones de ARKit, es probable que deba "reimaginarla" significativamente para que funcione en Vision Pro, ya que ARKit se ha actualizado mucho para los auriculares.

Si está entusiasmado con la creación de algo nuevo para Vision Pro, mi opinión personal es que debe priorizar cómo su aplicación proporcionará valor en iPad e iOS también. De lo contrario, está perdiendo cientos de millones de usuarios.

La Unidad

Puede crear Vision Pro con el motor de juego Unity, que es un tema enorme. Nuevamente, debe usar Unity si está construyendo para Vision Pro, así como un auricular Meta como Quest o PSVR 2.

Unity admite la creación de volúmenes acotados para el espacio compartido que existen junto con el contenido nativo de Vision Pro. Y Unbounded Volumes, para contenido inmersivo que puede aprovechar las funciones AR avanzadas. Finalmente, también puede crear más aplicaciones similares a VR que le brindan más control sobre el renderizado, pero parecen carecer de soporte para la comprensión de escenas ARKit, como la detección de aviones. El enfoque de volumen le da a RealityKit más control sobre el renderizado, por lo que debe usar la herramienta PolySpatial de Unity para convertir materiales, sombreadores y otras funciones.

El soporte de Unity para Vision Pro incluye toneladas de interacciones que esperaría ver en VR, como teletransportarse a una nueva ubicación o recoger y lanzar objetos virtuales.

Diseño de Producto

Podría simplemente crear una aplicación similar a iPad que aparezca como una ventana flotante, usar las interacciones predeterminadas y dar por terminado el día. Pero como dije anteriormente, el contenido puede existir en un amplio espectro de inmersión, ubicaciones y usar una amplia gama de entradas. Así que la gama combinatoria de posibilidades puede ser abrumadora.

Si no ha pasado 100 horas en realidad virtual, obtenga una Quest 2 o 3 lo antes posible y pruebe todo. No importa si es diseñador, gerente de productos o director ejecutivo, necesita obtener una Quest y pasar 100 horas en realidad virtual para comenzar a comprender el lenguaje de las aplicaciones espaciales.

Recomiendo encarecidamente echar un vistazo Laboratorio de física de manos como punto de partida y visión general para comprender las interacciones directas. Hay muchas cosas sutiles que hacen que imbuyen a los objetos virtuales con una sensación de fisicalidad. Y el Youtube RV La aplicación que se lanzó en 2019 se ve y se siente bastante similar a una aplicación básica de visionOS, vale la pena echarle un vistazo.

Lleve un diario de lo que funciona y lo que no.

Pregúntese: '¿Qué diseños de aplicaciones son cómodos o causan fatiga?', '¿Qué aplicaciones tienen el tiempo de diversión o valor más rápido?', '¿Qué es confuso y qué es intuitivo?', '¿Qué experiencias te molestarías en hacer más? ¿de una vez?' Sea brutalmente honesto. Aprenda de lo que se ha intentado tanto como sea posible.

Asesoramiento general de diseño

Recomiendo encarecidamente el proceso de pensamiento de diseño de estilo IDEO, también funciona para la computación espacial. Absolutamente deberías probarlo si no estás familiarizado. hay Kit de diseño con recursos y este video que, aunque anticuado, es un gran ejemplo del proceso.

El camino hacia la computación espacial es un cementerio de ideas utópicas que fracasaron. La gente tiende a pasar mucho tiempo construyendo grandes soluciones para los problemas imaginarios de usuarios imaginarios. Suena obvio, pero en su lugar, debe intentar construir algo lo más rápido posible que satisfaga una necesidad humana real y luego mejorar iterativamente a partir de ahí.

Continúe en la página 2: Formatos espaciales e interacción »

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/