En kortfattet nybegynnerveiledning til Apple Vision Pro-design og utvikling

Apple Vision Pro har brakt nye ideer til bordet om hvordan XR-apper skal utformes, kontrolleres og bygges. I denne gjesteartikkelen tilbyr Sterling Crispin en kortfattet veiledning for hva førstegangs-XR-utviklere bør huske på når de nærmer seg apputvikling for Apple Vision Pro.

Gjesteartikkel av Sterling Crispin

Sterling Crispin er en kunstner og programvareingeniør med et tiår med erfaring innen romlig databehandling. Arbeidet hans har spennet seg mellom produktdesign og forskning og utvikling av nye teknologier hos selskaper som Apple, Snap Inc og forskjellige andre teknologiske oppstarter som jobber med ansiktsdatamaskiner.

Redaktørens merknad: Forfatteren vil minne leserne om at han ikke er en Apple-representant; denne informasjonen er personlig mening og inneholder ikke ikke-offentlig informasjon. I tillegg kan du finne mer informasjon om Vision Pro-utvikling i Apples WWDC23-videoer (velg Filter → visionOS).

Forut er mitt råd for å designe og utvikle produkter for Vision Pro. Denne artikkelen inneholder en grunnleggende oversikt over plattformen, verktøy, porteringsapper, generell produktdesign, prototyping, perseptuell design, forretningsråd og mer.

Oversikt

Apper på visionOS er organisert i "scener", som er Windows, Volumes og Spaces.

Windows er en romlig versjon av det du vil se på en vanlig datamaskin. De er avgrensede rektangler av innhold som brukere omgir seg med. Dette kan være vinduer fra forskjellige apper eller flere vinduer fra én app.

Volumer er ting som 3D-objekter eller små interaktive scener. Som et 3D-kart, eller et lite spill som flyter foran deg i stedet for å være fullstendig oppslukende.

Spaces er fullstendig oppslukende opplevelser der bare én app er synlig. Det kan være fullt av mange Windows og volumer fra appen din. Eller som VR-spill der systemet forsvinner og alt er fullstendig oppslukende innhold som omgir deg. Du kan tenke på selve visionOS som et delt rom der apper eksisterer sammen og du har mindre kontroll. Mens Full Spaces gir deg mest mulig kontroll og oppslukende, men ikke sameksisterer med andre apper. Rom har fordypningsstiler: blandet, progressivt og fullt. Som definerer hvor mye eller lite av den virkelige verden du vil at brukeren skal se.

Brukerinngang

Brukere kan se på brukergrensesnittet og knipe som Apple Vision Pro-demovideoene viser. Men du kan også strekke deg ut og trykke på vinduer direkte, på en måte som om det faktisk er en flytende iPad. Eller bruk en bluetooth styreflate eller videospillkontroller. Du kan også se og snakke i søkefelt. Det er også en Dwell Control for inndata kun for øyne, men det er egentlig en tilgjengelighetsfunksjon. For en enkel utviklertilnærming kan appen din bare bruke hendelser som en TapGesture. I dette tilfellet trenger du ikke bekymre deg for hvor disse hendelsene kommer fra.

Romlig lyd

Vision Pro har et avansert romlig lydsystem som får lyder til å virke som om de virkelig er i rommet ved å vurdere størrelsen og materialene i rommet ditt. Å bruke subtile lyder for UI-interaksjon og dra nytte av lyddesign for oppslukende opplevelser kommer til å være veldig viktig. Sørg for å ta dette emnet på alvor.

Utvikling

Hvis du vil bygge noe som fungerer mellom Vision Pro, iPad og iOS, vil du operere innenfor Apples utviklerøkosystem ved å bruke verktøy som XCode og SwiftUI. Men hvis målet ditt er å skape en fullstendig oppslukende VR-opplevelse for Vision Pro som også fungerer på andre hodesett som Meta's Quest eller PlayStation VR, må du bruke Unity.

Apple-verktøy

For Apples økosystem vil du bruke SwiftUI til å lage brukergrensesnittet brukeren ser og det generelle innholdet i appen din. RealityKit er 3D-gjengivelsesmotoren som håndterer materialer, 3D-objekter og lyssimuleringer. Du vil bruke ARKit for avansert sceneforståelse, for eksempel hvis du vil at noen skal kaste virtuelle piler og få dem til å kollidere med den virkelige veggen deres, eller gjøre avanserte ting med håndsporing. Men de rike AR-funksjonene er bare tilgjengelige i Full Spaces. Det er også Reality Composer Pro som er en 3D-innholdsredigerer som lar deg dra ting rundt i en 3D-scene og gjøre medierike rom eller volumer. Det er som diett-Unity som er bygget spesielt for denne utviklingsstabelen.

En kul ting med Reality Composer er at den allerede er full av eiendeler, materialer og animasjoner. Det hjelper utviklere som ikke er kunstnere med å bygge noe raskt og bør bidra til å skape et mer enhetlig utseende og følelse for alt som er bygget med verktøyet. Fordeler og ulemper med den produktavgjørelsen, men generelt sett burde det være nyttig.

Eksisterende iOS-apper

Hvis du tar med deg en iPad- eller iOS-app, vil den sannsynligvis fungere uendret som et vindu i det delte rommet. Hvis appen din støtter både iPad og iPhone, vil hodesettet bruke iPad-versjonen.

For å tilpasse din eksisterende iOS-app for å dra bedre nytte av hodesettet, kan du bruke Ornament API til å lage små flytende øyer med brukergrensesnitt foran, eller i tillegg til appen din, for å få den til å føles mer romlig. Ironisk nok, hvis appen din bruker mange ARKit-funksjoner, må du sannsynligvis "reimagine" den betydelig for å fungere på Vision Pro, siden ARKit har blitt oppgradert mye for hodesettet.

Hvis du er spent på å bygge noe nytt for Vision Pro, er min personlige mening at du bør prioritere hvordan appen din vil gi verdi på tvers av iPad og iOS også. Ellers går du glipp av hundrevis av millioner brukere.

Enhet

Du kan bygge til Vision Pro med Unity-spillmotoren, som er et enormt tema. Igjen, du må bruke Unity hvis du bygger til Vision Pro så vel som et Meta-headset som Quest eller PSVR 2.

Unity støtter å bygge Bounded Volumes for Shared Space som eksisterer sammen med innebygd Vision Pro-innhold. Og Unbounded Volumes, for oppslukende innhold som kan utnytte avanserte AR-funksjoner. Til slutt kan du også bygge flere VR-lignende apper som gir deg mer kontroll over gjengivelsen, men som ser ut til å mangle støtte for ARKit-sceneforståelse som flydeteksjon. Volumtilnærmingen gir RealityKit mer kontroll over gjengivelsen, så du må bruke Unitys PolySpatial-verktøy for å konvertere materialer, shaders og andre funksjoner.

Unity-støtte for Vision Pro inkluderer tonnevis av interaksjoner du forventer å se i VR, som teleportering til et nytt sted eller å plukke opp og kaste virtuelle objekter.

Product design

Du kan bare lage en iPad-lignende app som vises som et flytende vindu, bruke standardinteraksjonene og kalle det en dag. Men som jeg sa ovenfor, kan innhold eksistere i et bredt spekter av fordypning, steder og bruke et bredt spekter av innganger. Så det kombinatoriske spekteret av muligheter kan være overveldende.

Hvis du ikke har brukt 100 timer i VR, skaff deg en Quest 2 eller 3 så snart som mulig og prøv alt. Det spiller ingen rolle om du er designer, produktsjef eller administrerende direktør, du må få en Quest og bruke 100 timer i VR for å begynne å forstå språket til romlige apper.

Jeg anbefaler på det sterkeste å sjekke ut Håndfysikklaboratorium som utgangspunkt og oversikt for å forstå direkte interaksjoner. Det er mange subtile ting de gjør som gir virtuelle objekter en følelse av fysiskhet. Og YouTube VR app som ble utgitt i 2019 ser ut og føles ganske lik en grunnleggende visionOS-app, det er verdt å sjekke ut.

Hold dagbok over hva som fungerer og hva som ikke fungerer.

Spør deg selv: 'Hvilke app-design er komfortable eller forårsaker tretthet?', 'Hvilke apper har raskest tid til moro eller verdi?', 'Hva er forvirrende og hva er intuitivt?', 'Hvilke opplevelser ville du gidder å gjøre mer enn en gang? Vær brutalt ærlig. Lær av det som er prøvd så mye som mulig.

Generelle designråd

Jeg anbefaler på det sterkeste tankeprosessen for design i IDEO-stil, den fungerer også for romlig databehandling. Du bør absolutt prøve det hvis du ikke er kjent. Det er Designsett med ressurser og denne videoen som, selv om den er datert, er et godt eksempel på prosessen.

Veien til romlig databehandling er en kirkegård av utopiske ideer som mislyktes. Folk har en tendens til å bruke veldig lang tid på å bygge store løsninger for imaginære problemer til imaginære brukere. Det høres åpenbart ut, men i stedet bør du prøve å bygge noe så raskt som mulig som fyller et reelt menneskelig behov, og deretter iterativt forbedre deg derfra.

Fortsett på side 2: Romlige formater og interaksjon »

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
• kilde: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/