En kortfattet begyndervejledning til Apple Vision Pro-design og -udvikling

En kortfattet begyndervejledning til Apple Vision Pro-design og -udvikling

Tidsstempel: 21. juni 2023 kl. 2

Apple Vision Pro har bragt nye ideer til bordet om, hvordan XR-apps skal designes, styres og bygges. I denne gæsteartikel giver Sterling Crispin en kortfattet guide til, hvad førstegangs XR-udviklere skal huske på, når de nærmer sig app-udvikling til Apple Vision Pro.

En kortfattet begyndervejledning til Apple Vision Pro Design & Development PlatoBlockchain Data Intelligence. Lodret søgning. Ai.Gæsteartikel af Sterling Crispin

Sterling Crispin er en kunstner og softwareingeniør med ti års erfaring i den rumlige computerindustri. Hans arbejde har spændt mellem produktdesign og forskning og udvikling af nye teknologier hos virksomheder som Apple, Snap Inc og forskellige andre teknologiske startups, der arbejder på ansigtscomputere.

Redaktørens note: Forfatteren vil gerne minde læserne om, at han ikke er en Apple-repræsentant; denne information er personlig mening og indeholder ikke ikke-offentlig information. Yderligere information om Vision Pro-udvikling kan findes i Apples WWDC23-videoer (vælg Filter → visionOS).

Forud er mit råd til at designe og udvikle produkter til Vision Pro. Denne artikel indeholder en grundlæggende oversigt over platformen, værktøjer, porteringsapps, generelt produktdesign, prototyping, perceptuelt design, forretningsrådgivning og mere.

Oversigt

Apps på visionOS er organiseret i 'scener', som er Windows, Volumes og Spaces.

Windows er en rumlig version af, hvad du vil se på en normal computer. De er afgrænsede rektangler af indhold, som brugere omgiver sig med. Disse kan være vinduer fra forskellige apps eller flere vinduer fra én app.

Volumen er ting som 3D-objekter eller små interaktive scener. Som et 3D-kort eller et lille spil, der svæver foran dig i stedet for at være fuldstændig fordybende.

Spaces er fuldstændig fordybende oplevelser, hvor kun én app er synlig. Det kan være fyldt med mange Windows og enheder fra din app. Eller som VR-spil, hvor systemet forsvinder, og det hele er fuldt fordybende indhold, der omgiver dig. Du kan tænke på selve visionOS som et Shared Space, hvor apps sameksisterer sammen, og du har mindre kontrol. Hvorimod Full Spaces giver dig mest kontrol og fordybelse, men ikke sameksisterer med andre apps. Rum har fordybelsesstile: blandet, progressivt og fyldigt. Hvilket definerer, hvor meget eller lidt af den virkelige verden, du ønsker, at brugeren skal se.

Brugerinput

Brugere kan se på brugergrænsefladen og knibe som Apple Vision Pro-demovideoerne viser. Men du kan også række ud og trykke på vinduer direkte, ligesom det faktisk er en flydende iPad. Eller brug en bluetooth-trackpad eller videospil-controller. Du kan også se og tale i søgebjælker. Der er også en Dwell Control til input kun for øjne, men det er virkelig en tilgængelighedsfunktion. For en simpel udviklertilgang kan din app bare bruge begivenheder som en TapGesture. I dette tilfælde behøver du ikke at bekymre dig om, hvor disse begivenheder stammer fra.

Rumlig lyd

Vision Pro har et avanceret rumligt lydsystem, der får lyde til at virke som om de virkelig er i rummet ved at overveje størrelsen og materialerne i dit rum. Det bliver virkelig vigtigt at bruge subtile lyde til interaktion med brugergrænsefladen og drage fordel af lyddesign til fordybende oplevelser. Sørg for at tage dette emne alvorligt.

Udvikling

Hvis du vil bygge noget, der fungerer mellem Vision Pro, iPad og iOS, vil du arbejde inden for Apples udviklerøkosystem ved at bruge værktøjer som XCode og SwiftUI. Men hvis dit mål er at skabe en fuldstændig fordybende VR-oplevelse til Vision Pro, der også fungerer på andre headset som Meta's Quest eller PlayStation VR, skal du bruge Unity.

Apple-værktøjer

For Apples økosystem skal du bruge SwiftUI til at skabe den brugergrænseflade, som brugeren ser, og det overordnede indhold af din app. RealityKit er 3D-gengivelsesmotoren, der håndterer materialer, 3D-objekter og lyssimuleringer. Du vil bruge ARKit til avanceret sceneforståelse, som hvis du vil have nogen til at kaste virtuelle dartpile og få dem til at kollidere med deres rigtige væg, eller gøre avancerede ting med håndsporing. Men disse rige AR-funktioner er kun tilgængelige i Full Spaces. Der er også Reality Composer Pro, som er en 3D-indholdseditor, der lader dig trække ting rundt i en 3D-scene og gøre medier rige rum eller volumener. Det er ligesom diæt-Unity, der er bygget specifikt til denne udviklingsstak.

En cool ting med Reality Composer er, at den allerede er fuld af aktiver, materialer og animationer. Det hjælper udviklere, der ikke er kunstnere, med at bygge noget hurtigt og skulle hjælpe med at skabe et mere samlet udseende og følelse af alt, der er bygget med værktøjet. Fordele og ulemper ved den produktbeslutning, men overordnet set burde den være nyttig.

Eksisterende iOS-apps

Hvis du medbringer en iPad- eller iOS-app, vil den sandsynligvis fungere uændret som et vindue i det delte rum. Hvis din app understøtter både iPad og iPhone, vil headsettet bruge iPad-versionen.

For at tilpasse din eksisterende iOS-app til at drage bedre fordel af headsettet, kan du bruge Ornament API til at lave små flydende øer med brugergrænseflade foran eller udover din app, for at få den til at føles mere rumlig. Ironisk nok, hvis din app bruger mange ARKit-funktioner, bliver du sandsynligvis nødt til at 'genoprette' den betydeligt for at fungere på Vision Pro, da ARKit er blevet opgraderet meget til headsettet.

Hvis du er begejstret for at bygge noget nyt til Vision Pro, er min personlige mening, at du også bør prioritere, hvordan din app vil give værdi på tværs af iPad og iOS. Ellers går du glip af hundredvis af millioner af brugere.

Unity

Du kan bygge til Vision Pro med Unity-spilmotoren, som er et massivt emne. Igen skal du bruge Unity, hvis du bygger til Vision Pro samt et Meta-headset som Quest eller PSVR 2.

Unity understøtter opbygning af Bounded Volumes til Shared Space, som findes sammen med indbygget Vision Pro-indhold. Og Unbounded Volumes, for fordybende indhold, der kan udnytte avancerede AR-funktioner. Endelig kan du også bygge flere VR-lignende apps, som giver dig mere kontrol over gengivelsen, men som ser ud til at mangle understøttelse af ARKit-sceneforståelse som flydetektering. Volume-tilgangen giver RealityKit mere kontrol over gengivelsen, så du skal bruge Unitys PolySpatial-værktøj til at konvertere materialer, shaders og andre funktioner.

Unity-understøttelse af Vision Pro inkluderer tonsvis af interaktioner, du ville forvente at se i VR, såsom teleportering til en ny placering eller opsamling og kast af virtuelle objekter.

Product Design

Du kan bare lave en iPad-lignende app, der dukker op som et flydende vindue, bruge standardinteraktionerne og kalde det en dag. Men som jeg sagde ovenfor, kan indhold eksistere i et bredt spektrum af fordybelse, steder og bruge en bred vifte af input. Så det kombinatoriske udvalg af muligheder kan være overvældende.

Hvis du ikke har brugt 100 timer i VR, så få en Quest 2 eller 3 så hurtigt som muligt og prøv alt. Det er lige meget, om du er designer, produktchef eller CEO, du skal have en Quest og bruge 100 timer i VR for at begynde at forstå sproget i rumlige apps.

Jeg anbefaler stærkt at tjekke ud Håndfysiklaboratorium som udgangspunkt og overblik for at forstå direkte interaktioner. Der er en masse subtile ting, de gør, som gennemsyrer virtuelle objekter med en følelse af fysiskhed. Og YouTubeVR app, der blev udgivet i 2019, ligner og føles ret meget som en grundlæggende visionOS-app, det er værd at tjekke ud.

Hold dagbog over, hvad der virker, og hvad der ikke virker.

Spørg dig selv: 'Hvilke app-designs er behagelige eller forårsager træthed?', 'Hvilke apps har den hurtigste tid til sjov eller værdi?', 'Hvad er forvirrende, og hvad er intuitivt?', 'Hvilke oplevelser ville du overhovedet gider at gøre mere. end én gang?' Vær brutalt ærlig. Lær så meget som muligt af det, der er blevet prøvet.

Generel designrådgivning

Jeg anbefaler stærkt IDEO-stilens designtænkning, den virker også til rumlig databehandling. Du bør absolut prøve det, hvis du ikke er bekendt. Der er Design Kit med ressourcer og denne video som, mens dateret, er et godt eksempel på processen.

Vejen til spatial computing er en kirkegård af utopiske ideer, der slog fejl. Folk har en tendens til at bruge meget lang tid på at bygge store løsninger til imaginære brugeres imaginære problemer. Det lyder indlysende, men i stedet bør du prøve at bygge noget så hurtigt som muligt, der opfylder et reelt menneskeligt behov, og så iterativt forbedre derfra.

Fortsæt på side 2: Rumlige formater og interaktion »

Tidsstempel:

Mere fra Vejen til VR