Jedrnat začetniški vodnik za načrtovanje in razvoj Apple Vision Pro

Apple Vision Pro je na mizo prinesel nove zamisli o tem, kako naj bodo zasnovane, nadzorovane in izdelane aplikacije XR. V tem gostujočem članku Sterling Crispin ponuja jedrnat vodnik o tem, kaj morajo imeti v mislih začetniki XR razvijalci, ko se lotevajo razvoja aplikacij za Apple Vision Pro.

Gostujoči članek Sterlinga Crispina

Sterling Crispin je umetnik in programski inženir z desetletnimi izkušnjami v industriji prostorskega računalništva. Njegovo delo se je raztezalo med oblikovanjem izdelkov in raziskavami in razvojem novih tehnologij v podjetjih, kot so Apple, Snap Inc, in različnih drugih tehnoloških startupih, ki delajo na obraznih računalnikih.

Opomba urednika: Avtor želi bralce opozoriti, da ni predstavnik družbe Apple; te informacije so osebno mnenje in ne vsebujejo informacij, ki niso javne. Poleg tega lahko več informacij o razvoju Vision Pro najdete v Applovi videoposnetki WWDC23 (izberite Filter → visionOS).

Pred nami je moj nasvet za načrtovanje in razvoj izdelkov za Vision Pro. Ta članek vključuje osnovni pregled platforme, orodij, aplikacij za prenos, splošne zasnove izdelka, izdelave prototipov, zaznavne zasnove, poslovnih nasvetov in več.

Pregled

Aplikacije v visionOS so organizirane v 'scene', ki so Windows, Volumes in Spaces.

Windows so prostorska različica tega, kar bi videli na običajnem računalniku. So omejeni pravokotniki vsebine, s katerimi se uporabniki obdajajo. To so lahko okna iz različnih aplikacij ali več oken iz ene aplikacije.

Volumni so stvari, kot so 3D-predmeti ali majhni interaktivni prizori. Kot 3D zemljevid ali majhna igra, ki lebdi pred vami, namesto da bi bila popolnoma poglobljena.

Spaces so popolnoma poglobljene izkušnje, kjer je vidna samo ena aplikacija. To bi lahko bilo polno številnih oken in zvezkov iz vaše aplikacije. Ali kot igre VR, pri katerih sistem izgine in vas obdaja vsa popolnoma poglobljena vsebina. Sam visionOS si lahko predstavljate kot skupni prostor, kjer aplikacije sobivajo skupaj in imate manj nadzora. Medtem ko vam Full Spaces daje največ nadzora in poglobitve, vendar ne obstaja skupaj z drugimi aplikacijami. Prostori imajo stile potopitve: mešani, progresivni in polni. Ki določa, koliko ali malo resničnega sveta želite, da uporabnik vidi.

Uporabniški vnos

Uporabniki si lahko ogledajo uporabniški vmesnik in stisnejo roke, kot prikazujejo predstavitveni videoposnetki Apple Vision Pro. Lahko pa tudi iztegnete roko in se neposredno dotaknete oken, tako kot da gre dejansko za lebdeči iPad. Ali pa uporabite sledilno ploščico bluetooth ali krmilnik za video igre. Lahko tudi gledate in govorite v iskalnih vrsticah. Obstaja tudi Dwell Control za vnos samo z očmi, vendar je to v resnici funkcija za ljudi s posebnimi potrebami. Za preprost pristop razvijalcev lahko vaša aplikacija uporablja samo dogodke, kot je TapGesture. V tem primeru vam ne bo treba skrbeti, od kod ti dogodki izvirajo.

Prostorni zvok

Vision Pro ima napreden prostorski avdio sistem, zaradi katerega se zvoki zdijo, kot da so res v sobi, glede na velikost in materiale v vaši sobi. Uporaba subtilnih zvokov za interakcijo uporabniškega vmesnika in izkoriščanje zvočne zasnove za poglobljene izkušnje bo zelo pomembno. Poskrbite, da boste to temo jemali resno.

Razvoj

Če želite zgraditi nekaj, kar deluje med Vision Pro, iPad in iOS, boste delovali v ekosistemu Apple dev z orodji, kot sta XCode in SwiftUI. Če pa je vaš cilj ustvariti popolnoma poglobljeno izkušnjo VR za Vision Pro, ki deluje tudi na drugih slušalkah, kot sta Meta's Quest ali PlayStation VR, morate uporabiti Unity.

Orodja Apple

Za Applov ekosistem boste uporabili SwiftUI za ustvarjanje uporabniškega vmesnika, ki ga vidi uporabnik, in celotne vsebine vaše aplikacije. RealityKit je mehanizem za 3D-upodabljanje, ki obravnava materiale, 3D-predmete in svetlobne simulacije. ARKit boste uporabljali za napredno razumevanje scene, na primer, če želite, da nekdo vrže virtualne puščice in povzroči, da trči v njihov pravi zid, ali da počne napredne stvari s sledenjem rokam. Toda te bogate funkcije AR so na voljo samo v Full Spaces. Na voljo je tudi Reality Composer Pro, ki je urejevalnik 3D-vsebine, ki vam omogoča, da povlečete stvari po 3D-sceni in naredite medijsko bogate prostore ali volumne. To je kot diet-Unity, ki je zgrajen posebej za ta razvojni sklad.

Ena kul stvar Reality Composerja je, da je že poln sredstev, materialov in animacij. To razvijalcem, ki niso umetniki, pomaga hitro zgraditi nekaj in bi moralo pomagati ustvariti bolj enoten videz in občutek za vse, kar je bilo ustvarjeno z orodjem. Prednosti in slabosti te odločitve o izdelku, a na splošno bi morala biti koristna.

Obstoječe aplikacije za iOS

Če boste prinesli aplikacijo za iPad ali iOS, bo verjetno delovala nespremenjena kot okno v skupnem prostoru. Če vaša aplikacija podpira iPad in iPhone, bodo slušalke uporabljale različico za iPad.

Če želite prilagoditi vašo obstoječo aplikacijo za iOS, da bo bolje izkoristila slušalke, lahko uporabite API Ornament, da ustvarite majhne lebdeče otočke uporabniškega vmesnika pred aplikacijo ali poleg nje, da bo videti bolj prostorska. Ironično je, da če vaša aplikacija uporablja veliko funkcij ARKit, jo boste verjetno morali bistveno 'preoblikovati', da bo delovala na Vision Pro, saj je bil ARKit za slušalke precej nadgrajen.

Če ste navdušeni nad ustvarjanjem nečesa novega za Vision Pro, moje osebno mnenje je, da bi morali dati prednost temu, kako bo vaša aplikacija zagotavljala vrednost tudi v iPadu in iOS-u. V nasprotnem primeru izgubljate na stotine milijonov uporabnikov.

Unity

Vision Pro lahko nadgradite z igralnim mehanizmom Unity, kar je obsežna tema. Spet morate uporabiti Unity, če nadgrajujete Vision Pro in Meta slušalke, kot sta Quest ali PSVR 2.

Unity podpira gradnjo omejenih volumnov za skupni prostor, ki obstajajo poleg izvorne vsebine Vision Pro. In Unbounded Volumes za poglobljeno vsebino, ki lahko izkoristi napredne funkcije RR. Končno lahko ustvarite tudi več aplikacij, podobnih VR, ki vam omogočajo več nadzora nad upodabljanjem, vendar se zdi, da nimajo podpore za razumevanje scene ARKit, kot je zaznavanje ravnine. Pristop Volume daje RealityKit več nadzora nad upodabljanjem, zato morate za pretvorbo materialov, senčil in drugih funkcij uporabiti orodje Unity PolySpatial.

Podpora Unity za Vision Pro vključuje množico interakcij, ki bi jih pričakovali v VR, kot je teleportiranje na novo lokacijo ali pobiranje in metanje virtualnih predmetov.

Product Design

Lahko preprosto naredite aplikacijo, podobno iPadu, ki se prikaže kot lebdeče okno, uporabite privzete interakcije in jo pokličete. Toda kot sem rekel zgoraj, lahko vsebina obstaja v širokem spektru potopitve, lokacij in uporablja širok razpon vnosov. Kombinatorni nabor možnosti je torej lahko ogromen.

Če še niste preživeli 100 ur v VR, si čim prej nabavite Quest 2 ali 3 in preizkusite vse. Ni pomembno, ali ste oblikovalec, produktni vodja ali izvršni direktor, nabaviti morate Quest in preživeti 100 ur v VR, da začnete razumeti jezik prostorskih aplikacij.

Toplo priporočam ogled Laboratorij za fiziko rok kot izhodišče in pregled za razumevanje neposrednih interakcij. Počnejo veliko subtilnih stvari, ki virtualnim predmetom prepojijo občutek fizičnosti. In YouTube VR Aplikacija, ki je bila izdana leta 2019, je po videzu in občutku precej podobna osnovni aplikaciji visionOS, zato jo je vredno preveriti.

Vodite dnevnik, kaj deluje in kaj ne.

Vprašajte se: »Katere zasnove aplikacij so udobne ali povzročajo utrujenost?«, »Katere aplikacije imajo najhitrejši čas za zabavo ali vrednost?«, »Kaj je zmedeno in kaj intuitivno?«, »Katere izkušnje bi se sploh potrudili, da bi naredili več kot enkrat?' Bodi brutalno iskren. Učite se čim več iz preizkušenega.

Splošni nasveti za oblikovanje

Močno priporočam proces oblikovanja v slogu IDEO, deluje tudi za prostorsko računalništvo. Vsekakor ga morate preizkusiti, če niste seznanjeni. tam je Komplet za oblikovanje s sredstvi in Ta video ki je, čeprav datirano, odličen primer procesa.

Pot do prostorskega računalništva je pokopališče utopičnih idej, ki so propadle. Ljudje ponavadi porabijo zelo dolgo časa za gradnjo velikih rešitev za namišljene težave namišljenih uporabnikov. Sliši se očitno, toda namesto tega bi morali poskušati čim hitreje zgraditi nekaj, kar bo izpolnilo resnično človeško potrebo, nato pa se od tam ponavljajoče izboljševati.

Nadaljujte na strani 2: Prostorski formati in interakcija »

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/