Lyhyt opas aloittelijalle Apple Vision Pron suunnitteluun ja kehittämiseen

Apple Vision Pro on tuonut pöytään uusia ideoita siitä, miten XR-sovelluksia tulisi suunnitella, ohjata ja rakentaa. Tässä vierasartikkelissa Sterling Crispin tarjoaa tiiviin oppaan siitä, mitä ensimmäistä kertaa XR-kehittäjien tulee pitää mielessä lähestyessään Apple Vision Pron sovelluskehitystä.

Vierasartikkeli Sterling Crispin

Sterling Crispin on taiteilija ja ohjelmistosuunnittelija, jolla on vuosikymmenen kokemus tilalaskenta-alalta. Hänen työnsä on ulottunut tuotesuunnittelun ja uusien teknologioiden T&K:n välillä sellaisissa yrityksissä kuin Apple, Snap Inc ja monet muut kasvotietokoneiden parissa työskentelevät teknologia-alan startup-yritykset.

Toimittajan huomautus: Kirjoittaja haluaa muistuttaa lukijoita siitä, että hän ei ole Applen edustaja; nämä tiedot ovat henkilökohtaisia ​​mielipiteitä eivätkä sisällä ei-julkisia tietoja. Lisäksi lisätietoja Vision Pron kehityksestä löytyy osoitteesta Applen WWDC23-videot (valitse Suodatin → visionOS).

Edessä on neuvoni tuotteiden suunnittelussa ja kehittämisessä Vision Prolle. Tämä artikkeli sisältää peruskatsauksen alustasta, työkaluista, portointisovelluksista, yleisestä tuotesuunnittelusta, prototyypeistä, havaintosuunnittelusta, yritysneuvoista ja muusta.

Yleiskatsaus

VisionOS:n sovellukset on järjestetty "kohtauksiin", jotka ovat Windows, Volumes ja Spaces.

Windows on tilaversio siitä, mitä näet tavallisessa tietokoneessa. Ne ovat rajattuja suorakulmioita sisällöstä, jolla käyttäjät ympäröivät itsensä. Nämä voivat olla ikkunoita eri sovelluksista tai useita ikkunoita yhdestä sovelluksesta.

Volyymit ovat asioita, kuten 3D-objekteja tai pieniä interaktiivisia kohtauksia. Kuten 3D-kartta tai pieni peli, joka kelluu edessäsi sen sijaan, että se olisi täysin mukaansatempaava.

Spaces ovat täysin mukaansatempaavia kokemuksia, joissa vain yksi sovellus on näkyvissä. Se voi olla täynnä sovelluksesi monia Windowsia ja Volumeja. Tai kuten VR-pelit, joissa järjestelmä sammuu ja kaikki on täysin mukaansatempaavaa sisältöä, joka ympäröi sinua. Voit ajatella itse visionOS:ää jaettuna tilana, jossa sovellukset toimivat yhdessä ja sinulla on vähemmän hallintaa. Full Spaces antaa sinulle eniten hallintaa ja mukaansatempaavuutta, mutta ne eivät toimi yhdessä muiden sovellusten kanssa. Tilat ovat upotustyylejä: sekoitettu, progressiivinen ja täysi. Mikä määrittää, kuinka paljon tai vähän todellista maailmaa haluat käyttäjän näkevän.

Käyttäjän syöttö

Käyttäjät voivat katsoa käyttöliittymää ja nipistää kuten Apple Vision Pro -demovideot osoittavat. Mutta voit myös kurottaa kätesi ja napauttaa ikkunoita suoraan, aivan kuin se olisi itse asiassa kelluva iPad. Tai käytä bluetooth-ohjauslevyä tai videopeliohjainta. Voit myös katsoa ja puhua hakupalkeissa. Siellä on myös viipymäsäädin vain silmien syöttämiseen, mutta se on todella esteettömyysominaisuus. Yksinkertaista kehittäjätapaa varten sovelluksesi voi käyttää tapahtumia, kuten TapGesturea. Tässä tapauksessa sinun ei tarvitse huolehtia siitä, mistä nämä tapahtumat ovat peräisin.

Spatiaalinen ääni

Vision Prossa on edistyksellinen tilaäänijärjestelmä, joka saa äänet näyttämään siltä, ​​että ne ovat todella huoneessa, kun otetaan huomioon huoneesi koko ja materiaalit. Hienovaraisten äänien käyttö käyttöliittymän vuorovaikutuksessa ja äänisuunnittelun hyödyntäminen mukaansatempaavien kokemusten saamiseksi on todella tärkeää. Muista ottaa tämä aihe vakavasti.

Kehitys

Jos haluat rakentaa jotain, joka toimii Vision Pron, iPadin ja iOS:n välillä, toimit Applen kehittäjäekosysteemissä käyttämällä työkaluja, kuten XCode ja SwiftUI. Jos tavoitteesi on kuitenkin luoda Vision Prolle täysin mukaansatempaava VR-kokemus, joka toimii myös muilla kuulokkeilla, kuten Meta's Questilla tai PlayStation VR:llä, sinun on käytettävä Unitya.

Apple-työkalut

Applen ekosysteemissä luot SwiftUI:n avulla käyttäjän näkemän käyttöliittymän ja sovelluksesi yleisen sisällön. RealityKit on 3D-renderöintimoottori, joka käsittelee materiaaleja, 3D-objekteja ja valosimulaatioita. Käytät ARKitia edistyneeseen kohtausten ymmärtämiseen, kuten jos haluat jonkun heittävän virtuaalisia tikkoja ja saada heidät törmäämään oikeaan seinäänsä tai tekemään edistyneitä asioita käsiseurannan avulla. Mutta nuo monipuoliset AR-ominaisuudet ovat saatavilla vain Full Spacesissa. Mukana on myös Reality Composer Pro, joka on 3D-sisällönmuokkausohjelma, jonka avulla voit vetää asioita 3D-kohtauksen ympärille ja tehdä mediasta rikasta tilaa tai volyymia. Se on kuin diet-Unity, joka on rakennettu erityisesti tätä kehityspinoa varten.

Yksi hieno asia Reality Composerissa on, että se on jo täynnä resursseja, materiaaleja ja animaatioita. Tämä auttaa kehittäjiä, jotka eivät ole taiteilijoita, rakentamaan jotain nopeasti, ja sen pitäisi auttaa luomaan yhtenäisemmän ilmeen kaikkeen, joka on rakennettu työkalulla. Hyvät ja huonot puolet tuosta tuotepäätöksestä, mutta kaiken kaikkiaan sen pitäisi olla hyödyllistä.

Olemassa olevat iOS-sovellukset

Jos tuot iPad- tai iOS-sovelluksen, se toimii todennäköisesti muokkaamattomana ikkunana jaetussa tilassa. Jos sovelluksesi tukee sekä iPadia että iPhonea, kuulokemikrofoni käyttää iPad-versiota.

Voit mukauttaa olemassa olevaa iOS-sovellustasi hyödyntämään kuulokkeita paremmin käyttämällä Ornament-sovellusliittymää, jonka avulla voit tehdä käyttöliittymästä pieniä kelluvia saarekkeita sovelluksesi eteen tai viereen, jotta se tuntuisi avarammalta. Ironista kyllä, jos sovelluksesi käyttää paljon ARKit-ominaisuuksia, sinun on todennäköisesti "kuviteltava" se merkittävästi, jotta se toimisi Vision Prossa, koska ARKit on päivitetty paljon kuulokkeita varten.

Jos olet innostunut rakentamaan jotain uutta Vision Prolle, henkilökohtainen mielipiteeni on, että sinun tulee asettaa etusijalle, kuinka sovelluksesi tarjoaa lisäarvoa myös iPadissa ja iOS:ssä. Muuten menetät satoja miljoonia käyttäjiä.

yhtenäisyys

Voit rakentaa Vision Prolle Unity-pelimoottorilla, joka on valtava aihe. Jälleen sinun on käytettävä Unitya, jos rakennat Vision Prolle sekä Meta-kuulokkeille, kuten Quest tai PSVR 2.

Unity tukee rajattujen volyymien rakentamista jaettuun tilaan, joka on olemassa alkuperäisen Vision Pro -sisällön rinnalla. Ja rajoittamattomat volyymit mukaansatempaavaan sisältöön, joka voi hyödyntää edistyneitä AR-ominaisuuksia. Lopuksi voit myös rakentaa enemmän VR:n kaltaisia ​​sovelluksia, jotka antavat sinulle enemmän hallintaa renderöinnissa, mutta eivät näytä olevan tue ARKit-kohtauksen ymmärtämiselle, kuten lentokoneen havaitsemiselle. Volume-lähestymistapa antaa RealityKitille enemmän hallintaa renderöinnissa, joten sinun on käytettävä Unityn PolySpatial-työkalua materiaalien, varjostimien ja muiden ominaisuuksien muuntamiseen.

Vision Pron Unity-tuki sisältää monia vuorovaikutuksia, joita odotat näkeväsi VR:ssä, kuten teleportaation uuteen paikkaan tai virtuaalisten esineiden poimimista ja heittämistä.

Product Design

Voisit vain tehdä iPadin kaltaisen sovelluksen, joka näkyy kelluvana ikkunana, käyttää oletusvuorovaikutuksia ja kutsua sitä päiväksi. Mutta kuten edellä sanoin, sisältöä voi olla monenlaisissa upotuksissa, paikoissa ja käyttää monenlaisia ​​syöttöjä. Joten kombinatorinen mahdollisuuksien valikoima voi olla ylivoimainen.

Jos et ole viettänyt 100 tuntia VR:ssä, hanki Quest 2 tai 3 mahdollisimman pian ja kokeile kaikkea. Sillä ei ole väliä, oletko suunnittelija, tuotepäällikkö vai toimitusjohtaja, sinun on hankittava Quest ja viettävä 100 tuntia VR:ssä, jotta alat ymmärtää tilasovellusten kieltä.

Suosittelen tsekkaamaan Käsifysiikan laboratorio lähtökohtana ja yleiskatsauksena suorien vuorovaikutusten ymmärtämiseen. He tekevät monia hienovaraisia ​​asioita, jotka täyttävät virtuaaliobjektit fyysisyyden tunteella. Ja YouTube VR Vuonna 2019 julkaistu sovellus näyttää ja tuntuu melko samanlaiselta kuin visionOS-perussovellus, kannattaa tutustua.

Pidä päiväkirjaa siitä, mikä toimii ja mikä ei.

Kysy itseltäsi: "Mitkä sovellusmallit ovat mukavia tai aiheuttavat väsymystä?", "Millä sovelluksilla on nopeimmin hauskaa tai arvokasta?", "Mikä on hämmentävää ja mikä on intuitiivista?", "Mitä kokemuksia vaivautuisit tekemään enemmän kuin kerran?' Ole julmasti rehellinen. Opi kokeilusta niin paljon kuin mahdollista.

Yleisiä suunnitteluneuvoja

Suosittelen vahvasti IDEO-tyylistä suunnitteluajatteluprosessia, se toimii myös spatiaaliseen laskemiseen. Kannattaa ehdottomasti kokeilla, jos ei ole tuttu. Siellä on Suunnittelupaketti resursseilla ja tämä video joka on vanhentuneena hyvä esimerkki prosessista.

Tie spatiaaliseen laskemiseen on utopististen ideoiden hautausmaa, jotka epäonnistuivat. Ihmisillä on tapana viettää hyvin kauan aikaa loistavien ratkaisujen rakentamiseen kuvitteellisten käyttäjien kuvitteellisiin ongelmiin. Se kuulostaa itsestään selvältä, mutta sen sijaan sinun pitäisi yrittää rakentaa jotain mahdollisimman nopeasti, mikä täyttää todellisen inhimillisen tarpeen, ja sitten iteratiivisesti parantaa sitä.

Jatka sivulla 2: Tilamuodot ja vuorovaikutus »

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
• Lähde: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/