Un ghid concis pentru începători pentru design și dezvoltare Apple Vision Pro

Apple Vision Pro a adus idei noi despre cum ar trebui proiectate, controlate și construite aplicațiile XR. În acest articol pentru invitați, Sterling Crispin oferă un ghid concis despre ceea ce dezvoltatorii XR ar trebui să țină cont pentru prima dată când abordează dezvoltarea aplicațiilor pentru Apple Vision Pro.

Articol invitat de Sterling Crispin

Sterling Crispin este un artist și inginer software cu un deceniu de experiență în industria de calcul spațial. Activitatea sa a cuprins între designul de produse și cercetarea și dezvoltarea noilor tehnologii la companii precum Apple, Snap Inc și diverse alte startup-uri tehnologice care lucrează pe computere faciale.

Nota editorului: Autorul dorește să reamintească cititorilor că nu este un reprezentant Apple; această informație este o opinie personală și nu conține informații non-publice. În plus, mai multe informații despre dezvoltarea Vision Pro pot fi găsite în Videoclipurile Apple WWDC23 (selectați Filtru → visionOS).

În continuare este sfatul meu pentru proiectarea și dezvoltarea produselor pentru Vision Pro. Acest articol include o prezentare generală de bază a platformei, instrumente, aplicații de portare, design general de produs, prototipare, design perceptiv, sfaturi de afaceri și multe altele.

Descriere

Aplicațiile de pe visionOS sunt organizate în „scene”, care sunt Windows, Volume și Spaces.

Windows este o versiune spațială a ceea ce ați vedea pe un computer normal. Sunt dreptunghiuri delimitate de conținut cu care se înconjoară utilizatorii. Acestea pot fi ferestre din diferite aplicații sau mai multe ferestre dintr-o aplicație.

Volumele sunt lucruri precum obiecte 3D sau scene interactive mici. Ca o hartă 3D sau un joc mic care plutește în fața ta, mai degrabă decât să fie complet imersiv.

Spațiile sunt experiențe complet imersive în care este vizibilă o singură aplicație. Ar putea fi plin de multe Windows și volume din aplicația dvs. Sau cum ar fi jocurile VR în care sistemul dispare și totul este conținut complet captivant care te înconjoară. Vă puteți gândi la visionOS în sine ca un spațiu partajat în care aplicațiile coexistă împreună și aveți mai puțin control. În timp ce Full Spaces vă oferă cel mai mult control și imersivitate, dar nu coexistă cu alte aplicații. Spațiile au stiluri de imersiune: mixt, progresiv și plin. Care definește cât de mult sau puțin din lumea reală doriți ca utilizatorul să vadă.

Introducere utilizator

Utilizatorii se pot uita la interfața de utilizare și pot ciupi așa cum arată videoclipurile demonstrative Apple Vision Pro. Dar puteți, de asemenea, să vă adresați și să apăsați direct pe Windows, ca și cum ar fi de fapt un iPad plutitor. Sau utilizați un trackpad bluetooth sau un controler pentru jocuri video. De asemenea, puteți privi și vorbi în barele de căutare. Există, de asemenea, un control Dwell pentru intrare numai pentru ochi, dar aceasta este într-adevăr o caracteristică de accesibilitate. Pentru o abordare simplă a dezvoltatorului, aplicația dvs. poate folosi doar evenimente precum TapGesture. În acest caz, nu va trebui să vă faceți griji de unde provin aceste evenimente.

Audio spațial

Vision Pro are un sistem audio spațial avansat, care face ca sunetele să pară cu adevărat în cameră, luând în considerare dimensiunea și materialele din camera dvs. Folosirea sunetelor subtile pentru interacțiunea cu interfața de utilizare și profitarea de designul sunetului pentru experiențe captivante va fi cu adevărat importantă. Asigurați-vă că luați acest subiect în serios.

Dezvoltare

Dacă doriți să construiți ceva care să funcționeze între Vision Pro, iPad și iOS, veți opera în ecosistemul de dezvoltare Apple, folosind instrumente precum XCode și SwiftUI. Cu toate acestea, dacă scopul tău este să creezi o experiență VR complet captivantă pentru Vision Pro, care funcționează și pe alte căști precum Meta's Quest sau PlayStation VR, trebuie să folosești Unity.

Instrumente Apple

Pentru ecosistemul Apple, veți folosi SwiftUI pentru a crea interfața pe care o vede utilizatorul și conținutul general al aplicației dvs. RealityKit este motorul de randare 3D care gestionează materiale, obiecte 3D și simulări de lumină. Veți folosi ARKit pentru înțelegerea avansată a scenei, cum ar fi dacă doriți ca cineva să arunce săgeți virtuale și să-i facă să se ciocnească de peretele lor real sau să facă lucruri avansate cu urmărirea mâinilor. Dar aceste funcții AR bogate sunt disponibile numai în spații complete. Există, de asemenea, Reality Composer Pro, care este un editor de conținut 3D care vă permite să trageți lucrurile în jurul unei scene 3D și să faceți spații sau volume bogate în media. Este ca dieta-Unity care a fost creat special pentru această stivă de dezvoltare.

Un lucru interesant cu Reality Composer este că este deja plin de active, materiale și animații. Acest lucru îi ajută pe dezvoltatorii care nu sunt artiști să construiască ceva rapid și ar trebui să contribuie la crearea unui aspect mai unificat pentru tot ceea ce este construit cu instrumentul. Avantaje și dezavantaje ale acestei decizii de produs, dar în general ar trebui să fie de ajutor.

Aplicații iOS existente

Dacă aduceți o aplicație iPad sau iOS, probabil că va funcționa nemodificată ca o fereastră în spațiul partajat. Dacă aplicația dvs. acceptă atât iPad, cât și iPhone, căștile vor folosi versiunea pentru iPad.

Pentru a personaliza aplicația iOS existentă pentru a profita mai bine de setul cu cască, puteți utiliza API-ul Ornament pentru a crea mici insule plutitoare de interfață de utilizare în fața sau pe lângă aplicația dvs., pentru a o face să se simtă mai spațială. În mod ironic, dacă aplicația dvs. folosește o mulțime de funcții ARKit, probabil că va trebui să o „reimaginați” în mod semnificativ pentru a funcționa pe Vision Pro, deoarece ARKit a fost mult actualizat pentru căști.

Dacă sunteți încântat să construiți ceva nou pentru Vision Pro, părerea mea personală este că ar trebui să acordați prioritate modului în care aplicația dvs. va oferi valoare și pentru iPad și iOS. În caz contrar, pierzi sute de milioane de utilizatori.

Unitate

Puteți construi la Vision Pro cu motorul de joc Unity, care este un subiect masiv. Din nou, trebuie să utilizați Unity dacă construiți pentru Vision Pro, precum și pentru o cască Meta, cum ar fi Quest sau PSVR 2.

Unity acceptă construirea de volume limitate pentru spațiul partajat, care există alături de conținutul nativ Vision Pro. Și Unbounded Volumes, pentru conținut captivant care poate folosi funcții avansate AR. În cele din urmă, puteți crea și mai multe aplicații asemănătoare VR, care vă oferă mai mult control asupra randării, dar par să nu aibă suport pentru înțelegerea scenei ARKit, cum ar fi detectarea avionului. Abordarea Volum oferă RealityKit mai mult control asupra randării, așa că trebuie să utilizați instrumentul PolySpatial al Unity pentru a converti materiale, shadere și alte caracteristici.

Suportul Unity pentru Vision Pro include o mulțime de interacțiuni pe care v-ați aștepta să le vedeți în VR, cum ar fi teleportarea într-o nouă locație sau ridicarea și aruncarea obiectelor virtuale.

Design de Produs

Ai putea doar să faci o aplicație asemănătoare iPad-ului care să apară ca o fereastră plutitoare, să folosești interacțiunile implicite și să o numești pe zi. Dar, așa cum am spus mai sus, conținutul poate exista într-un spectru larg de imersiune, locații și poate utiliza o gamă largă de intrări. Deci gama combinatorie de posibilități poate fi copleșitoare.

Dacă nu ați petrecut 100 de ore în VR, obțineți un Quest 2 sau 3 cât mai curând posibil și încercați totul. Nu contează dacă sunteți designer, manager de produs sau CEO, trebuie să obțineți un Quest și să petreceți 100 de ore în VR pentru a începe să înțelegeți limbajul aplicațiilor spațiale.

Recomand cu căldură să verificați Laboratorul de fizică a mâinilor ca punct de plecare și imagine de ansamblu pentru înțelegerea interacțiunilor directe. Există o mulțime de lucruri subtile pe care le fac și care conferă obiectelor virtuale un sentiment de fizicitate. Si YouTube VR aplicația care a fost lansată în 2019 arată și se simte destul de similar cu o aplicație de bază visionOS, merită verificată.

Păstrați un jurnal cu ceea ce funcționează și ce nu.

Întrebați-vă: „Ce aplicații sunt confortabile sau provoacă oboseală?”, „Ce aplicații au cel mai rapid timp de distracție sau valoare?”, „Ce este confuz și ce este intuitiv?”, „Ce experiențe v-ați deranja să faceți mai multe decât o dată?' Fii brutal de sincer. Învață din ceea ce s-a încercat cât mai mult posibil.

Sfaturi generale de proiectare

Recomand cu tărie procesul IDEO style design thinking, funcționează și pentru calculul spațial. Ar trebui neapărat să-l încercați dacă nu sunteți familiarizat. Există Kit de proiectare cu resurse şi acest videoclip care, deși datat, este un exemplu excelent al procesului.

Drumul către calculul spațial este un cimitir de idei utopice care au eșuat. Oamenii tind să petreacă foarte mult timp construind soluții mari pentru problemele imaginare ale utilizatorilor imaginari. Sună evident, dar, în schimb, ar trebui să încerci să construiești ceva cât mai rapid posibil care să umple o nevoie umană reală și apoi să te îmbunătățești iterativ de acolo.

Continuați pe pagina 2: Formate spațiale și interacțiune »

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/