Zwięzły przewodnik dla początkujących dotyczący projektowania i rozwoju Apple Vision Pro

Opublikowane ponownie przez Plato

Obserwuje: 0

Apple Vision Pro przedstawiło nowe pomysły dotyczące projektowania, kontrolowania i budowania aplikacji XR. W tym artykule dla gości Sterling Crispin przedstawia zwięzły przewodnik po tym, o czym powinni pamiętać początkujący programiści XR, gdy zbliżają się do tworzenia aplikacji dla Apple Vision Pro.

Artykuł gościnny autorstwa Sterlinga Crispina

Sterling Crispin jest artystą i inżynierem oprogramowania z dziesięcioletnim doświadczeniem w branży obliczeń przestrzennych. Jego praca obejmowała projektowanie produktów oraz badania i rozwój nowych technologii w firmach takich jak Apple, Snap Inc i różne inne startupy technologiczne pracujące na komputerach osobistych.

Uwaga redaktora: Autor pragnie przypomnieć czytelnikom, że nie jest przedstawicielem Apple; te informacje są osobistą opinią i nie zawierają informacji niepublicznych. Ponadto więcej informacji na temat rozwoju Vision Pro można znaleźć w Filmy Apple z WWDC23 (wybierz Filtr → VisionOS).

Ahead to moja rada dotycząca projektowania i opracowywania produktów dla Vision Pro. Ten artykuł zawiera podstawowe omówienie platformy, narzędzi, przenoszenia aplikacji, ogólnego projektowania produktów, prototypowania, projektowania percepcyjnego, porad biznesowych i nie tylko.

Przegląd

Aplikacje w systemie VisionOS są zorganizowane w „sceny”, którymi są okna, woluminy i przestrzenie.

Windows to przestrzenna wersja tego, co można zobaczyć na normalnym komputerze. Są to ograniczone prostokąty treści, którymi otaczają się użytkownicy. Mogą to być okna z różnych aplikacji lub wiele okien z jednej aplikacji.

Wolumeny to obiekty 3D lub małe interaktywne sceny. Jak mapa 3D lub mała gra, która unosi się przed tobą, zamiast być w pełni wciągająca.

Przestrzenie to w pełni immersyjne środowiska, w których widoczna jest tylko jedna aplikacja. Może to być pełne wielu okien i woluminów z Twojej aplikacji. Lub jak gry VR, w których system odchodzi i otacza Cię w pełni wciągająca zawartość. Sam system wizyjny można postrzegać jako przestrzeń współdzieloną, w której aplikacje współistnieją razem i masz mniejszą kontrolę. Podczas gdy Full Spaces zapewnia największą kontrolę i immersję, ale nie współistnieje z innymi aplikacjami. Przestrzenie mają style zanurzenia: mieszane, progresywne i pełne. Który określa, ile lub jak mało rzeczywistego świata ma widzieć użytkownik.

Wprowadzane przez użytkownika

Użytkownicy mogą spojrzeć na interfejs użytkownika i uszczypnąć, jak pokazują filmy demonstracyjne Apple Vision Pro. Ale możesz także wyciągnąć rękę i dotknąć okien bezpośrednio, tak jakby to był pływający iPad. Lub użyj gładzika Bluetooth lub kontrolera do gier wideo. Możesz także patrzeć i mówić w paskach wyszukiwania. Dostępna jest również funkcja Dwell Control do wprowadzania danych tylko dla oczu, ale tak naprawdę jest to funkcja ułatwień dostępu. W przypadku prostego podejścia programistycznego Twoja aplikacja może po prostu używać zdarzeń, takich jak TapGesture. W takim przypadku nie musisz się martwić, skąd pochodzą te zdarzenia.

Dźwięk przestrzenny

Vision Pro ma zaawansowany przestrzenny system audio, który sprawia, że dźwięki wydają się naprawdę pochodzić z pokoju, biorąc pod uwagę rozmiar i materiały w pokoju. Używanie subtelnych dźwięków do interakcji z interfejsem użytkownika i wykorzystywanie projektowania dźwięku do wciągających wrażeń będzie naprawdę ważne. Postaraj się podejść do tego tematu poważnie.

oprogramowania

Jeśli chcesz zbudować coś, co działa między Vision Pro, iPadem i iOS, będziesz działać w ekosystemie deweloperskim Apple, używając narzędzi takich jak XCode i SwiftUI. Jeśli jednak Twoim celem jest stworzenie w pełni wciągających wrażeń VR dla Vision Pro, które działają również na innych zestawach słuchawkowych, takich jak Meta's Quest lub PlayStation VR, musisz użyć Unity.

Narzędzia Apple'a

W przypadku ekosystemu Apple będziesz używać SwiftUI do tworzenia interfejsu użytkownika, który widzi użytkownik, oraz ogólnej zawartości Twojej aplikacji. RealityKit to silnik renderujący 3D, który obsługuje materiały, obiekty 3D i symulacje światła. Będziesz używać ARKit do zaawansowanego rozumienia scen, na przykład jeśli chcesz, aby ktoś rzucił wirtualnymi rzutkami i zderzył się z ich prawdziwą ścianą lub wykonał zaawansowane rzeczy ze śledzeniem dłoni. Ale te bogate funkcje AR są dostępne tylko w Full Spaces. Istnieje również Reality Composer Pro, który jest edytorem treści 3D, który pozwala przeciągać rzeczy po scenie 3D i tworzyć bogate w multimedia przestrzenie lub tomy. To jak dieta-Unity, która została zbudowana specjalnie dla tego stosu programistycznego.

Jedną fajną rzeczą w Reality Composer jest to, że jest już pełen zasobów, materiałów i animacji. Pomaga to programistom, którzy nie są artystami, szybko coś zbudować i powinno pomóc w stworzeniu bardziej ujednoliconego wyglądu i stylu wszystkiego, co zostało zbudowane za pomocą tego narzędzia. Plusy i minusy tej decyzji dotyczącej produktu, ale ogólnie powinno to być pomocne.

Istniejące aplikacje na iOS

Jeśli przynosisz aplikację na iPada lub iOS, prawdopodobnie będzie działać niezmodyfikowana jako okno we wspólnej przestrzeni. Jeśli Twoja aplikacja obsługuje zarówno iPada, jak i iPhone'a, zestaw słuchawkowy będzie korzystał z wersji na iPada.

Aby dostosować istniejącą aplikację na iOS, aby lepiej wykorzystać zestaw słuchawkowy, możesz użyć Ornament API, aby utworzyć małe pływające wyspy interfejsu użytkownika przed aplikacją lub poza nią, aby była bardziej przestrzenna. Jak na ironię, jeśli Twoja aplikacja korzysta z wielu funkcji ARKit, prawdopodobnie będziesz musiał ją znacząco „wyobrazić sobie”, aby działała na Vision Pro, ponieważ ARKit został znacznie ulepszony dla zestawu słuchawkowego.

Jeśli jesteś podekscytowany tworzeniem czegoś nowego dla Vision Pro, osobiście uważam, że powinieneś nadać priorytet temu, w jaki sposób Twoja aplikacja zapewni wartość także na iPadzie i iOS. W przeciwnym razie tracisz setki milionów użytkowników.

jedność

Możesz budować do Vision Pro za pomocą silnika gier Unity, co jest obszernym tematem. Ponownie, musisz użyć Unity, jeśli budujesz do Vision Pro, a także zestawu słuchawkowego Meta, takiego jak Quest lub PSVR 2.

Unity obsługuje tworzenie woluminów ograniczonych dla przestrzeni współdzielonej, które istnieją obok natywnej zawartości Vision Pro. Oraz Unbounded Volumes dla wciągających treści, które mogą wykorzystywać zaawansowane funkcje AR. Na koniec możesz także tworzyć więcej aplikacji podobnych do VR, które dają większą kontrolę nad renderowaniem, ale wydaje się, że brakuje im wsparcia dla rozumienia sceny ARKit, takiego jak wykrywanie samolotów. Podejście objętościowe daje RealityKit większą kontrolę nad renderowaniem, więc musisz użyć narzędzia PolySpatial Unity do konwersji materiałów, shaderów i innych funkcji.

Wsparcie Unity dla Vision Pro obejmuje mnóstwo interakcji, których można się spodziewać w VR, takich jak teleportacja do nowej lokalizacji lub podnoszenie i rzucanie wirtualnymi obiektami.

Product Design

Możesz po prostu stworzyć aplikację podobną do iPada, która wyświetla się jako pływające okno, użyć domyślnych interakcji i nazwać to dniem. Ale jak powiedziałem powyżej, treść może istnieć w szerokim spektrum zanurzenia, lokalizacji i wykorzystywać szeroki zakres danych wejściowych. Tak więc kombinatoryczny zakres możliwości może być przytłaczający.

Jeśli nie spędziłeś 100 godzin w rzeczywistości wirtualnej, jak najszybciej zdobądź zadanie 2 lub 3 i spróbuj wszystkiego. Nie ma znaczenia, czy jesteś projektantem, menedżerem produktu czy dyrektorem generalnym, musisz zdobyć Quest i spędzić 100 godzin w VR, aby zacząć rozumieć język aplikacji przestrzennych.

Gorąco polecam sprawdzić Laboratorium Fizyki Ręki jako punkt wyjścia i przegląd do zrozumienia bezpośrednich interakcji. Robią wiele subtelnych rzeczy, które nasycają wirtualne obiekty poczuciem fizyczności. i Rzeczywistość wirtualna w YouTube wydana w 2019 roku wygląda i działa bardzo podobnie do podstawowej aplikacji VisionOS, warto ją sprawdzić.

Prowadź dziennik, co działa, a co nie.

Zadaj sobie pytania: „Które projekty aplikacji są wygodne, a które powodują zmęczenie?”, „Które aplikacje zapewniają najszybszą rozrywkę lub wartość?”, „Co jest mylące, a co intuicyjne?”, „Jakie doświadczenia chciałbyś zrobić więcej niż raz?' Bądź brutalnie szczery. Ucz się jak najwięcej z tego, co zostało wypróbowane.

Ogólne porady projektowe

Zdecydowanie polecam proces myślenia projektowego w stylu IDEO, działa on również w obliczeniach przestrzennych. Zdecydowanie powinieneś go wypróbować, jeśli nie jesteś zaznajomiony. Jest Zestaw projektowy ze środkami i ten film który, choć przestarzały, jest doskonałym przykładem procesu.

Droga do obliczeń przestrzennych jest cmentarzyskiem utopijnych pomysłów, które się nie powiodły. Ludzie mają tendencję do spędzania bardzo dużo czasu na budowaniu wielkich rozwiązań wyimaginowanych problemów wyimaginowanych użytkowników. Wydaje się to oczywiste, ale zamiast tego powinieneś spróbować zbudować coś tak szybko, jak to możliwe, co zaspokoi prawdziwą ludzką potrzebę, a następnie iteracyjnie ulepszać od tego momentu.