Panduan Ringkas Pemula untuk Desain & Pengembangan Apple Vision Pro

Apple Vision Pro telah menghadirkan ide-ide baru tentang bagaimana aplikasi XR harus dirancang, dikontrol, dan dibangun. Dalam Artikel Tamu ini, Sterling Crispin menawarkan panduan singkat tentang apa yang harus diingat oleh pengembang XR pertama kali saat mendekati pengembangan aplikasi untuk Apple Vision Pro.

Artikel Tamu oleh Sterling Crispin

Sterling Crispin adalah seorang seniman dan insinyur perangkat lunak dengan pengalaman satu dekade dalam industri komputasi spasial. Karyanya terbentang antara desain produk dan R&D teknologi baru di perusahaan seperti Apple, Snap Inc, dan berbagai perusahaan rintisan teknologi lainnya yang mengerjakan komputer wajah.

Catatan Editor: Penulis ingin mengingatkan pembaca bahwa dia bukanlah perwakilan Apple; info ini adalah pendapat pribadi dan tidak mengandung informasi non-publik. Selain itu, info lebih lanjut tentang pengembangan Vision Pro dapat ditemukan di Video WWDC23 Apple (pilih Filter → visionOS).

Di depan adalah saran saya untuk merancang dan mengembangkan produk untuk Vision Pro. Artikel ini mencakup ikhtisar dasar platform, alat, aplikasi porting, desain produk umum, pembuatan prototipe, desain perseptual, saran bisnis, dan banyak lagi.

Ringkasan

Aplikasi di visionOS diatur ke dalam 'adegan', yaitu Windows, Volume, dan Spasi.

Windows adalah versi spasial dari apa yang Anda lihat di komputer biasa. Mereka adalah persegi panjang terbatas dari konten yang dikelilingi oleh pengguna. Ini mungkin jendela dari aplikasi yang berbeda atau beberapa jendela dari satu aplikasi.

Volume adalah hal-hal seperti objek 3D, atau adegan interaktif kecil. Seperti peta 3D, atau game kecil yang melayang di depan Anda alih-alih imersif sepenuhnya.

Spaces adalah pengalaman yang sangat imersif di mana hanya satu aplikasi yang terlihat. Itu bisa penuh dengan banyak Windows dan Volume dari aplikasi Anda. Atau seperti game VR di mana sistem menghilang dan semua konten imersif mengelilingi Anda. Anda dapat menganggap visionOS itu sendiri seperti Ruang Bersama tempat aplikasi hidup berdampingan dan Anda memiliki lebih sedikit kendali. Sedangkan Full Spaces memberi Anda kontrol dan imersif paling besar, tetapi tidak berdampingan dengan aplikasi lain. Spasi memiliki gaya pencelupan: campuran, progresif, dan penuh. Yang menentukan seberapa banyak atau sedikit dari dunia nyata yang Anda ingin pengguna lihat.

Masukan Pengguna

Pengguna dapat melihat UI dan mencubit seperti acara video demo Apple Vision Pro. Tetapi Anda juga dapat menjangkau dan mengetuk windows secara langsung, seperti iPad yang mengambang. Atau gunakan trackpad bluetooth atau pengontrol video game. Anda juga dapat melihat dan berbicara di bilah pencarian. Ada juga Kontrol Tetap untuk masukan hanya mata, tapi itu sebenarnya fitur aksesibilitas. Untuk pendekatan dev sederhana, aplikasi Anda cukup menggunakan kejadian seperti TapGesture. Dalam hal ini, Anda tidak perlu khawatir tentang dari mana peristiwa ini berasal.

Audio spasial

Vision Pro memiliki sistem audio spasial canggih yang membuat suara terdengar seperti benar-benar ada di dalam ruangan dengan mempertimbangkan ukuran dan bahan di ruangan Anda. Menggunakan suara halus untuk interaksi UI dan memanfaatkan desain suara untuk pengalaman imersif akan menjadi sangat penting. Pastikan untuk menanggapi topik ini dengan serius.

Pengembangan

Jika Anda ingin membangun sesuatu yang berfungsi antara Vision Pro, iPad, dan iOS, Anda akan beroperasi dalam ekosistem pengembang Apple, menggunakan alat seperti XCode dan SwiftUI. Namun, jika tujuan Anda adalah menciptakan pengalaman VR yang sepenuhnya imersif untuk Vision Pro yang juga berfungsi di headset lain seperti Meta's Quest atau PlayStation VR, Anda harus menggunakan Unity.

Alat Apple

Untuk ekosistem Apple, Anda akan menggunakan SwiftUI untuk membuat UI yang dilihat pengguna dan keseluruhan konten aplikasi Anda. RealityKit adalah mesin rendering 3D yang menangani material, objek 3D, dan simulasi cahaya. Anda akan menggunakan ARKit untuk pemahaman adegan tingkat lanjut, seperti jika Anda ingin seseorang melempar anak panah virtual dan membuatnya bertabrakan dengan dinding aslinya, atau melakukan hal-hal lanjutan dengan pelacakan tangan. Tetapi fitur AR yang kaya itu hanya tersedia di Full Spaces. Ada juga Reality Composer Pro yang merupakan editor konten 3D yang memungkinkan Anda menyeret berbagai hal di sekitar adegan 3D dan membuat Spasi atau Volume kaya media. Ini seperti diet-Unity yang dibuat khusus untuk tumpukan pengembangan ini.

Satu hal keren dengan Reality Composer adalah sudah penuh dengan aset, materi, dan animasi. Itu membantu pengembang yang bukan seniman membangun sesuatu dengan cepat dan akan membantu menciptakan tampilan dan nuansa yang lebih terpadu untuk semua yang dibuat dengan alat tersebut. Pro dan kontra untuk keputusan produk itu, tetapi secara keseluruhan itu harus membantu.

Aplikasi iOS yang ada

Jika Anda membawa aplikasi iPad atau iOS, aplikasi tersebut mungkin akan berfungsi tanpa diubah sebagai Jendela di Ruang Bersama. Jika aplikasi Anda mendukung iPad dan iPhone, headset akan menggunakan versi iPad.

Untuk menyesuaikan aplikasi iOS Anda yang ada untuk memanfaatkan headset dengan lebih baik, Anda dapat menggunakan API Ornamen untuk membuat pulau-pulau kecil UI yang mengambang di depan, atau di samping aplikasi Anda, agar terasa lebih spasial. Ironisnya, jika aplikasi Anda menggunakan banyak fitur ARKit, Anda mungkin perlu 'mengubahnya' secara signifikan agar dapat berfungsi di Vision Pro, karena ARKit telah banyak ditingkatkan untuk headset.

Jika Anda bersemangat membuat sesuatu yang baru untuk Vision Pro, pendapat pribadi saya adalah Anda harus memprioritaskan bagaimana aplikasi Anda juga memberikan nilai di iPad dan iOS. Jika tidak, Anda akan kehilangan ratusan juta pengguna.

Kesatuan

Anda dapat membangun ke Vision Pro dengan mesin game Unity, yang merupakan topik besar. Sekali lagi, Anda perlu menggunakan Unity jika Anda membangun ke Vision Pro serta headset Meta seperti Quest atau PSVR 2.

Unity mendukung pembuatan Bounded Volumes untuk Ruang Bersama yang ada bersama konten asli Vision Pro. Dan Volume Tak Terbatas, untuk konten imersif yang dapat memanfaatkan fitur AR tingkat lanjut. Terakhir, Anda juga dapat membuat lebih banyak aplikasi mirip VR yang memberi Anda lebih banyak kontrol atas rendering tetapi tampaknya kurang mendukung pemahaman adegan ARKit seperti deteksi pesawat. Pendekatan Volume memberi RealityKit lebih banyak kontrol atas rendering, jadi Anda harus menggunakan alat PolySpatial Unity untuk mengonversi material, shader, dan fitur lainnya.

Dukungan Unity untuk Vision Pro mencakup banyak interaksi yang Anda harapkan akan terlihat di VR, seperti berteleportasi ke lokasi baru atau mengambil dan melempar objek virtual.

Desain Produk

Anda bisa membuat aplikasi seperti iPad yang muncul sebagai jendela mengambang, menggunakan interaksi default, dan menghentikannya. Namun seperti yang saya katakan di atas, konten dapat hadir dalam spektrum pencelupan yang luas, lokasi, dan menggunakan berbagai masukan. Jadi rentang kombinasi kemungkinan bisa sangat banyak.

Jika Anda belum menghabiskan 100 jam di VR, dapatkan Quest 2 atau 3 sesegera mungkin dan coba semuanya. Tidak masalah jika Anda seorang desainer, atau manajer produk, atau CEO, Anda perlu mendapatkan Quest dan menghabiskan 100 jam di VR untuk mulai memahami bahasa aplikasi spasial.

Saya sangat merekomendasikan memeriksa Lab Fisika Tangan sebagai titik awal dan ikhtisar untuk memahami interaksi langsung. Ada banyak hal halus yang mereka lakukan yang mengilhami objek virtual dengan rasa fisik. Dan VR Youtube aplikasi yang dirilis pada tahun 2019 terlihat dan terasa sangat mirip dengan aplikasi visionOS dasar, patut dicoba.

Buat buku harian tentang apa yang berhasil dan apa yang tidak.

Tanyakan pada diri sendiri: 'Desain aplikasi apa yang nyaman, atau menyebabkan kelelahan?', 'Aplikasi apa yang memiliki waktu untuk bersenang-senang atau nilai tercepat?', 'Apa yang membingungkan dan apa yang intuitif?', 'Pengalaman apa yang akan Anda lakukan lebih dari sekali?' Jujurlah secara brutal. Belajarlah dari apa yang sudah dicoba sebanyak mungkin.

Saran Desain Umum

Saya sangat merekomendasikan proses pemikiran desain gaya IDEO, ini juga berfungsi untuk komputasi spasial. Anda benar-benar harus mencobanya jika Anda tidak terbiasa. Ada Kit Desain dengan sumber daya dan video ini yang, meski bertanggal, adalah contoh yang bagus dari proses tersebut.

Jalan menuju komputasi spasial adalah kuburan ide utopis yang gagal. Orang cenderung menghabiskan waktu yang sangat lama untuk membangun solusi besar untuk masalah imajiner pengguna imajiner. Kedengarannya jelas, tetapi Anda harus mencoba membangun sesuatu secepat mungkin yang memenuhi kebutuhan nyata manusia, dan kemudian meningkatkannya secara iteratif dari sana.

Lanjutkan di Halaman 2: Format Spasial dan Interaksi »

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
• Sumber: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/