Короткий посібник для початківців із проектування та розробки Apple Vision Pro

Короткий посібник для початківців із проектування та розробки Apple Vision Pro

Мітка часу: 21 червня 2023 2:40

Apple Vision Pro представила нові ідеї про те, як потрібно проектувати, контролювати та створювати програми XR. У цій гостьовій статті Стерлінг Кріспін пропонує стислий посібник щодо того, що слід пам’ятати розробникам XR, які починають працювати вперше, підходячи до розробки програм для Apple Vision Pro.

Короткий посібник для початківців з дизайну та розробки Apple Vision Pro PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.Гостьова стаття Стерлінга Кріспіна

Стерлінг Кріспін — художник і інженер програмного забезпечення з десятирічним досвідом роботи в галузі просторових обчислень. Його робота охоплювала дизайн продукту та дослідження та розробки нових технологій у таких компаніях, як Apple, Snap Inc та інших технологічних стартапах, які працюють над фейс-комп’ютерами.

Примітка редактора: Автор хотів би нагадати читачам, що він не є представником Apple; ця інформація є особистою думкою і не містить закритої інформації. Крім того, більше інформації про розробку Vision Pro можна знайти в Відео Apple WWDC23 (виберіть Фільтр → visionOS).

Попереду моя порада щодо проектування та розробки продуктів для Vision Pro. Ця стаття містить базовий огляд платформи, інструментів, програм для портування, загального дизайну продукту, створення прототипів, перцептивного дизайну, бізнес-поради тощо.

огляд

Програми на visionOS організовані в «сцени», якими є Windows, томи та простори.

Windows — це просторова версія того, що ви бачите на звичайному комп’ютері. Це обмежені прямокутники вмісту, якими оточують себе користувачі. Це можуть бути вікна з різних програм або кілька вікон з однієї програми.

Об’єми – це такі речі, як 3D-об’єкти або невеликі інтерактивні сцени. Як 3D-карта або невелика гра, яка ширяє перед вами, а не повністю захоплює.

Spaces — це повне занурення, де видно лише одну програму. Це може бути повно багатьох вікон і томів із вашої програми. Або як ігри у віртуальній реальності, де система зникає, а вас оточує весь захоплюючий вміст. Ви можете думати про visionOS як про спільний простір, де програми співіснують разом і ви маєте менше контролю. У той час як Full Spaces дає вам найбільший контроль і ефект занурення, але не співіснує з іншими програмами. У просторах є стилі занурення: змішаний, прогресивний і повний. Що визначає, скільки чи мало реального світу ви хочете бачити користувачеві.

Введення користувачем

Користувачі можуть дивитися на інтерфейс і щипнути, як показано в демонстраційних відео Apple Vision Pro. Але ви також можете простягнути руку і натиснути на вікна безпосередньо, ніби це насправді плаваючий iPad. Або скористайтеся трекпадом Bluetooth або контролером відеоігор. Ви також можете дивитися та говорити в рядках пошуку. Існує також Dwell Control для введення лише очима, але це справді функція доступності. Для простого підходу для розробників ваша програма може просто використовувати такі події, як TapGesture. У цьому випадку вам не потрібно буде турбуватися про те, звідки походять ці події.

Просторове аудіо

Vision Pro має вдосконалену просторову аудіосистему, завдяки якій звуки виглядають так, ніби вони справді лунають у кімнаті, враховуючи розмір і матеріали вашої кімнати. Використання тонких звуків для взаємодії з інтерфейсом користувача та використання переваг звукового дизайну для захоплюючих вражень буде дуже важливим. Поставтеся до цієї теми серйозно.

розробка

Якщо ви хочете створити щось, що працюватиме між Vision Pro, iPad та iOS, ви працюватимете в екосистемі розробників Apple, використовуючи такі інструменти, як XCode та SwiftUI. Однак, якщо ваша мета — створити повністю захоплюючий досвід VR для Vision Pro, який також працює на інших гарнітурах, таких як Meta's Quest або PlayStation VR, вам доведеться використовувати Unity.

Інструменти Apple

Для екосистеми Apple ви використовуватимете SwiftUI для створення інтерфейсу користувача, який бачить користувач, і загального вмісту вашої програми. RealityKit — це механізм 3D-рендерінгу, який обробляє матеріали, 3D-об’єкти та моделювання світла. Ви використовуватимете ARKit для просунутого розуміння сцени, наприклад, якщо ви хочете, щоб хтось кидав віртуальні дротики, щоб вони зіткнулися зі своєю справжньою стіною, або виконували складні дії з відстеженням рук. Але ці багаті функції AR доступні лише у Full Spaces. Існує також Reality Composer Pro, який є редактором 3D-контенту, який дозволяє перетягувати речі навколо 3D-сцени та створювати мультимедійні простори або томи. Це як diet-Unity, створений спеціально для цього стека розробки.

Одна цікава річ у Reality Composer полягає в тому, що він уже повний ресурсів, матеріалів та анімації. Це допомагає розробникам, які не є художниками, швидко створювати щось і має допомогти створити більш єдиний вигляд і відчуття для всього, створеного за допомогою інструменту. Плюси та мінуси цього рішення про продукт, але загалом воно має бути корисним.

Наявні програми для iOS

Якщо ви використовуєте програму для iPad або iOS, вона, ймовірно, працюватиме без змін як вікно у спільному просторі. Якщо ваша програма підтримує як iPad, так і iPhone, гарнітура використовуватиме версію для iPad.

Щоб налаштувати наявну програму iOS для кращого використання переваг гарнітури, ви можете використати Ornament API, щоб створити маленькі плаваючі острівці інтерфейсу користувача перед або поруч із програмою, щоб зробити її більш просторовою. За іронією долі, якщо ваша програма використовує багато функцій ARKit, вам, імовірно, доведеться суттєво «переосмислити» її, щоб працювати на Vision Pro, оскільки ARKit було багато оновлено для гарнітури.

Якщо ви в захваті від створення чогось нового для Vision Pro, моя особиста думка полягає в тому, що ви повинні визначити пріоритети того, як ваша програма забезпечить цінність для iPad та iOS. Інакше ви втрачаєте сотні мільйонів користувачів.

Єдність

Ви можете створювати Vision Pro за допомогою ігрового движка Unity, а це велика тема. Знову ж таки, вам потрібно використовувати Unity, якщо ви створюєте Vision Pro, а також гарнітуру Meta, як-от Quest або PSVR 2.

Unity підтримує створення обмежених томів для спільного простору, які існують поряд із рідним вмістом Vision Pro. І Unbounded Volumes для захоплюючого контенту, який може використовувати розширені функції AR. Нарешті, ви також можете створювати більше програм, подібних до VR, які дають вам більше контролю над рендерингом, але, здається, не підтримують розуміння сцени ARKit, як-от виявлення площини. Підхід Volume дає RealityKit більше контролю над рендерингом, тому вам доведеться використовувати інструмент Unity PolySpatial для перетворення матеріалів, шейдерів та інших функцій.

Підтримка Unity для Vision Pro включає масу взаємодій, які ви очікуєте побачити у VR, як-от телепортація в нове місце або збирання та кидання віртуальних об’єктів.

Дизайн продукту

Ви можете просто створити програму, схожу на iPad, яка відображатиметься як плаваюче вікно, використовувати взаємодії за замовчуванням і припинити роботу. Але, як я вже сказав вище, вміст може існувати в широкому спектрі занурення, місць і використовувати широкий діапазон вхідних даних. Таким чином, комбінаторний діапазон можливостей може бути величезним.

Якщо ви не провели 100 годин у віртуальній реальності, отримайте квест 2 або 3 якнайшвидше та спробуйте все. Неважливо, чи ви дизайнер, чи менеджер із продуктів, чи генеральний директор, вам потрібно отримати квест і провести 100 годин у VR, щоб почати розуміти мову просторових програм.

Я дуже рекомендую перевірити Лабораторія фізики рук як відправну точку та огляд для розуміння прямих взаємодій. Вони роблять багато тонких речей, які надають віртуальним об’єктам відчуття фізичності. І YouTubeVR Додаток, випущений у 2019 році, виглядає та виглядає дуже схожим на базовий додаток visionOS, його варто перевірити.

Ведіть щоденник про те, що працює, а що ні.

Запитайте себе: «Який дизайн додатків є зручним або викликає втому?», «Які програми найшвидше приносять задоволення чи цінність?», «Що збиває з пантелику, а що інтуїтивно зрозуміле?», «Які програми ви б навіть потрудилися зробити більше ніж один раз? Будьте брутально чесними. Вчися з того, що випробувано, якомога більше.

Загальні поради щодо проектування

Я настійно рекомендую процес мислення в стилі IDEO, він також працює для просторових обчислень. Ви обов’язково повинні спробувати це, якщо ви не знайомі. Є Дизайнерський комплект з ресурсами і це відео який, хоча й застарів, є чудовим прикладом процесу.

Шлях до просторових обчислень — це кладовище утопічних ідей, які зазнали краху. Люди, як правило, витрачають дуже багато часу на розробку грандіозних рішень для уявних проблем уявних користувачів. Це звучить очевидно, але натомість вам слід спробувати якнайшвидше створити щось, що задовольнить реальні людські потреби, а потім поступово вдосконалювати.

Продовжити на сторінці 2: Просторові формати та взаємодія »

Часова мітка:

Більше від Дорога до ВР