Краткое руководство для начинающих по дизайну и разработке Apple Vision Pro

Apple Vision Pro предлагает новые идеи о том, как должны разрабатываться, контролироваться и создаваться приложения XR. В этой гостевой статье Стерлинг Криспин предлагает краткое руководство о том, что следует учитывать начинающим разработчикам XR при разработке приложений для Apple Vision Pro.

Гостевая статья Стерлинга Криспина

Стерлинг Криспин — художник и инженер-программист с десятилетним опытом работы в индустрии пространственных вычислений. Его работа охватывает как дизайн продукта, так и исследования и разработки новых технологий в таких компаниях, как Apple, Snap Inc и других технологических стартапах, работающих с компьютерами для лица.

Примечание редактора: Автор хотел бы напомнить читателям, что он не является представителем Apple; эта информация является личным мнением и не содержит закрытой информации. Кроме того, дополнительную информацию о разработке Vision Pro можно найти в Видео Apple WWDC23 (выберите Фильтр →visionOS).

Впереди мой совет по проектированию и разработке продуктов для Vision Pro. Эта статья включает в себя базовый обзор платформы, инструментов, переноса приложений, общего дизайна продукта, прототипирования, дизайна восприятия, бизнес-советов и многого другого.

Обзор

Приложения в visionOS организованы в «сцены»: Windows, Volumes и Spaces.

Windows — это пространственная версия того, что вы видите на обычном компьютере. Это ограниченные прямоугольники контента, которыми пользователи окружают себя. Это могут быть окна из разных приложений или несколько окон из одного приложения.

Объемы — это такие вещи, как 3D-объекты или небольшие интерактивные сцены. Как 3D-карта или небольшая игра, которая плывет перед вами, а не полностью погружает.

Пространства — это полностью иммерсивный опыт, в котором видно только одно приложение. Это может быть много окон и томов из вашего приложения. Или, например, игры виртуальной реальности, в которых система исчезает, а вас окружает полностью иммерсивный контент. Вы можете представить себе visionOS как общее пространство, где приложения сосуществуют вместе, и у вас меньше контроля. Принимая во внимание, что Full Spaces дает вам максимальный контроль и эффект присутствия, но не сосуществует с другими приложениями. Пространства имеют стили погружения: смешанный, прогрессивный и полный. Что определяет, сколько или мало реального мира вы хотите, чтобы пользователь увидел.

Пользовательский ввод

Пользователи могут смотреть на пользовательский интерфейс и сжимать пальцы, как показано в демонстрационных видеороликах Apple Vision Pro. Но вы также можете протянуть руку и коснуться окон напрямую, как будто это плавающий iPad. Или используйте трекпад Bluetooth или игровой контроллер. Вы также можете смотреть и говорить в строках поиска. Также есть Dwell Control для ввода только глазами, но это действительно функция доступности. Для простого подхода к разработке ваше приложение может просто использовать такие события, как TapGesture. В этом случае вам не нужно будет беспокоиться о том, откуда происходят эти события.

Пространственное аудио

Vision Pro имеет усовершенствованную пространственную аудиосистему, благодаря которой кажется, что звуки действительно находятся в комнате, учитывая размер и материалы в вашей комнате. Использование тонких звуков для взаимодействия с пользовательским интерфейсом и использование звукового дизайна для иммерсивного опыта будет очень важным. Обязательно серьезно отнеситесь к этой теме.

Развитие

Если вы хотите создать что-то, что будет работать между Vision Pro, iPad и iOS, вы будете работать в экосистеме разработчиков Apple, используя такие инструменты, как XCode и SwiftUI. Однако, если ваша цель — создать виртуальную реальность с полным погружением для Vision Pro, которая также работает на других гарнитурах, таких как Meta’s Quest или PlayStation VR, вам необходимо использовать Unity.

Инструменты Apple

В экосистеме Apple вы будете использовать SwiftUI для создания пользовательского интерфейса, который видит пользователь, и общего содержимого вашего приложения. RealityKit — это механизм 3D-рендеринга, который обрабатывает материалы, 3D-объекты и симуляцию света. Вы будете использовать ARKit для расширенного понимания сцены, например, если вы хотите, чтобы кто-то бросал виртуальные дротики и чтобы они столкнулись с их реальной стеной, или выполняли сложные действия с отслеживанием рук. Но эти богатые возможности AR доступны только в Full Spaces. Существует также Reality Composer Pro, редактор 3D-контента, который позволяет перетаскивать объекты по 3D-сцене и создавать мультимедийные пространства или объемы. Это как диета-Unity, созданная специально для этого стека разработки.

Отличительной чертой Reality Composer является то, что он уже полон ресурсов, материалов и анимаций. Это помогает разработчикам, которые не являются художниками, быстро создавать что-то и должно помочь создать более унифицированный внешний вид для всего, что создается с помощью этого инструмента. Плюсы и минусы этого решения о продукте, но в целом это должно быть полезно.

Существующие iOS-приложения

Если вы приносите приложение для iPad или iOS, оно, вероятно, будет работать без изменений как окно в общем пространстве. Если ваше приложение поддерживает и iPad, и iPhone, гарнитура будет использовать версию для iPad.

Чтобы настроить существующее приложение iOS для более эффективного использования гарнитуры, вы можете использовать Ornament API, чтобы создать небольшие плавающие острова пользовательского интерфейса перед вашим приложением или за его пределами, чтобы сделать его более пространственным. По иронии судьбы, если ваше приложение использует множество функций ARKit, вам, вероятно, потребуется значительно «переосмыслить» его для работы с Vision Pro, поскольку ARKit был значительно обновлен для гарнитуры.

Если вы взволнованы созданием чего-то нового для Vision Pro, мое личное мнение заключается в том, что вам следует расставить приоритеты в том, как ваше приложение будет представлять ценность для iPad и iOS. В противном случае вы теряете сотни миллионов пользователей.

Unity

Вы можете собрать Vision Pro с игровым движком Unity, что является обширной темой. Опять же, вам нужно использовать Unity, если вы собираете Vision Pro, а также гарнитуру Meta, такую ​​​​как Quest или PSVR 2.

Unity поддерживает создание ограниченных томов для общего пространства, которые существуют вместе с собственным содержимым Vision Pro. И Unbounded Volumes для иммерсивного контента, который может использовать расширенные функции AR. Наконец, вы также можете создавать больше приложений, похожих на VR, которые дают вам больше контроля над рендерингом, но, похоже, не поддерживают понимание сцены ARKit, например обнаружение плоскостей. Подход Volume дает RealityKit больший контроль над рендерингом, поэтому вам придется использовать инструмент Unity PolySpatial для преобразования материалов, шейдеров и других функций.

Поддержка Unity для Vision Pro включает множество взаимодействий, которые вы ожидаете увидеть в виртуальной реальности, таких как телепортация в новое место или поднятие и бросание виртуальных объектов.

Дизайн продукта

Вы можете просто создать приложение, похожее на iPad, которое будет отображаться в виде плавающего окна, использовать взаимодействие по умолчанию и на этом закончить. Но, как я сказал выше, контент может существовать в широком спектре погружений, мест и использовать широкий спектр входных данных. Таким образом, комбинаторный диапазон возможностей может быть ошеломляющим.

Если вы еще не провели 100 часов в виртуальной реальности, как можно скорее получите квест 2 или 3 и попробуйте все. Неважно, являетесь ли вы дизайнером, продакт-менеджером или генеральным директором, вам нужно пройти квест и провести 100 часов в виртуальной реальности, чтобы начать понимать язык пространственных приложений.

Я очень рекомендую проверить Лаборатория физики рук в качестве отправной точки и обзора для понимания прямых взаимодействий. Они делают много тонких вещей, которые наполняют виртуальные объекты ощущением физичности. И Ютуб VR приложение, выпущенное в 2019 году, выглядит и работает очень похоже на базовое приложение visionOS, его стоит проверить.

Ведите дневник того, что работает, а что нет.

Спросите себя: «Какой дизайн приложений удобен или вызывает утомление?», «Какие приложения быстрее всего осваиваются или приносят больше пользы?», «Что сбивает с толку, а что интуитивно понятно?», «Какие приложения вы бы даже потрудились сделать больше». чем один раз? Будьте предельно честны. Учитесь на том, что было опробовано, насколько это возможно.

Общие советы по дизайну

Я настоятельно рекомендую процесс дизайнерского мышления в стиле IDEO, он работает и для пространственных вычислений. Вы должны обязательно попробовать это, если вы незнакомы. есть Дизайн Комплект с ресурсами и здесь который, хотя и устарел, является отличным примером этого процесса.

Путь к пространственным вычислениям — это кладбище потерпевших крах утопических идей. Люди, как правило, тратят очень много времени на создание грандиозных решений воображаемых проблем воображаемых пользователей. Звучит очевидно, но вместо этого вы должны попытаться создать что-то как можно быстрее, что удовлетворит настоящую человеческую потребность, а затем итеративно улучшать это.

Продолжить на странице 2: Пространственные форматы и взаимодействие »

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
• Источник: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/