Apple Vision Pro 设计和开发简明初学者指南

Apple Vision Pro 带来了有关如何设计、控制和构建 XR 应用程序的新想法。 在这篇客座文章中，Sterling Crispin 为首次 XR 开发人员在进行 Apple Vision Pro 应用程序开发时应牢记的事项提供了简明指南。

斯特林·克里斯平的客座文章

Sterling Crispin 是一位艺术家和软件工程师，在空间计算行业拥有十年的经验。 他的工作范围涵盖苹果、Snap Inc 等公司以及其他各种从事面部计算机研究的科技初创公司的产品设计和新技术研发。

编者注： 作者在此提醒读者，他并非苹果公司代表； 此信息仅代表个人观点，不包含非公开信息。 此外，有关 Vision Pro 开发的更多信息可以在 Apple 的 WWDC23 视频 （选择过滤器→visionOS）。

以下是我对 Vision Pro 设计和开发产品的建议。 本文包括平台、工具、移植应用程序、一般产品设计、原型设计、感知设计、业务建议等的基本概述。

概述

VisionOS 上的应用程序被组织成“场景”，即 Windows、卷和空间。

Windows 是您在普通计算机上看到的内容的空间版本。 它们是用户周围内容的有界矩形。 这些可能是来自不同应用程序的窗口，也可能是来自一个应用程序的多个窗口。

体积是 3D 对象或小型交互式场景之类的东西。 就像 3D 地图或漂浮在您面前的小游戏，而不是完全身临其境。

空间是完全身临其境的体验，只有一个应用程序可见。 这可能充满了您应用程序中的许多窗口和卷。 或者就像虚拟现实游戏一样，系统消失后，你周​​围的一切都是完全身临其境的内容。 您可以将visionOS 本身视为一个共享空间，应用程序共存于此，您的控制权较少。 而 Full Spaces 为您提供最大的控制力和沉浸感，但不能与其他应用程序共存。 空间具有沉浸式风格：混合型、渐进型和完整型。 它定义了您希望用户看到多少现实世界。

用户输入

用户可以像 Apple Vision Pro 演示视频一样查看 UI 并进行捏合操作。 但你也可以直接伸手点击窗口，就像它实际上是一个浮动的 iPad 一样。 或者使用蓝牙触控板或视频游戏控制器。 您还可以在搜索栏中查看和说话。 还有一个用于仅用眼睛输入的停留控件，但这确实是一个辅助功能。 对于简单的开发方法，您的应用程序可以仅使用 TapGesture 等事件。 在这种情况下，您无需担心这些事件的来源。

空间音频

Vision Pro 拥有先进的空间音频系统，考虑到您房间的大小和材料，声音听起来就像真的在房间里一样。 使用微妙的声音进行 UI 交互并利用声音设计来实现沉浸式体验将非常重要。 请务必认真对待这个话题。

研发支持

如果您想构建在 Vision Pro、iPad 和 iOS 之间运行的东西，您将在 Apple 开发生态系统中使用 XCode 和 SwiftUI 等工具进行操作。 但是，如果您的目标是为 Vision Pro 创建完全身临其境的 VR 体验，并且该体验也适用于 Meta 的 Quest 或 PlayStation VR 等其他耳机，则必须使用 Unity。

苹果工具

对于 Apple 的生态系统，您将使用 SwiftUI 创建用户看到的 UI 以及应用程序的整体内容。 RealityKit 是处理材质、3D 对象和灯光模拟的 3D 渲染引擎。 您将使用 ARKit 进行高级场景理解，例如您希望某人投掷虚拟飞镖并让它们与真实的墙壁碰撞，或者通过手部跟踪执行高级操作。 但这些丰富的 AR 功能仅在 Full Spaces 中可用。 还有 Reality Composer Pro，它是一个 3D 内容编辑器，可让您在 3D 场景中拖动内容并制作媒体丰富的空间或体积。 它就像专为该开发堆栈构建的diet-Unity。

Reality Composer 的一件很酷的事情是它已经充满了资产、材质和动画。 这可以帮助非艺术家的开发人员快速构建一些东西，并且应该有助于为使用该工具构建的所有内容创建更统一的外观和感觉。 该产品决策的优点和缺点，但总的来说应该是有帮助的。

现有的 iOS 应用程序

如果您携带 iPad 或 iOS 应用程序过来，它可能无需修改即可作为共享空间中的窗口运行。 如果您的应用同时支持 iPad 和 iPhone，则耳机将使用 iPad 版本。

要自定义现有的 iOS 应用程序以更好地利用耳机，您可以使用 Ornament API 在应用程序前面或旁边制作 UI 的小浮动岛，使其感觉更具空间感。 具有讽刺意味的是，如果您的应用程序使用了大量 ARKit 功能，您可能需要对其进行大量“重新想象”才能在 Vision Pro 上工作，因为 ARKit 已经针对耳机进行了很多升级。

如果您对为 Vision Pro 构建新的东西感到兴奋，我个人的观点是您应该优先考虑您的应用程序如何在 iPad 和 iOS 上提供价值。 否则您将失去数亿用户。

Unity

您可以使用 Unity 游戏引擎构建 Vision Pro，这是一个很大的话题。 同样，如果您要构建 Vision Pro 以及 Quest 或 PSVR 2 等 Meta 耳机，则需要使用 Unity。

Unity 支持为共享空间构建有界卷，该空间与本机 Vision Pro 内容一起存在。 以及 Unbounded Volumes，用于可利用先进 AR 功能的沉浸式内容。 最后，您还可以构建更多类似 VR 的应用程序，这些应用程序可以让您更好地控制渲染，但似乎缺乏对 ARKit 场景理解（如平面检测）的支持。 Volume 方法使 RealityKit 对渲染有更多控制，因此您必须使用 Unity 的 PolySpatial 工具来转换材质、着色器和其他功能。

Unity 对 Vision Pro 的支持包括您期望在 VR 中看到的大量交互，例如传送到新位置或拾取和投掷虚拟对象。

产品设计

您可以制作一个类似 iPad 的应用程序，显示为浮动窗口，使用默认交互，然后就到此为止。 但正如我上面所说，内容可以存在于各种沉浸式环境、位置，并使用各种输入。 因此，组合的可能性范围可能是巨大的。

如果您还没有在 VR 中度过 100 小时，请尽快购买 Quest 2 或 3 并尝试一切。 无论您是设计师、产品经理还是首席执行官，您都需要获得 Quest 并在 VR 中花费 100 小时才能开始理解空间应用程序的语言。

我强烈建议退房 手物理实验室 作为理解直接交互的起点和概述。 他们做了很多微妙的事情，为虚拟对象注入了物理感。 还有 YouTube VR 2019 年发布的应用程序看起来和感觉与基本的 VisionOS 应用程序非常相似，值得一试。

记下什么有效、什么无效的日记。

问问自己：“哪些应用程序设计舒适，或会导致疲劳？”，“哪些应用程序具有最快的乐趣或价值？”，“什么是令人困惑的，什么是直观的？”，“哪些体验是您愿意花更多时间去做的？”比一次？ 残酷地诚实。 尽可能地从尝试过的事情中学习。

一般设计建议

我强烈推荐IDEO风格的设计思维过程，它也适用于空间计算。 如果你不熟悉，你绝对应该尝试一下。 有 设计套件 拥有资源和 该视频 尽管已经过时，但它是该过程的一个很好的例子。

空间计算之路是失败的乌托邦思想的墓地。 人们往往会花费很长时间来为想象中的用户的想象中的问题构建宏伟的解决方案。 这听起来很明显，但相反，您应该尝试尽快构建满足人类真正需求的东西，然后从那里迭代改进。

继续第 2 页：空间格式和交互 »

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 汽车/电动汽车， 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 块偏移量。 现代化环境抵消所有权。 访问这里。
• Sumber: https://www.roadtovr.com/apple-vision-pro-design-development-beginner-guide-sterling-crispin/