探索“Idea Engine”中的 XR 用户界面交互

创意引擎 允许您创建和分享 VR 和混合现实体验。构建这样的通用工具需要复杂的用户界面。在这篇客座文章中，开发人员 Brett Jackson 分享了他的 UI 交互方法。

布雷特·杰克逊的客座文章

Brett Jackson 自 2015 年以来一直在开发 VR 项目，并且是这家新成立的英国公司的董事 X82有限公司。他之前发布的作品包括：Dimensional (PC VR)、Breath Tech (PC VR)、Jigsaw 360（PC VR 和移动 VR）和 120Hz (SideQuest)。

在 XR 中通过 2D 交互式面板呈现 UI 是很常见的。这不是一个令人兴奋的前景，但它是熟悉且高效的。然而，即使我们接受这种 2D 入侵我们的 XR 世界，仍然有新的考虑因素和机会来摆脱 2D 范式。

我很快就厌倦了激光笔，它会夸大我在远处面板上的手部运动，以及不一致的目标矢量和间歇性的捏捏检测。我的偏好是接触世界并与世界互动。我希望面板就在我面前，这样我就可以舒适地放置它并像真实世界的设备一样使用它。

我的最新项目， 创意引擎，是使用开发的 立体声套件，一个开源 OpenXR 库。它秉承“双手优先”的理念，提供开箱即用的手部跟踪支持以及控制器支持。它允许使用典型的 UI 控件高效创建动态窗口。它是快速创建 XR 项目的出色工具，并具有许多其他优点。

面板

所以我的起点是一个 UI 面板，我们可以在任何点抓取（没有特殊的手柄或边缘可以找到），并且当我们处于抓取范围时会显示一个漂亮的光环。现在，让我们添加更多 XR 考虑因素。

在 XR 中，用户很容易陷入 UI 面板后面。我没有显示空白的背面或反转的 UI，而是将 UI 翻转到用户正在看的一侧 - 很简单。这听起来微不足道，但值得考虑 XR 的特定场景。另一种方法是自动旋转面板以始终面向玩家，但这会消除用户的控制权。如果他们想要面板呈奇怪的角度，那就让他们吧，他们可能有充分的理由。

单个面板应保持较小的尺寸（页面尺寸/显示器尺寸），以便用户无需转头即可轻松吸收内容，但 XR 为我们提供了充足的空间。我喜欢寻找突破页面边界的机会。我的可滚动区域有一个手柄来抓取和移动内容。抓取时，您会看到内容区域的大大扩展的视图，并且在此模式下您可以拖放，从而提供更大的放置范围。

我在面板侧面显示了提示，并用一条线指向了它们所描述的 UI 组件。这减少了面板上的文本量。用户可以循环浏览提示并隐藏他们熟悉的提示。

在另一个项目中，我制作了一个 3D 甘特图原型，它水平滚动离开页面并逐渐消失到远处。用户的主要注意力仍然集中在正常尺寸的中央面板上，但他们可以选择考虑更广泛的背景。

虽然面板方便且熟悉，但我们不应该感到受到它们的限制，寻找突破的方法很有趣。

菜单

StereoKit 向我介绍了径向手菜单，然后我对其进行了扩展。我喜欢这个想法，因为你可以用一只手操作它，所以它很方便，易于使用。我在右手和左手上都提供了相同的菜单系统，并对面板上的弹出菜单使用相同的方法以保持一致性。

我的体积菜单更进一步，纯粹是出于利用第三维度的愿望。我用它来选择传送目的地（带有指向每个目的地的指针）并选择附近的节点进行编辑。我在浏览 Metaverse 地址时也使用它进行键盘输入。这是相当实验性的。它的优点是所有符号与中心的距离相等，您无需移开视线即可看到输入（这是虚拟键盘的常见问题）。缺点是用户不熟悉它，所以我预计会遇到一些阻力。请注意，在视频中，字母按字母顺序从前到后螺旋排列，因此不久之后，它们的位置就会变得熟悉。

您很快就可以将此类菜单添加到您自己的 Idea Engine 项目中。

3D 小部件

颜色选择器提供了一个理想的实验机会，它具有可以映射到 3 个维度的三个值（色调、饱和度和明度）。在我的 3D 颜色选择器中，您可以一次更改所有三个值，也可以单独设置色调、饱和度或值。我觉得与 2D 页面上的滑块进行交互更有趣。

与运动类似，我想以 3D 方式移动，因此我制作了一个 3D 操纵杆以实现平滑的手动跟踪运动。只需沿您想要移动的方向拖动球体并滚动手腕即可快速或平滑旋转。它以步行或飞行模式运行，如果用户发现在一个控件中考虑太多而无法考虑旋转，则可以禁用旋转。我仍然支持传统的基于控制器的运动，但这种单手控制复制了多个操纵杆/按钮的功能，并且是 3D 手部运动如何以新方式满足要求的有趣示例。

手

在我的所有示例视频中，您会看到当用户开始与 UI 交互时我会隐藏用户的手。许多开发人员投入精力精心创建用于不同目的的抓取姿势，这看起来很整洁，但对我来说，一只姿势良好但不能反映我自己手部位置的手比根本没有手更分散注意力。一旦交互开始，手也可能成为视觉障碍。

当手消失后，我还可以自由地抑制或夸大手部动作，而不会产生任何视觉冲突。当内容较多时，我会抑制颜色选择器中的手部移动以降低灵敏度，并在滚动时夸大手部移动。

文本

虽然 Idea Engine 支持 Sketchfab 下载 3D 模型、AI 生成图像以及照片/音频导入，但文本和口语在传达复杂叙述方面的便捷性和可访问性却无与伦比。考虑到这一点，我需要对文本的适当支持，以便用户可以合并所有可用的格式来讲述他们的故事。

文本在 VR 中通常看起来不太好，所以当你走开时我会淡出它，以删除难看的人工制品并关闭文本面板。用户会热衷于探索环境而不是阅读文本，因此我可以选择让旁白自动读出您遇到的任何块文本。

文本输入是一个挑战，没有很好的解决方案。我创建了移动式文本输入，支持剪切和粘贴，并使用虚拟键盘自动分页。当我完成后，我想，没关系，但我不想在 XR 中输入很长的段落。然后我添加了语音转文本支持。这很有帮助，但我发现我在听写后需要进行大量编辑，而且这仍然比使用传统方式慢。现在，我允许用户从他们拥有的任何设备上的浏览器连接到他们的耳机，并通过网页导入文本。我经常使用这三种技术，并使用浏览器来输入长文本。

我的教训是，你并不总是需要解决 XR 中的所有问题。有时最好使用更合适的设备，然后导入结果。

试试看

从教育思维导图到互动故事和游戏，您可以利用 CC 资源并导入您自己的照片、声音和文本来构建您的想法。然后，通过添加状态、事件和高级脚本将其变为现实，并在我们的 X82 元宇宙上分享。一款功能丰富的最终用户工具，用于探索 XR 的可能性。

公共 alpha 版本现已推出，可在 App Lab 上免费下载，这样您就可以来尝试所讨论的任何功能并向我提供您的反馈。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/