手动跟踪最早于2019年底在Oculus Quest上可用。出于对这种新输入法的热情,我发布了关于 立体主义 几天后,我们便开始提供具有实验性手部跟踪支持的SideQuest。 不用说,这个最初的演示存在一些缺陷,并且没有真正考虑到技术的局限性,这就是为什么我决定最初从完整版的发行版中忽略手部跟踪支持的原因。 立体主义 在Oculus商店中。 依靠从其他开发人员的工作中吸取的教训,我们花了更多的时间开发出一些我很高兴在最近发布的东西 立体主义 手动跟踪更新。 这是设计过程的内部视图。
来宾文章作者 托马斯·范布维尔
托马斯(Thomas)是目前居住在布鲁塞尔的比利时-巴西VR开发人员。 尽管他最初的背景是建筑学,但他目前在VR领域的工作涵盖了独立游戏,例如 立体主义 面向架构师和工程师的企业软件 解析.
此更新基于从其他许多游戏和开发人员那里汲取的经验教训,这些经验丰富的开发人员在过去一年中一直在探索手部追踪功能(被盗宠物的故事, 度假模拟器, 卢卡·梅菲斯托(Luca Mefisto), 丹尼斯·库纳特(Dennys Kuhnert),以及其他几个)。
在本文中,我想分享一些我在解决特定于挑战时学到的东西 立体主义 手互动。
优化精确的互动
立体主义 互动围绕着将不规则的小拼图块放置在拼图网格中。 这意味着对手部追踪输入的主要要求是精度,既要拾起并放置在网格上,又要从完整的拼图中精确地选出工件。 这为有关手动输入的大多数设计决策提供了依据。
鬼手
我决定早点去 不能 使手基于物理原理,而是让它们经过各个部分,直到主动抓住为止。
这样可以避免在试图将手指悬停在空中时笨拙地将浮动拼图块推开,但更重要的是,这使在完整拼图中间拔出拼图块变得更加容易,因为您可以将手指伸入并抓住一块而不是需要弄清楚如何以物理方式撬开它们。
通过透明的信号表明,手不是身体,因此更容易从拼图中间挑选出碎片。
联系方式
有几种检测用户意图抓住和释放对象的方法,例如,在检查手掌中的一般交互区域时,着重于手指捏或手指关节总旋转。
针对 立体主义 然而,小的且不规则的拼图碎片似乎最能满足精度要求,该方法是基于接触的方法,即只要拇指和食指与同一拼图相交就可以抓取一块碎片,并在很短的距离内将它们放在一起,而无需一小撮。
类似于 进近 被盗宠物的故事,抓手一开始,手指就被锁定在适当的位置,以给人一种看起来更稳定的抓手的印象。 抓住时,该棋子以手的根部(腕部)为父。 由于这似乎是最稳定的履带关节,因此有助于产生更稳定的抓地力,并确保部件与锁定的手指保持对齐。
当拇指和食指相交时,它会被抓住,并稍微合在一起。 然后将食指和拇指的旋转锁定在适当的位置,以给人以稳定抓握的印象。
一旦抓住一块,便会保存拇指和食指之间的距离,并根据该距离计算释放余量。 一旦拇指和食指分开超过该边缘,就释放了一块。
有几种保护措施试图防止意外释放:当跟踪置信度低于某个阈值时,我们不检查释放,并且在重新获得跟踪置信度之后,我们等待几帧,直到再次检查释放。 在实际释放之前,手指还必须超出释放边缘几帧。
调试可视化:在抓取过程中,指尖之间的初始抓取距离被保存(红色圆圈外)。 当指尖的实际位置移至一定范围(蓝色圆圈)时,将释放该片段。
还有一个类似于 Vacation Simulator的掠夺方法。 由于在抓取片段时缺乏触觉反馈,因此在抓取过程中手指相互靠近的情况并不少见。 如果它们的闭合值超过某个阈值,则将调整释放边距,以使释放零件更容易。
自己尝试:要在游戏中查看这些调试可视化效果,请转到“设置>手动跟踪>调试可视化效果”,然后打开“交互小部件”。
调试可视化:如果在抓取过程中手指在某个阈值(红色内圈)上彼此偏移,则重新调整释放边距,以使释放时的感觉不那么“粘”。
这种方法的局限性在于,它使得用食指以外的手指抓握变得更加困难。 较早的实现方式还允许在中指和拇指之间抓取,但这在从完整的拼图网格抓取片段时经常会导致误报,因为很难评估玩家打算用哪个手指抓取特定的片段。
如果抓取围绕全指捏旋转,这将不是问题,因为这会导致更清晰的输入二进制数据,从中可以确定用户意图(以不太自然的抓握姿势为代价)。
中点检查
除了检查食指和拇指相交的那一块之外,还会在食指和拇指指尖之间的中点进行另一项检查。
无论中点悬停的是哪一块,都将优先抓取,这有助于避免当玩家尝试在完整网格中抓取一块时出现误报。
在下面的示例中,如果玩家打算抓住绿色棋子的右边缘,那么如果我们不进行中点检查,他们将无意中抓住黄色棋子。
左: 拇指,食指和指尖之间的中点为黄色→呈黄色。 右: 拇指和食指为黄色,中点为绿色→抓住绿色
抓住难题
抓拼图的工作原理与抓取拼图相似,不同的是抓拼图的过程是在拼图周围的抓握区域内完全捏合。
从控制器切换到手动操作时,该区域的大小会动态增加。 这使其更容易抓取,并有助于减少意外抓取网格中而不是网格本身的可能性。
从控制器切换到手形时,拼图周围的抓取区域会扩大,从而更容易抓取。 尽管需要完全捏合,但是抓取拼图的过程与抓取拼图块的过程类似。
动态手部平滑
即使跟踪置信度很高,Oculus Quest提供的手部跟踪数据仍然会有些抖动。 实际上,这也会影响游戏的玩法,因为当将拼图网格或较长的拼图碎片握在边缘时,抖动会更加明显,从而使拼图碎片在网格上的放置更加困难。
对跟踪数据进行平滑处理可以大大提高外观稳定性,但是需要适度进行,因为过多的平滑处理会使手部产生“松懈”的感觉。 为了平衡这一点,请用手抚平 立体主义 根据您的手是否握住东西来进行动态调整。
自己尝试:要查看手部平滑的影响,请尝试在以下情况下将其关闭
“设置>手部追踪>手部平滑”。
在握持物体时增加手部位置的平滑度有助于产生更稳定的抓地力,从而使在网格上的精确放置更加容易。
按下按钮
我注意到的一件事 立体主义 最初的手部跟踪演示是,即使当时不支持,大多数人还是尝试按下按钮。 因此,这种新版本的手部跟踪的目标之一是使按钮真正可按下。
当食指发出的光线撞击按钮背面的碰撞器时,可以将按钮悬停在上方。 如果食指然后与对撞机相交,则记录下压力。 如果索引与对撞机相交而未先将其悬停,则不会记录任何新闻。 当手指从底部移到顶部时,这有助于防止误报。
还有一些检查措施可以防止误报:当手指没有面向按钮时,或者在按下时播放器没有注视手指时,将禁用射线广播。
自己尝试:要在游戏中查看此调试可视化,请转到“设置>手动跟踪>调试可视化”,然后打开“交互小部件”。
调试可视化:从食指尖发出的光线广播检查手指是否悬停在按钮上方。 为防止误报,当手指没有面对按钮或玩家没有看着手指时,将禁用交互功能。
指导互动
建立任何用于手部跟踪的交互的主要挑战之一是,与按下或不按下控制器上的按钮相比,人们有许多不同的方式可以尝试在期望相同结果的情况下进行手部交互。
与各种各样的人进行游戏测试可以帮助您了解人们如何处理与他们进行的互动,并可以帮助完善指导他们做出预期手势的互动提示。 进行游戏测试还可以通过添加一些交互冗余来帮助您了解某些异常情况。
互动提示
抓一块时有几个提示。 当用户第一次将鼠标悬停在一块上时,他们的食指和拇指会呈现出一块的颜色,既表示可以抓住它,又表示哪个手指可以抓住它(受以前的工作启发 卢卡·梅菲斯托(Luca Mefisto), 巴雷特·福克斯(Barrett Fox)和马丁·舒伯特(Martin Schubert))。 该作品还突出显示以表示可以被抓住。
抓取成功时,还有以下几个提示:指尖变硬,片段上的高光闪烁,并且播放了简短的音频提示。
手和拼图块上的各种提示均可引导并确认抓斗的交互作用。
按钮具有多种提示,以帮助指示它们可以被按下。 就像拼图一样,将食指悬停在按钮上时,食指将以白色突出显示,指示哪个手指可以交互。 就像使用控制器一样,按钮在悬停时会向外扩展,但是这一次实际上可以按下扩展按钮:一旦索引触到它,它就会跟随手指直到完全按下,此时音频提示会确认单击。
按钮表面上的细微阴影会指示索引到按钮的位置和距离,并有助于引导按动交互。
各种提示指导与按钮的交互:悬停时按钮向外延伸,食指尖被高亮显示,阴影显示尖端将在何处交互,并且按下按钮时手指跟随着手指。
互动冗余
由于某些人可能会以意想不到的方式进行某些交互,因此最好在可能的情况下尝试通过增加人们的手交互方式的冗余度来解决这一问题。 交互提示仍可以将它们引导到预期的交互,但是冗余可以帮助避免不必要的阻塞。
当涉及到抓块时,一些游戏测试人员会尝试先握拳而不是用指尖来抓块。 通过使对撞机覆盖整个手指,而不仅仅是指尖,仍然可以记录到相当数量的这些第一把抓握。
我应该指出,这种方法仍需要改进,因为它还会引入一些问题,以防在游戏区域周围有很多棋子漂浮时产生意外的争夺。 将来,更好的方法可能是还检查手指的总旋转量,以解决握拳的问题。
尽管抓取是围绕指尖设计的,但食指和拇指上的对撞机会覆盖整个手指,以帮助抓取不同形式的抓取。
有了按钮,有一些游戏测试者会尝试捏他们而不是推他们。 在某种程度上,这似乎是由于他们之前在发布游戏之前就学会了如何在Oculus主屏幕上捏按钮而发生的。
因此,也可以在鼠标悬停时按下它们来单击按钮,希望诸如高亮索引和下拉阴影之类的提示最终将引导他们改为按下按钮。
将鼠标悬停在按钮上时也会发生点击。
玩家在使用手时遇到的第一个按钮也明确指出“按开始”,以帮助人们从Oculus Home菜单过渡后从捏到按。
教学局限性
尽管Quest的手部跟踪质量在过去的一年中有所提高,但仍然存在局限性-玩家对这些局限性的认识可能会对他们对自己的体验的良好感产生很大的影响。
立体主义 实现了一些方法,可以教会玩家有关Quest当前手部追踪的局限性。
当玩家首次切换到手部追踪时(无论是在发射时还是在游戏中期),模态会告知他们一些最佳做法,例如在光线充足的空间中进行游戏并避免双手交叉。
当用户切换到手部跟踪时,模式会告知他们有关限制和最佳实践的信息。 “推入开始”指令有助于教会新用户在该游戏中可以自然地按下按钮。
重要的是要认识到,大多数人很可能会立即放弃这样的模态,或者很快忘记其指导原则,因此,指出在体验期间为什么事情会出错的原因也很重要。
In 立体主义,当跟踪丢失时,手会变成红色以发出信号。 在一些游戏测试中,人们会一只手放在膝盖上,另一只手在玩耍,并且感到困惑,为什么他们的膝盖上的手会冻结。 为了帮助告知此类情况,手上会显示一条消息,以明确说明如果跟踪丢失仍然存在,为什么冻结手。 如果由于玩家交叉双手而丢失了跟踪功能,则该消息会更改以通知他们不要这样做。
左: 首次丢失跟踪时,指针变为红色。 中间: 当跟踪丢失持续存在时,将有一条消息通知玩家发生了什么。 右: 如果由于手被卡住而导致跟踪丢失,这也表明
对于经验丰富的玩家,或者更喜欢单手玩游戏的玩家,可以在设置中替换此功能,方法是在失去跟踪时让手淡出,而更像是Oculus主菜单中的行为。
可以在设置中用褪色的双手替换红色的指针和警告消息。
未来的工作
尽管对Quest进行手部跟踪仍然有其局限性,尽管 立体主义 它的第二版已经支持它,仍然有很大的改进空间。
无论如何,我很高兴开始探索和支持这些新的输入法。 在短期内,我认为它们可以帮助使这样的体验更易于访问,并且更易于与新的VR用户共享。
使用Fabio Dela Antonio的应用程序Reality Mixer在iPhone上捕获的混合现实素材可以让您对将来在AR头戴式耳机上玩立体主义的感觉有所了解。
从长远来看,手部追踪似乎是未来独立AR设备的首选输入,因此希望此更新可以成为迈向AR版本的第一步。 立体主义.
如果您喜欢立体主义的手部追踪设计,请务必查看 托马斯(Thomas)的前客串文章,概述了更广泛的游戏设计.
该职位 案例研究:“立体主义”手追踪背后的设计 最早出现 通往VR的道路.
- '
- "
- &
- 2019
- 关于
- 绝对
- 账号管理
- 额外
- 已经
- 尽管
- 量
- 另一个
- 应用
- 的途径
- AR
- 架构
- 国家 / 地区
- 围绕
- 刊文
- 音频
- 可使用
- 意识
- 背景
- 成为
- 最佳
- 最佳实践
- 位
- 布鲁塞尔
- 建立
- 建筑物
- 建立
- 案例研究
- 例
- 摔角
- 挑战
- 检查
- 支票
- 圆
- 接近
- 未来
- 信心
- 调节器
- 电流
- data
- 设计
- 开发商
- 开发
- 研发支持
- 设备
- DID
- 不同
- 距离
- 向下
- 下降
- 早
- 边缘
- 工程师
- 企业
- 企业软件
- 例子
- 除
- 展开
- 预期
- 体验
- 体验
- 延长
- 面对
- 褪色
- 专栏
- 反馈
- 数字
- (名字)
- Flash
- 缺陷
- 形式
- ,
- 未来
- 游戏
- Games
- 其他咨询
- 越来越
- 理想中
- 去
- 非常好
- 抢
- 绿色
- 格
- 客人
- 指南
- 方针
- 快乐
- 有
- 帮助
- 帮助
- 高
- 突出
- 主页
- 创新中心
- How To
- HTTPS
- 主意
- 影响力故事
- 履行
- 重要
- 增加
- 指数
- 灵感
- 打算
- 意图
- 相互作用
- iPhone
- 问题
- 问题
- IT
- 本身
- 发射
- 发射
- 学习用品
- 知道
- 导致
- 经验教训
- 锁定
- 长
- 寻找
- 制作
- 制作
- 更多
- 最先进的
- 移动
- 自然
- 其他名称
- 员工
- 的
- 片
- 播放
- 播放机
- 球员
- 大量
- 可能
- express
- 过程
- 生产
- 质量
- 探索
- 很快
- 现实
- 减少
- 在相关机构注册的
- 释放
- 发布
- 更换
- 必须
- 岗位要求
- 成果
- 屏风
- 老练
- 集
- 阴影
- Share
- 短
- 类似
- 尺寸
- 小
- So
- 软件
- 东西
- 太空
- 特别是
- 独立
- 开始
- 启动
- 州/领地
- 州
- 被盗
- 商店
- 学习
- 成功
- SUPPORT
- 支持
- 支持
- 磁化面
- 系统
- 教诲
- 专业技术
- 通过
- 次
- 秘诀
- 一起
- 最佳
- 跟踪
- 用户评论透明
- 更新
- 使用
- 用户
- 可视化
- vr
- 等待
- 什么是
- 什么是
- 是否
- WHO
- 中
- 也完全不需要
- 工作
- 合作
- 年
- YouTube的