Meta 研究人员展示了无需额外跟踪器的 Quest 2 身体跟踪。
当前的 VR 系统附带头显和手持控制器，因此只能跟踪头部和手的位置。 您的肘部、躯干和腿的位置可以使用一类称为逆运动学 (IK) 的算法来估计，但这只是 有时对肘部准确，而很少对腿进行校正。 对于每组给定的头部和手部位置，都有太多潜在的解决方案。
鉴于 IK 的局限性，一些 今天的 VR 应用程序只显示你的手，许多只显示你的上半身。 使用 SteamVR 追踪的 PC 头戴式设备支持佩戴额外的追踪器，例如 HTC 的 Vive 追踪器，但身体追踪所需的三个成本在 350 美元以上，因此大多数游戏不支持此功能。
但在 一篇名为 QuestSim 的新论文, Meta 研究人员展示了一个由神经网络驱动的系统，该系统可以仅使用来自 Quest 2 及其控制器的跟踪数据来估计合理的全身姿势。 不需要额外的跟踪器或外部传感器。
生成的化身动作与用户的真实动作相当接近。 研究人员甚至声称，由此产生的准确性和抖动优于磨损的 IMU 跟踪器——只有加速度计和陀螺仪的设备，如 Pico 4 宣布的 Pico 健身乐队 （Pico 声称它正在开发自己的机器学习算法）。
然而， 这里有一个问题。正如视频中所示，该系统旨在优先生成合理的 全身 确保头像的手与用户手的准确位置相匹配。该系统的延迟也为 160 毫秒——11Hz 时超过 72 帧。鉴于这些问题，QuestSim 只适合看到别人的虚拟角色身体，而无法在低头时看到自己的身体。
但是，看到其他人化身的全身运动比 Meta 当前化身经常被批评的无腿上身要好得多。 那么这个系统或类似的系统会出现在 Quest 2 中吗？
Meta CTO Andrew Bosworth 似乎在上周暗示了这一点。 什么时候 在 Instagram 上询问腿部追踪“问我什么” 博斯沃思回应:
“是的，我们经常因为无腿的化身而被取笑，我认为这很公平，而且我认为这很有趣。
在你自己的头像上拥有与你的真实腿不匹配的腿，这让人们非常不安。 但是我们当然可以把腿放在其他人身上，你可以看到，这根本不会打扰你。
因此，我们正在研究对旁观者来说看起来很自然的腿——因为他们不知道你真正的腿实际上是如何定位的——但是当你看着自己的腿时，你可能会继续什么都看不到。 这是我们目前的策略。”
不过，短期解决方案可能无法达到与该算法相同的质量。机器学习研究论文往往在功能强大的 PC GPU 上以相对较低的帧速率运行。该论文没有提及所描述系统的性能，但列出了用于训练的 RTX 3080。
Meta Connect 年度 AR/VR 活动举行 在短短 2 周内，因此任何身体跟踪公告都可能在此期间发生。
