眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染

眼动追踪——能够快速准确地测量用户在 VR 头戴设备内的注视方向的能力——经常在注视点渲染的背景下被谈论,以及它如何降低 XR 头戴设备的性能要求。 虽然注视点渲染是 AR 和 VR 头戴式设备中眼动追踪的一个令人兴奋的用例,但眼动追踪可以带来更多好处。

更新 – 2 年 2023 月 XNUMX 日

多年来,眼动追踪一直被认为是 XR 一项遥远的技术,但开发人员和客户终于可以越来越多地使用硬件。 PSVR 2 和 Quest Pro 是最常见的内置眼动追踪头显的例子,还有 Varjo Aero、Vive Pro Eye 等。

凭借这种势头,我们可以在短短几年内看到眼动追踪成为消费者 XR 耳机的标准组成部分。 当这种情况发生时,该技术可以启用广泛的功能来显着改善体验。

焦点渲染

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。

让我们首先从许多人已经熟悉的那个开始。 Foveated 渲染旨在降低显示要求苛刻的 AR 和 VR 场景所需的计算能力。 这个名字来自“中央凹”——人类视网膜中心的一个小坑,里面密密麻麻布满了光感受器。 中央凹为我们提供了视野中心的高分辨率视觉; 与此同时,我们的周边视觉实际上在捕捉细节和颜色方面非常差,并且比观察细节更适合发现运动和对比度。 你可以把它想象成一个相机,它有一个只有几百万像素的大传感器,还有一个位于中间的小传感器,有很多百万像素。

实际上,您可以看到高细节的视野区域比大多数人想象的要小得多——仅在您的视野中心几度。 中央凹与视网膜其余部分的分辨能力差异如此之大,如果没有中央凹,您将无法辨认此页上的文字。 你自己可以很容易地看到这一点:如果你把眼睛集中在 Free Introduction 单词并试着只读下面的两个句子,你会发现几乎不可能弄清楚单词在说什么,即使你可以看到 东西 似话。 人们高估他们视觉中央凹区域的原因似乎是因为大脑做了很多无意识的解释和预测,以建立一个我们相信世界的模型。

Foveated 渲染旨在通过仅在中央凹看到的区域以高分辨率渲染虚拟场景来利用我们视觉的这种怪癖,然后大幅降低我们周边视觉中无法分辨细节的场景的复杂性. 这样做可以让我们将大部分处理能力集中在对细节贡献最大的地方,同时在其他地方节省处理资源。 这听起来可能不是什么大不了的事,但随着 XR 耳机的显示分辨率和视野的提高,渲染复杂场景所需的功率会迅速增长。

眼球追踪当然会发挥作用,因为我们需要始终快速、高精度地知道用户注视中心的位置,以便实现注视点渲染。 虽然很难在用户不注意的情况下实现这一点,但它是可能的,并且已经在最近的 Quest Pro 和 PSVR 2 等头显上得到了相当有效的证明。

自动用户检测和调整

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。

除了检测运动之外,眼动追踪还可以用作生物识别符。 这使得眼动追踪成为跨单个耳机的多个用户配置文件的理想选择——当我戴上耳机时,系统可以立即将我识别为一个独特的用户,并调用我的自定义环境、内容库、游戏进度和设置。 当朋友戴上耳机时,系统可以加载  偏好和保存的数据。

眼动追踪还可用于精确测量 IPD(两眼之间的距离)。 了解您的 IPD 在 XR 中很重要 因为需要将镜头和显示器移动到舒适度和视觉质量的最佳位置。 不幸的是,很多人不知道他们的 IPD 是多少,这是可以理解的。

通过眼球追踪,可以很容易地立即测量每个用户的 IPD,然后让耳机的软件帮助用户调整耳机的 IPD 以匹配,或者警告用户他们的 IPD 超出了耳机支持的范围。

在更高级的头显中,这个过程可以是不可见的和自动的——IPD 可以在不可见的情况下测量,并且头显可以有一个电动 IPD 调节装置,可以自动将镜头移动到正确的位置,而无需用户注意任何事情,比如例如,在 Varjo Aero 上。

变焦显示器

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。
原型变焦耳机 | 图片由 NVIDIA 提供

当今 VR 头盔中使用的光学系统运行良好,但它们实际上相当简单,不支持人类视觉的一项重要功能:动态聚焦。 这是因为 XR 耳机中的显示屏与我们的眼睛的距离始终相同,即使立体深度表明情况并非如此。 这导致了一个称为辐散调节冲突的问题。 如果您想更深入地学习,请查看下面的入门指南:

住宿

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。
调节是眼睛晶状体的弯曲,以聚焦来自不同距离物体的光。 | 照片由 Pearson Scott Foresman 提供

在现实世界中,为了聚焦近处的物体,您的眼睛晶状体会弯曲,以使物体发出的光照射到视网膜上的正确位置,从而使您清晰地看到物体。 对于更远的物体,光线以不同的角度进入您的眼睛,晶状体必须再次弯曲以确保光线聚焦在您的视网膜上。 这就是为什么,如果你闭上一只眼睛,将注意力集中在离脸几英寸远的手指上,手指后面的世界就会变得模糊。 相反,如果你专注于手指背后的世界,你的手指就会变得模糊。 这称为住宿。

聚散度

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。
Vergence 是每只眼睛向内旋转以将每只眼睛的视图重叠成一个对齐的图像。 | 照片由 Fred Hsu 提供(CC BY-SA 3.0)

然后是会聚,即当您的每只眼睛向内旋转以将每只眼睛的单独视图“汇聚”成一个重叠图像时。 对于非常远的物体,你的眼睛几乎是平行的,因为它们之间的距离与物体的距离相比非常小(意味着每只眼睛看到物体的几乎相同的部分)。 对于非常近的物体,您的眼睛必须向内旋转以使每只眼睛的视角对齐。 您也可以通过我们上面的小指技巧看到这一点:这一次,用双眼将手指放在离脸几英寸的地方并注视它。 请注意,您会看到手指后面远处物体的双像。 然后,当您将注意力集中在手指后面的那些物体上时,现在您会看到一个双指图像。

冲突

使用足够精确的仪器,您可以使用聚光度或调节来了解一个人正在看的物体有多远。 但问题是,调节和聚光会自动同时发生在您的眼睛中。 而且它们不只是同时发生——聚散度和调节之间存在直接相关性,因此对于任何给定的聚散度测量,都有一个直接对应的调节水平(反之亦然)。 从你还是个小婴儿开始,你的大脑和眼睛就形成了肌肉记忆,让这两件事同时发生,不用思考, 任何你看的时间 什么.

但就当今的大多数 AR 和 VR 头戴设备而言,由于光学设计的固有局限性,聚散度和调节不同步。

在基本的 AR 或 VR 耳机中,有一个显示虚拟场景的显示器(比方说,距离您的眼睛 3 英寸)和一个将显示器的光线聚焦到您的眼睛上的镜头(就像你的眼睛通常会将来自世界的光聚焦到你的视网膜上)。 但是由于显示器与您的眼睛保持静态距离,并且镜头的形状是静态的,因此来自 所有 该显示器上显示的物体来自相同的距离。 因此,即使在五英里外有一座虚拟的山,而在五英寸外的桌子上有一个咖啡杯,两个物体的光线都会以相同的角度进入眼睛(这意味着你的调节——眼睛晶状体的弯曲——永远不会改变).

这与此类头显的聚散度相冲突——因为我们可以向每只眼睛显示不同的图像——is 多变的。 能够独立调整每只眼睛的想象,这样我们的眼睛就需要聚焦在不同深度的物体上,这本质上是今天的 AR 和 VR 头戴式设备具有立体感的原因。

但我们可以创造的最逼真(也可以说是最舒适)的显示将消除聚散调节问题,让两者同步工作,就像我们在现实世界中习惯的那样。

变焦显示器——那些可以动态改变焦深的显示器——被提议作为解决这个问题的方法。 变焦显示器有多种方法,其中最简单的可能是一种光学系统,在该系统中,显示器在镜头之间物理地来回移动,以动态改变焦深。

实现这种驱动变焦显示需要眼动追踪,因为系统需要准确地知道用户正在看场景中的哪个位置。 通过从用户的每只眼睛追踪进入虚拟场景的路径,系统可以找到这些路径相交的点,从而建立用户正在查看的正确焦平面。 然后将此信息发送到显示器以进行相应调整,将焦深设置为与用户眼睛到物体的虚拟距离相匹配。

实施良好的变焦显示器不仅可以消除聚散度调节冲突,还可以让用户专注于比现有耳机更接近他们的虚拟物体。

在我们将变焦显示器放入 XR 耳机之前,眼动追踪可以用于模拟景深,这可以近似于用户眼睛焦平面之外的物体的模糊。

截至目前,市场上还没有具有变焦功能的主要耳机,但有一个 越来越多的研发机构 试图弄清楚如何使该功能紧凑、可靠且价格合理。

中央显示器

虽然注视点渲染旨在更好地在我们可以清晰看到的视觉部分和低细节周边视觉之间分配渲染能力,但对于实际像素数也可以实现类似的效果。

不同于仅仅改变显示器某些部分与其他部分的渲染细节,注视点显示器是那些物理移动(或在某些情况下“操纵”)以无论用户看向何处都停留在用户视线前方的显示器。

Foveated 显示器打开了在 AR 和 VR 耳机中实现更高分辨率的大门,而无需通过尝试在我们的整个视野​​中以更高分辨率填充像素来强行解决问题。 这样做不仅成本高昂,而且随着像素数量接近视网膜分辨率,还会遇到具有挑战性的功率和尺寸限制。 相反,注视点显示器会根据眼动追踪数据将更小的像素密集型显示器移动到用户正在看的任何地方。 这种方法甚至可以带来比单个平板显示器更高的视野。

眼动追踪是 XR 的游戏规则改变者,远远超出了注视点渲染 PlatoBlockchain 数据智能。垂直搜索。人工智能。
在 Varjo 的原型耳机中,像素密集的注视点显示器与更大、像素密度低得多的显示器的粗略对比。 | 照片由 Road to VR 提供,图片由 Varjo 提供

Varjo 是一家致力于研究中心显示系统的公司。 他们使用覆盖宽视野(但像素密度不是很高)的典型显示器,然后在其上叠加一个像素密度更高的微型显示器。 两者的结合意味着用户既可以获得广阔的周边视觉视野,又可以获得非常高分辨率的中央凹视觉区域。

诚然,这种注视点显示器仍然是静态的(高分辨率区域位于显示器的中间)而不是动态的,但该公司已经 考虑了多种移动显示的方法 以确保高分辨率区域始终位于您注视的中心。

续第 2 页:更好的社交化身 »

时间戳记:

更多来自 通往VR的道路