技术演示展示了 Quest Pro 面部追踪 PlatoBlockchain 数据智能的真正威力。 垂直搜索。 人工智能。

技术演示展示了 Quest Pro 人脸跟踪的真正威力

图片

Quest Pro 的面部跟踪功能将很快投入使用,使 Meta 的头像更具表现力,但下一代头像将从新技术中受益更多。

Quest Pro 的一大新功能是面部跟踪系统,该系统使用内部摄像头来感知您的眼睛和脸部某些部位的运动。 结合免校准的机器学习模型,头戴式设备将看到的内容转化为可以驱动任何化身动画的输入。

Key Quest Pro 覆盖范围:

Quest Pro 揭晓 – 完整规格、价格和发布日期

Quest Pro 动手实践——混合现实耳机时代的黎明

Quest Pro 技术分析 - 什么是有希望的,什么不是

Touch Pro 控制器揭晓 – 也与 Quest 2 兼容

在短期内,这将与 Meta 现有的头像一起使用。 虽然这确实使它们更具表现力,但它们看起来仍然有些愚蠢。

这可能是当前 Meta avatar 系统没有考虑到这种级别的面部跟踪的结果。 “装配”——模型的底层动画框架——似乎不太适合这项任务。 将 Quest Pro 的面部跟踪输入移植到当前系统中并不能真正实现其实际功能。

幸运的是,Meta 构建了一个技术演示,展示了在设计头像时考虑到 Quest Pro 的面部跟踪(并且几乎所有耳机的处理能力都专用于渲染它时)的可能性。

[嵌入的内容]

是的,它仍然有点不稳定,但是您在这里看到的每一个动作都是由用户做出相同的动作驱动的,包括鼓起脸颊或将嘴从一侧移到另一侧。 总的来说,这是一张更完整的面孔,我认为它设法避免进入恐怖谷。

我必须在我的 最近亲身体验 Quest Pro 我看着镜子,出现了这个角色(Meta 称之为 Aura)。 离开时我印象深刻的是,即使没有特殊的校准,我在镜子里看到的脸似乎模仿了我能想到的任何动作。

我特别被皮肤的细节所吸引。 如果我眯着眼睛皱起鼻子,我可以看到它周围的皮肤真实地聚集在一起,当我抬起眉毛时也是如此。 这些微妙的细节,比如随着嘴巴移动的脸颊上的褶皱,真的增加了很多这样的印象,那就是这不仅仅是我面前的一个物体,而是它背后有生命的东西。

表达式是否实际上看起来像 me 当我是面具后面的那个是另一个问题。 既然这个分身的脸和我的脸不一样,其实很难说。 但这些动作至少是 似是而非的现实 是朝着感觉自然和可信的虚拟化身迈出的重要一步。

Meta 表示,它将把 Aura 演示作为一个开源项目发布,以便开发人员可以看到他们如何将面部跟踪输入附加到头像上。 该公司还表示,开发人员将能够使用单一工具集来驱动人形化身或动物或怪物等非人类化身,而无需单独调整每个化身。

Meta 表示,开发人员将能够利用面部跟踪 API,该 API 使用与 FACS 相对应的值,这是一种公认​​的用于描述人脸不同肌肉运动的系统。

这是一个有效的系统,不仅用于表示面部,而且还为用户形成了有用的隐私屏障。 根据 Meta 的说法,开发人员实际上无法访问用户面部的原始图像。 在 Insead 中,他们获得了“一系列与一组通用面部动作相对应的零对一值,例如当你揉鼻子或皱眉时,”Meta 说。 “这些信号使开发人员在将来自 Face Tracking API 的信号映射到他们自己的角色装备时,可以轻松地保留玩家原始动作的语义含义,无论他们的角色是人形还是更奇幻的角色。”

Meta 声称,即使是公司本身也无法看到头显内部或外部摄像头拍摄的图像。 据该公司称,它们在耳机上进行处理,然后立即删除,而无需发送到云端或开发人员。

时间戳记:

更多来自 通往VR的道路