混合现实 (MR) 可以开启各种独特体验的大门，从生产力和与同事的实时协作到与朋友和家人一起出去玩，再到我们从未梦想过的新型游戏和互动应用程序。 VR 让您完全沉浸在数字环境中，而 MR 让您可以自由移动并与物理空间中的人和物体互动，同时享受虚拟内容，从而在 VR 中解锁一种新的类似 AR 的体验，从而增强您的物理空间。
“能够看到周围的物理世界并将其与虚拟内容融合，为当今的 VR 带来了新的可能性，例如您可以与朋友在同一个物理房间中玩同地游戏，或者将巨大的虚拟显示器与物理工具相结合的生产力体验”，元产品经理 Sarthak Ray 解释道。 “这是我们朝着增强现实的长期愿景迈出的一步。”
人们普遍存在一种误解，认为混合现实只需在耳机内显示物理世界的实时高分辨率视频即可实现，但事实要复杂得多。可信的 MR 体验需要能够令人信服地融合虚拟世界和物理世界，这意味着头显的功能不仅仅是将物理环境显示为 2D 视频。它必须真正以数字方式将您的房间重建为 3D 空间，并了解您周围的物体和表面。这需要一个由多种硬件和软件技术组成的复杂系统，例如高分辨率传感器， 直通, 人工智能驱动 场景理解及 空间锚，所有人都以无缝且舒适的方式协同工作。
在 Meta，我们不断投资于原创研究和开发，以创造领先的 VR 技术，并大规模向消费者提供这些技术，同时在设计中始终以人为本。我们专注于细节，深入了解人们如何感知周围的世界，并致力于将这种感知与沉浸式体验联系起来，激发人们对虚拟和混合现实的可能性。今天，我们为我们独特的混合现实系统引入了一个新名称——Meta Reality，并让您深入了解真正一流的 MR 体验的组成部分。
用于空间感知的立体颜色直通
首先也是最重要的是，真正的 MR 体验必须舒适且感觉像自然的观看体验 - 无法传达深度感的直接视频输入根本无法实现这一点，即使它是高分辨率的。此外，如果直通是单视场的（从单一视角观看）和/或缺乏深度提示，则观看者可能会感到不舒服。为了 直通 为了舒适，在单个眼睛缓冲区上渲染的图像需要从两个独立的角度生成，以提供立体提示。这与深度和颜色信息的存在一起，对于重建舒适的体验非常重要。
我们的立体色彩直通解决方案采用定制硬件架构、先进的计算机视觉算法和最先进的机器学习，可以模拟您的眼睛自然地看到周围世界的方式，以应对这一挑战。更好的相机和显示分辨率可提高图像质量，Meta Quest Pro 的相机捕获的像素是 Meta Quest 2 相机的四倍。但也许更重要的是，它基于图像的渲染、立体几何重建和深度理解确定了对象相对于给定房间内场景的位置。这种新颖的算法堆栈使 Meta Quest Pro 能够识别房间几何形状的各个方面并精确定位 3D 空间中物体的位置。因此，当您伸手拿桌上的咖啡杯，同时通过立体彩色直通查看它时，您的大脑会明白杯子距离您的手比坐在您旁边的笔更远。
“Meta Quest Pro 结合了两个摄像头视图来重建真实的深度，这确保了使用颜色直通构建的混合现实体验对人们来说是舒适的，”Meta 计算机视觉工程经理 Ricardo Silveira Cabral 解释道。 “而且，即使深度重建不完美或超出系统的范围，立体纹理提示也可以让用户的大脑完成剩下的工作并推断深度。”
记得 Oculus Insight——我们的技术为消费者 VR 设备启用了第一个独立的全功能“由内而外”跟踪系统？我们升级了其深度传感功能，可以实时生成给定空间的密集 3D 表示。 Insight 使用房间内大约 100 个兴趣点来确定耳机在空间中的位置，而 Meta Quest Pro 上的深度传感解决方案在各种自然和人造照明条件下，每帧可产生多达 10,000 个点，最远可达 3 米。我们使用这些信息创建物理世界的 3D 网格，将几个帧的输出组合起来，生成密集的 XNUMXD 且时间稳定的空间表示。然后将该网格与预测渲染一起使用以生成物理世界的图像。这意味着使用我们的方法将重建单独扭曲到耳机的左眼和右眼视图 异步时间扭曲 该技术可预测未来几毫秒内用户眼睛的位置，以补偿渲染延迟。
最后，添加颜色可以使整个体验看起来和感觉更加真实。 “彩色相机用于对立体视图进行着色，以使体验尽可能接近物理世界，”Silveira Cabral 说。 “通过这种架构加上整个流程的优化，我们可以在 Meta Quest Pro 上为所有现有的 Meta Quest 2 游戏和即将推出的 MR 应用程序提供立体色彩直通，作为默认体验，而无需额外的计算资源。这意味着 Meta Quest 2 上使用 Passthrough 的现有应用程序将立即与 Meta Quest Pro 的全新立体彩色 Passthrough 技术配合使用。”
当您将所有这些加起来时，Meta Quest Pro 的立体色彩直通可带来比单视场解决方案更舒适的深度感知体验和更少的视觉扭曲，从而解锁优质的房间规模混合现实体验。
将虚拟内容融入物理世界的场景理解
作为一部分引入 存在平台 在 Connect 2021 期间， 场景理解 让开发人员快速构建复杂且场景感知的 MR 体验，从而实现与用户环境的丰富交互。
“为了最大限度地降低复杂性并让开发人员专注于构建他们的体验和业务，我们引入了场景理解作为系统解决方案，”元产品经理 Wei Lyu 指出。
- 场景模型 是由几何和语义信息组成的单一、全面、最新且由系统管理的环境表示。场景模型的基本元素是锚点，每个锚点可以附加各种组件。例如，用户的客厅围绕具有语义标签的各个锚点进行组织，例如地板、天花板、墙壁、桌子和沙发。每个还附有一个简单的几何表示：2D 边界或 3D 边界框。
- 场景捕捉 是一个系统引导的流程，允许用户四处走动并捕获他们的房间架构和家具以生成场景模型。未来，我们的目标是提供场景捕捉的自动化版本，不需要人们手动捕捉周围环境。
- 场景API 是应用程序可以查询和访问场景模型中的空间信息的接口，用于各种用例，包括内容放置、物理、导航等。通过场景 API，开发人员可以使用场景模型让虚拟球从物理表面反弹实际的房间或可以攀爬物理墙壁的虚拟机器人。
“场景理解减少了开发人员的摩擦，让他们能够通过实时遮挡和碰撞效果构建尽可能可信和身临其境的 MR 体验，”Ray 说道。
用于虚拟对象放置的空间锚点
“如果立体色彩直通和场景理解承担了让 MR 体验融合物理和虚拟世界的重任，那么我们的锚定功能则提供了将它们结合在一起的结缔组织，”Meta 产品经理 Laura Onu 说道。
空间锚 是帮助开发人员开始构建一流混合现实体验的核心功能。它们使应用程序能够在空间中创建参考框架或图钉，从而允许虚拟对象随着时间的推移在空间中持续存在。借助空间锚点，产品设计师可以将多个 3D 原理图锚定在适当的位置 重力素描，或者一群朋友可能将游戏世界锚定在 德美 到他们的桌面上，以便他们可以返回到相同的设置并在第二天继续他们的游戏。
空间锚点可以与场景模型锚点（墙壁、桌子、地板等）结合使用，以创建丰富的体验和房间规模的自动放置。用户的房间成为游戏和生产力的空间渲染画布。开发人员可能会选择将虚拟门锚定到物理墙上。然后，用户可以打开它，展现一个完全身临其境的虚拟世界，其中包含可以进入物理空间的自己的角色。
“通过将场景理解与空间锚点相结合，您可以将 MR 体验融合并适应用户的环境，从而创建一个充满可能性的新世界，”Onu 指出。 “你可以 成为一名特工 在您自己的客厅中，将虚拟家具放置在您的房间中或 画出延伸部分 在你家， 创建物理游戏， 和更多。”
共享空间锚点以实现同地体验
最后但并非最不重要的一点是，我们添加了 共享空间锚点 到状态平台。共享空间锚点允许一个人创建的锚点与同一物理空间中的其他人共享。这使得开发人员可以通过为多个用户创建共享的世界锁定参考框架来构建本地多人游戏体验。例如，两个或更多人可以坐在同一张物理桌子上，并在上面玩虚拟棋盘游戏。 点击这里 了解更多信息。
混合现实的成功组合
您需要将立体色彩直通、场景理解、空间锚点和共享空间锚点以及实时遮挡和碰撞、对象检测和照明信息结合在一个包中，以提供真实、有意义的 MR 体验。所有这些都需要考虑到性能成本、计算和散热等限制。但最重要的是，确保舒适的体验是关键。
“与科技领域的大多数事情一样，都需要权衡取舍，”Meta 产品经理 Avinav Pashine 承认。 “虽然我们当前的解决方案并不完美，但它保留了计算能力，同时最大限度地提高了用户舒适度，因此我们能够提供更好深度和广度的开发人员工具。”
这仅仅是个开始。 Meta Reality 将通过软件更新以及未来 Meta Quest 产品中提供的硬件进步继续发展。
“Meta Quest Pro 是探索这一新兴技术令人兴奋的潜力的众多 MR 设备中的第一款，”Silveira Cabral 补充道。 “我们希望与开发者一起学习，帮助他们构建引人入胜的体验，重新定义 VR 耳机的可能性。这个故事还没有完成——这只是第一页。”
