Meta presenta su sistema de realidad mixta Meta Reality

El paso de color estereoscópico, el anclaje espacial y la comprensión de la escena brindarán experiencias de realidad mixta más realistas.

Según Sarthak Ray, gerente de producto de Meta, la capacidad de ver e interactuar con el mundo que te rodea a través de la realidad mixta abre nuevas oportunidades para la realidad virtual. “Puedes jugar con amigos en la misma sala física o experiencias de productividad que combinan enormes monitores virtuales con herramientas físicas, y es un paso hacia nuestra visión a largo plazo de la realidad aumentada”.

Contrariamente a la creencia popular, una experiencia de realidad mixta es más efectiva si el dispositivo VR/AR puede combinar de manera convincente los mundos físico y virtual. Esto significa que los auriculares tienen que hacer algo más que proporcionar una transmisión de video 2D, según un reciente post on oculus.com.

Para promover su compromiso con el desarrollo de tecnologías de realidad virtual de vanguardia, Meta ha anunciado el lanzamiento de Meta Reality, un nuevo sistema de realidad mixta que ofrece una mirada interna a lo que implica crear una experiencia excepcional.

Paso de color estereoscópico para conciencia espacial

Meta reconoce la importancia de la transferencia de color y la tecnología 3D estereoscópica cuando se trata de ofrecer experiencias de realidad mixta cómodas e inmersivas.

“Meta Quest Pro combina dos vistas de cámara para reconstruir la profundidad realista, lo que garantiza que las experiencias de realidad mixta creadas con Color Passthrough sean cómodas para las personas”, explicó el gerente de ingeniería de Meta Computer Vision, Ricardo Silveira Cabral. “Pero también, las señales de textura estéreo permiten que el cerebro del usuario haga el resto e infiera la profundidad incluso cuando la reconstrucción de la profundidad no es perfecta o está más allá del alcance del sistema”.

Por ejemplo, cuando usa Passthrough, su cerebro aprende que la taza de café está tan lejos de su mano como del bolígrafo que está a su lado.

Oculus Insight, que solo podía capturar 100 puntos de interés para determinar la posición de los auriculares en una habitación, fue una tecnología que proporcionó el primer sistema de seguimiento independiente para un dispositivo de realidad virtual de consumo. Desde entonces, se ha actualizado para permitir la detección profunda. A modo de comparación, Meta Quest Pro puede producir hasta 10,000 3 puntos de interés por segundo en diferentes condiciones de iluminación, lo que le permite crear una representación XNUMXD mejorada de su espacio físico en tiempo real.

A través de este proceso, Meta puede crear un modelo 3D del mundo físico que se actualiza continuamente. Luego puede usar estos datos para crear un marco de renderizado predictivo que pueda producir imágenes de su entorno del mundo real. Para compensar la latencia del renderizado, las reconstrucciones se ajustan a las vistas del ojo izquierdo y derecho de los usuarios a través de la TimeWarp asíncrono algoritmo.

Según Silveira Cabral, el uso de una cámara estereoscópica a color permite al equipo ofrecer una interpretación más realista del mundo real.

Comprensión de escenas para combinar contenido virtual en el mundo físico

El componente de comprensión de la escena de la plataforma de presencia se presentó durante el evento Connect 2021. Esta tecnología permite a los desarrolladores crear experiencias de realidad mixta complejas y conscientes de la escena. Según Wei Lyu, gerente de producto de Meta Quest Pro, el componente de comprensión de escenas de la compañía fue diseñado para ayudar a los desarrolladores a concentrarse en desarrollar sus negocios y experiencias..

“Presentamos Scene Understanding como una solución de sistema”, dijo Lyu.

La comprensión de la escena se divide en tres áreas:

• modelo de escena – Una representación única, integral, actualizada y administrada por el sistema del entorno que consta de información geométrica y semántica. Los elementos fundamentales de un Modelo de Escena son las Anclajes. Cada ancla se puede unir a varios componentes. Por ejemplo, la sala de estar de un usuario se organiza en torno a puntos de anclaje individuales con etiquetas semánticas, como el suelo, el techo, las paredes, el escritorio y el sofá. Los anclajes se adjuntan con una representación geométrica simple: un límite 2D o un cuadro delimitador 3D.
• Captura de escena – Un flujo guiado por el sistema que permite a los usuarios caminar y capturar la arquitectura y los muebles de su habitación para generar un modelo de escena. En el futuro, el objetivo será ofrecer una versión automatizada de Scene Capture que no requiera que las personas capturen manualmente su entorno.
• API de escena – Una interfaz que las aplicaciones pueden usar para acceder a la información espacial en el modelo de escena para varios casos de uso, incluida la colocación de contenido, la física, la navegación, etc. Con la API de escena, los desarrolladores pueden usar el modelo de escena para hacer que una pelota virtual rebote en superficies físicas en la habitación real o un robot virtual que puede escalar las paredes físicas.

“Scene Understanding reduce la fricción para los desarrolladores, lo que les permite crear experiencias de RM lo más creíbles e inmersivas posible con efectos de oclusión y colisión en tiempo real”, agregó Ray.

Anclajes espaciales para la colocación de objetos virtuales

Los desarrolladores pueden crear fácilmente experiencias de realidad mixta de primera clase utilizando Spatial Anchors, que es una capacidad central de la plataforma Meta Quest Pro. Por ejemplo, un diseñador de productos puede anclar fácilmente varios modelos 3D en un espacio físico utilizando una plataforma como Bosquejo de la gravedad para crear un entorno perfecto para su producto.

“Si el paso de color estereoscópico y la comprensión de la escena hacen el trabajo pesado para permitir que las experiencias de RM mezclen el mundo físico y el virtual, nuestras capacidades de anclaje proporcionan el tejido conectivo que mantiene todo unido”, dijo Laura Onu, gerente de Meta Product.

Junto con el modelo de escena, los anclajes espaciales se pueden usar para crear entornos ricos y automáticos para una variedad de experiencias y situaciones. Por ejemplo, puede crear una puerta virtual que esté conectada a una pared física. Este sería un gran paso para las empresas que buscan la tecnología XR para sus soluciones empresariales en hermanamiento digital, automatización de almacenes e incluso robótica.

Por ahora, parece que Meta está más enfocado en experiencias sociales. “Al combinar Scene Understanding con Spatial Anchors, puede combinar y adaptar sus experiencias de RM al entorno del usuario para crear un nuevo mundo lleno de posibilidades”, según Onu, quien agrega: “Puede convertirse en un agente secreto en su propia sala de estar. , coloque muebles virtuales en su habitación o dibuje una extensión en su hogar, cree juegos de física y más”.

Anclajes espaciales compartidos para experiencias coubicadas

Además, Meta ha agregado la función de anclajes espaciales compartidos a la plataforma de presencia. Esto le permite crear experiencias multijugador locales al compartir sus anclas con otros usuarios en el mismo espacio. Esto te permitiría a ti y a otros amigos jugar un juego de mesa de realidad virtual sobre una mesa física de la misma manera que Inclinación cinco ofrece sus experiencias de juego.

Una combinación ganadora para la realidad mixta

La combinación de Spatial Anchors, Passthrough y Scene Understanding puede ayudar a crear un entorno rico e interactivo diseñado para verse y sentirse como el mundo real. Avinav Pashine, gerente de producto de Meta Quest Pro, señaló que existen muchas ventajas y desventajas involucradas en la creación de un excelente y cómodo entorno de realidad mixta para los usuarios.

El futuro de Meta Reality aún está evolucionando a medida que la empresa mejora continuamente la plataforma a través de actualizaciones de software y las innovaciones de hardware que se entregarán en la próxima generación de sus productos. Silveira Cabral, gerente de producto de Meta Quest Pro, señaló que el primer producto de la empresa es un paso importante en la evolución de Meta Reality.

“Queremos aprender junto con los desarrolladores a medida que construyen experiencias atractivas que redefinen lo que es posible con un auricular VR. Esta historia aún no está completa, esto es solo la primera página”.

Crédito de la imagen: Meta