Presentamos Meta Reality: Una Mirada a las Tecnologías Necesarias para Combinar de Manera Convincente los Mundos Virtual y Físico

La realidad mixta (MR) puede abrir la puerta a una variedad de experiencias únicas, desde productividad y colaboración en tiempo real con colegas hasta pasar el rato con amigos y familiares y nuevos tipos de juegos y aplicaciones interactivas con las que ni siquiera hemos soñado todavía. Mientras que la realidad virtual te sumerge completamente en un entorno digital, la realidad virtual te brinda la libertad de moverte e interactuar con personas y objetos en tu espacio físico mientras disfrutas de contenido virtual, desbloqueando una nueva clase de experiencias similares a la realidad aumentada en realidad virtual que aumentan tu espacio físico.

“Poder ver el mundo físico que te rodea y combinarlo con contenido virtual abre nuevas posibilidades para la realidad virtual hoy en día, como juegos compartidos que puedes jugar con amigos en la misma habitación física o experiencias de productividad que combinan enormes monitores virtuales con herramientas físicas. ”, explica Sarthak Ray, director de productos de Meta. "Y es un paso hacia nuestra visión a largo plazo de la realidad aumentada".

Existe una idea errónea de que la realidad mixta se puede lograr simplemente mostrando una transmisión de video de alta resolución en tiempo real del mundo físico dentro del auricular, pero la verdad es mucho más compleja. Las experiencias de RM creíbles requieren la capacidad de combinar de manera convincente los mundos virtual y físico; eso significa que los auriculares deben hacer más que simplemente mostrar su entorno físico como un video 2D. En realidad, debe reconstruir digitalmente su habitación como un espacio 3D con comprensión de los objetos y superficies que lo rodean. Para ello se necesita un sistema complejo de múltiples tecnologías de hardware y software, como sensores de alta resolución, pasarela, alimentado por IA Comprensión de la escenay Anclas espaciales, todos trabajando juntos de una manera cómoda y sin interrupciones.

En Meta, invertimos continuamente en investigación y desarrollo originales para crear tecnologías de realidad virtual líderes que ofrecemos a los consumidores a escala, todo ello mientras ponemos a las personas en primer lugar en nuestro diseño. Nos centramos en los detalles, informados por una profunda comprensión de cómo las personas perciben el mundo que las rodea y un impulso para conectar esa percepción con experiencias inmersivas que entusiasmen a las personas sobre las posibilidades de la realidad virtual y mixta. Hoy, presentamos un nuevo nombre para nuestro exclusivo sistema de realidad mixta: Meta Reality, y le brindamos una visión profunda de lo que implica una experiencia de RM verdaderamente de primera clase.

Paso de color estereoscópico para conciencia espacial

En primer lugar, una verdadera experiencia de RM debe ser cómoda y sentirse como una experiencia de visualización natural; una transmisión de video directa que no logra transmitir una sensación de profundidad simplemente no puede brindarla, incluso si es de alta resolución. Además, si Passthrough es monoscópico (visto desde un único ángulo de visión) y/o carece de señales de profundidad, puede resultar incómodo para el espectador. Para pasarela Para que sea cómodo, las imágenes representadas en el buffer ocular individual deben generarse desde dos ángulos separados que proporcionen señales estereoscópicas. Esto, junto con la presencia de información de profundidad y color, es importante para reconstruir una experiencia cómoda.

Nuestra solución Passthrough de color estereoscópico utiliza una arquitectura de hardware personalizada, algoritmos avanzados de visión por computadora y aprendizaje automático de última generación que modelan cómo sus ojos ven naturalmente el mundo que lo rodea para enfrentar este desafío. Una mejor resolución de la cámara y la pantalla mejora la calidad de la imagen, ya que las cámaras de Meta Quest Pro capturan cuatro veces más píxeles que las cámaras de Meta Quest 2. Pero quizás lo más importante es que su representación basada en imágenes, reconstrucción de geometría estéreo y comprensión profunda establecen la ubicación de los objetos en relación con la escena dentro de una habitación determinada. Esta novedosa pila de algoritmos permite a Meta Quest Pro identificar aspectos de la geometría de la habitación y señalar la ubicación de objetos en el espacio 3D. Entonces, cuando tomas la taza de café en tu escritorio mientras la miras con Passthrough en color estereoscópico, tu cerebro comprende que la taza está más lejos de tu mano que el bolígrafo que está a tu lado.

"Meta Quest Pro combina dos vistas de cámara para reconstruir una profundidad realista, lo que garantiza que las experiencias de realidad mixta creadas con Passthrough en color sean cómodas para las personas", explica Ricardo Silveira Cabral, gerente de ingeniería de visión por computadora de Meta. "Pero también, las señales de textura estéreo permiten que el cerebro del usuario haga el resto e infiera la profundidad incluso cuando la reconstrucción de la profundidad no es perfecta o está más allá del alcance del sistema".

Recuerde Perspectiva de Oculus¿Nuestra tecnología que permitió el primer sistema de seguimiento “de adentro hacia afuera” independiente y con todas las funciones para un dispositivo de realidad virtual de consumo? Hemos mejorado sus capacidades de detección de profundidad para producir una representación 3D densa de un espacio determinado en tiempo real. Mientras que Insight utiliza aproximadamente 100 puntos de interés en una habitación para determinar la posición de los auriculares en el espacio, nuestra solución de detección de profundidad en Meta Quest Pro produce hasta 10,000 puntos por cuadro a una distancia de hasta cinco metros bajo una variedad de condiciones de iluminación natural y artificial. Usamos esta información para crear una malla 3D del mundo físico, combinando esta salida en unos pocos fotogramas para generar una representación 3D densa y temporalmente estable del espacio. Luego, esta malla se utiliza con renderizado predictivo para producir imágenes del mundo físico. Eso significa que las reconstrucciones se adaptan individualmente a las vistas del ojo izquierdo y derecho del auricular utilizando nuestro TimeWarp asíncrono tecnología que predice las posiciones de los ojos del usuario unos pocos milisegundos en el futuro para compensar la latencia de renderizado.

Finalmente, agregar color hace que toda la experiencia se vea y se sienta más realista. “La cámara en color se utiliza para colorear la vista estereoscópica y acercar la experiencia lo más posible al mundo físico”, dice Silveira Cabral. “Con esta arquitectura más las optimizaciones realizadas en todo el proceso, podemos proporcionar Passthrough de color estereoscópico en Meta Quest Pro para todos los títulos existentes de Meta Quest 2 y las próximas aplicaciones MR como experiencia predeterminada sin recursos computacionales adicionales. Eso significa que las aplicaciones existentes que usan Passthrough en Meta Quest 2 funcionarán con la nueva tecnología Passthrough de color estereoscópico de Meta Quest Pro desde el primer momento”.

Cuando se suma todo, el color estereoscópico Passthrough de Meta Quest Pro da como resultado una experiencia más cómoda con percepción de profundidad y menos distorsiones visuales que las soluciones monoscópicas, desbloqueando experiencias de realidad mixta de calidad a escala de habitación.

Comprensión de escenas para combinar contenido virtual en el mundo físico

Introducido como parte de Plataforma de presencia durante Conectar 2021, Comprensión de la escena permite a los desarrolladores crear rápidamente experiencias de RM complejas y con reconocimiento de escena que permiten interacciones ricas con el entorno del usuario.

"Para minimizar la complejidad y permitir que los desarrolladores se concentren en desarrollar sus experiencias y negocios, introdujimos Scene Understanding como una solución de sistema", señala el Meta Product Manager Wei Lyu.

• modelo de escena es una representación única, integral, actualizada y administrada por el sistema del entorno que consta de información geométrica y semántica. Los elementos fundamentales de un modelo de escena son los anclajes, y cada anclaje se puede unir con varios componentes. Por ejemplo, la sala de estar de un usuario está organizada alrededor de anclajes individuales con etiquetas semánticas, como piso, techo, paredes, escritorio y sofá. Cada uno también está adjunto con una representación geométrica simple: un límite 2D o un cuadro delimitador 3D.
• Captura de escena es un flujo guiado por el sistema que permite a los usuarios caminar y capturar la arquitectura y los muebles de su habitación para generar un modelo de escena. En el futuro, nuestro objetivo es ofrecer una versión automatizada de Scene Capture que no requiera que las personas capturen manualmente su entorno.
• API de escena es la interfaz mediante la cual las aplicaciones pueden consultar y acceder a la información espacial en el modelo de escena para diversos casos de uso, incluida la ubicación de contenido, la física, la navegación, etc. Con la API de escena, los desarrolladores pueden usar el modelo de escena para hacer que una bola virtual rebote en superficies físicas en la habitación real o un robot virtual que puede escalar las paredes físicas.

"La comprensión de la escena reduce la fricción para los desarrolladores, permitiéndoles crear experiencias de RM que sean lo más creíbles e inmersivas posible con efectos de colisión y oclusión en tiempo real", dice Ray.

Anclajes espaciales para la colocación de objetos virtuales

“Si el paso a través del color estereoscópico y la comprensión de la escena hacen el trabajo pesado para permitir que las experiencias de resonancia magnética combinen el mundo físico y el virtual, nuestras capacidades de anclaje proporcionan el tejido conectivo que lo mantiene todo junto”, dice Laura Onu, gerente de metaproducto.

Anclas espaciales son una capacidad central para ayudar a los desarrolladores a comenzar a crear experiencias de realidad mixta de primera clase. Permiten que una aplicación cree un marco de referencia o un pin en el espacio que permite que un objeto virtual persista en el espacio a lo largo del tiempo. Gracias a Spatial Anchors, un diseñador de producto puede anclar varios esquemas 3D en su lugar en Bosquejo de la gravedad, o un grupo de amigos podría anclar el mundo del juego en Demeo a la superficie de su mesa para que puedan volver a la misma configuración y continuar su juego al día siguiente.

Los anclajes espaciales se pueden utilizar en combinación con los anclajes del modelo de escena (paredes, una mesa, el suelo, etc.) para crear experiencias ricas y una ubicación automática a escala de habitación. La habitación del usuario se convierte en un lienzo de representación espacial tanto para el juego como para la productividad. Un desarrollador podría optar por anclar una puerta virtual a una pared física. Luego, el usuario puede abrirlo para revelar un mundo virtual totalmente inmersivo, completo con sus propios personajes que luego pueden ingresar al espacio físico.

"Al combinar Scene Understanding con Spatial Anchors, puedes combinar y adaptar tus experiencias de RM al entorno del usuario para crear un nuevo mundo lleno de posibilidades", señala Onu. "Puede convertirse en un agente secreto en tu propia sala de estar, coloca muebles virtuales en tu habitación o dibujar una extensión en tu casa, crear juegos de fisica, y más."

Anclajes espaciales compartidos para experiencias coubicadas

Por último, pero no menos importante, hemos agregado Anclajes espaciales compartidos a Plataforma de Presencia. Los anclajes espaciales compartidos permiten que los anclajes creados por una persona se compartan con otras en el mismo espacio físico. Esto permite a los desarrolladores crear experiencias multijugador locales mediante la creación de un marco de referencia mundial compartido para múltiples usuarios. Por ejemplo, dos o más personas pueden sentarse en una misma mesa física y jugar a un juego de mesa virtual encima de ella. Haga clic aquí para obtener más información.

Una combinación ganadora para la realidad mixta

Necesita paso de color estereoscópico, comprensión de escena, anclajes espaciales y anclajes espaciales compartidos junto con información de iluminación y oclusión y colisión en tiempo real, todo ello combinado en un solo paquete para ofrecer experiencias de RM reales y significativas. Y todo esto debe combinarse teniendo en cuenta limitaciones como el costo de rendimiento, la computación y las temperaturas. Pero, sobre todo, garantizar una experiencia cómoda es clave.

“Como ocurre con la mayoría de las cosas en tecnología, existen compensaciones involucradas”, reconoce Avinav Pashine, gerente de producto de Meta. "Si bien nuestra solución actual no es perfecta, preserva la computación mientras maximiza la comodidad del usuario, y gracias a ello podemos ofrecer una mayor profundidad y amplitud de herramientas para desarrolladores".

Este es solo el comienzo. Meta Reality seguirá evolucionando a través de actualizaciones de software y con los avances de hardware incluidos en futuros productos Meta Quest.

"Meta Quest Pro es el primero de muchos dispositivos de RM que exploran el apasionante potencial de esta tecnología emergente", añade Silveira Cabral. “Queremos aprender junto con los desarrolladores mientras crean experiencias convincentes que redefinen lo que es posible con un visor de realidad virtual. Esta historia aún no está completa; esto es sólo la página uno”.