Meta revela seu sistema de realidade mista Meta Reality

A passagem de cores estereoscópicas, a ancoragem espacial e a compreensão da cena proporcionarão experiências de realidade mista mais realistas.

De acordo com Sarthak Ray, gerente de produto da Meta, a capacidade de ver e interagir com o mundo ao seu redor por meio da realidade mista abre novas oportunidades para a realidade virtual. “Você pode jogar com amigos na mesma sala física ou experiências de produtividade que combinam enormes monitores virtuais com ferramentas físicas, e é um passo em direção à nossa visão de longo prazo para a realidade aumentada.”

Ao contrário da crença popular, uma experiência de realidade mista é mais eficaz se o dispositivo VR/AR puder combinar de forma convincente os mundos físico e virtual. Isso significa que o fone de ouvido precisa fazer mais do que apenas fornecer um feed de vídeo 2D, de acordo com um post recente on oculus.com.

Para aprofundar seu compromisso com o desenvolvimento de tecnologias de RV de ponta, a Meta anunciou o lançamento do Meta Reality, um novo sistema de realidade mista que oferece uma visão interna do que é necessário para criar uma experiência excepcional.

Passagem de cor estereoscópica para consciência espacial

A Meta reconhece a importância da passagem de cores e da tecnologia 3D estereoscópica quando se trata de oferecer experiências de realidade mista confortáveis ​​e imersivas.

“O Meta Quest Pro combina duas visualizações de câmera para reconstruir a profundidade realista, o que garante que as experiências de realidade mista construídas com o Color Passthrough sejam confortáveis ​​para as pessoas”, explicou Ricardo Silveira Cabral, Gerente de Engenharia de Visão Computacional da Meta. “Mas também, as dicas de textura estéreo permitem que o cérebro do usuário faça o resto e infira profundidade mesmo quando a reconstrução de profundidade não é perfeita ou está além do alcance do sistema.”

Por exemplo, ao usar Passthrough, seu cérebro aprende que a xícara de café está tão longe de sua mão quanto da caneta que está ao seu lado.

O Oculus Insight, que só conseguia capturar 100 pontos de interesse para determinar a posição do fone de ouvido em uma sala, foi uma tecnologia que forneceu o primeiro sistema de rastreamento autônomo para um dispositivo de realidade virtual do consumidor. Desde então, foi atualizado para permitir a detecção profunda. Para comparação, o Meta Quest Pro pode produzir até 10,000 pontos de interesse por segundo sob diferentes condições de iluminação, permitindo que você crie uma representação 3D aprimorada de seu espaço físico em tempo real.

Por meio desse processo, a Meta é capaz de criar um modelo 3D do mundo físico que é continuamente atualizado. Você pode usar esses dados para criar uma estrutura de renderização preditiva que pode produzir imagens de seu ambiente do mundo real. Para compensar a latência da renderização, as reconstruções são ajustadas às visualizações dos olhos esquerdo e direito dos usuários por meio do TimeWarp assíncrono algoritmo.

Segundo Silveira Cabral, o uso de uma câmera estereoscópica colorida permite que a equipe faça uma interpretação mais realista do mundo real.

Entendimento da cena para mesclar conteúdo virtual no mundo físico

O componente Scene Understanding da Presence Platform foi apresentado durante o evento Connect 2021. Essa tecnologia permite que os desenvolvedores criem experiências de realidade mista complexas e com reconhecimento de cena. De acordo com Wei Lyu, gerente de produto da Meta Quest Pro, o componente Scene Understanding da empresa foi projetado para ajudar os desenvolvedores a se concentrarem na construção de seus negócios e experiências.

“Introduzimos o Scene Understanding como uma solução de sistema”, disse Lyu.

A compreensão da cena é dividida em três áreas:

• Modelo de cena - Uma representação única, abrangente, atualizada e gerenciada pelo sistema do ambiente que consiste em informações geométricas e semânticas. Os elementos fundamentais de um modelo de cena são âncoras. Cada âncora pode ser anexada a vários componentes. Por exemplo, a sala de estar de um usuário é organizada em torno de Âncoras individuais com rótulos semânticos, como piso, teto, paredes, mesa e sofá. As âncoras são anexadas com uma representação geométrica simples: um limite 2D ou uma caixa delimitadora 3D.
• Captura de cena – Um fluxo guiado pelo sistema que permite que os usuários caminhem e capturem a arquitetura e os móveis de sua sala para gerar um modelo de cena. No futuro, o objetivo será entregar uma versão automatizada do Scene Capture que não exija que as pessoas capturem manualmente seus arredores.
• API de cena – Uma interface que os aplicativos podem usar para acessar informações espaciais no modelo de cena para vários casos de uso, incluindo posicionamento de conteúdo, física, navegação, etc. Com a API de cena, os desenvolvedores podem usar o modelo de cena para fazer uma bola virtual quicar em superfícies físicas em a sala real ou um robô virtual que pode escalar as paredes físicas.

“A compreensão da cena diminui o atrito para os desenvolvedores, permitindo que eles criem experiências de RM que sejam tão críveis e imersivas quanto possível com oclusão em tempo real e efeitos de colisão”, acrescentou Ray.

Âncoras Espaciais para Posicionamento de Objetos Virtuais

Os desenvolvedores podem criar facilmente experiências de realidade misturada de primeira classe usando Spatial Anchors, que é um recurso central da plataforma Meta Quest Pro. Por exemplo, um designer de produto pode facilmente ancorar vários modelos 3D em um espaço físico usando uma plataforma como Esboço Gravitacional para criar um ambiente perfeito para o seu produto.

“Se a passagem estereoscópica de cores e a compreensão da cena fazem o trabalho pesado para permitir que as experiências de RM combinem o mundo físico e o virtual, nossos recursos de ancoragem fornecem o tecido conectivo que mantém tudo junto”, disse a gerente de produtos da Meta, Laura Onu.

Juntamente com o Scene Model, as Spatial Anchors podem ser usadas para criar ambientes ricos e automáticos para uma variedade de experiências e situações. Por exemplo, você pode criar uma porta virtual conectada a uma parede física. Este seria um grande passo para as empresas que buscam a tecnologia XR para suas soluções corporativas em geminação digital, automação de armazéns e até mesmo robótica.

Por enquanto, parece que o Meta está mais focado em experiências sociais. “Ao combinar o entendimento da cena com as âncoras espaciais, você pode misturar e adaptar suas experiências de RM ao ambiente do usuário para criar um novo mundo cheio de possibilidades”, de acordo com Onu, que acrescenta: “Você pode se tornar um agente secreto em sua própria sala de estar , coloque móveis virtuais em seu quarto ou desenhe uma extensão em sua casa, crie jogos de física e muito mais.”

Âncoras espaciais compartilhadas para experiências co-localizadas

Além disso, a Meta adicionou o recurso Âncoras Espaciais Compartilhadas à Presence Platform. Isso permite que você crie experiências multijogador locais compartilhando suas âncoras com outros usuários no mesmo espaço. Isso permitiria que você e outros amigos jogassem um jogo de tabuleiro VR em cima de uma mesa física da mesma forma que Incline cinco oferece suas experiências de jogo.

Uma combinação vencedora para realidade mista

A combinação de Spatial Anchors, Passthrough e Scene Understanding pode ajudar a criar um ambiente rico e interativo projetado para parecer e sentir como o mundo real. Avinav Pashine, gerente de produto do Meta Quest Pro, observou que há muitas compensações envolvidas na criação de um ambiente de realidade mista excelente e confortável para os usuários.

O futuro da Meta Reality ainda está evoluindo, pois a empresa melhora continuamente a plataforma por meio de atualizações de software e inovações de hardware que serão entregues na próxima geração de seus produtos. Silveira Cabral, gerente de produto da Meta Quest Pro, destacou que o primeiro produto da empresa é um passo importante na evolução da Meta Reality.

“Queremos aprender junto com os desenvolvedores enquanto eles criam experiências atraentes que redefinem o que é possível com um headset VR. Esta história ainda não está completa – esta é apenas a página um.”

Crédito da imagem: Meta