Meta afslører sit Meta Reality Mixed Reality-system

Stereoskopisk farvegennemgang, rumlig forankring og sceneforståelse vil levere mere realistiske mixed reality-oplevelser.

Ifølge Sarthak Ray, en produktchef hos Meta, åbner evnen til at se og interagere med verden omkring dig gennem blandet virkelighed nye muligheder for VR. "Du kan spille med venner i det samme fysiske rum eller produktivitetsoplevelser, der kombinerer enorme virtuelle skærme med fysiske værktøjer, og det er et skridt mod vores langsigtede vision for augmented reality."

I modsætning til hvad mange tror, ​​er en mixed reality-oplevelse mest effektiv, hvis VR/AR-enheden på overbevisende måde kan blande den fysiske og virtuelle verden. Det betyder, at headsettet skal gøre mere end blot at levere et 2D-video-feed, ifølge en seneste blogindlæg on Oculus.com.

For at fremme sit engagement i at udvikle banebrydende VR-teknologier har Meta annonceret lanceringen af ​​Meta Reality, et nyt mixed reality-system, der giver et indblik i, hvad der skal til for at skabe en exceptionel oplevelse.

Stereoskopisk farvegennemstrømning til rumlig bevidsthed

Meta anerkender vigtigheden af ​​farvegennemstrømning og stereoskopisk 3D-teknologi, når det kommer til at levere komfortable og fordybende mixed reality-oplevelser.

"Meta Quest Pro kombinerer to kameravisninger for at rekonstruere realistisk dybde, hvilket sikrer, at mixed reality-oplevelser bygget ved hjælp af farvepassthrough er behagelige for mennesker," forklarede Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Men også, stereotekstur-signaler tillader brugerens hjerne at klare resten og udlede dybden, selv når dybderekonstruktionen ikke er perfekt eller er uden for systemets rækkevidde."

For eksempel, når du bruger Passthrough, lærer din hjerne, at kaffekoppen er omtrent lige så langt væk fra din hånd, som den er fra pennen, der sidder lige ved siden af ​​dig.

Oculus Insight, som kun kunne fange 100 interessepunkter for at bestemme headsettets position i et rum, var en teknologi, der leverede det første selvstændige sporingssystem til en forbruger-VR-enhed. Den er siden blevet opgraderet for at muliggøre dyb sansning. Til sammenligning kan Meta Quest Pro producere op til 10,000 interessepunkter i sekundet under forskellige lysforhold, hvilket giver dig mulighed for at skabe en forbedret 3D-repræsentation af dit fysiske rum i realtid.

Gennem denne proces er Meta i stand til at skabe en 3D-model af den fysiske verden, der løbende opdateres. Du kan derefter bruge disse data til at skabe en forudsigelig gengivelsesramme, der kan producere billeder af dit virkelige miljø. For at kompensere for forsinkelsen af ​​gengivelsen justeres rekonstruktionerne til brugernes venstre og højre øjes visninger gennem Asynkron TimeWarp algoritme.

Ifølge Silveira Cabral giver brugen af ​​et farvestereoskopisk kamera holdet mulighed for at levere en mere realistisk fortolkning af den virkelige verden.

Sceneforståelse for at blande virtuelt indhold ind i den fysiske verden

Scene Understanding-komponenten af ​​Presence Platform blev introduceret under Connect 2021-begivenheden. Denne teknologi gør det muligt for udviklere at skabe komplekse og scenebevidste mixed reality-oplevelser. Ifølge Wei Lyu, produktchefen for Meta Quest Pro, blev virksomhedens Scene Understanding-komponent designet til at hjælpe udviklere med at fokusere på at opbygge deres forretninger og oplevelser.

"Vi introducerede Scene Understanding som en systemløsning," sagde Lyu.

Sceneforståelse er opdelt i tre områder:

• Scene model - En enkelt, omfattende, opdateret og systemstyret repræsentation af miljøet bestående af geometrisk og semantisk information. De grundlæggende elementer i en scenemodel er ankre. Hvert anker kan fastgøres til forskellige komponenter. For eksempel er en brugers stue organiseret omkring individuelle ankre med semantiske etiketter, såsom gulvet, loftet, væggene, skrivebordet og sofaen. Ankre er fastgjort med en simpel geometrisk repræsentation: en 2D-grænse eller en 3D-grænsekasse.
• Scenefangst – Et systemstyret flow, der lader brugere gå rundt og fange deres rumarkitektur og møbler for at generere en scenemodel. I fremtiden vil målet være at levere en automatiseret version af Scene Capture, der ikke kræver, at folk manuelt fanger deres omgivelser.
• Scene API – En grænseflade, som apps kan bruge til at få adgang til rumlig information i Scenemodellen til forskellige anvendelsestilfælde, herunder indholdsplacering, fysik, navigation osv. Med Scene API kan udviklere bruge Scenemodellen til at få en virtuel bold til at hoppe af fysiske overflader i selve rummet eller en virtuel robot, der kan skalere de fysiske vægge.

"Sceneforståelse sænker friktionen for udviklere og lader dem bygge MR-oplevelser, der er så troværdige og fordybende som muligt med okklusions- og kollisionseffekter i realtid," tilføjede Ray.

Rumlige ankre til placering af virtuelle objekter

Udviklere kan nemt skabe førsteklasses mixed reality-oplevelser ved hjælp af Spatial Anchors, som er en kerneegenskab i Meta Quest Pro-platformen. For eksempel kan en produktdesigner nemt forankre flere 3D-modeller i et fysisk rum ved hjælp af en platform som Gravity Skitse at skabe et problemfrit miljø for deres produkt.

"Hvis stereoskopisk farvegennemstrømning og sceneforståelse gør det tunge løft for at lade MR-oplevelser blande den fysiske og virtuelle verden, giver vores forankringsevner det bindevæv, der holder det hele sammen," sagde Meta Product Manager Laura Onu.

Sammen med Scenemodellen kan Spatial Anchors bruges til at skabe rige og automatiske miljøer til en række forskellige oplevelser og situationer. For eksempel kan du oprette en virtuel dør, der er forbundet til en fysisk væg. Dette ville være et stort skridt for virksomheder, der ser på XR-teknologi til deres virksomhedsløsninger inden for digital twinning, lagerautomatisering og endda robotteknologi.

For nu ser det ud til, at Meta er mere fokuseret på sociale oplevelser. "Ved at kombinere Scene Understanding med Spatial Anchors kan du blande og tilpasse dine MR-oplevelser til brugerens miljø for at skabe en ny verden fuld af muligheder," ifølge Onu, som tilføjer, "Du kan blive en hemmelig agent i din egen stue , placer virtuelle møbler i dit værelse eller skitser en udvidelse til dit hjem, skab fysikspil og mere."

Delte rumlige forankringer til samlokaliserede oplevelser

Derudover har Meta tilføjet Shared Spatial Anchors-funktionen til Presence Platform. Dette giver dig mulighed for at skabe lokale multiplayer-oplevelser ved at dele dine ankre med andre brugere i samme rum. Dette ville give dig og andre venner mulighed for at spille et VR-brætspil oven på et fysisk bord på samme måde som Vip fem leverer deres spiloplevelser.

En vindende kombination for blandet virkelighed

Kombinationen af ​​Spatial Anchors, Passthrough og Scene Understanding kan hjælpe med at skabe et rigt og interaktivt miljø, der er designet til at se ud og føles som den virkelige verden. Avinav Pashine, produktchef for Meta Quest Pro, bemærkede, at der er mange afvejninger involveret i at skabe et fantastisk og behageligt mixed reality-miljø for brugerne.

Fremtiden for Meta Reality udvikler sig stadig, da virksomheden løbende forbedrer platformen gennem softwareopdateringer og hardwareinnovationer, der vil blive leveret i den næste generation af deres produkter. Silveira Cabral, produktchef for Meta Quest Pro, bemærkede, at virksomhedens første produkt er et vigtigt skridt i udviklingen af ​​Meta Reality.

"Vi vil gerne lære sammen med udviklere, når de bygger overbevisende oplevelser, der omdefinerer, hvad der er muligt med et VR-headset. Denne historie er ikke færdig endnu – dette er kun side ét."

Billedkredit: Meta