Meta onthult zijn Meta Reality Mixed Reality-systeem

Stereoscopische kleurpassthrough, ruimtelijke verankering en begrip van scènes zorgen voor meer realistische mixed reality-ervaringen.

Volgens Sarthak Ray, een productmanager bij Meta, opent het vermogen om de wereld om je heen te zien en ermee om te gaan via mixed reality nieuwe kansen voor VR. "Je kunt spelen met vrienden in dezelfde fysieke ruimte of productiviteitservaringen die enorme virtuele monitoren combineren met fysieke tools, en het is een stap in de richting van onze langetermijnvisie voor augmented reality."

In tegenstelling tot wat vaak wordt gedacht, is een mixed reality-ervaring het meest effectief als het VR/AR-apparaat de fysieke en virtuele wereld op overtuigende wijze kan combineren. Dit betekent dat de headset meer moet doen dan alleen een 2D-videofeed leveren, aldus a recente blogpost on Oculus. com.

Om haar toewijding aan het ontwikkelen van geavanceerde VR-technologieën te bevorderen, heeft Meta de lancering aangekondigd van Meta Reality, een nieuw mixed reality-systeem dat een kijkje geeft in wat er komt kijken bij het creëren van een uitzonderlijke ervaring.

Stereoscopische kleurdoorvoer voor ruimtelijk inzicht

Meta erkent het belang van kleurdoorvoer en stereoscopische 3D-technologie als het gaat om het leveren van comfortabele en meeslepende mixed reality-ervaringen.

"Meta Quest Pro combineert twee camerabeelden om realistische diepte te reconstrueren, wat ervoor zorgt dat mixed reality-ervaringen gebouwd met behulp van kleur Passthrough comfortabel zijn voor mensen", legt Meta Computer Vision Engineering Manager Ricardo Silveira Cabral uit. "Maar stereotextuuraanwijzingen stellen de hersenen van de gebruiker ook in staat om de rest te doen en diepte af te leiden, zelfs wanneer de dieptereconstructie niet perfect is of buiten het bereik van het systeem ligt."

Als u Passthrough gebruikt, leren uw hersenen bijvoorbeeld dat het koffiekopje ongeveer net zo ver van uw hand verwijderd is als van de pen die naast u staat.

Oculus Insight, dat slechts 100 interessepunten kon vastleggen om de positie van de headset in een kamer te bepalen, was een technologie die het eerste zelfstandige volgsysteem voor een VR-apparaat voor consumenten opleverde. Sindsdien is het geüpgraded om diepe waarneming mogelijk te maken. Ter vergelijking: Meta Quest Pro kan tot 10,000 interessepunten per seconde produceren onder verschillende lichtomstandigheden, waardoor u in realtime een verbeterde 3D-weergave van uw fysieke ruimte kunt creëren.

Door dit proces kan Meta een 3D-model van de fysieke wereld maken dat voortdurend wordt bijgewerkt. U kunt deze gegevens vervolgens gebruiken om een ​​raamwerk voor voorspellende weergave te maken dat afbeeldingen van uw werkelijke omgeving kan produceren. Om de latentie van weergave te compenseren, worden de reconstructies aangepast aan het linker- en rechteroog van de gebruiker via de Asynchrone TimeWarp algoritme.

Volgens Silveira Cabral stelt het gebruik van een stereoscopische kleurencamera het team in staat een meer realistische interpretatie van de echte wereld te geven.

Scene Understanding voor het mengen van virtuele inhoud in de fysieke wereld

Tijdens het Connect 2021-event werd de Scene Understanding-component van het Presence Platform geïntroduceerd. Deze technologie stelt ontwikkelaars in staat om complexe en scènebewuste mixed reality-ervaringen te creëren. Volgens Wei Lyu, de productmanager van Meta Quest Pro, is de Scene Understanding-component van het bedrijf ontworpen om ontwikkelaars te helpen zich te concentreren op het opbouwen van hun bedrijf en ervaringen.

"We hebben Scene Understanding geïntroduceerd als een systeemoplossing", zegt Lyu.

Scene Understanding is onderverdeeld in drie gebieden:

• Scènemodel - Een enkele, uitgebreide, up-to-date en door het systeem beheerde weergave van de omgeving bestaande uit geometrische en semantische informatie. De fundamentele elementen van een scènemodel zijn ankers. Elk anker kan aan verschillende componenten worden bevestigd. De woonkamer van een gebruiker is bijvoorbeeld georganiseerd rond individuele ankers met semantische labels, zoals de vloer, het plafond, de muren, het bureau en de bank. Ankers worden bevestigd met een eenvoudige geometrische weergave: een 2D-begrenzing of een 3D-begrenzingskader.
• Scène vastleggen – Een systeemgestuurde stroom waarmee gebruikers rond kunnen lopen en hun kamerarchitectuur en meubels kunnen vastleggen om een ​​scènemodel te genereren. In de toekomst zal het doel zijn om een ​​geautomatiseerde versie van Scene Capture te leveren waarbij mensen hun omgeving niet handmatig hoeven vast te leggen.
• Scène-API – Een interface die apps kunnen gebruiken om toegang te krijgen tot ruimtelijke informatie in het Scene Model voor verschillende gebruikssituaties, waaronder het plaatsen van inhoud, fysica, navigatie, enz. Met Scene API kunnen ontwikkelaars het Scene Model gebruiken om een ​​virtuele bal te laten stuiteren op fysieke oppervlakken in de eigenlijke kamer of een virtuele robot die de fysieke muren kan beklimmen.

"Scene Understanding verlaagt de wrijving voor ontwikkelaars, waardoor ze MR-ervaringen kunnen bouwen die zo geloofwaardig en meeslepend mogelijk zijn met real-time occlusie- en botsingseffecten", voegde Ray toe.

Ruimtelijke ankers voor plaatsing van virtuele objecten

Ontwikkelaars kunnen eenvoudig eersteklas mixed reality-ervaringen creëren met behulp van Spatial Anchors, een kernfunctie van het Meta Quest Pro-platform. Een productontwerper kan bijvoorbeeld eenvoudig meerdere 3D-modellen verankeren in een fysieke ruimte met behulp van een platform Zwaartekrachtschets om een ​​naadloze omgeving voor hun product te creëren.

"Als stereoscopische kleurpassthrough en Scene Understanding het zware werk doen om MR-ervaringen de fysieke en virtuele wereld te laten versmelten, bieden onze verankeringsmogelijkheden het bindweefsel dat alles bij elkaar houdt", aldus Meta Product Manager Laura Onu.

Samen met het Scene Model kunnen Spatial Anchors worden gebruikt om rijke en automatische omgevingen te creëren voor een verscheidenheid aan ervaringen en situaties. U kunt bijvoorbeeld een virtuele deur maken die is verbonden met een fysieke muur. Dit zou een enorme stap zijn voor bedrijven die naar XR-technologie kijken voor hun bedrijfsoplossingen op het gebied van digitale twinning, magazijnautomatisering en zelfs robotica.

Voor nu lijkt het erop dat Meta meer gericht is op sociale ervaringen. "Door Scene Understanding te combineren met Spatial Anchors, kun je je MR-ervaringen mengen en aanpassen aan de omgeving van de gebruiker om een ​​nieuwe wereld vol mogelijkheden te creëren", aldus Onu, die eraan toevoegt: "Je kunt een geheim agent worden in je eigen woonkamer , plaats virtuele meubels in je kamer of schets een uitbreiding van je huis, maak natuurkundige spellen en meer.”

Gedeelde ruimtelijke ankers voor ervaringen op dezelfde locatie

Daarnaast heeft Meta de functie Shared Spatial Anchors toegevoegd aan het Presence Platform. Hierdoor kun je lokale multiplayer-ervaringen creëren door je ankers te delen met andere gebruikers in dezelfde ruimte. Hierdoor kunnen jij en andere vrienden op dezelfde manier een VR-bordspel bovenop een fysieke tafel spelen Kantel vijf levert hun game-ervaringen.

Een winnende combinatie voor Mixed Reality

De combinatie van Spatial Anchors, Passthrough en Scene Understanding kan helpen bij het creëren van een rijke en interactieve omgeving die is ontworpen om eruit te zien en aan te voelen als de echte wereld. Avinav Pashine, productmanager van Meta Quest Pro, merkte op dat er veel compromissen nodig zijn om een ​​geweldige en comfortabele mixed reality-omgeving voor gebruikers te creëren.

De toekomst van Meta Reality evolueert nog steeds terwijl het bedrijf het platform voortdurend verbetert door middel van software-updates en hardware-innovaties die in de volgende generatie van hun producten zullen worden geleverd. Silveira Cabral, productmanager van Meta Quest Pro, merkte op dat het eerste product van het bedrijf een belangrijke stap is in de evolutie van Meta Reality.

“We willen samen met ontwikkelaars leren terwijl ze boeiende ervaringen bouwen die een nieuwe definitie geven van wat mogelijk is met een VR-headset. Dit verhaal is nog niet compleet, dit is slechts pagina één.'

Afbeelding tegoed: Meta