Introductie van Meta Reality: een blik op de technologieën die nodig zijn om de virtuele en fysieke wereld op overtuigende wijze te combineren

Mixed reality (MR) kan de deur openen naar een verscheidenheid aan unieke ervaringen, van productiviteit en realtime samenwerking met collega's tot rondhangen met vrienden en familie tot nieuwe soorten games en interactieve apps waar we nog niet eens van hebben gedroomd. Terwijl VR je volledig onderdompelt in een digitale omgeving, geeft MR je de vrijheid om te bewegen en te communiceren met mensen en objecten in je fysieke ruimte terwijl je geniet van virtuele inhoud, waardoor een nieuwe klasse AR-achtige ervaringen in VR wordt ontgrendeld die je fysieke ruimte vergroten.

“Het kunnen zien van de fysieke wereld om je heen en deze kunnen combineren met virtuele inhoud opent nieuwe mogelijkheden voor VR vandaag de dag, zoals co-located games die je met vrienden in dezelfde fysieke kamer kunt spelen of productiviteitservaringen die enorme virtuele monitoren combineren met fysieke tools ”, legt Meta Product Manager Sarthak Ray uit. “En het is een stap in de richting van onze langeretermijnvisie voor augmented reality.”

Er bestaat een algemene misvatting dat mixed reality eenvoudigweg kan worden bereikt door een realtime videofeed met hoge resolutie van de fysieke wereld in de headset weer te geven, maar de waarheid is veel complexer. Voor geloofwaardige MR-ervaringen is het vermogen nodig om de virtuele en fysieke wereld op overtuigende wijze te laten samenvloeien. Dat betekent dat de headset meer moet doen dan alleen uw fysieke omgeving weergeven als 2D-video. Het moet uw kamer feitelijk digitaal reconstrueren als een 3D-ruimte met inzicht in de objecten en oppervlakken om u heen. Daarvoor is een complex systeem van meerdere hardware- en softwaretechnologieën nodig, zoals sensoren met hoge resolutie, passthrough, AI-aangedreven Scène Begrijpen en Ruimtelijke ankers, die allemaal op een naadloze en comfortabele manier samenwerken.

Bij Meta investeren we voortdurend in origineel onderzoek en ontwikkeling om toonaangevende VR-technologieën te creëren die we op grote schaal aan consumenten leveren, terwijl we de mens op de eerste plaats zetten in ons ontwerp. We concentreren ons op de details, op basis van een diep begrip van hoe mensen de wereld om hen heen waarnemen en een drive om die perceptie te verbinden met meeslepende ervaringen die mensen enthousiast maken over de mogelijkheden van virtuele en gemengde realiteit. Vandaag introduceren we een nieuwe naam voor ons unieke mixed reality-systeem – Meta Reality – en geven we u een kijkje onder de motorkap van wat er allemaal nodig is voor een werkelijk eersteklas MR-ervaring.

Stereoscopische kleurdoorvoer voor ruimtelijk inzicht

Eerst en vooral moet een echte MR-ervaring comfortabel zijn en aanvoelen als een natuurlijke kijkervaring; een directe videofeed die er niet in slaagt een gevoel van diepte over te brengen, kan dat eenvoudigweg niet waarmaken, ook al is het een hoge resolutie. Als Passthrough monoscopisch is (gezien vanuit een enkele kijkhoek) en/of diepte-aanwijzingen mist, kan dit bovendien ongemakkelijk zijn voor de kijker. Voor passthrough Om comfortabel te zijn, moeten de beelden die op de individuele oogbuffer worden weergegeven, vanuit twee afzonderlijke hoeken worden gegenereerd, wat stereoscopische signalen oplevert. Dit, samen met de aanwezigheid van diepte- en kleurinformatie, is belangrijk om een ​​comfortabele ervaring te reconstrueren.

Onze stereoscopische kleurdoorvoeroplossing maakt gebruik van een aangepaste hardwarearchitectuur, geavanceerde computer vision-algoritmen en ultramoderne machine learning die modelleren hoe uw ogen de wereld om u heen op natuurlijke wijze zien om deze uitdaging aan te gaan. Een betere camera- en schermresolutie zorgen voor een betere beeldkwaliteit, waarbij de camera's van Meta Quest Pro vier keer zoveel pixels vastleggen als de camera's van Meta Quest 2. Maar misschien nog belangrijker is dat de op afbeeldingen gebaseerde weergave, de reconstructie van de stereogeometrie en het inzicht in de diepte de locatie van objecten vastlegt in relatie tot de scène binnen een bepaalde kamer. Met deze nieuwe algoritmestapel kan Meta Quest Pro aspecten van de kamergeometrie identificeren en de locatie van objecten in de 3D-ruimte bepalen. Dus wanneer u naar het koffiekopje op uw bureau reikt terwijl u ernaar kijkt met stereoscopische kleurdoorvoer, begrijpen uw hersenen dat het kopje verder van uw hand verwijderd is dan de pen die vlak naast u staat.

“Meta Quest Pro combineert twee camerabeelden om realistische diepte te reconstrueren, wat ervoor zorgt dat mixed reality-ervaringen die zijn gebouwd met behulp van kleurdoorvoer comfortabel zijn voor mensen”, legt Meta Computer Vision Engineering Manager Ricardo Silveira Cabral uit. "Maar stereotextuursignalen zorgen er ook voor dat de hersenen van de gebruiker de rest kunnen doen en diepte kunnen afleiden, zelfs als de dieptereconstructie niet perfect is of buiten het bereik van het systeem ligt."

Onthouden Oculus Insight—onze technologie die het eerste stand-alone, volledig uitgeruste “inside-out” trackingsysteem voor een consumenten-VR-apparaat mogelijk maakte? We hebben de dieptewaarnemingsmogelijkheden geüpgraded om in realtime een dichte 3D-weergave van een bepaalde ruimte te produceren. Terwijl Insight ongeveer 100 interessepunten in een kamer gebruikt om de positie van de headset in de ruimte te bepalen, produceert onze dieptedetectieoplossing op Meta Quest Pro tot 10,000 punten per frame tot op vijf meter afstand onder verschillende natuurlijke en kunstmatige lichtomstandigheden. We gebruiken deze informatie om een ​​3D-mesh van de fysieke wereld te creëren, waarbij we deze output over een paar frames combineren om een ​​dichte 3D- en temporeel stabiele weergave van de ruimte te genereren. Dit gaas wordt vervolgens gebruikt met voorspellende weergave om beelden van de fysieke wereld te produceren. Dat betekent dat de reconstructies individueel worden vervormd naar de linker- en rechteroogweergave van de headset met behulp van onze Asynchrone TimeWarp technologie die de oogposities van de gebruiker enkele milliseconden in de toekomst voorspelt om de weergavelatentie te compenseren.

Ten slotte zorgt het toevoegen van kleur ervoor dat de hele ervaring er realistischer uitziet en aanvoelt. “De kleurencamera wordt gebruikt om het stereoscopische beeld in te kleuren om de ervaring zo dicht mogelijk bij de fysieke wereld te brengen”, zegt Silveira Cabral. “Met deze architectuur plus optimalisaties die over de hele pijplijn zijn doorgevoerd, kunnen we stereoscopische kleurpassthrough op Meta Quest Pro bieden voor alle bestaande Meta Quest 2-titels en aankomende MR-apps als de standaardervaring zonder extra computerbronnen. Dat betekent dat bestaande apps die Passthrough op Meta Quest 2 gebruiken, direct uit de doos zullen werken met Meta Quest Pro's nieuwe stereoscopische kleur Passthrough-technologie.”

Als je alles bij elkaar optelt, resulteert de stereoscopische kleurpassthrough van Meta Quest Pro in een comfortabelere ervaring met dieptewaarneming en minder visuele vervormingen dan monoscopische oplossingen, waardoor hoogwaardige mixed reality-ervaringen op kamerschaal worden ontgrendeld.

Scene Understanding voor het mengen van virtuele inhoud in de fysieke wereld

Geïntroduceerd als onderdeel van Aanwezigheidsplatform tijdens Connect 2021, Scène Begrijpen Hiermee kunnen ontwikkelaars snel complexe en scènebewuste MR-ervaringen bouwen die rijke interacties met de gebruikersomgeving mogelijk maken.

“Om de complexiteit te minimaliseren en ontwikkelaars in staat te stellen zich te concentreren op het opbouwen van hun ervaringen en business, hebben we Scene Understanding als systeemoplossing geïntroduceerd”, merkt Meta Product Manager Wei Lyu op.

• Scènemodel is een enkele, uitgebreide, actuele en door het systeem beheerde weergave van de omgeving, bestaande uit geometrische en semantische informatie. De fundamentele elementen van een scènemodel zijn ankers, en elk anker kan met verschillende componenten worden bevestigd. De woonkamer van een gebruiker is bijvoorbeeld georganiseerd rond individuele ankers met semantische labels, zoals de vloer, het plafond, de muren, het bureau en de bank. Elke kaart is ook bevestigd met een eenvoudige geometrische weergave: een 2D-grens of een 3D-grenskader.
• Scène vastleggen is een systeemgestuurde stroom waarmee gebruikers rond kunnen lopen en de architectuur en het meubilair van hun kamer kunnen vastleggen om een ​​scènemodel te genereren. In de toekomst is het ons doel om een ​​geautomatiseerde versie van Scene Capture te leveren, waarbij mensen niet handmatig hun omgeving hoeven vast te leggen.
• Scène-API is de interface waarmee apps de ruimtelijke informatie in het scènemodel kunnen opvragen en openen voor verschillende gebruiksscenario's, waaronder plaatsing van inhoud, fysica, navigatie, enz. Met de Scene API kunnen ontwikkelaars het scènemodel gebruiken om een ​​virtuele bal te laten stuiteren op fysieke oppervlakken in de daadwerkelijke kamer of een virtuele robot die de fysieke muren kan beklimmen.

“Scene Understanding vermindert de wrijving voor ontwikkelaars, waardoor ze MR-ervaringen kunnen bouwen die zo geloofwaardig en meeslepend mogelijk zijn, met realtime occlusie- en botsingseffecten”, zegt Ray.

Ruimtelijke ankers voor plaatsing van virtuele objecten

“Als stereoscopische kleurpassthrough en scènebegrip het zware werk doen om MR-ervaringen de fysieke en virtuele wereld te laten samensmelten, zorgen onze verankeringsmogelijkheden voor het bindweefsel dat alles bij elkaar houdt”, zegt Meta Product Manager Laura Onu.

Ruimtelijke ankers zijn een kerncapaciteit om ontwikkelaars te helpen aan de slag te gaan met het bouwen van eersteklas mixed reality-ervaringen. Ze stellen een app in staat een referentiekader of een speld in de ruimte te creëren waardoor een virtueel object in de ruimte kan blijven bestaan. Dankzij Spatial Anchors kan een productontwerper meerdere 3D-schema's op hun plaats verankeren Zwaartekrachtschets, of een groep vrienden zou de gamewereld kunnen verankeren demo naar hun tafeloppervlak zodat ze naar dezelfde opstelling kunnen terugkeren en de volgende dag hun spel kunnen voortzetten.

Ruimtelijke Ankers kunnen worden gebruikt in combinatie met Scene Model Ankers (muren, een tafel, de vloer, etc.) om rijke ervaringen en automatische plaatsing op kamerschaal te creëren. De gebruikersruimte wordt een ruimtelijk weergavecanvas voor zowel gameplay als productiviteit. Een ontwikkelaar zou ervoor kunnen kiezen om een ​​virtuele deur aan een fysieke muur te verankeren. De gebruiker kan het vervolgens openen om een ​​volledig meeslepende virtuele wereld te onthullen, compleet met zijn eigen personages die vervolgens de fysieke ruimte kunnen betreden.

“Door Scene Understanding te combineren met Spatial Anchors kun je je MR-ervaringen combineren en aanpassen aan de gebruikersomgeving om een ​​nieuwe wereld vol mogelijkheden te creëren”, merkt Onu op. "Jij kan geheim agent worden in je eigen woonkamer, plaats virtueel meubilair in je kamer of schets een uitbreiding bij jou thuis, natuurkundespellen maken, en meer."

Gedeelde ruimtelijke ankers voor ervaringen op dezelfde locatie

Last but not least hebben we toegevoegd Gedeelde ruimtelijke ankers naar het aanwezigheidsplatform. Met gedeelde ruimtelijke ankers kunnen ankers die door één persoon zijn gemaakt, met anderen in dezelfde fysieke ruimte worden gedeeld. Hierdoor kunnen ontwikkelaars lokale multiplayer-ervaringen bouwen door een gedeeld wereldvergrendeld referentiekader voor meerdere gebruikers te creëren. Twee of meer mensen kunnen bijvoorbeeld aan dezelfde fysieke tafel zitten en daarbovenop een virtueel bordspel spelen. Klik hier om meer te leren.

Een winnende combinatie voor Mixed Reality

U hebt stereoscopische kleurdoorvoer, scènebegrip, ruimtelijke ankers en gedeelde ruimtelijke ankers nodig, samen met realtime occlusie en botsing, objectdetectie en verlichtingsinformatie, gecombineerd in één pakket om echte, betekenisvolle MR-ervaringen te leveren. En het moet allemaal samenkomen met beperkingen zoals prestatiekosten, rekenkracht en thermische eigenschappen in gedachten. Maar bovenal is het garanderen van een comfortabele ervaring van cruciaal belang.

“Zoals bij de meeste dingen in de technologiesector zijn er afwegingen”, erkent Meta Product Manager Avinav Pashine. “Hoewel onze huidige oplossing niet perfect is, blijft de computercapaciteit behouden terwijl het gebruikerscomfort wordt gemaximaliseerd – en daardoor kunnen we een betere diepgang en breedte van ontwikkelaarstools bieden.”

Dit is nog maar het begin. Meta Reality zal blijven evolueren door middel van software-updates en met de hardwareverbeteringen die in toekomstige Meta Quest-producten worden geleverd.

“Meta Quest Pro is de eerste van vele MR-apparaten die het opwindende potentieel van deze opkomende technologie onderzoeken”, voegt Silveira Cabral toe. “We willen samen met ontwikkelaars leren terwijl ze boeiende ervaringen bouwen die opnieuw definiëren wat mogelijk is met een VR-headset. Dit verhaal is nog niet compleet; dit is nog maar pagina één.”