Vi introduserer Meta Reality: En titt på teknologiene som er nødvendige for å overbevisende blande den virtuelle og fysiske verdenen

Mixed reality (MR) kan åpne døren til en rekke unike opplevelser, fra produktivitet og sanntidssamarbeid med kolleger til å henge med venner og familie til nye typer spill og interaktive apper vi ikke engang har drømt om ennå. Mens VR fordyper deg fullstendig i et digitalt miljø, gir MR deg friheten til å bevege deg rundt og samhandle med mennesker og objekter i ditt fysiske rom mens du nyter virtuelt innhold, og låser opp en ny klasse med AR-lignende opplevelser i VR som forsterker det fysiske rommet ditt.

«Å kunne se den fysiske verden rundt deg og blande den med virtuelt innhold åpner nye muligheter for VR i dag – som samlokaliserte spill du kan spille med venner i det samme fysiske rommet eller produktivitetsopplevelser som kombinerer enorme virtuelle skjermer med fysiske verktøy ", forklarer Meta Product Manager Sarthak Ray. "Og det er et skritt mot vår langsiktige visjon for utvidet virkelighet."

Det er en vanlig misforståelse at blandet virkelighet kan oppnås ganske enkelt ved å vise en sanntids høyoppløselig videofeed av den fysiske verdenen inne i hodesettet, men sannheten er langt mer kompleks. Troverdige MR-opplevelser krever evnen til på en overbevisende måte å blande den virtuelle og fysiske verdenen – det betyr at headsettet må gjøre mer enn bare å vise dine fysiske omgivelser som en 2D-video. Det må faktisk rekonstruere rommet ditt digitalt som et 3D-rom med en forståelse av objektene og overflatene rundt deg. Det krever et komplekst system av flere maskinvare- og programvareteknologier som høyoppløselige sensorer, Komme gjennom, AI-drevet Sceneforståelseog Romlige ankre, alle jobber sammen på en sømløs og komfortabel måte.

Hos Meta investerer vi kontinuerlig i original forskning og utvikling for å skape ledende VR-teknologier som vi leverer til forbrukere i stor skala – alt mens vi setter mennesker først i designen vår. Vi fokuserer på detaljene, informert av en dyp forståelse av hvordan folk oppfatter verden rundt dem og en drivkraft for å koble denne oppfatningen til oppslukende opplevelser som begeistrer folk om mulighetene til virtuell og blandet virkelighet. I dag introduserer vi et nytt navn for vårt unike mixed reality-system – Meta Reality – og gir deg et innblikk under panseret på hva som går inn i en virkelig førsteklasses MR-opplevelse.

Stereoskopisk fargegjennomgang for romlig bevissthet

Først og fremst må en ekte MR-opplevelse være komfortabel og føles som en naturlig seeropplevelse – en direkte videofeed som ikke klarer å formidle en følelse av dybde kan rett og slett ikke levere det, selv om den har høy oppløsning. I tillegg hvis Passthrough er monoskopisk (sett fra en enkelt synsvinkel) og/eller mangler dybdesignaler, kan det være ubehagelig for seeren. Til Komme gjennom for å være komfortabel, må bildene som gjengis på den individuelle øyebufferen genereres fra to separate vinkler som gir stereoskopiske signaler. Dette, sammen med tilstedeværelsen av dybde- og fargeinformasjon, er viktig for å rekonstruere en komfortabel opplevelse.

Vår stereoskopiske farge-passthrough-løsning bruker en tilpasset maskinvarearkitektur, avanserte datasynsalgoritmer og toppmoderne maskinlæring som modellerer hvordan øynene dine naturlig ser verden rundt deg for å møte denne utfordringen. Bedre kamera- og skjermoppløsning gir forbedret bildekvalitet, med Meta Quest Pros kameraer som fanger opp fire ganger så mange piksler som Meta Quest 2s kameraer. Men kanskje enda viktigere, dens bildebaserte gjengivelse, stereogeometrirekonstruksjon og dybdeforståelse etablerer plasseringen av objekter i forhold til scenen i et gitt rom. Denne nye algoritmestabelen gjør det mulig for Meta Quest Pro å identifisere aspekter ved romgeometri og finne plasseringen av objekter i 3D-rom. Så når du strekker deg etter kaffekoppen på skrivebordet mens du ser på den med stereoskopisk fargepassthrough, forstår hjernen din at koppen er lenger unna hånden din enn pennen som sitter rett ved siden av deg.

"Meta Quest Pro kombinerer to kameravisninger for å rekonstruere realistisk dybde, noe som sikrer at mixed reality-opplevelser bygget med fargepassthrough er komfortable for folk," forklarer Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Men også, stereotekstursignaler lar brukerens hjerne gjøre resten og utlede dybden selv når dybderekonstruksjonen ikke er perfekt eller er utenfor systemets rekkevidde."

Huske Oculus innsikt—teknologien vår som muliggjorde det første frittstående fullfunksjons sporingssystemet "innenfra og ut" for en VR-forbrukerenhet? Vi har oppgradert dens dybdesensorfunksjoner for å produsere en tett 3D-representasjon av et gitt rom i sanntid. Mens Insight bruker omtrent 100 interessepunkter i et rom for å finne hodesettets posisjon i rommet, produserer dybdesensorløsningen vår på Meta Quest Pro opptil 10,000 3 poeng per bilde opptil fem meter unna under en rekke naturlige og kunstige lysforhold. Vi bruker denne informasjonen til å skape et 3D-nettverk av den fysiske verden, og kombinerer denne utgangen på tvers av noen få rammer for å generere en tett XNUMXD og tidsmessig stabil representasjon av rommet. Dette nettet brukes deretter med prediktiv gjengivelse for å produsere bilder av den fysiske verden. Det betyr at rekonstruksjonene er individuelt forvridd til hodesettets venstre og høyre øyevisning ved å bruke vår Asynkron TimeWarp teknologi som forutsier brukerens øyeposisjoner noen få millisekunder i fremtiden for å kompensere for gjengivelsesforsinkelse.

Til slutt, å legge til farger får hele opplevelsen til å se og føles mer realistisk. "Fargekameraet brukes til å fargelegge det stereoskopiske synet for å bringe opplevelsen så nær den fysiske verden som mulig," sier Silveira Cabral. "Med denne arkitekturen pluss optimaliseringer utført på tvers av hele pipelinen, kan vi gi stereoskopisk fargepassthrough på Meta Quest Pro for alle eksisterende Meta Quest 2-titler og kommende MR-apper som standardopplevelse uten ekstra beregningsressurser. Det betyr at eksisterende apper som bruker Passthrough på Meta Quest 2 vil fungere med Meta Quest Pros nye stereoskopiske farge Passthrough-teknologi rett ut av esken.»

Når du legger alt sammen, resulterer Meta Quest Pros stereoskopiske fargepassthrough i en mer komfortabel opplevelse med dybdeoppfatning og færre visuelle forvrengninger enn monoskopiske løsninger, og låser opp kvalitetsopplevelser med blandet virkelighet i romskala.

Sceneforståelse for å blande virtuelt innhold inn i den fysiske verden

Introdusert som en del av Tilstedeværelsesplattform under Connect 2021, Sceneforståelse lar utviklere raskt bygge komplekse og scenebevisste MR-opplevelser som muliggjør rik interaksjon med brukerens miljø.

"For å minimere kompleksiteten og la utviklere fokusere på å bygge sine erfaringer og virksomhet, introduserte vi Scene Understanding som en systemløsning," bemerker Meta Product Manager Wei Lyu.

• Scenemodell er en enkelt, omfattende, oppdatert og systemstyrt representasjon av miljøet bestående av geometrisk og semantisk informasjon. De grunnleggende elementene i en scenemodell er ankre, og hvert anker kan festes med ulike komponenter. For eksempel er en brukers stue organisert rundt individuelle ankre med semantiske etiketter, som gulv, tak, vegger, skrivebord og sofa. Hver er også festet med en enkel geometrisk representasjon: en 2D-grense eller en 3D-grenseboks.
• Scenefangst er en systemstyrt flyt som lar brukere gå rundt og fange romarkitekturen og møblene deres for å generere en scenemodell. I fremtiden er målet vårt å levere en automatisert versjon av Scene Capture som ikke krever at folk manuelt fanger omgivelsene sine.
• Scene API er grensesnittet som apper kan søke etter og få tilgang til romlig informasjon i scenemodellen for ulike brukstilfeller, inkludert innholdsplassering, fysikk, navigasjon osv. Med Scene API kan utviklere bruke scenemodellen til å få en virtuell ball til å sprette fra fysiske overflater i selve rommet eller en virtuell robot som kan skalere de fysiske veggene.

"Sceneforståelse reduserer friksjonen for utviklere, og lar dem bygge MR-opplevelser som er så troverdige og oppslukende som mulig med okklusjons- og kollisjonseffekter i sanntid," sier Ray.

Romlige ankere for plassering av virtuelle objekter

"Hvis stereoskopisk fargegjennomgang og sceneforståelse gjør det tunge løftet for å la MR-opplevelser blande den fysiske og virtuelle verden, gir våre forankringsevner bindevevet som holder det hele sammen," sier Meta-produktsjef Laura Onu.

Romlige ankre er en kjernefunksjon for å hjelpe utviklere med å komme i gang med å bygge førsteklasses mixed reality-opplevelser. De gjør det mulig for en app å lage en referanseramme eller en nål i rommet som lar et virtuelt objekt forbli i rommet over tid. Takket være Spatial Anchors kan en produktdesigner forankre flere 3D-skjemaer på plass i Gravity Sketch, eller en gruppe venner kan forankre spillverdenen i Demeus til bordoverflaten slik at de kan gå tilbake til samme oppsett og fortsette spillet neste dag.

Spatial Anchors kan brukes i kombinasjon med Scene Model Anchors (vegger, et bord, gulvet, etc.) for å skape rike opplevelser og automatisk plassering i romskala. Brukerens rom blir et romlig gjengivelseslerret for både spilling og produktivitet. En utvikler kan velge å forankre en virtuell dør til en fysisk vegg. Brukeren kan deretter åpne den for å avsløre en fullstendig oppslukende virtuell verden, komplett med sine egne karakterer som deretter kan gå inn i det fysiske rommet.

"Ved å kombinere Scene Understanding med Spatial Anchors, kan du blande og tilpasse MR-opplevelsene dine til brukerens miljø for å skape en ny verden full av muligheter," bemerker Onu. "Du kan bli en hemmelig agent i din egen stue, plasser virtuelle møbler på rommet ditt eller skissere et tilbygg hjemme hos deg, lage fysikkspill, og mer."

Delte romlige ankere for samlokaliserte opplevelser

Sist men ikke minst har vi lagt til Delte romlige ankere til tilstedeværelsesplattform. Shared Spatial Anchors lar ankere opprettet av én person deles med andre i samme fysiske rom. Dette lar utviklere bygge lokale flerspilleropplevelser ved å lage en delt verdenslåst referanseramme for flere brukere. For eksempel kan to eller flere personer sitte ved det samme fysiske bordet og spille et virtuelt brettspill på toppen av det. Klikk her for å lære mer.

En vinnende kombinasjon for blandet virkelighet

Du trenger stereoskopisk fargegjennomgang, sceneforståelse, romlige ankere og delte romlige ankre sammen med sanntids okklusjon og kollisjon, objektdeteksjon og lysinformasjon – kombinert i én pakke for å levere sanne, meningsfulle MR-opplevelser. Og det hele må komme sammen med begrensninger som ytelseskostnader, databehandling og termikk i tankene. Men fremfor alt er det viktig å sikre en komfortabel opplevelse.

"Som med de fleste ting innen teknologi, er det avveininger involvert," erkjenner Meta Product Manager Avinav Pashine. "Selv om vår nåværende løsning ikke er perfekt, bevarer den databehandling samtidig som brukerkomforten maksimeres – og vi er i stand til å gi bedre dybde og bredde av utviklerverktøy på grunn av det."

Dette er bare begynnelsen. Meta Reality vil fortsette å utvikle seg gjennom programvareoppdateringer – og med maskinvarefremskritt som leveres i fremtidige Meta Quest-produkter.

"Meta Quest Pro er den første av mange MR-enheter som utforsker det spennende potensialet til denne nye teknologien," legger Silveira Cabral til. «Vi ønsker å lære sammen med utviklere når de bygger overbevisende opplevelser som omdefinerer hva som er mulig med et VR-headset. Denne historien er ikke komplett ennå – dette er bare side én.»