Meta razkriva svoj sistem mešane resničnosti Meta Reality

Stereoskopski barvni prehod, prostorsko sidranje in razumevanje prizora bodo zagotovili bolj realistične izkušnje mešane resničnosti.

Po besedah ​​Sarthaka Raya, produktnega vodje pri Meti, zmožnost videti in komunicirati s svetom okoli sebe skozi mešano resničnost odpira nove priložnosti za VR. "Lahko se igrate s prijatelji v isti fizični sobi ali doživite produktivnost, ki združuje ogromne virtualne monitorje s fizičnimi orodji, in to je korak k naši dolgoročni viziji razširjene resničnosti."

V nasprotju s splošnim prepričanjem je izkušnja mešane resničnosti najbolj učinkovita, če lahko naprava VR/AR prepričljivo zlije fizični in virtualni svet. To pomeni, da morajo slušalke narediti več kot le zagotoviti 2D video vir, pravi a nedavna objava na blogu on Oculus.com.

Za nadaljevanje svoje zavezanosti razvoju najsodobnejših tehnologij VR je Meta napovedala uvedbo Meta Reality, novega sistema mešane resničnosti, ki ponuja notranji pogled na to, kaj gre za ustvarjanje izjemne izkušnje.

Stereoskopski barvni prehod za prostorsko zavedanje

Meta priznava pomen barvno prepustne in stereoskopske 3D tehnologije, ko gre za zagotavljanje udobnih in poglobljenih izkušenj mešane resničnosti.

"Meta Quest Pro združuje dva pogleda kamere za rekonstruiranje realistične globine, kar zagotavlja, da so izkušnje mešane resničnosti, zgrajene z barvnim prehodom, udobne za ljudi," je pojasnil vodja inženiringa Meta Computer Vision Ricardo Silveira Cabral. "Toda tudi stereo teksturni znaki omogočajo uporabnikovim možganom, da naredijo ostalo in sklepajo o globini, tudi če rekonstrukcija globine ni popolna ali je izven dosega sistema."

Ko na primer uporabljate Passthrough, se vaši možgani naučijo, da je skodelica za kavo približno tako oddaljena od vaše roke kot od pisala, ki stoji tik ob vas.

Oculus Insight, ki je lahko zajel le 100 interesnih točk za določitev položaja slušalk v sobi, je bila tehnologija, ki je zagotovila prvi samostojni sistem sledenja za potrošniško napravo VR. Od takrat je bil nadgrajen, da omogoča globoko zaznavanje. Za primerjavo, Meta Quest Pro lahko proizvede do 10,000 interesnih točk na sekundo pod različnimi svetlobnimi pogoji, kar vam omogoča ustvarjanje izboljšane 3D predstavitve vašega fizičnega prostora v realnem času.

S tem postopkom lahko Meta ustvari 3D model fizičnega sveta, ki se nenehno posodablja. Te podatke lahko nato uporabite za ustvarjanje ogrodja za predvidevanje upodabljanja, ki lahko ustvari slike vašega resničnega okolja. Da bi nadomestili zakasnitev upodabljanja, so rekonstrukcije prilagojene pogledu uporabnikovega levega in desnega očesa prek Asinhroni TimeWarp algoritem.

Kot pravi Silveira Cabral, uporaba barvne stereoskopske kamere ekipi omogoča bolj realistično interpretacijo resničnega sveta.

Razumevanje scene za mešanje virtualne vsebine v fizični svet

Komponenta Scene Understanding platforme Presence je bila predstavljena med dogodkom Connect 2021. Ta tehnologija razvijalcem omogoča ustvarjanje zapletenih izkušenj mešane resničnosti, ki se zavedajo scene. Po besedah ​​Wei Lyuja, produktnega vodje Meta Quest Pro, je bila komponenta Scene Understanding podjetja zasnovana tako, da pomaga razvijalcem, da se osredotočijo na gradnjo svojih podjetij in izkušenj..

»Uvedli smo Scene Understanding kot sistemsko rešitev,« je dejal Lyu.

Razumevanje scene je razdeljeno na tri področja:

• Scena Model - Enotna, celovita, posodobljena in sistemsko vodena predstavitev okolja, sestavljena iz geometrijskih in semantičnih informacij. Temeljni elementi modela scene so sidra. Vsako sidro je mogoče pritrditi na različne komponente. Na primer, uporabnikova dnevna soba je organizirana okoli posameznih sider s semantičnimi oznakami, kot so tla, strop, stene, miza in kavč. Sidra so pritrjena s preprosto geometrijsko predstavitvijo: 2D meja ali 3D omejevalni okvir.
• Zajem prizora – Sistemsko voden tok, ki uporabnikom omogoča, da se sprehodijo in zajamejo svojo sobno arhitekturo in pohištvo, da ustvarijo model scene. V prihodnosti bo cilj zagotoviti avtomatizirano različico Scene Capture, ki ne bo zahtevala, da ljudje ročno zajamejo svojo okolico.
• Scene API – Vmesnik, ki ga lahko aplikacije uporabljajo za dostop do prostorskih informacij v Scene Modelu za različne primere uporabe, vključno z umestitvijo vsebine, fiziko, navigacijo itd. S Scene API lahko razvijalci uporabijo Scene Model, da se navidezna žoga odbije od fizičnih površin v dejansko sobo ali virtualnega robota, ki lahko meri fizične stene.

»Scene Understanding zmanjšuje trenja za razvijalce in jim omogoča, da ustvarijo izkušnje MR, ki so čim bolj verodostojne in poglobljene z učinki okluzije in trka v realnem času,« je dodal Ray.

Prostorska sidra za navidezno postavitev objektov

Razvijalci lahko preprosto ustvarijo prvorazredne izkušnje mešane resničnosti z uporabo prostorskih sider, ki so osrednja zmogljivost platforme Meta Quest Pro. Na primer, oblikovalec izdelka lahko preprosto zasidra več 3D modelov v fizičnem prostoru z uporabo platforme, kot je Skica gravitacije ustvariti brezhibno okolje za njihov izdelek.

»Če stereoskopski barvni prehod in razumevanje scene opravita težko delo, da omogočita MR izkušnjam mešanje fizičnega in virtualnega sveta, naše zmožnosti sidranja zagotavljajo vezivno tkivo, ki drži vse skupaj,« je povedala produktna vodja Meta Laura Onu.

Skupaj s Scene Modelom lahko prostorska sidra uporabite za ustvarjanje bogatih in samodejnih okolij za različne izkušnje in situacije. Ustvarite lahko na primer navidezna vrata, ki so povezana s fizično steno. To bi bil velik korak za podjetja, ki iščejo tehnologijo XR za svoje poslovne rešitve na področju digitalnega twinninga, avtomatizacije skladišč in celo robotike.

Za zdaj se zdi, da je Meta bolj osredotočena na socialne izkušnje. »S kombinacijo Scene Understanding s Spatial Anchors lahko zlijete in prilagodite svoje MR izkušnje uporabnikovemu okolju, da ustvarite nov svet, poln možnosti,« pravi Onu, ki dodaja: »Tajni agent lahko postanete v svoji dnevni sobi. , postavite virtualno pohištvo v svojo sobo ali skicirajte prizidek svojega doma, ustvarite fizikalne igre in drugo.«

Skupna prostorska sidra za izkušnje v skupni lokaciji

Poleg tega je Meta platformi za prisotnost dodala funkcijo Shared Spatial Anchors. To vam omogoča ustvarjanje lokalnih izkušenj za več igralcev tako, da svoja sidra delite z drugimi uporabniki v istem prostoru. To bi vam in drugim prijateljem omogočilo igranje družabne igre VR na vrhu fizične mize na enak način kot Nagib pet zagotavlja svoje igralne izkušnje.

Zmagovalna kombinacija za mešano resničnost

Kombinacija prostorskih sidrišč, prehoda in razumevanja scene lahko pomaga ustvariti bogato in interaktivno okolje, ki je zasnovano tako, da izgleda in se počuti kot resnični svet. Avinav Pashine, produktni vodja Meta Quest Pro, je opozoril, da je pri ustvarjanju odličnega in udobnega okolja mešane resničnosti za uporabnike vključenih veliko kompromisov.

Prihodnost Meta Reality se še vedno razvija, saj podjetje nenehno izboljšuje platformo s posodobitvami programske opreme in inovacijami strojne opreme, ki bodo dostavljene v naslednji generaciji njihovih izdelkov. Silveira Cabral, produktni vodja Meta Quest Pro, je opozoril, da je prvi izdelek podjetja pomemben korak v razvoju Meta Reality.

»Želimo se učiti skupaj z razvijalci, ko gradijo prepričljive izkušnje, ki na novo definirajo, kaj je mogoče s slušalkami VR. Ta zgodba še ni popolna – to je šele prva stran.«

Avtorstvo slike: Meta