A Meta bemutatja Meta Reality Vegyes Valóság Rendszerét

A sztereoszkópikus színáteresztés, a térbeli lehorgonyzás és a jelenetmegértés valósághűbb vegyes valóságélményt biztosít.

Sarthak Ray, a Meta termékmenedzsere szerint az a képesség, hogy a vegyes valóságon keresztül lássák a körülöttünk lévő világot, és interakcióba léphessenek vele, új lehetőségeket nyit meg a VR számára. „Játszhat barátaival ugyanabban a fizikai szobában, vagy termelékenységi élményben részesítheti a hatalmas virtuális monitorokat fizikai eszközökkel, és ez egy lépés a kiterjesztett valóságra vonatkozó hosszabb távú elképzelésünk felé.”

A közhiedelemmel ellentétben a vegyes valóság élmény akkor a leghatékonyabb, ha a VR/AR eszköz képes meggyőzően ötvözni a fizikai és a virtuális világot. Ez azt jelenti, hogy a fejhallgatónak többet kell tennie, mint csupán 2D-s videót biztosítani, a szerint legutóbbi blogbejegyzés on Oculus.com.

Az élvonalbeli VR-technológiák fejlesztése iránti elkötelezettsége érdekében a Meta bejelentette a Meta Reality, egy új vegyes valóság rendszer bevezetését, amely belső pillantást nyújt a kivételes élmény létrehozására.

Sztereoszkópikus színáteresztés a térbeli tudatosság érdekében

A Meta felismeri a színáteresztő és a sztereoszkópikus 3D technológia fontosságát, amikor kényelmes és magával ragadó vegyes valóság élményt nyújt.

„A Meta Quest Pro két kameranézetet kombinál a valósághű mélység rekonstrukciója érdekében, ami biztosítja, hogy a színes Passthrough segítségével létrejött vegyes valóság élményei kényelmesek legyenek az emberek számára” – magyarázta Ricardo Silveira Cabral, a Meta Computer Vision Engineering menedzsere. "De emellett a sztereó textúra jelek lehetővé teszik a felhasználó agyának, hogy elvégezze a többit és következtessen a mélységre még akkor is, ha a mélységrekonstrukció nem tökéletes, vagy a rendszer hatókörén kívül esik."

Például a Passthrough használatakor az agy megtanulja, hogy a kávéscsésze körülbelül olyan távol van a kezedtől, mint a melletted lévő tolltól.

Az Oculus Insight, amely csak 100 érdeklődési pontot tudott rögzíteni a headset helyiségben elfoglalt helyzetének meghatározásához, olyan technológia volt, amely az első önálló nyomkövető rendszert biztosította egy fogyasztói VR-eszköz számára. Azóta frissítették, hogy lehetővé tegye a mély érzékelést. Összehasonlításképpen, a Meta Quest Pro másodpercenként akár 10,000 3 kamatpontot is képes előállítani különböző fényviszonyok mellett, lehetővé téve a fizikai tér tökéletesített XNUMXD-s megjelenítését valós időben.

Ezzel a folyamattal a Meta képes létrehozni a fizikai világ 3D-s modelljét, amely folyamatosan frissül. Ezeket az adatokat ezután felhasználhatja egy prediktív megjelenítési keretrendszer létrehozására, amely képes képeket készíteni a valós környezetről. A megjelenítés késésének kompenzálására a rekonstrukciókat a felhasználók bal és jobb szemének nézetéhez igazítják a Aszinkron TimeWarp algoritmus.

Silveira Cabral szerint a színes sztereoszkópikus kamera használata lehetővé teszi a csapat számára, hogy valósághűbb értelmezését adja a valós világnak.

Jelenetértés a virtuális tartalom fizikai világba keveréséhez

A Presence Platform Scene Understanding komponensét a Connect 2021 esemény során mutatták be. Ez a technológia lehetővé teszi a fejlesztők számára, hogy összetett és jelenet-tudatos vegyes valóság élményeket hozzanak létre. Wei Lyu, a Meta Quest Pro termékmenedzsere szerint a cég Scene Understanding komponensét úgy tervezték, hogy segítse a fejlesztőket abban, hogy a vállalkozásuk és tapasztalataik építésére összpontosítsanak..

„Bevezettük a Scene Understanding-ot rendszermegoldásként” – mondta Lyu.

A jelenet megértése három területre oszlik:

• Jelenetmodell - A környezet egységes, átfogó, naprakész és rendszer által kezelt ábrázolása, amely geometriai és szemantikai információkból áll. A jelenetmodell alapvető elemei a horgonyok. Minden horgony különféle alkatrészekhez rögzíthető. Például a felhasználó nappalija szemantikus címkékkel ellátott horgonyok köré szerveződik, mint például a padló, a mennyezet, a falak, az íróasztal és a kanapé. A horgonyokat egyszerű geometriai ábrázolással rögzítik: 2D-s határvonallal vagy 3D-s határolókerettel.
• Jelenet rögzítése – Rendszervezérelt áramlás, amely lehetővé teszi a felhasználók számára, hogy körbejárják, és megörökítsék a szoba felépítését és bútorait, hogy jelenetmodellt hozzanak létre. A jövőben a cél az lesz, hogy a Scene Capture automatizált verzióját szállítsák, amelyhez nem szükséges manuálisan rögzíteni a környezetüket.
• Scene API – Olyan felület, amelyet az alkalmazások a Scene Model térinformációinak eléréséhez használhatnak különféle felhasználási esetekben, beleértve a tartalomelhelyezést, a fizikát, a navigációt stb. A Scene API segítségével a fejlesztők a Scene Model segítségével virtuális labdát pattoghatnak a fizikai felületekről. a tényleges szoba vagy egy virtuális robot, amely képes átméretezni a fizikai falakat.

„A Scene Understanding csökkenti a súrlódást a fejlesztők számára, lehetővé téve számukra, hogy valós idejű okklúziós és ütközési effektusokkal olyan MR-élményeket alkossanak, amelyek a lehető leghihetőbbek és magával ragadóbbak” – tette hozzá Ray.

Térbeli horgonyok a virtuális objektumok elhelyezéséhez

A fejlesztők könnyedén hozhatnak létre első osztályú vegyes valóság élményeket a Spatial Anchors segítségével, amely a Meta Quest Pro platform alapvető képessége. Például egy terméktervező könnyedén rögzíthet több 3D-s modellt egy fizikai térben egy olyan platform segítségével, mint például Gravitációs vázlat hogy zökkenőmentes környezetet teremtsenek termékük számára.

„Ha a sztereoszkópikus színáteresztés és a jelenetmegértés megteszi azt a nehéz feladatot, hogy az MR-élmények egyesítsék a fizikai és a virtuális világot, a rögzítési képességeink biztosítják a kötőszövetet, amely mindezt egyben tartja” – mondta Laura Onu, a Meta termékmenedzsere.

A jelenetmodellel együtt a térbeli horgonyok gazdag és automatikus környezetek létrehozására használhatók különféle élményekhez és helyzetekhez. Létrehozhat például egy virtuális ajtót, amely egy fizikai falhoz csatlakozik. Ez óriási lépés lenne azoknak a vállalatoknak, amelyek az XR technológiát keresik a digitális ikerintézményi együttműködésben, a raktárautomatizálásban és még a robotikában is.

Egyelőre úgy tűnik, hogy Meta inkább a közösségi élményekre koncentrál. "A Scene Understanding és a Spatial Anchors kombinálásával MR-élményeit a felhasználó környezetéhez keverheti és adaptálhatja, hogy egy új, lehetőségekkel teli világot hozzon létre" - mondja Onu, aki hozzáteszi: "Titkos ügynökké válhat a saját nappalijában. , helyezzen el virtuális bútorokat a szobájában, vagy vázoljon fel egy bővítményt otthonára, készítsen fizikai játékokat stb.

Megosztott térbeli horgonyok a közös helyszínek élményéhez

Ezenkívül a Meta hozzáadta a Shared Spatial Anchors funkciót a jelenléti platformhoz. Ez lehetővé teszi, hogy helyi többjátékos élményeket hozzon létre azáltal, hogy megosztja horgonyait más felhasználókkal ugyanazon a téren. Ez lehetővé tenné, hogy Ön és más barátai ugyanúgy VR-táblás játékot játsszanak egy fizikai asztal tetején TiltFive játékélményeiket nyújtják.

Nyerő kombináció a vegyes valósághoz

A térbeli horgonyok, az áthaladás és a jelenetmegértés kombinációja gazdag és interaktív környezetet hozhat létre, amelyet úgy terveztek, hogy úgy nézzen ki, mint a való világban. Avinav Pashine, a Meta Quest Pro termékmenedzsere megjegyezte, hogy számos kompromisszum szükséges ahhoz, hogy nagyszerű és kényelmes vegyes valóságot hozzunk létre a felhasználók számára.

A Meta Reality jövője még mindig fejlődik, mivel a vállalat folyamatosan fejleszti a platformot szoftverfrissítések és hardver innovációk révén, amelyeket termékeik következő generációjában szállítanak majd. Silveira Cabral, a Meta Quest Pro termékmenedzsere megjegyezte, hogy a vállalat első terméke fontos lépés a Meta Reality fejlődésében.

„Szeretnénk együtt tanulni a fejlesztőkkel, miközben lenyűgöző élményeket építenek ki, amelyek újradefiniálják, mi lehetséges egy VR headsetben. Ez a történet még nem teljes – ez csak az első oldal.”

Kép forrása: Meta