Meta avalikustab oma metareaalsuse segareaalsussüsteemi

Stereoskoopiline värvide läbimine, ruumiline ankurdamine ja stseeni mõistmine pakuvad realistlikumaid segareaalsuse kogemusi.

Meta tootejuhi Sarthak Ray sõnul avab võimalus näha ja suhelda ümbritseva maailma läbi segareaalsuse VR-i jaoks uusi võimalusi. "Saate mängida sõpradega samas füüsilises ruumis või tootlikkuse kogemustes, mis ühendavad tohutud virtuaalsed monitorid füüsiliste tööriistadega, ja see on samm meie liitreaalsuse pikemaajalise visiooni suunas."

Vastupidiselt levinud arvamusele on segareaalsuse kogemus kõige tõhusam, kui VR/AR-seade suudab veenvalt ühendada füüsilise ja virtuaalse maailma. See tähendab, et peakomplekt peab tegema enamat kui lihtsalt pakkuma 2D-videovoogu vastavalt a hiljutine blogipostitus on Oculus.com.

Et edendada oma pühendumust tipptasemel VR-tehnoloogiate arendamisele, on Meta teatanud uue segareaalsussüsteemi Meta Reality turuletoomisest, mis pakub sisevaadet erakordse kogemuse loomisele.

Stereoskoopiline värviläbipääs ruumilise teadlikkuse saavutamiseks

Meta mõistab värvide läbilaskevõime ja stereoskoopilise 3D-tehnoloogia tähtsust mugava ja kaasahaarava segareaalsuskogemuse pakkumisel.

"Meta Quest Pro ühendab kaks kaameravaadet, et rekonstrueerida realistlik sügavus, mis tagab, et värvilise läbipääsu abil loodud segareaalsuskogemused on inimestele mugavad," selgitas Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Kuid ka stereotekstuuri näpunäited võimaldavad kasutaja ajul teha ülejäänu ja järeldada sügavust isegi siis, kui sügavuse rekonstrueerimine pole täiuslik või jääb süsteemi ulatusest välja."

Näiteks Passthrough'i kasutamisel õpib teie aju, et kohvitass on teie käest umbes sama kaugel kui teie kõrval asuvast pastakast.

Oculus Insight, mis suutis koguda vaid 100 huvipunkti, et määrata peakomplekti asukoht ruumis, oli tehnoloogia, mis pakkus tarbijatele mõeldud VR-seadme jaoks esimest eraldiseisvat jälgimissüsteemi. Sellest ajast alates on seda uuendatud, et võimaldada sügavat tuvastamist. Võrdluseks: Meta Quest Pro suudab erinevates valgustingimustes toota kuni 10,000 3 huvipunkti sekundis, võimaldades teil luua oma füüsilisest ruumist reaalajas täiustatud XNUMXD-esitus.

Selle protsessi kaudu suudab Meta luua füüsilisest maailmast 3D-mudeli, mida pidevalt uuendatakse. Seejärel saate neid andmeid kasutada ennustava renderdusraamistiku loomiseks, mis suudab luua pilte teie reaalsest keskkonnast. Renderdamise latentsuse kompenseerimiseks kohandatakse rekonstruktsioonid kasutajate vasaku ja parema silma vaatega. Asünkroonne TimeWarp algoritm.

Silveira Cabrali sõnul võimaldab värvilise stereoskoopkaamera kasutamine meeskonnal pakkuda reaalset maailma realistlikumat tõlgendust.

Stseeni mõistmine virtuaalse sisu füüsilisse maailma ühendamiseks

Kohalolekuplatvormi Scene Understanding komponenti tutvustati ürituse Connect 2021 ajal. See tehnoloogia võimaldab arendajatel luua keerulisi ja stseeniteadlikke segareaalsuskogemusi. Meta Quest Pro tootejuhi Wei Lyu sõnul oli ettevõtte Scene Understanding komponent loodud selleks, et aidata arendajatel keskenduda oma ettevõtete ja kogemuste loomisele..

"Tutvustasime Scene Understandingi süsteemilahendusena," ütles Lyu.

Stseeni mõistmine jaguneb kolmeks valdkonnaks:

• Stseeni mudel - Geomeetrilisest ja semantilisest teabest koosnev ühtne, kõikehõlmav, ajakohane ja süsteemi poolt hallatav keskkonnaesitus. Stseenimudeli põhielemendid on ankrud. Iga ankru saab kinnitada erinevate komponentide külge. Näiteks on kasutaja elutuba korraldatud semantiliste siltidega üksikute ankrute ümber, nagu põrand, lagi, seinad, laud ja diivan. Ankrud kinnitatakse lihtsa geomeetrilise kujutisega: 2D piirde või 3D piirdekastiga.
• Stseeni jäädvustamine – Süsteemi juhitud voog, mis võimaldab kasutajatel stseenimudeli loomiseks oma ruumi arhitektuuri ja mööbli jäädvustada. Tulevikus on eesmärk pakkuda Scene Capture'i automatiseeritud versiooni, mis ei nõua inimestelt ümbritsevat käsitsi jäädvustamist.
• Scene API – liides, mida rakendused saavad kasutada stseenimudelis ruumiandmetele juurde pääsemiseks erinevatel kasutusjuhtudel, sealhulgas sisu paigutuse, füüsika, navigeerimise jms jaoks. Scene API abil saavad arendajad kasutada stseenimudelit, et panna virtuaalne pall füüsilistelt pindadelt tagasi põrgatama. tegelik ruum või virtuaalne robot, mis suudab suurendada füüsilisi seinu.

„Stseenist arusaamine vähendab arendajate hõõrdumist, võimaldades neil luua võimalikult usutavaid ja kaasahaaravaid MR-kogemusi, kasutades reaalajas oklusiooni- ja kokkupõrkeefekte,” lisas Ray.

Ruumiankrud virtuaalobjektide paigutamiseks

Arendajad saavad hõlpsasti luua esmaklassilisi segareaalsuse kogemusi, kasutades ruumiankruid, mis on Meta Quest Pro platvormi põhifunktsioon. Näiteks saab tootedisainer hõlpsasti ankurdada mitu 3D-mudelit kogu füüsilises ruumis, kasutades sellist platvormi Gravitatsiooni visand luua oma tootele sujuv keskkond.

"Kui stereoskoopiline värviläbilaskmine ja stseeni mõistmine teevad raskusi, et MR-kogemused saaksid ühendada füüsilise ja virtuaalse maailma, pakuvad meie ankurdusvõimalused sidekoe, mis seda kõike koos hoiab," ütles Meta tootejuht Laura Onu.

Koos stseenimudeliga saab ruumiankruid kasutada rikkalike ja automaatsete keskkondade loomiseks erinevate kogemuste ja olukordade jaoks. Näiteks saate luua virtuaalse ukse, mis on ühendatud füüsilise seinaga. See oleks suur samm ettevõtetele, kes otsivad XR-tehnoloogiat oma ettevõttelahenduste jaoks digitaalse mestimise, laoautomaatika ja isegi robootika valdkonnas.

Praegu tundub, et Meta on rohkem keskendunud sotsiaalsetele kogemustele. "Scene Understandingi ja ruumiankrute kombineerimisel saate oma MR-kogemusi kombineerida ja kohandada kasutaja keskkonnaga, et luua uus võimalustega maailm," ütleb Onu, kes lisab: "Sa võid saada salaagendiks oma elutoas. , paigutage oma tuppa virtuaalne mööbel või visandage oma kodus laiendus, looge füüsikamänge ja palju muud.

Jagatud ruumiankrud ühise asukohaga kogemuste jaoks

Lisaks on Meta kohalolekuplatvormile lisanud funktsiooni Shared Spatial Anchors. See võimaldab teil luua kohalikke mitme mängijaga mängukogemusi, jagades oma ankruid teiste kasutajatega samas ruumis. See võimaldaks teil ja teistel sõpradel mängida VR-lauamänge füüsilise laua peal samal viisil Kallutage viis pakub neile mängukogemusi.

Võidukombinatsioon segareaalsuse jaoks

Ruumiankrute, läbipääsu ja stseeni mõistmise kombinatsioon võib aidata luua rikkalikku ja interaktiivset keskkonda, mis näeb välja ja tundub nagu päris maailm. Meta Quest Pro tootejuht Avinav Pashine märkis, et kasutajatele suurepärase ja mugava segareaalsuse keskkonna loomisel on palju kompromisse.

Meta Reality tulevik areneb endiselt, kuna ettevõte täiustab pidevalt platvormi tarkvarauuenduste ja riistvarauuenduste kaudu, mis tarnitakse nende toodete järgmise põlvkonna jaoks. Meta Quest Pro tootejuht Silveira Cabral märkis, et ettevõtte esimene toode on oluline samm Meta Reality arengus.

„Tahame õppida koos arendajatega, kui nad loovad veenvaid kogemusi, mis määratlevad uuesti VR-peakomplektiga võimaliku. See lugu pole veel valmis – see on alles esimene lehekülg.

Pildi krediit: Meta