Tutvustame metareaalsust: pilk tehnoloogiatele, mis on vajalikud virtuaalse ja füüsilise maailma veenvaks ühendamiseks

Segareaalsus (MR) võib avada ukse mitmesugustele ainulaadsetele kogemustele, alates produktiivsusest ja reaalajas koostööst kolleegidega kuni sõprade ja perega ajaveetmiseni kuni uut tüüpi mängude ja interaktiivsete rakendusteni, millest me pole veel unistanudki. Kuigi VR sukeldab teid täielikult digitaalsesse keskkonda, annab MR teile vabaduse liikuda ja suhelda inimeste ja objektidega oma füüsilises ruumis, nautides samal ajal virtuaalset sisu, avades VR-is uue klassi AR-laadsed kogemused, mis täiendavad teie füüsilist ruumi.

"Võimalus näha enda ümber olevat füüsilist maailma ja kombineerida seda virtuaalse sisuga avab tänapäeval VR-ile uusi võimalusi – näiteks mängud, mida saate sõpradega samas füüsilises ruumis mängida, või tootlikkuse kogemused, mis ühendavad tohutud virtuaalsed monitorid füüsiliste tööriistadega. ,” selgitab Meta tootejuht Sarthak Ray. "Ja see on samm meie liitreaalsuse pikemaajalise visiooni suunas."

Levinud on eksiarvamus, et segareaalsust saab saavutada lihtsalt peakomplektis reaalajas kõrge eraldusvõimega videovoo näitamisega füüsilisest maailmast, kuid tõde on palju keerulisem. Usutavad MR-kogemused nõuavad oskust virtuaalset ja füüsilist maailma veenvalt segada – see tähendab, et peakomplekt peab tegema enamat kui lihtsalt teie füüsilist ümbrust 2D-videona kuvama. See peab tegelikult teie ruumi digitaalselt rekonstrueerima 3D-ruumina, mõistma teid ümbritsevaid objekte ja pindu. Selleks on vaja keerukat süsteemi, mis koosneb mitmest riist- ja tarkvaratehnoloogiast, nagu kõrge eraldusvõimega andurid, Läbi pääsema, AI-toega Stseeni mõistmineja Ruumiankrud, kõik töötavad koos sujuvalt ja mugavalt.

Metas investeerime pidevalt originaalsesse uurimis- ja arendustegevusse, et luua juhtivaid VR-tehnoloogiaid, mida pakume tarbijatele ulatuslikult – seejuures asetame inimesed oma disainis esikohale. Keskendume detailidele, mille aluseks on sügav arusaam sellest, kuidas inimesed ümbritsevat maailma tajuvad, ja soov ühendada see taju ümbritsevate kogemustega, mis erutavad inimesi virtuaalse ja segareaalsuse võimalustest. Täna tutvustame oma ainulaadsele segareaalsussüsteemile uut nime – Meta Reality – ja anname teile põhjaliku ülevaate sellest, mis annab tõeliselt esmaklassilise MR-kogemuse.

Stereoskoopiline värviläbipääs ruumilise teadlikkuse saavutamiseks

Ennekõike peab tõeline MR-kogemus olema mugav ja tunduma loomuliku vaatamiskogemusena – otsene videovoog, mis ei suuda sügavustunnet edasi anda, lihtsalt ei suuda seda pakkuda, isegi kui see on kõrge eraldusvõimega. Lisaks võib see vaatajale ebamugav olla, kui läbipääs on monoskoopiline (ühe vaatenurga alt vaadatuna) ja/või puudub sügavusnäpunäide. Sest Läbi pääsema Mugavuse huvides tuleb üksikule silmapuhvrile renderdatud kujutised genereerida kahest erinevast nurgast, pakkudes stereoskoopilisi vihjeid. See koos sügavuse ja värvide teabe olemasoluga on mugava kogemuse taastamiseks oluline.

Meie stereoskoopiline värvilahendus kasutab kohandatud riistvaraarhitektuuri, täiustatud arvutinägemisalgoritme ja tipptasemel masinõpet, mis modelleerivad seda, kuidas teie silmad loomulikult ümbritsevat maailma näevad, et selle väljakutsega toime tulla. Parem kaamera ja ekraani eraldusvõime tagavad parema pildikvaliteedi, kuna Meta Quest Pro kaamerad jäädvustavad neli korda rohkem piksleid kui Meta Quest 2 kaamerad. Kuid võib-olla veelgi olulisem on see, et selle pildipõhine renderdamine, stereogeomeetria rekonstrueerimine ja sügavuse mõistmine määravad objektide asukoha antud ruumis stseeni suhtes. See uudne algoritmide virn võimaldab Meta Quest Pro-l tuvastada ruumi geomeetria aspekte ja täpselt määrata objektide asukohta 3D-ruumis. Nii et kui sirutate oma laual oleva kohvitassi poole ja vaatate seda stereoskoopilise värviga Passthrough abil, mõistab teie aju, et tass on teie käest kaugemal kui teie kõrval istuv pliiats.

"Meta Quest Pro ühendab kaks kaameravaadet, et rekonstrueerida realistlik sügavus, mis tagab, et värvilise läbipääsu abil loodud segareaalsuse kogemused on inimestele mugavad," selgitab Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Kuid ka stereotekstuuri näpunäited võimaldavad kasutaja ajul teha ülejäänu ja järeldada sügavust isegi siis, kui sügavuse rekonstrueerimine pole täiuslik või jääb süsteemi ulatusest välja."

Meeles pidama Oculus Insight— meie tehnoloogia, mis võimaldas esimese eraldiseisva täisfunktsionaalse jälgimissüsteemi VR-seadme jaoks? Täiendasime selle sügavustuvastusvõimalusi, et luua reaalajas antud ruumi tihe 3D-esitus. Kui Insight kasutab ruumis peakomplekti asukoha määramiseks ruumis umbes 100 huvipunkti, siis meie Meta Quest Pro sügavustuvastuslahendus toodab kuni 10,000 3 punkti kaadri kohta kuni viie meetri kaugusel erinevates loomuliku ja kunstliku valgustuse tingimustes. Kasutame seda teavet füüsilise maailma 3D-võrgu loomiseks, kombineerides selle väljundi mõne kaadri vahel, et luua ruumi tihe XNUMXD ja ajaliselt stabiilne esitus. Seda võrku kasutatakse seejärel ennustava renderdamisega, et luua pilte füüsilisest maailmast. See tähendab, et rekonstruktsioonid kõverdatakse meie abil eraldi peakomplekti vasaku ja parema silma vaatega Asünkroonne TimeWarp tehnoloogia, mis ennustab kasutaja silmade asendit mõne millisekundi jooksul tulevikus, et kompenseerida renderdamise latentsust.

Lõpuks muudab värvi lisamine kogu kogemuse realistlikumaks. "Värvikaamerat kasutatakse stereoskoopilise vaate värvimiseks, et tuua kogemus füüsilisele maailmale võimalikult lähedale," ütleb Silveira Cabral. „Selle arhitektuuri ja kogu konveieri ulatuses tehtud optimeerimiste abil saame pakkuda stereoskoopilise värvi läbipääsu Meta Quest Pro kõigi olemasolevate Meta Quest 2 pealkirjade ja tulevaste MR-rakenduste jaoks vaikekogemusena ilma täiendavate arvutusressurssideta. See tähendab, et olemasolevad rakendused, mis kasutavad Meta Quest 2-s Passthrough'i, töötavad koos Meta Quest Pro uue stereoskoopilise värvilise Passthrough tehnoloogiaga kohe karbist välja võttes.

Kui see kõik kokku liita, annab Meta Quest Pro stereoskoopiline värviline läbipääs mugavama kogemuse sügavuse tajumisega ja vähem visuaalseid moonutusi kui monoskoopilised lahendused, avades kvaliteetsed toamõõtmelised segareaalsuse kogemused.

Stseeni mõistmine virtuaalse sisu füüsilisse maailma ühendamiseks

Tutvustatakse osana Kohaloleku platvorm Connect 2021 ajal, Stseeni mõistmine võimaldab arendajatel kiiresti luua keerulisi ja stseenitundlikke MR-kogemusi, mis võimaldavad rikkalikku suhtlust kasutaja keskkonnaga.

"Keerukuse minimeerimiseks ja võimaldamaks arendajatel keskenduda oma kogemuste ja äri loomisele, tutvustasime Scene Understandingi süsteemilahendusena," märgib Meta tootejuht Wei Lyu.

• Stseeni mudel on ühtne, kõikehõlmav, ajakohane ja süsteemselt hallatav keskkonnaesitus, mis koosneb geomeetrilisest ja semantilisest teabest. Stseenimudeli põhielemendid on ankrud ja iga ankru saab kinnitada erinevate komponentidega. Näiteks on kasutaja elutuba korraldatud semantiliste siltidega üksikute ankrute ümber, nagu põrand, lagi, seinad, laud ja diivan. Igaüks neist on lisatud ka lihtsa geomeetrilise kujutisega: 2D-piire või 3D-piirdekast.
• Stseeni jäädvustamine on süsteemi juhitud voog, mis võimaldab kasutajatel ringi jalutada ja jäädvustada oma ruumi arhitektuuri ja mööblit, et luua stseenimudel. Tulevikus on meie eesmärk pakkuda Scene Capture'i automatiseeritud versiooni, mis ei nõua inimestelt ümbritsevat käsitsi jäädvustamist.
• Scene API on liides, mille kaudu rakendused saavad stseenimudelis olevale ruumiteabele päringuid teha ja sellele juurde pääseda erinevate kasutusjuhtude jaoks, sealhulgas sisu paigutuse, füüsika, navigeerimise jms jaoks. Scene API abil saavad arendajad kasutada stseenimudelit, et panna virtuaalne pall füüsilistelt pindadelt tagasi põrgatama. tegelik ruum või virtuaalne robot, mis suudab suurendada füüsilisi seinu.

„Stseenist arusaamine vähendab arendajate hõõrdumist, võimaldades neil luua võimalikult usutavaid ja kaasahaaravaid MR-kogemusi, kasutades reaalajas oklusiooni- ja kokkupõrkeefekte,“ ütleb Ray.

Ruumiankrud virtuaalobjektide paigutamiseks

"Kui stereoskoopilised värviläbipääsud ja stseeni mõistmine teevad raskeid jõupingutusi, et MR-kogemused saaksid ühendada füüsilise ja virtuaalse maailma, pakuvad meie ankurdusvõimalused sidekoe, mis seda kõike koos hoiab," ütleb Meta tootejuht Laura Onu.

Ruumiankrud on põhifunktsioon, mis aitab arendajatel alustada esmaklassiliste segareaalsuskogemuste loomist. Need võimaldavad rakendusel luua ruumis tugiraami või nööpnõela, mis võimaldab virtuaalsel objektil aja jooksul ruumis püsida. Tänu ruumiankrutele saab tootedisainer ankurdada mitu 3D-skeemi Gravitatsiooni visandvõi sõpruskond võib mängumaailma ankurdada Demoo oma laua pinnale, et nad saaksid naasta samale seadistusele ja jätkata mängu järgmisel päeval.

Ruumiankruid saab kasutada koos stseenimudeli ankrutega (seinad, laud, põrand jne), et luua rikkalikke kogemusi ja automaatset paigutust ruumis. Kasutaja ruumist saab ruumiline renderdamise lõuend nii mängimise kui ka tootlikkuse jaoks. Arendaja võib valida virtuaalse ukse kinnitamise füüsilise seina külge. Seejärel saab kasutaja selle avada, et avada täielikult kaasahaarav virtuaalne maailm koos oma tegelastega, kes saavad seejärel siseneda füüsilisse ruumi.

"Scene Understandingi ja ruumiankrute kombineerimisel saate oma MR-kogemusi kasutaja keskkonnaga kombineerida ja kohandada, et luua uus võimalusi täis maailm," märgib Onu. "Sa saad saada salaagendiks oma elutuppa, paiguta oma tuppa virtuaalne mööbel või visandada laiendus oma kodus, luua füüsikamänge, ja veel."

Ühised ruumiankrud ühise asukohaga kogemuste jaoks

Viimasena, kuid mitte vähemtähtsana, oleme lisanud Jagatud ruumiankrud kohaloleku platvormile. Jagatud ruumiankrud võimaldavad ühe inimese loodud ankruid jagada teistega samas füüsilises ruumis. See võimaldab arendajatel luua kohalikke mitme mängijaga mängukogemusi, luues mitme kasutaja jaoks jagatud maailma lukustatud tugiraamistiku. Näiteks võivad kaks või enam inimest istuda sama füüsilise laua taga ja mängida selle peal virtuaalset lauamängu. Kliki siia rohkem teada saada.

Võidukombinatsioon segareaalsuse jaoks

Vajate stereoskoopilist värviläbipääsu, stseeni mõistmist, ruumiankruid ja jagatud ruumiankruid koos reaalajas oklusiooni ja kokkupõrke, objektide tuvastamise ja valgustusteabega – need on ühendatud ühes paketis, et pakkuda tõelisi ja tähendusrikkaid MR-kogemusi. Ja see kõik tuleb kokku võtta, pidades silmas selliseid piiranguid nagu jõudluskulud, arvutused ja termid. Kuid eelkõige on oluline tagada mugav kogemus.

"Nagu enamiku tehnikaga seotud asjadega, on ka sellega seotud kompromissid," tunnistab Meta tootejuht Avinav Pashine. "Kuigi meie praegune lahendus ei ole täiuslik, säilitab see arvutusi, maksimeerides samal ajal kasutaja mugavust – ja tänu sellele suudame pakkuda arendajatööriistade paremat sügavust ja laiust."

See on alles algus. Meta Reality areneb jätkuvalt tarkvarauuenduste kaudu ja tulevaste Meta Questi toodete riistvara edusammude kaudu.

"Meta Quest Pro on esimene paljudest MR-seadmetest, mis uurivad selle areneva tehnoloogia põnevat potentsiaali," lisab Silveira Cabral. „Tahame õppida koos arendajatega, kui nad loovad veenvaid kogemusi, mis määratlevad uuesti VR-peakomplektiga võimaliku. See lugu pole veel valmis – see on alles esimene lehekülg.