Hands-On: A Meta Reprojection-Free Passthrough prototípusa

A SIGGRAPH 2023-on kipróbáltam a Flamerát, a Meta kutatási prototípusát, a reprojekciómentes áthaladás AR-t.

Az átlátszatlan fejhallgatók, például a Quest Pro, az Apple Vision Pro és a Quest 3 nagy felbontású kamerákat használnak az előlapon, hogy megmutassák a valós világot. De mivel ezek a kamerák az Ön szemétől eltérő helyzetben vannak, a képfeldolgozó algoritmusok újravetítik a kameranézeteket, hogy megmutassák, mit látna a szeme.

Ez az újravetítés tökéletlen folyamat, amely növeli a késleltetést, és képfeldolgozási műtermékeket eredményez – bár egyre jobb újabb hardverekkel, mint a kamerák és a feldolgozó lapkakészletek javulnak.

A Flamera célja, hogy teljesen megkerülje az újravetítési megközelítést az alapoktól kezdődően az áthaladás szem előtt tartásával felépített hardvertervezéssel.

Minden szem előtt 53 lencse található, mindegyik olyan rekesznyílással, amely csak a szemhez képest meghatározott szögéből engedi be a fényt. Az ezekből a lencsékből származó fényt ezután egy hagyományos képérzékelőre fókuszálják, amely 53 kör formájában jelenik meg. A szoftver ezután „átrendezi a pixeleket, megbecsülve egy durva mélységtérképet, hogy lehetővé tegye a mélységfüggő rekonstrukciót”, a Meta szerint ez a folyamat számításilag lényegesen olcsóbb, mint az újravetítés, ezért alacsonyabb a késleltetése, és szinte semmilyen vizuális műterméket nem eredményez.

Na milyen volt?

A Meta's Flamera headset furcsasága az, hogy a kijelző rendszer elég borzasztó a használata. Ez egy 60 Hz-es, teljes perzisztenciájú kijelző, amely jellemzően az átlátszó AR-rendszerekben található, és a látómező csak a Quest fele. Ez kissé ironikus, mivel a Flamerát, akárcsak a Butterscotch Varifocalt, a Meta „Display Systems Research” csapata mutatja be.

A Flamera kijelzőrendszerét azonban úgy választották, hogy a készen kapható alkatrészekkel elérje a minimális headsetvastagságot. A demó pedig nem a megjelenítési rendszerről szól, hanem az újszerű rögzítési rendszerről.

Amit láttam, az egy valós áthaladási nézet volt, mindenféle torzítás vagy eltolás nélkül, ahol a kijelzőn keresztül látott objektumok geometriája megegyezett azzal, amit a felemeléskor láttam. A Flamera beváltja ígéretét.

Ennek ellenére a szörnyű kijelzőrendszer tartósan elvonta a figyelmet a Flamera által bemutatott dolgok valódi érdemeinek értékeléséről. A frissítési gyakoriság például azt jelentette, hogy a késleltetés eleve magas volt, a felbontás és a színvisszaadás pedig elmosódott, kimosott képet eredményezett.

A következő években remélem, hogy a Meta párosítja a Flamera rögzítőrendszerét a szintén vékony készülékkel A „Holocake” lencsékkel ugratott tavaly hogy lássuk, hogyan is nézhet ki ez a rögzítési megközelítés a megfelelő megjelenítési rendszerrel párosítva.

De praktikus?

Úgy tűnik, hogy a Meta Display Systems Research (DSR) csapata két különböző feladatra összpontosít: bizonyos hosszú távú XR-kijelző funkciók érzésének kutatására, és időnként konkrét technológiák kidolgozására e funkciók eléréséhez.

A másik headset, amit idén a SIGGRAPH-ban próbáltam, Butterscotch Varifocal, határozottan az előbbi fajta volt. Nem úgy mutatják be, mint tényleges gyakorlati módszert a varifokális vagy retina felbontás elérésére a termékekben.

De úgy tűnik, hogy a Flamera egyszerre a kivetítés-mentes áthaladás érzésének vizsgálata és a konkrét megközelítésre vonatkozó javaslat. Tehát ez felveti a kérdést: látni fogjuk ezt a termékekben?

Megkérdeztem a Flamera projekt vezetőjét (akinek az eredeti ötlete is volt) Grace Kuot. Megtudtam, hogy a Flamera megközelítésének egyetlen alapvetően költséges része az összes perspektíva rögzítéséhez szükséges rendkívül nagy képérzékelő, amely egyúttal nagy hőt is termel – a headset két oldalán láthatóak a hűtőbordák.

De erre is vannak potenciális megoldások, például minden objektívhez, vagy legalábbis objektívcsoportokhoz külön, jóval kisebb képérzékelőket kell használni.

Egy másik lehetséges jövőbeli megközelítés az újravetítés és a Flamera felezőpontja lenne, kevesebb objektív használata a bonyolultság és az alkatrészköltség csökkentése érdekében, valamint a használtnál gyengédebb vetítés, ami néhány vizuális műterméket eredményez – bár sokkal kevésbé súlyos, mint a jelenlegi hagyományos fényképezőgép-megközelítés. A hardver és a szoftver fúziója olyan dolog, amelyet Mea érdekelt.

A Meta elismeri, hogy a Flamera technológiái „soha nem fognak bekerülni egy fogyasztói termékké”. De még ha ez a helyzet is, ez még mindig azt mutatja, hogy az újszerű innováció szelleme él és virul a vállalat kutatási szempontjából, és azt sugallja, hogy az elkövetkező évtizedekben számos nem nyilvánvaló megoldás születhet a mai VR headsetek problémáira.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
• BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
• Forrás: https://www.uploadvr.com/meta-flamera-reprojection-free-passthrough-hands-on/