Pratico: prototipo passthrough senza riproiezione di Meta

Al SIGGRAPH 2023 ho provato Flamera, il prototipo di ricerca di Meta di passthrough AR senza riproiezione.

I visori opachi come Quest Pro, Apple Vision Pro e Quest 3 utilizzano fotocamere ad alta risoluzione nella parte anteriore per mostrarti il ​​mondo reale. Ma poiché quelle telecamere si trovano in una posizione diversa rispetto ai tuoi occhi, gli algoritmi di elaborazione delle immagini vengono utilizzati per riproiettare le visualizzazioni della telecamera per mostrare ciò che i tuoi occhi vedrebbero.

Questa riproiezione è un processo imperfetto che aggiunge latenza e provoca artefatti nell'elaborazione delle immagini sta migliorando con l'hardware più recente poiché le fotocamere e i chipset per elaborarli migliorano.

Flamera mira a bypassare completamente l'approccio di riproiezione con un design hardware da zero costruito da zero pensando al passthrough.

È dotato di 53 lenti davanti a ciascun occhio, ciascuna con un'apertura che lascia entrare la luce solo dal suo angolo specifico rispetto all'occhio. La luce proveniente da questi obiettivi viene quindi focalizzata su un sensore di immagine tradizionale, apparendo come 53 cerchi. Il software quindi “riorganizza i pixel, stimando una mappa di profondità grossolana per consentire una ricostruzione dipendente dalla profondità”, un processo che secondo Meta è significativamente meno costoso dal punto di vista computazionale della riproiezione, quindi ha una latenza inferiore e non produce quasi alcun artefatto visivo.

Allora, com'è stato?

La cosa strana delle cuffie Flamera di Meta è che sistema di visualizzazione che usa è davvero orribile. È un display a persistenza completa a 60 Hz del tipo che si trova più tipicamente nei sistemi AR trasparenti, con un campo visivo solo circa la metà di un Quest. Ciò è alquanto ironico dato che Flamera, come Butterscotch Varifocal, è presentato dal team "Display Systems Research" di Meta.

Ma il sistema di visualizzazione di Flamera è stato scelto per ottenere lo spessore minimo delle cuffie con componenti standard. E la demo non riguarda il sistema di visualizzazione, ma il nuovo sistema di acquisizione.

Ciò che ho visto era una visione passthrough del mondo reale senza distorsioni o spostamenti di alcun tipo, in cui la geometria degli oggetti che vedevo attraverso il display era identica a quella che vedevo sollevandolo. Flamera mantiene la sua promessa.

Tuttavia, il terribile sistema di visualizzazione era una distrazione persistente dall'apprezzamento dei veri meriti di ciò che Flamera presenta. La frequenza di aggiornamento, ad esempio, significava che la latenza era intrinsecamente elevata, e la risoluzione e la riproduzione dei colori portavano a un'immagine sfocata e sbiadita.

Negli anni futuri, spero di vedere Meta accoppiare il sistema di acquisizione di Flamera con quello anche sottile Lenti "Holocake" annunciate l'anno scorso per vedere come può realmente apparire questo approccio di acquisizione abbinato al giusto sistema di visualizzazione.

Ma è pratico?

Il team Display Systems Research (DSR) di Meta sembra essere concentrato su due compiti diversi: ricercare la sensazione di specifiche funzionalità di visualizzazione XR a lungo termine e, occasionalmente, individuare tecnologie specifiche per ottenere tali funzionalità.

L'altro auricolare che ho provato al SIGGRAPH quest'anno, Butterscotch Varifocal, era sicuramente il primo tipo. Non viene presentato come un modo pratico per ottenere la risoluzione varifocale o retinica nei prodotti.

Ma Flamera sembra essere allo stesso tempo un'indagine sul sentimento di passaggio senza riproiezione ed una proposta per un approccio specifico. Ciò solleva quindi la domanda: lo vedremo nei prodotti?

Ho chiesto a Grace Kuo, responsabile del progetto Flamera (che aveva anche l'idea originale). Ho imparato che l'unica parte fondamentalmente costosa dell'approccio di Flamera è il sensore di immagine estremamente grande necessario per catturare tutte le prospettive, che genera anche molto calore: puoi vedere i dissipatori di calore su ciascun lato del visore.

Ma ci sono potenziali soluzioni a questo, come l’utilizzo di sensori di immagine separati molto più piccoli per ciascun obiettivo, o almeno gruppi di obiettivi.

Un altro potenziale approccio futuro sarebbe un punto medio di riproiezione e Flamera, utilizzando meno obiettivi per ridurre la complessità e il costo dei componenti e applicando una riproiezione più delicata rispetto a quella utilizzata, con conseguenti alcuni artefatti visivi, anche se molto meno gravi dell'attuale approccio tradizionale della fotocamera. Questa fusione di hardware e software è qualcosa che Mea è interessato a indagare.

Meta ammette che le tecnologie di Flamera “potrebbero non farsi mai strada in un prodotto rivolto al consumatore”. Ma anche se così fosse, ciò dimostra comunque che lo spirito di innovazione è vivo e vegeto nei termini di ricerca dell’azienda e suggerisce che potrebbero esserci molte soluzioni non ovvie ai problemi dei visori VR oggi inventati nei prossimi decenni.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Grafico Prime. Migliora il tuo gioco di trading con ChartPrime. Accedi qui.
• BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
• Fonte: https://www.uploadvr.com/meta-flamera-reprojection-free-passthrough-hands-on/