Questa tecnologia può trasformare il mondo reale in arte vivente

I ricercatori possono prendere un'immagine e usarla come punto di riferimento per creare un mondo, un oggetto o una persona virtuale.

Mentre le aziende esplorano la possibilità di essere presenti nel metaverso attraverso un gemello digitale, la capacità di creare rapidamente e facilmente contenuti 3D stilizzati e mondi virtuali diventerà sempre più importante in futuro.

A pubblicato di recente Cornell University L'articolo ha esplorato questa tendenza crescente e ha sviluppato una soluzione per la produzione di campi di radianza neurale stilizzati (SNeRF) che possono essere utilizzati per creare un'ampia gamma di scene virtuali dinamiche a velocità maggiori rispetto ai metodi tradizionali.

Utilizzando varie immagini di riferimento, il gruppo di ricerca di Gio Nguyen-Phuoc, Feng Liue Lei Xiao sono stati in grado di generare scene 3D stilizzate che potrebbero essere utilizzate in una varietà di ambienti virtuali. Ad esempio, immagina di indossare un visore VR e di vedere come apparirebbe il mondo reale attraverso una lente stilizzata come un dipinto di Pablo Picasso.

Questo processo consente al team non solo di creare rapidamente oggetti virtuali, ma di utilizzare l'ambiente del mondo reale come parte del mondo virtuale con il rilevamento di oggetti 3D. 

È importante notare che il gruppo di ricerca è stato anche in grado di osservare lo stesso oggetto da diverse direzioni di vista dallo stesso punto di vista, altrimenti noto come coerenza incrociata. Questo crea un effetto 3D coinvolgente se visualizzato in VR.

Alternando le fasi NeRF e di ottimizzazione della stilizzazione, il team di ricerca è stato in grado di prendere un'immagine e utilizzarla come stile di riferimento per poi ricreare un ambiente, un oggetto o una persona del mondo reale in modo da adattare la stilizzazione di quell'immagine, in tal modo accelerando il processo di creazione.

"Introduciamo un nuovo metodo di formazione per affrontare questo problema alternando le fasi di ottimizzazione del NeRF e della stilizzazione", ha detto la squadra. “Tale metodo ci consente di sfruttare appieno la capacità della nostra memoria hardware sia per generare immagini a una risoluzione più elevata sia per adottare metodi di trasferimento dello stile dell'immagine più espressivi. I nostri esperimenti mostrano che il nostro metodo produce NeRF stilizzati per un’ampia gamma di contenuti, comprese scene interne, esterne e dinamiche, e sintetizza nuove visualizzazioni di alta qualità con coerenza incrociata”.

A causa dei limiti di memoria di NeRF, i ricercatori hanno dovuto risolvere anche un altro problema su come rendere più immagini 3D ad alta definizione a una velocità che sembrava più simile al tempo reale. La soluzione era creare un ciclo di viste renderizzate che a ogni iterazione fosse in grado di individuare i punti di stilizzazione in modo più coerente a ogni passaggio e quindi ricostruire l'immagine con maggiori dettagli. 

La tecnologia ha anche migliorato gli avatar. L’approccio stilizzato SNeRF del team di ricerca ha consentito loro di creare un avatar più espressivo durante le conversazioni. Il risultato sono avatar 4D dinamici in grado di trasmettere realisticamente emozioni come rabbia, paura, eccitazione e confusione, il tutto senza dover utilizzare un emoji o premere un pulsante su un controller VR.

Il lavoro di ricerca continua ancora, ma al momento il team è riuscito a sviluppare un metodo per la stilizzazione delle scene 3D utilizzando rappresentazioni neurali implicite che influivano sull'ambiente e sui loro avatar. Inoltre, il loro approccio all'utilizzo di un metodo di stilizzazione alternata ha permesso loro di sfruttare appieno la capacità della memoria hardware per stilizzare scene 3D statiche e dinamiche, consentendo al team di generare immagini a risoluzione più elevata e adottare un trasferimento di stili di immagine più espressivo. metodi in realtà virtuale. 

Se sei interessato ad approfondire i dettagli, puoi accedere al loro rapporto qui.

Credito immagine: Cornell University