Denne teknologien kan gjøre den virkelige verden til levende kunst

Forskere kan ta et bilde og bruke det som et referansepunkt for å skape en virtuell verden, objekt eller person.

Når selskaper utforsker å ha en metavers tilstedeværelse gjennom en digital tvilling, vil muligheten til raskt og enkelt bygge ut stilisert 3D-innhold og virtuelle verdener bare bli viktigere fremover.

En nylig publisert Cornell University paper utforsket denne voksende trenden og utviklet en løsning for å produsere stiliserte nevrale utstrålingsfelt (SNeRFs) som kan brukes til å lage et bredt spekter av dynamiske virtuelle scener i høyere hastigheter enn tradisjonelle metoder.

Ved hjelp av ulike referansebilder, forskerteamet av Tor Nguyen-Phuoc, Feng Liuog Lei Xiao var i stand til å generere stiliserte 3D-scener som kunne brukes i en rekke virtuelle miljøer. Tenk deg for eksempel å sette på et VR-headset og se hvordan den virkelige verden ville se ut gjennom en stilisert linse som et Pablo Picasso-maleri.

Denne prosessen lar teamet ikke bare lage virtuelle objekter raskt, men bruke det virkelige miljøet som en del av den virtuelle verdenen med 3D-objektdeteksjon. 

Det er viktig å merke seg at forskerteamet også var i stand til å observere det samme objektet via forskjellige synsretninger på samme synspunkt, ellers kjent som kryssvisningskonsistens. Dette skaper en oppslukende 3D-effekt når den vises i VR.

Ved å alternere NeRF- og stiliseringsoptimaliseringstrinnene, var forskerteamet i stand til å ta et bilde og bruke det som en referansestil for deretter å gjenskape et miljø, et objekt eller en person i den virkelige verden på en måte som tilpasser stiliseringen av det bildet, og derved. fremskynde opprettelsesprosessen.

"Vi introduserer en ny treningsmetode for å løse dette problemet ved å alternere NeRF og stiliseringsoptimaliseringstrinn," sa teamet. "En slik metode gjør det mulig for oss å utnytte vår maskinvareminnekapasitet til å både generere bilder med høyere oppløsning og ta i bruk mer uttrykksfulle metoder for overføring av bildestiler. Eksperimentene våre viser at metoden vår produserer stiliserte NeRF-er for et bredt spekter av innhold, inkludert innendørs, utendørs og dynamiske scener, og syntetiserer nye visninger av høy kvalitet med konsistens på tvers av visninger.»

På grunn av minnebegrensningene til NeRF, måtte forskerne også løse et annet problem med hvordan de kunne gjengi mer hi-def 3D-bilder med en hastighet som føltes mer som sanntid. Løsningen var å lage en løkke med gjengitte visninger som med hver iterasjon var i stand til å målrette stiliseringspunkter mer konsistent for hver passering og deretter gjenoppbygge bildet med flere detaljer. 

Teknologien forbedret også avatarer. Forskerteamets stiliserte SNeRF-tilnærming lot dem lage en avatar som var mer uttrykksfull under samtaler. Resultatet er dynamiske 4D-avatarer som realistisk kan formidle følelser som sinne, frykt, begeistring og forvirring, alt uten å måtte bruke en emoji eller trykke på en knapp på en VR-kontroller.

Forskningsarbeidet fortsetter fortsatt, men for øyeblikket var teamet i stand til å utvikle en metode for 3D-scenestilisering ved å bruke implisitte nevrale representasjoner som påvirket deres miljø og deres avatarer. I tillegg tillot deres tilnærming med å bruke en alternerende stiliseringsmetode dem å dra nytte av full bruk av maskinvareminneevnen deres for å stilisere både statiske og dynamiske 3D-scener, slik at teamet kunne generere bilder med høyere oppløsning og ta i bruk en mer uttrykksfull bildestiloverføring metoder i VR. 

Hvis du er interessert i å grave dypt i detaljene, kan du få tilgang til rapporten deres her..

Bildekreditt: Cornell University