Denne teknologi kan forvandle den virkelige verden til levende kunst

Forskere kan tage et billede og bruge det som referencepunkt til at skabe en virtuel verden, et objekt eller en person.

Efterhånden som virksomheder udforsker at have en metavers tilstedeværelse gennem en digital tvilling, vil evnen til hurtigt og nemt at bygge stiliseret 3D-indhold og virtuelle verdener kun blive vigtigere fremover.

En for nylig offentliggjort Cornell University Paper udforskede denne voksende tendens og udviklede en løsning til fremstilling af stiliserede neurale udstrålingsfelter (SNeRF'er), der kan bruges til at skabe en bred vifte af dynamiske virtuelle scener med større hastigheder end traditionelle metoder.

Ved hjælp af forskellige referencebilleder kan forskerholdet af Tor Nguyen-Phuoc, Feng Liuog Lei Xiao var i stand til at generere stiliserede 3D-scener, der kunne bruges i en række virtuelle miljøer. Forestil dig for eksempel at tage et VR-headset på og se, hvordan den virkelige verden ville se ud gennem en stiliseret linse, såsom et Pablo Picasso-maleri.

Denne proces giver teamet mulighed for ikke kun at skabe virtuelle objekter hurtigt, men også bruge deres virkelige miljø som en del af den virtuelle verden med 3D-objektdetektion. 

Det er vigtigt at bemærke, at forskerholdet også var i stand til at observere det samme objekt via forskellige synsretninger på det samme synspunkt, ellers kendt som cross-view-konsistens. Dette skaber en fordybende 3D-effekt, når det ses i VR.

Ved at skifte trinene til NeRF og stiliseringsoptimering var forskerholdet i stand til at tage et billede og bruge det som en referencestil for derefter at genskabe et miljø, et objekt eller en person i den virkelige verden på en måde, der tilpasser stiliseringen af ​​det billede, og derved fremskynde skabelsesprocessen.

"Vi introducerer en ny træningsmetode til at løse dette problem ved at skifte NeRF og stiliseringsoptimeringstrinene," sagde holdet. "En sådan metode gør det muligt for os at udnytte vores hardwarehukommelseskapacitet fuldt ud til både at generere billeder i højere opløsning og anvende mere udtryksfulde billedstiloverførselsmetoder. Vores eksperimenter viser, at vores metode producerer stiliserede NeRF'er til en bred vifte af indhold, herunder indendørs, udendørs og dynamiske scener, og syntetiserer nye visninger af høj kvalitet med sammenhængende krydsvisning."

På grund af NeRFs hukommelsesbegrænsninger måtte forskerne også løse et andet problem med, hvordan de kunne gengive mere hi-def 3D-billeder med en hastighed, der føltes mere som realtid. Løsningen var at skabe en løkke af gengivne visninger, der med hver iteration var i stand til at målrette stiliseringspunkter mere konsistent ved hver passage og derefter genopbygge billedet med flere detaljer. 

Teknologien forbedrede også avatarer. Forskerholdets SNeRF stiliserede tilgang lod dem skabe en avatar, der var mere udtryksfuld under samtaler. Resultatet er dynamiske 4D-avatarer, der realistisk kan formidle følelser som vrede, frygt, begejstring og forvirring, alt sammen uden at skulle bruge en emoji eller trykke på en knap på en VR-controller.

Forskningsarbejdet fortsætter stadig, men i øjeblikket var holdet i stand til at udvikle en metode til 3D-scenestilisering ved hjælp af implicitte neurale repræsentationer, der påvirkede deres miljø og deres avatarer. Derudover tillod deres tilgang med at bruge en alternerende stiliseringsmetode dem at drage fordel af den fulde brug af deres hardwarehukommelseskapacitet til at stilisere både statiske og dynamiske 3D-scener, hvilket gjorde det muligt for teamet at generere billeder i højere opløsning og anvende en mere udtryksfuld billedstiloverførsel metoder i VR. 

Hvis du er interesseret i at grave dybt i detaljerne, kan du få adgang til deres rapport link..

Billedkredit: Cornell University