Denna teknik kan förvandla den verkliga världen till levande konst

Forskare kan ta en bild och använda den som referenspunkt för att skapa en virtuell värld, ett objekt eller en person.

När företag utforskar att ha en metavers närvaro genom en digital tvilling, kommer möjligheten att snabbt och enkelt bygga ut stiliserat 3D-innehåll och virtuella världar bara bli viktigare framöver.

En nyligen publicerad Cornell University paper utforskade denna växande trend och utvecklade en lösning för att producera stiliserade neurala strålningsfält (SNeRF) som kan användas för att skapa ett brett utbud av dynamiska virtuella scener i högre hastigheter än traditionella metoder.

Med hjälp av olika referensbilder har forskargruppen av Tors Nguyen-Phuoc, Feng Liuoch Lei Xiao kunde generera stiliserade 3D-scener som kunde användas i en mängd olika virtuella miljöer. Föreställ dig till exempel att du sätter på dig ett VR-headset och ser hur den verkliga världen skulle se ut genom en stiliserad lins som en Pablo Picasso-målning.

Denna process gör det möjligt för teamet att inte bara skapa virtuella objekt snabbt utan använda sin verkliga miljö som en del av den virtuella världen med 3D-objektdetektering. 

Det är viktigt att notera att forskargruppen också kunde observera samma objekt via olika synriktningar vid samma synvinkel, även känd som korsvykonsistens. Detta skapar en uppslukande 3D-effekt när den visas i VR.

Genom att alternera NeRF och stiliseringsoptimeringsstegen kunde forskargruppen ta en bild och använda den som en referensstil för att sedan återskapa en verklig miljö, objekt eller person på ett sätt som anpassar stiliseringen av den bilden, och därigenom påskynda skapelseprocessen.

"Vi introducerar en ny träningsmetod för att ta itu med detta problem genom att alternera NeRF och stiliseringsoptimeringsstegen," sa laget. "En sådan metod gör det möjligt för oss att fullt ut utnyttja vår hårdvaruminneskapacitet för att både generera bilder med högre upplösning och använda mer uttrycksfulla metoder för överföring av bildstil. Våra experiment visar att vår metod producerar stiliserade NeRFs för ett brett utbud av innehåll, inklusive inomhus, utomhus och dynamiska scener, och syntetiserar nya högkvalitativa vyer med korsvykonsistens."

På grund av minnesbegränsningarna hos NeRF var forskarna också tvungna att lösa ett annat problem med hur de kunde återge mer högupplösta 3D-bilder med en hastighet som kändes mer som realtid. Lösningen var att skapa en slinga av renderade vyer som med varje iteration kunde rikta in sig på stiliseringspunkter mer konsekvent för varje passning och sedan bygga om bilden med mer detaljer. 

Tekniken förbättrade också avatarer. Forskargruppens SNeRF-stiliserade tillvägagångssätt lät dem skapa en avatar som var mer uttrycksfull under konversationer. Resultatet är dynamiska 4D-avatarer som realistiskt kan förmedla känslor som ilska, rädsla, spänning och förvirring, allt utan att behöva använda en emoji eller trycka på en knapp på en VR-kontroller.

Forskningsarbetet fortsätter fortfarande, men för tillfället kunde teamet utveckla en metod för 3D-scenstilisering med hjälp av implicita neurala representationer som påverkade deras miljö och deras avatarer. Dessutom gjorde deras tillvägagångssätt att använda en alternerande stiliseringsmetod att de kunde dra fördel av den fulla användningen av deras hårdvaruminneskapacitet för att stilisera både statiska och dynamiska 3D-scener, vilket gjorde att teamet kunde generera bilder med högre upplösning och anta en mer uttrycksfull bildstilsöverföring metoder i VR. 

Om du är intresserad av att gräva djupt i detaljerna kan du komma åt deras rapport här..

Bildkredit: Cornell University