Ta tehnologija lahko resnični svet spremeni v živo umetnost

Raziskovalci lahko vzamejo sliko in jo uporabijo kot referenčno točko za ustvarjanje virtualnega sveta, predmeta ali osebe.

Medtem ko podjetja raziskujejo prisotnost metaverzuma prek digitalnega dvojčka, bo zmožnost hitre in enostavne gradnje stilizirane 3D-vsebine in virtualnih svetov v prihodnje postala še pomembnejša.

Nedavno objavljeno Cornell University članek je raziskal ta naraščajoči trend in razvil rešitev za ustvarjanje stiliziranih polj nevralnega sevanja (SNeRF), ki jih je mogoče uporabiti za ustvarjanje širokega nabora dinamičnih virtualnih prizorov pri večjih hitrostih kot tradicionalne metode.

Z uporabo različnih referenčnih slik je raziskovalna skupina dr Thu Nguyen-Phuoc, Feng Liuin Lei Xiao so lahko ustvarili stilizirane 3D prizore, ki bi jih lahko uporabili v različnih virtualnih okoljih. Na primer, predstavljajte si, da si nadenete slušalke VR in si ogledate, kako bi resnični svet izgledal skozi stilizirano lečo, kot je slika Pabla Picassa.

Ta postopek ekipi omogoča ne le hitro ustvarjanje virtualnih predmetov, temveč tudi uporabo njihovega realnega okolja kot dela virtualnega sveta s 3D zaznavanjem objektov. 

Pomembno je omeniti, da je raziskovalna skupina lahko opazovala isti predmet tudi v različnih smereh pogleda na isti točki pogleda, sicer znano kot doslednost navzkrižnega pogleda. To ustvari impresiven 3D-učinek pri gledanju v VR.

Z menjavanjem korakov NeRF in optimizacije stilizacije je raziskovalna skupina lahko posnela sliko in jo uporabila kot referenčni slog, da bi nato poustvarila okolje, predmet ali osebo iz resničnega sveta na način, ki prilagaja stilizacijo te slike, s čimer pospešitev procesa ustvarjanja.

»Uvajamo novo metodo usposabljanja za reševanje tega problema z izmenjevanjem korakov NeRF in optimizacije stilizacije,« je dejala ekipa. »Takšna metoda nam omogoča, da v celoti izkoristimo našo zmogljivost pomnilnika strojne opreme za generiranje slik z višjo ločljivostjo in sprejemanje bolj izrazitih načinov prenosa sloga slike. Naši poskusi kažejo, da naša metoda proizvaja stilizirane NeRF-je za široko paleto vsebin, vključno z notranjimi, zunanjimi in dinamičnimi prizori, ter sintetizira visokokakovostne nove poglede z doslednostjo navzkrižnega pogleda.”

Zaradi pomnilniških omejitev NeRF so morali raziskovalci rešiti tudi drugo težavo, kako bi lahko upodobili več 3D-posnetkov visoke ločljivosti s hitrostjo, ki bi bila bolj podobna realnemu času. Rešitev je bila ustvariti zanko upodobljenih pogledov, ki so lahko z vsako ponovitvijo bolj dosledno ciljali na stilizacijske točke z vsakim prehodom in nato ponovno zgradili sliko z več podrobnostmi. 

Tehnologija je izboljšala tudi avatarje. S stiliziranim pristopom SNeRF raziskovalne skupine so lahko ustvarili avatar, ki je bil med pogovori bolj izrazit. Rezultat so dinamični 4D avatarji, ki lahko realistično izražajo čustva, kot so jeza, strah, navdušenje in zmedenost, ne da bi morali uporabiti emoji ali pritisniti gumb na krmilniku VR.

Raziskovalno delo se še vedno nadaljuje, vendar je trenutno ekipi uspelo razviti metodo za stilizacijo 3D prizorov z uporabo implicitnih nevronskih predstavitev, ki so vplivale na njihovo okolje in njihove avatarje. Poleg tega jim je njihov pristop uporabe metode izmenične stilizacije omogočil, da so izkoristili polno uporabo zmogljivosti pomnilnika strojne opreme za stiliziranje statičnih in dinamičnih 3D-prizorov, kar je ekipi omogočilo ustvarjanje slik pri višji ločljivosti in sprejem izrazitejšega prenosa stila slike metode v VR. 

Če se želite poglobiti v podrobnosti, lahko dostopate do njihovega poročila tukaj.

Avtorstvo slike: Univerza Cornell