See tehnoloogia võib muuta reaalse maailma elavaks kunstiks

Teadlased saavad teha pildi ja kasutada seda võrdluspunktina virtuaalse maailma, objekti või inimese loomiseks.

Kuna ettevõtted uurivad metaversaalset kohalolekut digitaalse kaksiku kaudu, muutub stiliseeritud 3D-sisu ja virtuaalmaailmade kiire ja hõlpsa väljaehitamise võimalus edaspidi oluliseks.

Hiljuti avaldatud Cornell University paber uuris seda kasvavat trendi ja töötas välja lahenduse stiliseeritud närvikiirguse väljade (SNeRF) loomiseks, mida saab kasutada mitmesuguste dünaamiliste virtuaalsete stseenide loomiseks traditsioonilistest meetoditest suurema kiirusega.

Erinevaid võrdluspilte kasutades uuris uurimisrühm Neljap Nguyen-Phuoc, Feng Liuja Lei Xiao suutsid luua stiliseeritud 3D-stseene, mida sai kasutada erinevates virtuaalses keskkondades. Näiteks kujutage ette, et paned pähe VR-peakomplekti ja vaatad, kuidas reaalne maailm läbi stiliseeritud objektiivi, näiteks Pablo Picasso maali, välja näeb.

See protsess võimaldab meeskonnal mitte ainult kiiresti luua virtuaalseid objekte, vaid kasutada nende reaalset keskkonda virtuaalse maailma osana koos 3D-objektide tuvastamisega. 

Oluline on märkida, et uurimisrühm suutis vaadelda sama objekti ka erinevate vaatesuundade kaudu samas vaatepunktis, mida nimetatakse ka ristvaate järjepidevuseks. See loob VR-is vaadates kaasahaarava 3D-efekti.

Vahetades NeRF-i ja stiliseerimise optimeerimise etappe, suutis uurimisrühm teha pildi ja kasutada seda võrdlusstiilina, et seejärel luua reaalmaailma keskkond, objekt või inimene viisil, mis kohandab selle kujutise stiliseerimist. loomisprotsessi kiirendamine.

"Tutvustame selle probleemi lahendamiseks uut koolitusmeetodit, vahetades vaheldumisi NeRF-i ja stiliseerimise optimeerimise etappe," ütles meeskond. "Selline meetod võimaldab meil täielikult ära kasutada meie riistvara mälumahtu nii suurema eraldusvõimega piltide genereerimiseks kui ka ekspressiivsemate pildistiili edastusmeetodite kasutuselevõtuks. Meie katsed näitavad, et meie meetod loob stiliseeritud NeRF-e laia valiku sisu jaoks, sealhulgas sise-, välis- ja dünaamiliste stseenide jaoks, ning sünteesib kvaliteetseid uudseid vaateid ristvaate järjepidevusega.

NeRF-i mälupiirangute tõttu pidid teadlased lahendama ka teise probleemi, kuidas nad saaksid rohkem kõrglahutusega 3D-kujutisi renderdada kiirusega, mis tundus rohkem reaalajas. Lahenduseks oli luua renderdatud vaadete silmus, mis suutis iga iteratsiooniga stiliseerimispunkte järjekindlamalt sihtida ja seejärel pilti üksikasjalikumalt uuesti üles ehitada. 

Tehnoloogia parandas ka avatare. Uurimisrühma SNeRF stiliseeritud lähenemine võimaldas neil luua avatari, mis oli vestluste ajal väljendusrikkam. Tulemuseks on dünaamilised 4D-avatarid, mis suudavad reaalselt edasi anda emotsioone, nagu viha, hirm, põnevus ja segadus, ilma et peaks kasutama emotikone või vajutama VR-kontrolleri nuppu.

Uurimistöö jätkub, kuid hetkel suutis meeskond välja töötada meetodi 3D-stseeni stiliseerimiseks, kasutades kaudseid närvikujutusi, mis mõjutasid nende keskkonda ja avatare. Lisaks võimaldas nende lähenemine alternatiivse stiliseerimismeetodi kasutamisele ära kasutada oma riistvaramälu täielikku ärakasutamist nii staatiliste kui ka dünaamiliste 3D-stseenide stiliseerimiseks, võimaldades meeskonnal luua pilte kõrgema eraldusvõimega ja kasutada ekspressiivsemat pildistiili edastust. meetodid VR-is. 

Kui olete huvitatud üksikasjadesse süvenemisest, pääsete juurde nende aruandele siin.

Pildi krediit: Cornelli ülikool