Tämä tekniikka voi muuttaa todellisen maailman eläväksi taiteeksi

Tutkijat voivat ottaa kuvan ja käyttää sitä vertailukohtana virtuaalisen maailman, esineen tai henkilön luomiseen.

Kun yritykset etsivät metaversaalista läsnäoloa digitaalisen kaksosen kautta, kyky luoda nopeasti ja helposti tyyliteltyä 3D-sisältöä ja virtuaalimaailmoja tulee vain entistä tärkeämmäksi eteenpäin.

Äskettäin julkaistu Cornell University Paper tutki tätä kasvavaa trendiä ja kehitti ratkaisun tyyliteltyjen hermosäteilykenttien (SNeRF) tuottamiseen, jolla voidaan luoda laaja valikoima dynaamisia virtuaalisia kohtauksia perinteisiä menetelmiä nopeammin.

Erilaisia ​​viitekuvia käyttämällä tutkimusryhmä to Nguyen-Phuoc, Feng Liuja Lei Xiao pystyivät luomaan tyyliteltyjä 3D-kohtauksia, joita voidaan käyttää erilaisissa virtuaaliympäristöissä. Kuvittele esimerkiksi, että laitat VR-kuulokkeet päähän ja katsot, miltä todellinen maailma näyttäisi tyylitellyn linssin, kuten Pablo Picasson maalauksen, läpi.

Tämän prosessin avulla tiimi voi paitsi luoda virtuaalisia objekteja nopeasti, myös hyödyntää niiden todellista ympäristöä osana virtuaalimaailmaa 3D-objektien tunnistuksen avulla. 

On tärkeää huomata, että tutkimusryhmä pystyi myös havainnoimaan samaa kohdetta eri näkösuuntien kautta samasta näkökulmasta, joka tunnetaan myös nimellä cross-view-konsistenssi. Tämä luo mukaansatempaavan 3D-efektin VR:ssä katsottuna.

Vuorottelemalla NeRF:n ja tyylitelmän optimoinnin vaiheita tutkimusryhmä pystyi ottamaan kuvan ja käyttämään sitä viitetyylinä luodakseen sitten uudelleen todellisen ympäristön, kohteen tai henkilön tavalla, joka mukauttaa kuvan tyylityksiä. nopeuttaa luomisprosessia.

"Esittelemme uuden koulutusmenetelmän tämän ongelman ratkaisemiseksi vuorotellen NeRF- ja tyylitelmän optimointivaiheita," sanoi joukkue. ”Tällaisen menetelmän avulla voimme hyödyntää täysimääräisesti laitteistomme muistikapasiteettia sekä tuottaa kuvia korkeammalla resoluutiolla että ottaa käyttöön ilmeikkäämpiä kuvatyylin siirtomenetelmiä. Kokeilumme osoittavat, että menetelmämme tuottaa tyyliteltyjä NeRF-kuvia laajalle sisällölle, mukaan lukien sisä-, ulko- ja dynaamiset kohtaukset, ja syntetisoi korkealaatuisia uusia näkymiä ristikkäisnäkymien johdonmukaisuudella."

NeRF:n muistirajoitusten vuoksi tutkijoiden oli myös ratkaistava toinen ongelma, kuinka he voisivat tuottaa enemmän teräväpiirtoisia 3D-kuvia nopeudella, joka tuntui enemmän reaaliajalta. Ratkaisu oli luoda silmukka renderöityjä näkymiä, jotka pystyivät jokaisella iteraatiolla kohdistamaan tyylittelypisteitä johdonmukaisemmin joka kerta ja rakentamaan kuvan uudelleen yksityiskohtaisemmin. 

Tekniikka paransi myös avatareja. Tutkimusryhmän SNeRF tyylitelty lähestymistapa antoi heille mahdollisuuden luoda avatar, joka oli ilmaisuvoimaisempi keskustelujen aikana. Tuloksena on dynaamisia 4D-avatareita, jotka voivat välittää realistisesti tunteita, kuten vihaa, pelkoa, jännitystä ja hämmennystä, ilman emojin käyttöä tai VR-ohjaimen painikkeen painamista.

Tutkimustyö jatkuu edelleen, mutta tällä hetkellä tiimi kykeni kehittämään menetelmän 3D-kohtausten tyylittämistä varten käyttämällä implisiittisiä hermorepresentaatioita, jotka vaikuttivat heidän ympäristöönsä ja avatareihinsa. Lisäksi heidän lähestymistapansa käyttää vaihtoehtoista tyylitelumenetelmää antoi heille mahdollisuuden hyödyntää laitteiston muistikapasiteettinsa täysimääräistä hyödyntämistä sekä staattisten että dynaamisten 3D-kohtausten tyylistämiseen, mikä antoi tiimille mahdollisuuden luoda kuvia korkeammalla resoluutiolla ja omaksua ilmeisemmän kuvatyylisiirron. menetelmät VR:ssä. 

Jos olet kiinnostunut syventymään yksityiskohtiin, pääset heidän raporttiinsa tätä.

Kuvan luotto: Cornell University