Această tehnologie poate transforma lumea reală în artă vie

Cercetătorii pot lua o imagine și o pot folosi ca punct de referință pentru a crea o lume virtuală, un obiect sau o persoană.

Pe măsură ce companiile explorează a avea o prezență metaversă printr-un geamăn digital, capacitatea de a construi rapid și ușor conținut 3D stilizat și lumi virtuale va deveni mai importantă doar în avans.

Un publicat recent Universitatea Cornell Lucrarea a explorat această tendință în creștere și a dezvoltat o soluție pentru producerea de câmpuri de radiație neuronale stilizate (SNeRF) care pot fi folosite pentru a crea o gamă largă de scene virtuale dinamice la viteze mai mari decât metodele tradiționale.

Folosind diverse imagini de referință, echipa de cercetare a Thu Nguyen-Phuoc, Feng Liu, și Lei Xiao au putut genera scene 3D stilizate care ar putea fi utilizate într-o varietate de medii virtuale. De exemplu, imaginați-vă că vă puneți o cască VR și vedeți cum ar arăta lumea reală printr-o lentilă stilizată, cum ar fi un tablou Pablo Picasso.

Acest proces permite echipei nu numai să creeze rapid obiecte virtuale, dar să utilizeze mediul lor real ca parte a lumii virtuale cu detectarea obiectelor 3D. 

Este important de remarcat faptul că echipa de cercetare a reușit să observe același obiect prin direcții diferite de vedere la același punct de vedere, altfel cunoscut sub numele de consistență a vederii încrucișate. Acest lucru creează un efect 3D captivant atunci când este vizualizat în VR.

Alternând pașii NeRF și de optimizare a stilizării, echipa de cercetare a reușit să ia o imagine și să o folosească ca stil de referință pentru a recrea apoi un mediu, un obiect sau o persoană din lumea reală într-un mod care adaptează stilizarea acelei imagini, astfel accelerarea procesului de creație.

„Introducem o nouă metodă de antrenament pentru a rezolva această problemă, alternând pașii NeRF și optimizarea stilizării.” a spus echipa. „O astfel de metodă ne permite să folosim pe deplin capacitatea de memorie hardware atât pentru a genera imagini la rezoluție mai mare, cât și pentru a adopta metode de transfer mai expresive în stil de imagine. Experimentele noastre arată că metoda noastră produce NeRF-uri stilizate pentru o gamă largă de conținut, inclusiv scene interioare, exterioare și dinamice și sintetizează vederi noi de înaltă calitate, cu consistență încrucișată.”

Din cauza limitărilor de memorie ale NeRF, cercetătorii au trebuit să rezolve, de asemenea, o altă problemă privind modul în care ar putea reda mai multe imagini 3D de înaltă definiție la o viteză care se simțea mai mult ca în timp real. Soluția a fost de a crea o buclă de vederi redate care, cu fiecare iterație, a fost capabilă să vizeze punctele de stilizare mai consistent cu fiecare trecere și apoi să reconstruiască imaginea cu mai multe detalii. 

Tehnologia a îmbunătățit și avatarurile. Abordarea stilizată SNeRF a echipei de cercetare le-a permis să creeze un avatar care a fost mai expresiv în timpul conversațiilor. Rezultatul sunt avatare dinamice 4D care pot transmite în mod realist emoții precum furie, frică, entuziasm și confuzie, toate fără a fi nevoie să folosiți un emoji sau să apăsați un buton de pe un controler VR.

Lucrările de cercetare continuă, dar în acest moment echipa a reușit să dezvolte o metodă de stilizare a scenei 3D folosind reprezentări neuronale implicite care au impactat mediul și avatarurile lor. În plus, abordarea lor de a folosi o metodă de stilizare alternativă le-a permis să profite de utilizarea pe deplin a capacității lor de memorie hardware pentru a stiliza atât scene 3D statice, cât și dinamice, permițând echipei să genereze imagini la rezoluție mai mare și să adopte un transfer de stil de imagine mai expresiv. metode în VR. 

Dacă sunteți interesat să cercetați adânc în detalii, puteți accesa raportul lor aici.

Credit imagine: Universitatea Cornell