Teknologi Ini Dapat Mengubah Dunia Nyata Menjadi Seni Hidup

Peneliti dapat mengambil gambar dan menggunakannya sebagai titik referensi untuk menciptakan dunia virtual, objek, atau orang.

Saat perusahaan mengeksplorasi kehadiran metaverse melalui kembaran digital, kemampuan untuk dengan cepat dan mudah membangun konten 3D bergaya dan dunia virtual hanya akan menjadi lebih penting ke depannya.

Baru diterbitkan Cornell University Makalah mengeksplorasi tren yang berkembang ini dan mengembangkan solusi untuk menghasilkan bidang pancaran saraf bergaya (SNeRFs) yang dapat digunakan untuk membuat berbagai adegan virtual dinamis dengan kecepatan lebih tinggi daripada metode tradisional.

Menggunakan berbagai gambar referensi, tim peneliti dari Kam Nguyen-Phuoc, Feng liu, dan Lei Xiao mampu menghasilkan adegan 3D bergaya yang dapat digunakan di berbagai lingkungan virtual. Misalnya, bayangkan mengenakan headset VR dan melihat bagaimana dunia nyata akan terlihat melalui lensa bergaya seperti lukisan Pablo Picasso.

Proses ini memungkinkan tim untuk tidak hanya membuat objek virtual dengan cepat tetapi juga memanfaatkan lingkungan dunia nyata mereka sebagai bagian dari dunia virtual dengan deteksi objek 3D. 

Penting untuk dicatat bahwa tim peneliti juga dapat mengamati objek yang sama melalui arah pandang yang berbeda pada sudut pandang yang sama, atau dikenal sebagai konsistensi tampilan silang. Ini menciptakan efek 3D yang imersif saat dilihat dalam VR.

Dengan mengganti langkah NeRF dan pengoptimalan gaya, tim peneliti dapat mengambil gambar dan menggunakannya sebagai gaya referensi untuk kemudian menciptakan kembali lingkungan, objek, atau orang dunia nyata dengan cara yang menyesuaikan gaya gambar itu, sehingga mempercepat proses pembuatan.

“Kami memperkenalkan metode pelatihan baru untuk mengatasi masalah ini dengan mengganti langkah NeRF dan pengoptimalan gaya,” kata tim. “Metode seperti itu memungkinkan kami memanfaatkan sepenuhnya kapasitas memori perangkat keras kami untuk menghasilkan gambar dengan resolusi lebih tinggi dan mengadopsi metode transfer gaya gambar yang lebih ekspresif. Eksperimen kami menunjukkan bahwa metode kami menghasilkan NeRF bergaya untuk berbagai konten, termasuk adegan dalam ruangan, luar ruangan, dan dinamis, dan mensintesis tampilan baru berkualitas tinggi dengan konsistensi lintas tampilan.”

Karena keterbatasan memori NeRF, para peneliti juga harus memecahkan masalah lain tentang bagaimana mereka dapat membuat lebih banyak citra 3D definisi tinggi dengan kecepatan yang terasa lebih seperti waktu nyata. Solusinya adalah membuat lingkaran tampilan yang dirender yang dengan setiap iterasi dapat menargetkan titik stylization secara lebih konsisten dengan setiap passing dan kemudian membangun kembali gambar dengan lebih detail. 

Teknologi ini juga meningkatkan avatar. Pendekatan bergaya SNeRF tim peneliti memungkinkan mereka membuat avatar yang lebih ekspresif selama percakapan. Hasilnya adalah avatar 4D dinamis yang secara realistis dapat menyampaikan emosi seperti kemarahan, ketakutan, kegembiraan, dan kebingungan, semuanya tanpa harus menggunakan emoji atau menekan tombol pada pengontrol VR.

Pekerjaan penelitian masih berlanjut, tetapi saat ini tim dapat mengembangkan metode untuk gaya adegan 3D menggunakan representasi saraf implisit yang memengaruhi lingkungan dan avatar mereka. Selain itu, pendekatan mereka dalam menggunakan metode stylization bergantian memungkinkan mereka untuk memanfaatkan sepenuhnya kemampuan memori perangkat keras mereka untuk menyesuaikan dgn mode adegan 3D statis dan dinamis, memungkinkan tim untuk menghasilkan gambar pada resolusi lebih tinggi dan mengadopsi transfer gaya gambar yang lebih ekspresif. metode dalam VR. 

Jika Anda tertarik untuk menggali lebih dalam detailnya, Anda dapat mengakses laporan mereka di sini.

Kredit Gambar: Universitas Cornell