Revolusi dalam Grafik Komputer Membawa Pengambilan Realitas 3D ke Masyarakat Umum

Revolusi dalam Grafik Komputer Membawa Pengambilan Realitas 3D ke Masyarakat Umum

Stempel Waktu: 6 November 2023 10
Revolusi dalam Grafik Komputer Membawa Pengambilan Realitas 3D ke Kecerdasan Data PlatoBlockchain Massa. Pencarian Vertikal. Ai.

Sebagai senjata perang, penghancuran situs warisan budaya adalah a metode umum oleh penjajah bersenjata untuk menghilangkan identitas komunitas mereka yang berbeda. Maka tidak mengherankan, pada bulan Februari 2022, ketika pasukan Rusia menyerbu Ukraina, para sejarawan dan ahli warisan budaya bersiap menghadapi kehancuran yang akan datang. Sejauh ini dalam Perang Rusia-Ukraina, UNESCO telah melakukannya dikonfirmasi kerusakan ratusan bangunan keagamaan dan sejarah serta puluhan monumen umum, perpustakaan, dan museum.

Sementara teknologi baru seperti drone berbiaya rendah, 3D pencetakan, dan internet satelit pribadi mungkin menciptakan medan perang abad ke-21 yang asing bagi tentara konvensional, rangkaian teknologi lainnya menciptakan kemungkinan-kemungkinan baru bagi para arsiparis warga di garis depan untuk melestarikan situs-situs warisan Ukraina.

Cadangan Ukraina, sebuah proyek kolaborasi antara Komisi Nasional UNESCO Denmark dan Polycam, sebuah alat pembuatan 3D, memungkinkan siapa saja yang hanya bermodalkan ponsel untuk memindai dan menangkap model 3D situs warisan budaya yang berkualitas tinggi, detail, dan fotorealistik, sesuatu yang hanya mungkin dilakukan dengan biaya yang mahal dan memberatkan. peralatan beberapa tahun yang lalu.

Backup Ukraina adalah ekspresi penting dari kecepatan menakjubkan kemajuan teknologi pengambilan gambar 3D dan grafis, menurut Bilawal Sidhu, seorang teknolog, angel investor, dan mantan manajer produk Google yang bekerja pada peta 3D dan AR/VR.

“Teknologi yang menangkap realitas berada pada kurva demokratisasi yang eksponensial,” jelasnya kepada saya dalam sebuah wawancara untuk Hub Singularity.

Menurut Sidhu, menghasilkan aset 3D mungkin dilakukan, tetapi hanya dengan alat mahal seperti kamera DSLR, pemindai lidar, dan lisensi perangkat lunak yang mahal. Sebagai contoh, ia mencontohkan karya CyArk, sebuah organisasi nirlaba yang didirikan dua dekade lalu dengan tujuan menggunakan teknologi penangkapan 3D tingkat profesional untuk melestarikan warisan budaya di seluruh dunia.

“Yang gila, dan yang berubah, adalah hari ini saya bisa melakukan semua itu dengan iPhone di saku Anda,” katanya.

Dalam diskusi kami, Sidhu memaparkan tiga tren teknologi berbeda namun saling terkait yang mendorong kemajuan ini. Pertama adalah penurunan biaya jenis kamera dan sensor yang dapat menangkap suatu objek atau ruang. Kedua adalah serangkaian teknik baru yang memanfaatkan kecerdasan buatan untuk membangun aset 3D jadi. Dan yang ketiga adalah proliferasi kekuatan komputasi, yang sebagian besar didorong oleh GPU, yang mampu merender objek dengan grafis intensif pada perangkat yang tersedia secara luas bagi konsumen.

Pemindai Lidar adalah contoh peningkatan harga-kinerja pada sensor. Pertama kali dipopulerkan sebagai sensor berputar besar di atas kendaraan otonom, dan diberi harga di puluhan ribu dolar, lidar memulai debutnya di bidang teknologi konsumen pada iPhone 12 Pro dan Pro Max pada tahun 2020. Kemampuan untuk memindai ruang dengan cara yang sama seperti mobil tanpa pengemudi melihat dunia berarti bahwa tiba-tiba siapa pun dapat dengan cepat dan murah menghasilkan aset 3D terperinci. Namun, hal ini masih hanya tersedia bagi pelanggan Apple terkaya.

Salah satu titik balik industri yang paling penting terjadi pada tahun yang sama ketika para peneliti di Google diperkenalkan bidang pancaran saraf, biasa disebut sebagai NeRF.

Pendekatan ini menggunakan pembelajaran mesin untuk membangun model 3D yang kredibel dari suatu objek atau ruang dari gambar atau video 2D. Jaringan saraf “berhalusinasi” bagaimana adegan 3D penuh akan muncul, menurut Sidhu. Ini adalah solusi untuk "melihat sintesis", sebuah tantangan grafis komputer yang memungkinkan seseorang melihat ruang dari sudut pandang mana pun hanya dari beberapa sumber gambar.

“Jadi hal itu keluar dan semua orang menyadari bahwa kita sekarang memiliki sintesis tampilan canggih yang bekerja dengan sangat baik untuk semua hal yang sulit dilakukan fotogrametri seperti transparansi, tembus cahaya, dan reflektifitas. Ini agak gila,” tambahnya.

Komunitas visi komputer menyalurkan kegembiraan mereka ke dalam aplikasi komersial. Di Google, Sidhu dan timnya mengeksplorasi penggunaan teknologi untuk pemandangan yang imersif, Google Maps versi 3D. Bagi rata-rata pengguna, tersebarnya aplikasi ramah konsumen seperti Luma AI dan lainnya berarti siapa pun yang hanya memiliki kamera ponsel pintar dapat membuat aset 3D fotorealistik. Penciptaan konten 3D berkualitas tinggi tidak lagi terbatas pada elit lidar Apple.

Kini, metode lain yang berpotensi lebih menjanjikan untuk menyelesaikan sintesis tampilan adalah mendapatkan perhatian yang menyaingi kegembiraan awal NeRF. Percikan Gaussian adalah teknik rendering yang meniru cara tersebut segitiga digunakan untuk aset 3D tradisional, namun alih-alih berbentuk segitiga, yang dimaksud adalah “percikan” warna yang diekspresikan melalui fungsi matematika yang dikenal sebagai gaussian. Semakin banyak gaussians yang disatukan, aset 3D yang sangat detail dan bertekstur menjadi terlihat. Kecepatan penerapan splatting sangat menakjubkan untuk dilihat.

Ini baru beberapa bulan tapi demo membanjiri X, dan Luma AI dan Polycam menawarkan alat untuk menghasilkan percikan gaussian. Pengembang lain sedang mencari cara untuk mengintegrasikannya ke dalam mesin permainan tradisional seperti Unity dan Unreal. Splats juga mendapatkan perhatian dari industri grafis komputer tradisional karena kecepatan renderingnya lebih cepat daripada NeRF, dan dapat diedit dengan cara yang sudah familiar bagi seniman 3D. (NeRF tidak mengizinkan hal ini karena dihasilkan oleh jaringan saraf yang tidak dapat dipahami.)

Untuk penjelasan bagus tentang cara kerja gaussian splatting dan mengapa hal ini menarik perhatian, lihat video dari Sidhu ini.

[Embedded content]

Terlepas dari detailnya, bagi konsumen, kita jelas berada pada momen di mana ponsel dapat menghasilkan aset 3D berkaliber Hollywood yang belum lama ini hanya dapat diproduksi oleh tim produksi yang berperalatan lengkap.

Namun mengapa kreasi 3D itu penting?

Untuk mengapresiasi peralihan ke konten 3D, perlu diperhatikan bahwa lanskap teknologi berorientasi pada masa depan “komputasi spasial”. Meskipun istilah-istilah yang digunakan secara berlebihan seperti metaverse mungkin menarik perhatian, semangat yang mendasarinya adalah pengakuan bahwa lingkungan 3D, seperti yang digunakan dalam video game, dunia virtual, dan digital twins memiliki peran besar di masa depan kita. Aset 3D seperti yang diproduksi oleh NeRFs dan splatting siap menjadi konten yang akan kami gunakan di masa depan.

Dalam konteks ini, ambisi berskala besar merupakan harapan yang nyata Peta 3D dunia. Meskipun alat untuk menghasilkan peta 3D statis telah tersedia, tantangannya tetap menemukan cara untuk menjaga agar peta tersebut tetap terkini di dunia yang terus berubah.

“Ada pembangunan model dunia, dan kemudian ada pemeliharaan model dunia tersebut. Dengan metode yang kita bicarakan ini, saya pikir kita akhirnya bisa memiliki teknologi untuk memecahkan masalah 'mempertahankan model' melalui crowdsourcing,” kata Sidhu.

Proyek seperti Google Immersive View adalah contoh awal yang baik mengenai dampak hal ini terhadap konsumen. Meskipun dia tidak mau berspekulasi kapan hal ini mungkin terjadi, Sidhu setuju bahwa suatu saat nanti, akan ada teknologi yang memungkinkan pengguna VR untuk berjalan-jalan di mana pun di Bumi dengan pengalaman real-time dan mendalam tentang apa yang terjadi di sana. . Jenis teknologi ini juga akan berdampak pada upaya “teleportasi” berbasis avatar,” pertemuan jarak jauh, dan pertemuan sosial lainnya.

Alasan lain yang menarik, kata Sidhu, adalah pengambilan memori 3D. Apple, misalnya, sangat condong ke arah itu Foto dan video 3D untuk headset realitas campuran Vision Pro mereka. Sebagai contoh, Sidhu bercerita kepada saya bahwa dia baru saja membuat replika rumah orangtuanya yang berkualitas tinggi sebelum mereka pindah. Dia kemudian bisa memberi mereka pengalaman berjalan di dalamnya menggunakan realitas virtual.

“Memiliki perasaan mendalam untuk kembali ke sana sangatlah kuat. Inilah mengapa saya sangat optimis terhadap Apple, karena jika mereka menerapkan format media 3D ini, maka hal-hal akan menjadi menarik bagi orang-orang biasa.”

Dari seni gua hingga lukisan cat minyak, dorongan untuk melestarikan aspek pengalaman indrawi kita sangatlah manusiawi. Sama seperti fotografi yang dulunya menggunakan benda mati sebagai sarana pelestarian, alat kreasi 3D tampaknya siap menggantikan urusan lama kita dengan gambar dan video 2D.

Namun, seperti halnya fotografi yang hanya bisa berharap untuk mengabadikan momen dalam waktu singkat, model 3D juga tidak bisa sepenuhnya menggantikan hubungan kita dengan dunia fisik. Namun, bagi mereka yang mengalami kengerian perang di Ukraina, mungkin hal ini merupakan perkembangan yang baik dan menawarkan cara yang lebih mendalam untuk melestarikan apa yang tidak akan pernah bisa tergantikan.

Gambar Kredit: Wim Torbeyns / Unsplash 

Stempel Waktu:

Lebih dari Hub Singularity