AI Baru NVIDIA yang Kecil Mengubah Foto Menjadi Pemandangan 3D Penuh Hanya Dalam Beberapa Detik

Diterbitkan Ulang Oleh Plato

Followers: 0

ai adegan 3d nvidia andy warhol tribut kamera polaroid sweater hitam

Ada suatu masa ketika mengubah foto lama menjadi gambar digital membuat orang terkesan. Hari-hari ini kita bisa melakukan sedikit lebih banyak, seperti menghidupkan foto-foto vintage ala Harry Potter. Dan minggu ini, pembuat chip NVIDIA melakukan trik sulap lainnya.

Berdasarkan pekerjaan sebelumnya, peneliti NVIDIA menunjukkan bagaimana jaringan saraf kecil yang dilatih pada beberapa lusin gambar dapat membuat adegan gambar dalam 3D penuh. Sebagai demo, tim mengubah gambar model yang memegang kamera Polaroid—sebuah ode untuk Andy Warhol—menjadi adegan 3D.

Pekerjaan itu menonjol karena beberapa alasan.

Pertama, ini sangat cepat. Model AI sebelumnya membutuhkan waktu berjam-jam untuk berlatih dan beberapa menit untuk membuat adegan 3D. Jaringan saraf NVIDIA membutuhkan waktu tidak lebih dari beberapa menit untuk melatih dan merender adegan dalam puluhan milidetik. Kedua, AI itu sendiri kecil dibandingkan dengan model bahasa raksasa saat ini. Model besar seperti GPT-3 melatih ratusan atau ribuan unit pemrosesan grafis (GPU). AI rendering gambar NVIDIA berjalan pada satu GPU.

Pekerjaan terus berkembang medan pancaran saraf (NeRFs), sebuah teknik yang dikembangkan oleh para peneliti di UC Berkeley, UC San Diego, dan Google Research, beberapa tahun lalu. Singkatnya, NeRF mengambil kumpulan data terbatas—misalnya, 36 foto subjek yang diambil dari berbagai sudut—dan kemudian memprediksi warna, intensitas, dan arah cahaya yang memancar dari Apa pun titik di tempat kejadian. Artinya, neural net mengisi celah antara gambar dengan tebakan terbaik berdasarkan data pelatihan. Hasilnya adalah ruang 3D berkelanjutan yang disatukan dari gambar aslinya.

Kontribusi terbaru NVIDIA, dituangkan dalam makalah, menempatkan NeRF pada obat peningkat kinerja. Menurut makalah tersebut, metode baru, dijuluki Instant NeRF, mengeksploitasi pendekatan yang dikenal sebagai pengkodean jaringan hash multi-resolusi untuk menyederhanakan arsitektur algoritme dan menjalankannya secara paralel pada GPU. Performa yang ditingkatkan ini beberapa kali lipat—algoritme mereka berjalan hingga 1,000 kali lebih cepat, menurut sebuah Posting blog NVIDIA—tanpa mengorbankan kualitas.

NVIDIA membayangkan teknologi tersebut dapat menemukan jalannya ke dalam robot dan mobil self-driving, membantu mereka memvisualisasikan dan memahami dunia di sekitar mereka dengan lebih baik. Itu juga dapat digunakan untuk membuat avatar dengan ketelitian tinggi yang dapat diimpor orang ke dunia virtual atau untuk mereplikasi adegan dunia nyata di dunia digital tempat desainer dapat memodifikasi dan membangunnya.

Kecepatan dan ukuran jaringan saraf penting dalam kasus seperti itu, karena algoritme besar yang membutuhkan daya komputasi yang luar biasa tidak dapat digunakan oleh kebanyakan orang, juga tidak praktis untuk robot dan mobil tanpa koneksi yang cepat dan dapat diandalkan ke cloud.

Demo tersebut merupakan bagian dari konferensi pengembang NVIDIA minggu ini. Sorotan lainnya termasuk sistem untuk mobil self-driving yang bertujuan untuk memetakan 300,000 mil jalan turun ke sentimeter pada tahun 2024 dan Superkomputer AI perusahaan mengatakan akan menjadi yang tercepat di dunia setelah dirilis (klaim juga dibuat oleh Meta baru-baru ini).

Semua ini sangat cocok untuk narasi yang lebih besar. Dunia digital berdarah ke dunia nyata, dan sebaliknya. Dan bukan hanya buku, musik, foto, dokumen, dan pembayaran—tetapi orang, tempat, dan infrastruktur. Mengingat chip NVIDIA unggul dalam AI dan grafis, perusahaan berada pada posisi yang baik untuk memiliki andil dalam semuanya. Memang, tidak puas dengan membuat replika digital dari adegan individu, perusahaan mengatakan sedang membangun a kembaran digital Bumi juga.

Memang, semakin sulit untuk menarik garis antara promosi pemasaran dan penjualan dan perkembangan yang serius. Bukan hal yang aneh untuk melihat gabungan dari semua kata kunci teratas teknologi—NFT, metaverse, AI, blockchain—dalam satu judul. Tetapi sementara visi tampaknya melampaui kemampuan, ada banyak petunjuk yang akan kita dapatkan cepat atau lambat.

Mini AI yang dapat mengubah tumpukan polaroid menjadi pemandangan 3D hanyalah salah satunya.

Gambar Kredit: NVIDIA

Stempel Waktu: 27 Maret, 2022