Meta Research: Pakaian Fotorealistik Untuk Avatar Codec

Meta membagikan penelitian baru tentang simulasi pakaian yang realistis untuk avatar.

Solusi pakaian ini dibangun di atas Codec Avatars – proyek jangka panjang Meta untuk dikembangkan avatar fotorealistik yang digerakkan secara real time oleh sensor perangkat keras VR – dan berasal dari tim yang sama. Alih-alih rendering tradisional, ide Avatar Codec adalah menggunakan serangkaian jaringan saraf untuk mempelajari penampilan orang tertentu, kemudian terus-menerus menyandikan status mereka saat ini berdasarkan input sensor, dan akhirnya mendekode status ini sebagai geometri dan tekstur keluaran akhir. Sejak pertama kali diperkenalkan, tim Codec Avatars telah memamerkan beberapa evolusi sistem, seperti mata yang lebih realistis, sebuah versi hanya membutuhkan pelacakan mata dan input mikrofon, Sebuah Versi 2.0 yang mendekati realisme lengkap, dan generasi hanya menggunakan iPhone dengan FaceID.

Penelitian terbaru, Penampilan Fotorealistik Mendalam untuk Pakaian yang Disimulasikan Secara Fisik, menerapkan jaringan saraf ke deformasi pakaian yang realistis di semua tipe tubuh:

Seperti yang selalu kami perhatikan, Meta masih memiliki jalan panjang untuk mencapai kesetiaan semacam ini dalam pengiriman produk. Sistem pakaian ini saat ini hanya berjalan pada 13 frame per detik pada GPU NVIDIA RTX 3090. Tetapi di bidang pengoptimalan pembelajaran mesin dapat menjadi dramatis seiring waktu. Sintesis ucapan dan algoritma pengenalan objek pada smartphone saat ini juga pernah membutuhkan GPU PC yang mahal.

Meta Avatar hari ini memiliki gaya seni kartun dasar. Realisme mereka sebenarnya telah menurun dari waktu ke waktu, kemungkinan lebih cocok untuk kelompok yang lebih besar dengan lingkungan yang kompleks di aplikasi seperti Horizon Worlds pada prosesor seluler Quest 2. Codec Avatars mungkin, bagaimanapun, berakhir sebagai opsi terpisah, daripada pembaruan langsung ke avatar kartun hari ini. Di wawancaranya dengan Lex Fridman, CEO Mark Zuckerberg menggambarkan masa depan di mana Anda dapat menggunakan avatar "ekspresionis" dalam game kasual dan avatar "realistis" dalam rapat kerja.

Pada bulan April Yaser Sheikh, yang memimpin tim Codec Avatars, mengatakan tidak mungkin untuk memprediksi seberapa jauh jarak dari pengiriman sebenarnya. Dia mengatakan bahwa ketika proyek dimulai itu adalah "sepuluh keajaiban jauhnya" dan dia sekarang percaya itu "lima keajaiban lagi".