Demo Teknologi Menunjukkan Kekuatan Nyata dari Pelacakan Wajah Quest Pro

Kemampuan pelacakan wajah Quest Pro akan segera digunakan untuk membuat avatar Meta lebih ekspresif, tetapi avatar generasi berikutnya akan mendapat manfaat lebih banyak dari teknologi baru.

Salah satu fitur baru Quest Pro adalah sistem pelacakan wajah yang menggunakan kamera internal untuk merasakan pergerakan mata Anda dan beberapa bagian wajah Anda. Dikombinasikan dengan model pembelajaran mesin bebas kalibrasi, headset mengambil apa yang dilihatnya dan mengubahnya menjadi input yang dapat mendorong animasi avatar apa pun.

Cakupan Pro Quest Kunci:

Quest Pro Terungkap – Spesifikasi Lengkap, Harga, & Tanggal Rilis

Quest Pro Hands-on – Fajar Era Headset Realitas Campuran

Analisis Teknis Quest Pro – Apa yang Menjanjikan & Apa yang Tidak

Pengontrol Touch Pro Terungkap – Juga Kompatibel dengan Quest 2

Dalam waktu dekat, ini akan digunakan dengan avatar Meta yang ada. Dan meskipun itu membuat mereka lebih ekspresif, mereka masih terlihat agak konyol.

Ini kemungkinan hasil dari sistem avatar Meta saat ini yang tidak dibangun dengan mempertimbangkan tingkat pelacakan wajah ini. The 'rigging'—kerangka animasi yang mendasari model—tampaknya tidak cukup cocok untuk tugas tersebut. Mencangkok input pelacakan wajah Quest Pro ke sistem saat ini tidak benar-benar sesuai dengan kemampuannya.

Untungnya Meta telah membangun demo teknologi yang menunjukkan apa yang mungkin ketika avatar dirancang dengan mempertimbangkan pelacakan wajah Quest Pro (dan ketika hampir semua kekuatan pemrosesan headset didedikasikan untuk merendernya).

[Embedded content]

Ya, ini masih agak goyah, tetapi setiap gerakan yang Anda lihat di sini didorong oleh pengguna yang melakukan gerakan yang sama, termasuk hal-hal seperti membusungkan pipi atau menggerakkan mulut dari satu sisi ke sisi lain. Secara keseluruhan itu adalah representasi wajah yang jauh lebih lengkap yang menurut saya berhasil menghindari masuk ke lembah yang luar biasa.

Saya harus mencoba demo ini sendiri di my praktik baru-baru ini dengan Quest Pro di mana saya melihat ke cermin dan muncul sebagai karakter ini (yang disebut Meta sebagai Aura). Saya benar-benar terkesan bahwa, bahkan tanpa kalibrasi khusus, wajah yang saya lihat di cermin tampaknya meniru gerakan apa pun yang dapat saya pikirkan untuk dibuat dengan wajah saya.

Saya terutama tertarik pada detail di kulit. Jika saya menyipitkan mata dan mengernyitkan hidung saya, saya bisa melihat kulit di sekitarnya mengerut secara realistis, dan hal yang sama ketika saya mengangkat alis saya. Detail halus ini, seperti lipatan di pipi yang bergerak dengan mulut, benar-benar menambah kesan bahwa ini bukan hanya sebuah objek di depan saya, tetapi sesuatu yang memiliki makhluk hidup di belakangnya.

Apakah ekspresinya benar-benar terlihat seperti me ketika saya orang di balik topeng adalah pertanyaan lain. Karena wajah avatar ini tidak cocok dengan wajahku, sebenarnya sulit untuk mengatakannya. Tapi setidaknya gerakannya masuk akal realistis adalah langkah penting pertama menuju avatar virtual yang terasa alami dan dapat dipercaya.

Meta mengatakan akan merilis demo Aura sebagai proyek open source sehingga pengembang dapat melihat bagaimana mereka telah memasang input pelacakan wajah ke avatar. Perusahaan juga mengatakan pengembang akan dapat menggunakan satu perangkat untuk menggerakkan avatar humanoid atau avatar non-manusia seperti hewan atau monster tanpa perlu mengubah setiap avatar satu per satu.

Meta mengatakan pengembang akan dapat memanfaatkan API pelacakan wajah yang menggunakan nilai yang sesuai dengan FACS, sistem yang dikenal baik untuk menggambarkan pergerakan berbagai otot di wajah manusia.

Ini adalah sistem yang efektif tidak hanya untuk mewakili wajah, tetapi juga membentuk penghalang privasi yang berguna bagi pengguna. Menurut Meta, pengembang sebenarnya tidak bisa mendapatkan akses ke gambar mentah wajah pengguna. Sebaliknya mereka mendapatkan "rangkaian nilai nol-ke-satu yang sesuai dengan serangkaian gerakan wajah umum, seperti ketika Anda mengerutkan hidung atau mengerutkan alis," kata Meta. “Sinyal ini memudahkan pengembang untuk mempertahankan makna semantik dari gerakan asli pemain saat memetakan sinyal dari Face Tracking API ke rig karakter mereka sendiri, apakah karakter mereka humanoid atau bahkan sesuatu yang lebih fantastis.”

Meta mengklaim bahkan perusahaan sendiri tidak dapat melihat gambar yang diambil oleh kamera headset, baik internal maupun eksternal. Mereka diproses di headset dan kemudian segera dihapus, menurut perusahaan, tanpa pernah dikirim ke cloud atau ke pengembang.