Peneliti Meta Mendemonstrasikan Quest 2 Pelacakan Tubuh Tanpa Pelacak Ekstra

Peneliti meta mendemonstrasikan pelacakan tubuh Quest 2 tanpa pelacak tambahan.

Sistem VR saat ini dikirimkan dengan headset dan pengontrol yang dipegang, jadi hanya lacak posisi kepala dan tangan Anda. Posisi siku, batang tubuh, dan kaki Anda dapat diperkirakan menggunakan kelas algoritma yang disebut kinematika terbalik (IK), tetapi ini hanya kadang akurat untuk siku dan jarang tepat untuk kaki. Ada terlalu banyak solusi potensial untuk setiap set posisi kepala dan tangan yang diberikan.

Mengingat keterbatasan IK, beberapa Aplikasi VR hari ini hanya menampilkan tangan Anda, dan banyak yang hanya memberi Anda tubuh bagian atas. Headset PC yang menggunakan pelacakan SteamVR mendukung pelacak tambahan yang sudah usang seperti Pelacak Vive HTC, tetapi tiga yang diperlukan untuk pelacakan tubuh berharga $350 dan karenanya ini tidak didukung di sebagian besar game.

Namun dalam makalah baru berjudul QuestSim, Peneliti Meta mendemonstrasikan sistem yang digerakkan oleh jaringan saraf yang dapat memperkirakan pose seluruh tubuh yang masuk akal hanya dengan data pelacakan dari Quest 2 dan pengontrolnya. Tidak diperlukan pelacak tambahan atau sensor eksternal.

Gerakan avatar yang dihasilkan sangat cocok dengan gerakan nyata pengguna. Para peneliti bahkan mengklaim akurasi dan jitter yang dihasilkan lebih unggul daripada pelacak IMU yang sudah usang – perangkat hanya dengan akselerometer dan giroskop seperti yang diumumkan Pico 4. Pita Kebugaran Pico (Pico mengklaim itu bekerja pada algoritme pembelajaran mesinnya sendiri).

Namun, ada tangkapan di sini. Seperti yang terlihat dalam video, sistem ini dirancang untuk memprioritaskan produksi yang masuk akal seluruh tubuh berpose di atas memastikan tangan avatar cocok dengan posisi yang tepat dari tangan pengguna. Latensi sistem juga 160ms – lebih dari 11 frame pada 72Hz. Mengingat masalah ini, QuestSim hanya akan cocok untuk melihat tubuh avatar orang lain, tidak melihat tubuh Anda sendiri saat melihat ke bawah.

Tapi tetap saja, melihat gerakan seluruh tubuh avatar orang lain akan jauh lebih baik daripada tubuh bagian atas tanpa kaki yang sering dikritik dari avatar Meta saat ini. Jadi, apakah sistem ini, atau semacamnya, akan hadir di Quest 2?

Meta CTO Andrew Bosworth tampaknya mengisyaratkan minggu terakhir ini. Kapan ditanya tentang pelacakan kaki di Instagram "tanya saya apa saja" Bosworth membalas:

“Ya, kami telah diolok-olok banyak untuk avatar tanpa kaki, dan saya pikir itu sangat adil dan saya pikir itu cukup lucu.

Memiliki kaki di avatar Anda sendiri yang tidak cocok dengan kaki asli Anda sangat membingungkan orang. Tapi tentu saja kita bisa meletakkan kaki pada orang lain, yang bisa Anda lihat, dan itu tidak mengganggu Anda sama sekali.

Jadi kami sedang mengerjakan kaki yang terlihat alami bagi seseorang yang menjadi pengamat – karena mereka tidak tahu bagaimana posisi kaki Anda yang sebenarnya – tetapi mungkin Anda ketika Anda melihat kaki Anda sendiri akan terus tidak melihat apa-apa. Itulah strategi kami saat ini.”

The short term solution might not be at the same quality of this algorithm though. Machine learning research papers tend to run on powerful PC GPUs at relatively low framerate. The paper doesn’t mention the performance of the system described, but an RTX 3080 is listed as being used for training.

Acara tahunan AR/VR Meta Connect berlangsung hanya dalam waktu 2 minggu, jadi setiap pengumuman pelacakan tubuh kemungkinan akan berlangsung selama itu.