Meta Meluncurkan Sistem Meta Reality Mixed Reality

Passthrough warna stereoskopis, penahan spasial, dan pemahaman pemandangan akan memberikan pengalaman realitas campuran yang lebih realistis.

Menurut Sarthak Ray, seorang manajer produk di Meta, kemampuan untuk melihat dan berinteraksi dengan dunia di sekitar Anda melalui realitas campuran membuka peluang baru untuk VR. “Anda dapat bermain dengan teman di ruang fisik yang sama atau pengalaman produktivitas yang menggabungkan monitor virtual besar dengan alat fisik, dan ini merupakan langkah menuju visi jangka panjang kami untuk augmented reality.”

Berlawanan dengan kepercayaan populer, pengalaman realitas campuran paling efektif jika perangkat VR/AR dapat memadukan dunia fisik dan virtual secara meyakinkan. Artinya, headset harus melakukan lebih dari sekadar menyediakan umpan video 2D, menurut a posting blog terbaru on Oculus.com.

Untuk melanjutkan komitmennya dalam mengembangkan teknologi VR mutakhir, Meta telah mengumumkan peluncuran Meta Reality, sistem realitas campuran baru yang menawarkan pandangan mendalam tentang apa yang diperlukan untuk menciptakan pengalaman yang luar biasa.

Passthrough Warna Stereoscopic untuk Kesadaran Spasial

Meta mengakui pentingnya warna-passthrough dan teknologi 3D stereoscopic ketika datang untuk memberikan pengalaman realitas campuran yang nyaman dan imersif.

“Meta Quest Pro menggabungkan dua tampilan kamera untuk merekonstruksi kedalaman yang realistis, yang memastikan pengalaman realitas campuran yang dibuat menggunakan Color Passthrough nyaman bagi orang-orang,” jelas Ricardo Silveira Cabral, Manajer Teknik Meta Computer Vision. “Tapi juga, isyarat tekstur stereo memungkinkan otak pengguna untuk melakukan istirahat dan menyimpulkan kedalaman bahkan saat rekonstruksi kedalaman tidak sempurna atau berada di luar jangkauan sistem.”

Misalnya, saat menggunakan Passthrough, otak Anda mengetahui bahwa jarak cangkir kopi dari tangan Anda sama dengan jarak dari pena yang ada tepat di sebelah Anda.

Oculus Insight, yang hanya dapat menangkap 100 poin minat untuk menentukan posisi headset di sebuah ruangan, adalah teknologi yang menyediakan sistem pelacakan mandiri pertama untuk perangkat VR konsumen. Sejak itu telah ditingkatkan untuk memungkinkan penginderaan mendalam. Sebagai perbandingan, Meta Quest Pro dapat menghasilkan hingga 10,000 interest point per detik dalam kondisi pencahayaan yang berbeda, memungkinkan Anda untuk membuat representasi 3D yang lebih baik dari ruang fisik Anda secara real time.

Melalui proses ini, Meta mampu membuat model 3D dunia fisik yang terus diperbarui. Anda kemudian dapat menggunakan data ini untuk membuat kerangka rendering prediktif yang dapat menghasilkan gambar lingkungan dunia nyata Anda. Untuk mengimbangi latensi rendering, rekonstruksi disesuaikan dengan pandangan mata kiri dan kanan pengguna melalui TimeWarp Asinkron algoritma.

Menurut Silveira Cabral, penggunaan kamera stereoskopis warna memungkinkan tim untuk menyampaikan interpretasi dunia nyata yang lebih realistis.

Scene Understanding untuk Memadukan Konten Virtual ke Dunia Fisik

Komponen Scene Understanding dari Presence Platform diperkenalkan selama acara Connect 2021. Teknologi ini memungkinkan pengembang untuk membuat pengalaman realitas campuran yang kompleks dan peka pemandangan. Menurut Wei Lyu, manajer produk Meta Quest Pro, komponen Scene Understanding perusahaan dirancang untuk membantu pengembang fokus membangun bisnis dan pengalaman mereka..

“Kami memperkenalkan Scene Understanding sebagai solusi sistem,” kata Lyu.

Scene Understanding dipecah menjadi tiga area:

• Model Adegan - Representasi lingkungan tunggal, komprehensif, terkini, dan dikelola sistem yang terdiri dari informasi geometris dan semantik. Elemen dasar dari Scene Model adalah Jangkar. Setiap Jangkar dapat dilampirkan ke berbagai komponen. Misalnya, ruang tamu pengguna diatur di sekitar Jangkar individu dengan label semantik, seperti lantai, langit-langit, dinding, meja, dan sofa. Jangkar dilampirkan dengan representasi geometris sederhana: batas 2D atau kotak pembatas 3D.
• Pengambilan Adegan – Alur yang dipandu sistem yang memungkinkan pengguna berkeliling dan menangkap arsitektur dan furnitur ruangan mereka untuk menghasilkan Model Pemandangan. Di masa depan, tujuannya adalah untuk memberikan versi otomatis dari Scene Capture yang tidak mengharuskan orang untuk secara manual menangkap sekelilingnya.
• Adegan API – Antarmuka yang dapat digunakan aplikasi untuk mengakses informasi spasial dalam Model Pemandangan untuk berbagai kasus penggunaan, termasuk penempatan konten, fisika, navigasi, dll. Dengan Scene API, pengembang dapat menggunakan Model Pemandangan agar bola virtual memantul dari permukaan fisik di ruangan sebenarnya atau robot virtual yang dapat mengukur dinding fisik.

“Scene Understanding menurunkan friksi bagi pengembang, membiarkan mereka membangun pengalaman MR yang dapat dipercaya dan sedalam mungkin dengan efek oklusi dan tabrakan secara real-time,” tambah Ray.

Jangkar Spasial Untuk Penempatan Objek Virtual

Pengembang dapat dengan mudah membuat pengalaman realitas campuran kelas satu menggunakan Jangkar Spasial, yang merupakan kemampuan inti dari platform Meta Quest Pro. Misalnya, seorang desainer produk dapat dengan mudah memasang beberapa model 3D di seluruh ruang fisik menggunakan platform seperti Sketsa Gravitasi untuk menciptakan lingkungan yang mulus untuk produk mereka.

“Jika Passthrough warna stereoskopis dan Pemahaman Adegan melakukan pekerjaan berat untuk membiarkan pengalaman MR memadukan dunia fisik dan virtual, kemampuan penahan kami menyediakan jaringan ikat yang menyatukan semuanya,” kata Manajer Produk Meta Laura Onu.

Bersama dengan Scene Model, Jangkar Spasial dapat digunakan untuk menciptakan lingkungan yang kaya dan otomatis untuk berbagai pengalaman dan situasi. Misalnya, Anda dapat membuat pintu virtual yang terhubung ke dinding fisik. Ini akan menjadi langkah besar bagi perusahaan yang melihat teknologi XR untuk solusi perusahaan mereka dalam kembaran digital, otomatisasi gudang, dan bahkan robotika.

Untuk saat ini, sepertinya Meta lebih fokus pada pengalaman sosial. “Dengan menggabungkan Scene Understanding dengan Spatial Anchors, Anda dapat memadukan dan menyesuaikan pengalaman MR Anda dengan lingkungan pengguna untuk menciptakan dunia baru yang penuh kemungkinan,” menurut Onu, yang menambahkan, “Anda dapat menjadi agen rahasia di ruang tamu Anda sendiri , letakkan furnitur virtual di kamar Anda atau buat sketsa ekstensi di rumah Anda, buat game fisika, dan banyak lagi.”

Jangkar Spasial Bersama Untuk Pengalaman Co-Located

Selain itu, Meta telah menambahkan fitur Shared Spatial Anchors ke Presence Platform. Ini memungkinkan Anda membuat pengalaman multipemain lokal dengan membagikan jangkar Anda dengan pengguna lain di ruang yang sama. Ini akan memungkinkan Anda dan teman lain untuk memainkan permainan papan VR di atas meja fisik dengan cara yang sama Miringkan Lima memberikan pengalaman bermain game mereka.

Kombinasi Unggulan untuk Realitas Campuran

Kombinasi Spatial Anchors, Passthrough, dan Scene Understanding dapat membantu menciptakan lingkungan yang kaya dan interaktif yang dirancang agar terlihat dan terasa seperti dunia nyata. Avinav Pashine, manajer produk Meta Quest Pro, mencatat bahwa ada banyak pertukaran yang terlibat dalam menciptakan lingkungan realitas campuran yang hebat dan nyaman bagi pengguna.

Masa depan Meta Reality masih terus berkembang karena perusahaan terus meningkatkan platform melalui pembaruan perangkat lunak dan inovasi perangkat keras yang akan dihadirkan pada produk generasi berikutnya. Silveira Cabral, manajer produk Meta Quest Pro, mencatat bahwa produk pertama perusahaan merupakan langkah penting dalam evolusi Meta Reality.

“Kami ingin belajar bersama dengan pengembang saat mereka membangun pengalaman menarik yang mendefinisikan kembali apa yang mungkin dilakukan dengan headset VR. Cerita ini belum selesai—ini baru halaman satu.”

Kredit Gambar: Meta