Memperkenalkan Meta Reality: Melihat Teknologi yang Diperlukan untuk Memadukan Dunia Virtual dan Fisik Secara Meyakinkan

Mixed reality (MR) dapat membuka pintu ke berbagai pengalaman unik, mulai dari produktivitas dan kolaborasi waktu nyata dengan kolega hingga berkumpul dengan teman dan keluarga hingga jenis permainan baru dan aplikasi interaktif yang bahkan belum pernah kita impikan. Sementara VR sepenuhnya membenamkan Anda dalam lingkungan digital, MR memberi Anda kebebasan untuk bergerak dan berinteraksi dengan orang dan objek di ruang fisik Anda sambil menikmati konten virtual, membuka kelas baru pengalaman seperti AR di VR yang menambah ruang fisik Anda.

“Mampu melihat dunia fisik di sekitar Anda dan memadukannya dengan konten virtual membuka kemungkinan baru untuk VR saat ini—seperti game yang ditempatkan bersama yang dapat Anda mainkan dengan teman di ruang fisik yang sama atau pengalaman produktivitas yang menggabungkan monitor virtual besar dengan alat fisik , ”jelas Manajer Produk Meta Sarthak Ray. “Dan ini adalah langkah menuju visi jangka panjang kami untuk augmented reality.”

Ada kesalahpahaman umum bahwa realitas campuran dapat dicapai hanya dengan menampilkan umpan video resolusi tinggi waktu nyata dari dunia fisik di dalam headset, tetapi kenyataannya jauh lebih kompleks. Pengalaman MR yang dapat dipercaya membutuhkan kemampuan untuk memadukan dunia virtual dan fisik secara meyakinkan—artinya headset harus melakukan lebih dari sekadar menampilkan lingkungan fisik Anda sebagai video 2D. Itu harus benar-benar merekonstruksi ruangan Anda secara digital sebagai ruang 3D dengan pemahaman tentang objek dan permukaan di sekitar Anda. Itu membutuhkan sistem kompleks dari berbagai teknologi perangkat keras dan perangkat lunak seperti sensor resolusi tinggi, Melewati, bertenaga AI Pemahaman Adegan, dan Jangkar Spasial, semua bekerja bersama dengan cara yang mulus dan nyaman.

Di Meta, kami terus berinvestasi dalam penelitian dan pengembangan orisinal untuk menciptakan teknologi VR terkemuka yang kami berikan kepada konsumen dalam skala besar—sambil mengutamakan orang dalam desain kami. Kami fokus pada detail, diinformasikan oleh pemahaman mendalam tentang bagaimana orang memandang dunia di sekitar mereka dan dorongan untuk menghubungkan persepsi tersebut dengan pengalaman imersif yang menggairahkan orang tentang kemungkinan realitas virtual dan campuran. Hari ini, kami memperkenalkan nama baru untuk sistem realitas campuran kami yang unik—Meta Realitas—dan memberi Anda pandangan tersembunyi tentang pengalaman MR kelas satu yang sesungguhnya.

Passthrough Warna Stereoscopic untuk Kesadaran Spasial

Pertama dan terpenting, pengalaman MR yang sebenarnya harus nyaman dan terasa seperti pengalaman menonton yang alami — umpan video langsung yang gagal menyampaikan rasa kedalaman tidak dapat memberikannya, meskipun dalam resolusi tinggi. Selain itu, jika Passthrough bersifat monoskopik (dilihat dari satu sudut pandang) dan/atau tidak memiliki petunjuk kedalaman, hal ini dapat membuat penonton merasa tidak nyaman. Untuk Melewati agar nyaman, gambar yang ditampilkan pada masing-masing penyangga mata harus dihasilkan dari dua sudut terpisah yang menyediakan isyarat stereoskopik. Ini, bersama dengan adanya informasi kedalaman dan warna, penting untuk merekonstruksi pengalaman yang nyaman.

Solusi Passthrough warna stereoskopik kami menggunakan arsitektur perangkat keras khusus, algoritme visi komputer canggih, dan pembelajaran mesin canggih yang memodelkan bagaimana mata Anda secara alami melihat dunia di sekitar Anda untuk menghadapi tantangan ini. Resolusi kamera dan tampilan yang lebih baik menghasilkan kualitas gambar yang lebih baik, dengan kamera Meta Quest Pro menangkap empat kali piksel kamera Meta Quest 2. Tapi mungkin yang lebih penting, rendering berbasis gambar, rekonstruksi geometri stereo, dan pemahaman mendalam menetapkan lokasi objek dalam kaitannya dengan pemandangan di dalam ruangan tertentu. Tumpukan algoritme baru ini memungkinkan Meta Quest Pro mengidentifikasi aspek geometri ruangan dan menentukan lokasi objek dalam ruang 3D. Jadi ketika Anda meraih cangkir kopi di meja Anda sambil melihatnya dengan warna stereoscopic Passthrough, otak Anda memahami bahwa cangkir itu lebih jauh dari tangan Anda daripada pena yang duduk tepat di sebelah Anda.

“Meta Quest Pro menggabungkan dua tampilan kamera untuk merekonstruksi kedalaman yang realistis, yang memastikan pengalaman realitas campuran yang dibuat menggunakan Color Passthrough nyaman bagi orang-orang,” jelas Ricardo Silveira Cabral, Manajer Teknik Meta Computer Vision. "Tapi juga, isyarat tekstur stereo memungkinkan otak pengguna untuk melakukan istirahat dan menyimpulkan kedalaman bahkan ketika rekonstruksi kedalaman tidak sempurna atau berada di luar jangkauan sistem."

Ingat Wawasan Oculus—teknologi kami yang mengaktifkan sistem pelacakan "luar-dalam" berfitur lengkap pertama yang berdiri sendiri untuk perangkat VR konsumen? Kami telah meningkatkan kemampuan pengindraan kedalamannya untuk menghasilkan representasi 3D padat dari ruang tertentu secara waktu nyata. Sementara Insight menggunakan kira-kira 100 titik minat di sebuah ruangan untuk menentukan posisi headset di ruang angkasa, solusi pengindraan kedalaman kami di Meta Quest Pro menghasilkan hingga 10,000 titik per bingkai hingga jarak lima meter di bawah berbagai kondisi pencahayaan alami dan buatan. Kami menggunakan informasi ini untuk membuat mesh 3D dari dunia fisik, menggabungkan output ini di beberapa frame untuk menghasilkan 3D yang padat dan representasi ruang yang stabil untuk sementara. Jaring ini kemudian digunakan dengan rendering prediktif untuk menghasilkan gambar dunia fisik. Itu berarti rekonstruksi dibelokkan secara individual ke pandangan mata kiri dan kanan headset menggunakan TimeWarp Asinkron teknologi yang memprediksi posisi mata pengguna beberapa milidetik di masa mendatang untuk mengkompensasi latensi rendering.

Terakhir, menambahkan warna membuat seluruh pengalaman terlihat dan terasa lebih realistis. “Kamera warna digunakan untuk mewarnai tampilan stereoskopis untuk menghadirkan pengalaman sedekat mungkin dengan dunia fisik,” kata Silveira Cabral. “Dengan arsitektur ini ditambah pengoptimalan yang dilakukan di seluruh saluran, kami dapat memberikan Passthrough warna stereoskopis di Meta Quest Pro untuk semua judul Meta Quest 2 yang ada dan aplikasi MR yang akan datang sebagai pengalaman default tanpa sumber daya komputasi tambahan. Itu berarti bahwa aplikasi yang ada menggunakan Passthrough di Meta Quest 2 akan bekerja dengan teknologi Passthrough warna stereoskopik baru Meta Quest Pro langsung dari kotak.

Saat Anda menambahkan semuanya, Passthrough warna stereoskopik Meta Quest Pro menghasilkan pengalaman yang lebih nyaman dengan persepsi kedalaman dan distorsi visual yang lebih sedikit daripada solusi monoskopik, membuka pengalaman realitas campuran skala kamar yang berkualitas.

Scene Understanding untuk Memadukan Konten Virtual ke Dunia Fisik

Diperkenalkan sebagai bagian dari Platform Kehadiran selama Connect 2021, Pemahaman Adegan memungkinkan pengembang dengan cepat membangun pengalaman MR yang kompleks dan sadar adegan yang memungkinkan interaksi yang kaya dengan lingkungan pengguna.

“Untuk meminimalkan kerumitan dan memungkinkan pengembang untuk fokus membangun pengalaman dan bisnis mereka, kami memperkenalkan Scene Understanding sebagai solusi sistem,” catat Manajer Produk Meta, Wei Lyu.

• Model Adegan adalah representasi lingkungan tunggal, komprehensif, terkini, dan dikelola sistem yang terdiri dari informasi geometris dan semantik. Elemen dasar Model Pemandangan adalah Jangkar, dan setiap Jangkar dapat dilampirkan dengan berbagai komponen. Misalnya, ruang tamu pengguna diatur di sekitar Jangkar individu dengan label semantik, seperti lantai, langit-langit, dinding, meja, dan sofa. Masing-masing juga dilampirkan dengan representasi geometris sederhana: batas 2D atau kotak pembatas 3D.
• Pengambilan Adegan adalah aliran yang dipandu sistem yang memungkinkan pengguna berjalan-jalan dan menangkap arsitektur dan furnitur ruangan mereka untuk menghasilkan Model Pemandangan. Di masa mendatang, tujuan kami adalah untuk memberikan versi otomatis dari Scene Capture yang tidak mengharuskan orang untuk mengabadikan sekelilingnya secara manual.
• Adegan API adalah antarmuka tempat aplikasi dapat melakukan kueri dan mengakses informasi spasial dalam Model Pemandangan untuk berbagai kasus penggunaan termasuk penempatan konten, fisika, navigasi, dll. Dengan API Pemandangan, pengembang dapat menggunakan Model Pemandangan agar bola virtual memantul dari permukaan fisik di ruangan sebenarnya atau robot virtual yang dapat mengukur dinding fisik.

“Scene Understanding menurunkan friksi bagi developer, memungkinkan mereka membangun pengalaman MR yang dapat dipercaya dan sedalam mungkin dengan efek oklusi dan tabrakan secara real-time,” kata Ray.

Jangkar Spasial untuk Penempatan Objek Virtual

“Jika Passthrough warna stereoskopik dan Pemahaman Adegan melakukan pekerjaan berat untuk membiarkan pengalaman MR memadukan dunia fisik dan virtual, kemampuan penahan kami menyediakan jaringan ikat yang menyatukan semuanya,” kata Manajer Produk Meta Laura Onu.

Jangkar Spasial adalah kemampuan inti untuk membantu pengembang mulai membuat pengalaman realitas campuran kelas satu. Mereka mengaktifkan aplikasi untuk membuat kerangka acuan atau pin di ruang yang memungkinkan objek virtual bertahan di ruang dari waktu ke waktu. Berkat Jangkar Spasial, seorang desainer produk dapat memasang beberapa skema 3D Sketsa Gravitasi, atau sekelompok teman mungkin melabuhkan dunia game Demo ke permukaan meja mereka sehingga mereka dapat kembali ke pengaturan yang sama dan melanjutkan permainan mereka keesokan harinya.

Jangkar Spasial dapat digunakan dalam kombinasi dengan Jangkar Model Pemandangan (dinding, meja, lantai, dll.) untuk menciptakan pengalaman yang kaya dan penempatan otomatis pada skala ruangan. Ruang pengguna menjadi kanvas rendering spasial untuk gameplay dan produktivitas. Pengembang mungkin memilih untuk memasang pintu virtual ke dinding fisik. Pengguna kemudian dapat membukanya untuk mengungkap dunia virtual yang sepenuhnya imersif, lengkap dengan karakternya sendiri yang kemudian dapat memasuki ruang fisik.

“Dengan menggabungkan Scene Understanding dengan Spatial Anchors, Anda dapat memadukan dan menyesuaikan pengalaman MR Anda dengan lingkungan pengguna untuk menciptakan dunia baru yang penuh kemungkinan,” catat Onu. "Kamu bisa menjadi agen rahasia di ruang tamu Anda sendiri, letakkan furnitur virtual di kamar Anda atau sketsa ekstensi di rumahmu, membuat game fisika, dan banyak lagi.”

Jangkar Tata Ruang Bersama untuk Pengalaman di Lokasi Bersama

Last but not least, kami telah menambahkan Jangkar Spasial Bersama ke Platform Kehadiran. Jangkar Spasial Bersama memungkinkan jangkar yang dibuat oleh satu orang untuk dibagikan dengan orang lain di ruang fisik yang sama. Hal ini memungkinkan pengembang membangun pengalaman multipemain lokal dengan membuat kerangka referensi bersama yang terkunci di dunia untuk banyak pengguna. Misalnya, dua orang atau lebih dapat duduk di meja fisik yang sama dan memainkan permainan papan virtual di atasnya. Klik disini untuk mempelajari lebih lanjut.

Kombinasi Unggulan untuk Realitas Campuran

Anda memerlukan Passthrough warna stereoskopis, Pemahaman Adegan, Jangkar Spasial, dan Jangkar Spasial Bersama bersama dengan oklusi dan tabrakan waktu nyata, deteksi objek, dan informasi pencahayaan—digabungkan dalam satu paket untuk menghadirkan pengalaman MR yang nyata dan bermakna. Dan itu semua harus digabungkan dengan kendala seperti biaya kinerja, komputasi, dan termal. Namun yang terpenting, memastikan pengalaman yang nyaman adalah kuncinya.

“Seperti kebanyakan hal dalam teknologi, ada pertukaran yang terlibat,” kata Manajer Produk Meta Avinav Pashine. “Meskipun solusi kami saat ini tidak sempurna, solusi ini mempertahankan komputasi sekaligus memaksimalkan kenyamanan pengguna—dan kami dapat memberikan kedalaman dan keluasan alat pengembang yang lebih baik karenanya.”

Ini baru permulaan. Meta Reality akan terus berkembang melalui pembaruan perangkat lunak—dan dengan kemajuan perangkat keras yang dihadirkan dalam produk Meta Quest di masa mendatang.

“Meta Quest Pro adalah yang pertama dari banyak perangkat MR yang mengeksplorasi potensi menarik dari teknologi baru ini,” tambah Silveira Cabral. “Kami ingin belajar bersama dengan pengembang saat mereka membangun pengalaman menarik yang mendefinisikan kembali apa yang mungkin dilakukan dengan headset VR. Cerita ini belum selesai—ini baru halaman satu.”