معرفی متا واقعیت: نگاهی به فناوری های لازم برای ترکیب متقاعد کننده دنیای مجازی و فیزیکی

واقعیت ترکیبی (MR) می‌تواند در را به روی انواع تجربیات منحصربه‌فرد باز کند، از بهره‌وری و همکاری هم‌زمان با همکاران گرفته تا معاشرت با دوستان و خانواده تا انواع جدیدی از بازی‌ها و برنامه‌های تعاملی که ما حتی در خواب هم نمی‌بینیم. در حالی که VR شما را به طور کامل در یک محیط دیجیتال غوطه ور می کند، MR به شما این آزادی را می دهد که در حین لذت بردن از محتوای مجازی، با افراد و اشیاء موجود در فضای فیزیکی خود حرکت کنید و با افراد و اشیاء در فضای فیزیکی خود تعامل داشته باشید و دسته جدیدی از تجربیات AR-مانند را در VR باز کنید که فضای فیزیکی شما را تقویت می کند.

«بتوانید دنیای فیزیکی اطراف خود را ببینید و آن را با محتوای مجازی ترکیب کنید، امروزه امکانات جدیدی را برای VR باز می‌کند – مانند بازی‌های هم‌مکانی که می‌توانید با دوستانتان در همان اتاق فیزیکی بازی کنید یا تجربه‌های بهره‌وری که نمایشگرهای مجازی عظیم را با ابزارهای فیزیکی ترکیب می‌کنند. مدیر محصول متا Sarthak Ray توضیح می دهد. و این گامی به سوی دیدگاه بلندمدت ما برای واقعیت افزوده است.

یک تصور اشتباه رایج وجود دارد که واقعیت ترکیبی را می توان به سادگی با نمایش یک فید ویدیویی با وضوح بالا در زمان واقعی از دنیای فیزیکی داخل هدست انجام داد، اما حقیقت بسیار پیچیده تر است. تجربیات باورپذیر MR به توانایی ترکیب متقاعدکننده دنیای مجازی و فیزیکی نیاز دارد - این بدان معناست که هدست باید بیشتر از نمایش محیط فیزیکی شما به عنوان یک ویدیوی دو بعدی انجام دهد. در واقع باید اتاق شما را به صورت دیجیتالی به عنوان یک فضای سه بعدی با درک اشیاء و سطوح اطراف خود بازسازی کند. این یک سیستم پیچیده از چندین فناوری سخت افزاری و نرم افزاری مانند سنسورهای با وضوح بالا نیاز دارد. گذرگاه، مجهز به هوش مصنوعی درک صحنهو لنگرهای فضایی، همه با هم به روشی یکپارچه و راحت کار می کنند.

در Meta، ما به طور مستمر روی تحقیق و توسعه اصلی سرمایه‌گذاری می‌کنیم تا فناوری‌های VR پیشرو را ایجاد کنیم که در مقیاس به مصرف‌کنندگان ارائه می‌کنیم - همه اینها در حالی که افراد را در طراحی خود در اولویت قرار می‌دهیم. ما بر روی جزئیات تمرکز می کنیم، با درک عمیق از نحوه درک مردم از دنیای اطراف خود و انگیزه برای اتصال این ادراک به تجربیات همه جانبه ای که افراد را در مورد امکانات واقعیت مجازی و ترکیبی هیجان زده می کند. امروز، ما یک نام جدید برای سیستم واقعیت ترکیبی منحصربه‌فرد خود - Meta Reality - معرفی می‌کنیم و به شما نگاهی به آنچه در یک تجربه MR واقعاً درجه یک می‌رود، می‌دهیم.

عبور رنگ استریوسکوپیک برای آگاهی فضایی

قبل از هر چیز، یک تجربه MR واقعی باید راحت باشد و مانند یک تجربه تماشای طبیعی احساس شود - یک فید ویدیوی مستقیم که نمی تواند حس عمق را منتقل کند، به سادگی نمی تواند آن را ارائه دهد، حتی اگر با وضوح بالا باشد. علاوه بر این، اگر Passthrough یکنواخت باشد (از یک زاویه دید دیده می شود) و/یا فاقد نشانه های عمق باشد، می تواند برای بیننده ناراحت کننده باشد. برای گذرگاه برای راحتی، تصاویر ارائه شده بر روی بافر چشم فردی باید از دو زاویه مجزا تولید شوند که نشانه های استریوسکوپی را ارائه می دهند. این، همراه با وجود اطلاعات عمق و رنگ، برای بازسازی یک تجربه راحت مهم است.

راه حل استریوسکوپی رنگی Passthrough ما از معماری سخت افزاری سفارشی، الگوریتم های بینایی کامپیوتری پیشرفته، و پیشرفته ترین یادگیری ماشینی استفاده می کند که مدل می کند که چگونه چشمان شما به طور طبیعی جهان اطراف شما را برای مقابله با این چالش می بیند. دوربین و وضوح صفحه نمایش بهتر کیفیت تصویر را بهبود می بخشد، زیرا دوربین های Meta Quest Pro چهار برابر پیکسل های دوربین های Meta Quest 2 را می گیرند. اما شاید مهمتر از آن، رندر مبتنی بر تصویر، بازسازی هندسه استریو، و درک عمق، مکان اشیاء را در رابطه با صحنه در یک اتاق مشخص تعیین می کند. این پشته الگوریتم جدید Meta Quest Pro را قادر می‌سازد تا جنبه‌های هندسه اتاق را شناسایی کند و مکان اشیاء را در فضای سه بعدی مشخص کند. بنابراین وقتی در حالی که فنجان قهوه روی میزتان را با رنگ استریوسکوپی Passthrough مشاهده می کنید، دستتان را می گیرید، مغزتان می فهمد که فنجان از دستتان دورتر از خودکاری است که درست در کنار شما نشسته است.

ریکاردو سیلویرا کابرال، مدیر مهندسی Meta Computer Vision توضیح می‌دهد: «Meta Quest Pro دو نمای دوربین را برای بازسازی عمق واقعی ترکیب می‌کند، که تضمین می‌کند تجربه‌های واقعیت ترکیبی ساخته‌شده با استفاده از Passthrough رنگی برای افراد راحت باشد». "اما همچنین، نشانه های بافت استریو به مغز کاربر اجازه می دهد تا بقیه کارها را انجام دهد و عمق را استنباط کند، حتی زمانی که بازسازی عمق کامل نیست یا خارج از محدوده سیستم است."

به خاطر بسپار Oculus Insight-فناوری ما که اولین سیستم ردیابی "داخل به بیرون" مستقل و تمام ویژگی را برای یک دستگاه VR مصرف کننده فعال کرد؟ ما قابلیت‌های سنجش عمق آن را برای تولید یک نمایش سه بعدی متراکم از یک فضای معین در زمان واقعی ارتقا داده‌ایم. در حالی که Insight از تقریباً 3 نقطه علاقه در یک اتاق برای تعیین دقیق موقعیت هدست در فضا استفاده می کند، راه حل سنجش عمق ما در Meta Quest Pro تا 100 نقطه در هر فریم تا فاصله 10,000 متری تحت شرایط مختلف نور طبیعی و مصنوعی تولید می کند. ما از این اطلاعات برای ایجاد یک شبکه سه بعدی از دنیای فیزیکی استفاده می کنیم، و این خروجی را در چند فریم ترکیب می کنیم تا یک نمایش سه بعدی متراکم و موقتی از فضا ایجاد کنیم. سپس این مش با رندر پیش بینی برای تولید تصاویری از دنیای فیزیکی استفاده می شود. این بدان معناست که بازسازی‌ها به‌صورت جداگانه به سمت چپ و راست هدست با استفاده از ما منحرف می‌شوند TimeWarp ناهمزمان فناوری که موقعیت چشم کاربر را چند میلی ثانیه در آینده پیش بینی می کند تا تاخیر رندر را جبران کند.

در نهایت، افزودن رنگ باعث می شود که کل تجربه واقعی تر به نظر برسد. سیلویرا کابرال می گوید: «دوربین رنگی برای رنگی کردن نمای استریوسکوپیک استفاده می شود تا تجربه را تا حد ممکن به دنیای فیزیکی نزدیک کند. با این معماری و بهینه‌سازی‌های انجام شده در کل خط لوله، ما می‌توانیم Passthrough رنگی استریوسکوپیک را در Meta Quest Pro برای تمام عناوین موجود Meta Quest 2 و برنامه‌های MR آینده به‌عنوان تجربه پیش‌فرض بدون منابع محاسباتی اضافی ارائه کنیم. این بدان معناست که برنامه‌های موجود با استفاده از Passthrough در Meta Quest 2 با فناوری جدید استریوسکوپی رنگی Passthrough Meta Quest Pro کار خواهند کرد.

وقتی همه اینها را جمع کنید، Passthrough رنگی استریوسکوپی Meta Quest Pro تجربه راحت‌تری با درک عمق و اعوجاج بصری کمتر نسبت به راه‌حل‌های تک‌نگر دارد و تجربه‌های واقعیت ترکیبی با کیفیت در مقیاس اتاق را باز می‌کند.

درک صحنه برای ترکیب محتوای مجازی در دنیای فیزیکی

به عنوان بخشی از بستر حضور در طول اتصال 2021، درک صحنه به توسعه دهندگان این امکان را می دهد تا به سرعت تجربیات MR پیچیده و آگاه از صحنه بسازند که تعاملات غنی با محیط کاربر را امکان پذیر می کند.

وی لیو، مدیر محصول متا، خاطرنشان می کند: «برای به حداقل رساندن پیچیدگی و اجازه دادن به توسعه دهندگان برای تمرکز بر ایجاد تجربیات و کسب و کار خود، ما Scene Understanding را به عنوان یک راه حل سیستمی معرفی کردیم.

• مدل صحنه یک نمایش واحد، جامع، به روز و با مدیریت سیستم از محیط است که از اطلاعات هندسی و معنایی تشکیل شده است. عناصر اساسی یک مدل صحنه لنگر هستند و هر لنگر را می توان با اجزای مختلفی متصل کرد. به عنوان مثال، اتاق نشیمن کاربر حول لنگرهای جداگانه با برچسب های معنایی، مانند کف، سقف، دیوارها، میز و کاناپه سازماندهی شده است. هر یک نیز با یک نمایش هندسی ساده متصل شده است: یک مرز دو بعدی یا یک جعبه مرزی سه بعدی.
• ضبط صحنه یک جریان هدایت‌شده توسط سیستم است که به کاربران اجازه می‌دهد در اطراف قدم بزنند و معماری و مبلمان اتاق خود را برای تولید یک مدل صحنه ثبت کنند. در آینده، هدف ما ارائه یک نسخه خودکار از Scene Capture است که نیازی به عکسبرداری دستی از محیط اطراف خود نداشته باشد.
• Scene API رابطی است که برنامه‌ها می‌توانند برای موارد استفاده مختلف از جمله مکان‌یابی محتوا، فیزیک، ناوبری و غیره به اطلاعات مکانی در مدل صحنه پرس و جو کنند و به آن دسترسی داشته باشند. با Scene API، توسعه‌دهندگان می‌توانند از Scene Model برای داشتن یک توپ مجازی از سطوح فیزیکی استفاده کنند. اتاق واقعی یا یک ربات مجازی که می تواند دیوارهای فیزیکی را مقیاس کند.

Ray می‌گوید: «درک صحنه اصطکاک را برای توسعه‌دهندگان کاهش می‌دهد و به آن‌ها اجازه می‌دهد تا تجربیات MR را با جلوه‌های انسداد و برخورد بلادرنگ تا حد امکان باورپذیر و همه‌جانبه بسازند.

لنگرهای فضایی برای قرار دادن اشیاء مجازی

لورا اونو، مدیر محصول متا، می‌گوید: «اگر عبور رنگ‌های استریوسکوپی و درک صحنه، کارهای سنگینی را انجام دهند تا تجربیات MR دنیای فیزیکی و مجازی را با هم ترکیب کنند، قابلیت‌های لنگر انداختن ما بافت پیوندی را فراهم می‌کند که همه آن را نگه می‌دارد.

لنگرهای فضایی یک قابلیت اصلی برای کمک به توسعه دهندگان برای شروع ساخت تجربه های واقعیت ترکیبی درجه یک هستند. آنها یک برنامه را قادر می سازند تا یک چارچوب مرجع یا یک پین در فضا ایجاد کند که به یک شی مجازی اجازه می دهد در طول زمان در فضا باقی بماند. به لطف Spatial Anchors، یک طراح محصول می تواند چندین شماتیک سه بعدی را در جای خود لنگر بیاندازد. طرح جاذبه، یا گروهی از دوستان ممکن است دنیای بازی را در آن لنگر بیاندازند دمو به سطح میز خود بروند تا بتوانند به همان تنظیمات برگردند و روز بعد بازی خود را ادامه دهند.

لنگرهای فضایی را می توان در ترکیب با لنگرهای مدل صحنه (دیوارها، میز، کف و غیره) برای ایجاد تجربیات غنی و قرار دادن خودکار در مقیاس اتاق استفاده کرد. اتاق کاربر به یک بوم رندر فضایی برای بازی و بهره وری تبدیل می شود. یک توسعه دهنده ممکن است انتخاب کند که یک در مجازی را به دیوار فیزیکی متصل کند. سپس کاربر می‌تواند آن را باز کند تا یک دنیای مجازی کاملاً غوطه‌ور، با شخصیت‌های خاص خود را نشان دهد که می‌توانند وارد فضای فیزیکی شوند.

Onu خاطرنشان می کند: "با ترکیب درک صحنه با لنگرهای فضایی، می توانید تجربیات MR خود را با محیط کاربر ترکیب و منطبق کنید تا دنیای جدیدی پر از امکانات ایجاد کنید." "تو می توانی تبدیل شدن به یک مامور مخفی در اتاق نشیمن خود، مبلمان مجازی را در اتاق خود قرار دهید یا طرح یک پسوند در خانه شما ، ایجاد بازی های فیزیک، و بیشتر."

لنگرهای فضایی مشترک برای تجربیات مشترک

آخرین اما نه کم اهمیت، ما اضافه کرده ایم لنگرهای فضایی مشترک برای حضور پلتفرم لنگرهای فضایی مشترک به لنگرهای ایجاد شده توسط یک فرد اجازه می دهد تا با دیگران در همان فضای فیزیکی به اشتراک گذاشته شوند. این به توسعه دهندگان اجازه می دهد تا با ایجاد یک چارچوب مرجع قفل شده جهانی برای چندین کاربر، تجربیات چند نفره محلی را ایجاد کنند. به عنوان مثال، دو یا چند نفر می توانند پشت یک میز فیزیکی بنشینند و بالای آن یک بازی رومیزی مجازی انجام دهند. اینجا کلیک کنید برای کسب اطلاعات بیشتر.

ترکیبی برنده برای واقعیت ترکیبی

شما به عبور رنگی استریوسکوپی، درک صحنه، لنگرهای فضایی، و لنگرهای فضایی مشترک به همراه اطلاعات انسداد و برخورد، تشخیص اشیا و نور در زمان واقعی نیاز دارید - که در یک بسته برای ارائه تجربیات واقعی و معنی‌دار MR ترکیب شده‌اند. و همه اینها باید با محدودیت هایی مانند هزینه عملکرد، محاسبات و حرارت در ذهن جمع شوند. اما مهمتر از همه، اطمینان از یک تجربه راحت کلیدی است.

Avinav Pashine مدیر محصول متا اذعان می کند: "مانند بسیاری از چیزها در فناوری، معاوضه هایی نیز وجود دارد." "در حالی که راه حل فعلی ما کامل نیست، اما محاسبات را حفظ می کند و راحتی کاربر را به حداکثر می رساند - و ما به دلیل آن می توانیم عمق و وسعت بهتری از ابزارهای توسعه دهنده را ارائه دهیم."

این تازه شروع کار است. Meta Reality از طریق به‌روزرسانی‌های نرم‌افزار و با پیشرفت‌های سخت‌افزاری ارائه‌شده در محصولات آینده Meta Quest به تکامل خود ادامه خواهد داد.

Silveira Cabral می‌افزاید: «Meta Quest Pro اولین دستگاه از بسیاری از دستگاه‌های MR است که پتانسیل هیجان‌انگیز این فناوری در حال ظهور را بررسی می‌کند. ما می‌خواهیم با توسعه‌دهندگان تجربه‌های قانع‌کننده‌ای را یاد بگیریم که آنچه را که با یک هدست واقعیت مجازی امکان‌پذیر است، دوباره تعریف می‌کنند. این داستان هنوز کامل نیست - این فقط صفحه اول است.