تقديم الواقع الفوقي: نظرة على التقنيات اللازمة لدمج العالمين الافتراضي والمادي بشكل مقنع

يمكن للواقع المختلط (MR) أن يفتح الباب أمام مجموعة متنوعة من التجارب الفريدة، بدءًا من الإنتاجية والتعاون في الوقت الفعلي مع الزملاء وحتى قضاء الوقت مع الأصدقاء والعائلة ووصولاً إلى أنواع جديدة من الألعاب والتطبيقات التفاعلية التي لم نحلم بها حتى الآن. في حين أن الواقع الافتراضي يغمرك بالكامل في بيئة رقمية، فإن الواقع المعزز يمنحك حرية التحرك والتفاعل مع الأشخاص والأشياء في مساحتك الفعلية أثناء الاستمتاع بالمحتوى الافتراضي، مما يفتح فئة جديدة من التجارب المشابهة للواقع المعزز في الواقع الافتراضي والتي تزيد من مساحتك المادية.

"إن القدرة على رؤية العالم المادي من حولك ومزجه مع المحتوى الافتراضي تفتح إمكانيات جديدة للواقع الافتراضي اليوم - مثل الألعاب ذات الموقع المشترك التي يمكنك لعبها مع الأصدقاء في نفس الغرفة الفعلية أو تجارب الإنتاجية التي تجمع بين الشاشات الافتراضية الضخمة والأدوات المادية "، يوضح مدير منتج Meta Sarthak Ray. "إنها خطوة نحو رؤيتنا طويلة المدى للواقع المعزز."

هناك فكرة خاطئة مفادها أنه يمكن تحقيق الواقع المختلط ببساطة من خلال عرض بث فيديو عالي الدقة في الوقت الفعلي للعالم المادي داخل سماعة الرأس، ولكن الحقيقة أكثر تعقيدًا بكثير. تتطلب تجارب الرنين المغناطيسي الموثوقة القدرة على المزج بين العالمين الافتراضي والمادي بشكل مقنع، مما يعني أن سماعة الرأس يجب أن تفعل أكثر من مجرد عرض البيئة المادية المحيطة بك كفيديو ثنائي الأبعاد. يجب أن يعيد بناء غرفتك رقميًا كمساحة ثلاثية الأبعاد مع فهم الأشياء والأسطح من حولك. يتطلب ذلك نظامًا معقدًا من تقنيات الأجهزة والبرامج المتعددة مثل أجهزة الاستشعار عالية الدقة، يمر من خلال، مدعوم بالذكاء الاصطناعي فهم المشهدو المراسي المكانية، وكلها تعمل معًا بطريقة سلسة ومريحة.

في Meta، نستثمر باستمرار في البحث والتطوير الأصليين لإنشاء تقنيات الواقع الافتراضي الرائدة التي نقدمها للمستهلكين على نطاق واسع، كل ذلك مع وضع الأشخاص في المقام الأول في تصميمنا. نحن نركز على التفاصيل، مستنيرين بالفهم العميق لكيفية إدراك الناس للعالم من حولهم والدافع لربط هذا التصور بالتجارب الغامرة التي تثير الناس حول إمكانيات الواقع الافتراضي والمختلط. اليوم، نقدم اسمًا جديدًا لنظام الواقع المختلط الفريد الخاص بنا —Meta Reality — ونمنحك نظرة تحتية على ما يدخل في تجربة الواقع المختلط من الدرجة الأولى حقًا.

عبور اللون المجسم للوعي المكاني

أولاً وقبل كل شيء، يجب أن تكون تجربة التصوير بالرنين المغناطيسي الحقيقية مريحة وتشعر وكأنها تجربة مشاهدة طبيعية - فتدفق الفيديو المباشر الذي يفشل في نقل إحساس بالعمق لا يمكنه ببساطة تقديم ذلك، حتى لو كان عالي الدقة. بالإضافة إلى ذلك، إذا كان العبور أحاديًا (يُرى من زاوية عرض واحدة) و/أو يفتقر إلى إشارات العمق، فقد يكون ذلك غير مريح للمشاهد. ل يمر من خلال لكي تكون مريحًا، يجب إنشاء الصور المعروضة على المخزن المؤقت للعين الفردية من زاويتين منفصلتين توفر إشارات مجسمة. يعد هذا، إلى جانب وجود معلومات العمق واللون، أمرًا مهمًا لإعادة بناء تجربة مريحة.

يستخدم حل عبور الألوان المجسم الخاص بنا بنية أجهزة مخصصة، وخوارزميات رؤية كمبيوتر متقدمة، وأحدث تقنيات التعلم الآلي التي تصمم كيف ترى عيناك العالم من حولك بشكل طبيعي لمواجهة هذا التحدي. تعمل الكاميرا ودقة العرض الأفضل على تحسين جودة الصورة، حيث تلتقط كاميرات Meta Quest Pro أربعة أضعاف وحدات البكسل التي تلتقطها كاميرات Meta Quest 2. ولكن ربما الأهم من ذلك هو أن العرض المعتمد على الصور، وإعادة بناء الهندسة المجسمة، والفهم العميق يحدد موقع الأشياء بالنسبة للمشهد داخل غرفة معينة. تعمل مجموعة الخوارزميات الجديدة هذه على تمكين Meta Quest Pro من تحديد جوانب هندسة الغرفة وتحديد موقع الكائنات في الفضاء ثلاثي الأبعاد. لذلك عندما تصل إلى فنجان القهوة الموجود على مكتبك أثناء مشاهدته عبر الألوان المجسمة، يفهم عقلك أن الفنجان أبعد عن يدك من القلم الذي يجلس بجوارك مباشرة.

يوضح ريكاردو سيلفيرا كابرال، مدير هندسة Meta Computer Vision الهندسي: "يجمع Meta Quest Pro بين عرضين للكاميرا لإعادة بناء العمق الواقعي، مما يضمن أن تجارب الواقع المختلط المبنية باستخدام Color Passthrough مريحة للأشخاص". "ولكن أيضًا إشارات النسيج المجسم تسمح لعقل المستخدم بالقيام بالباقي واستنتاج العمق حتى عندما لا تكون عملية إعادة بناء العمق مثالية أو خارج نطاق النظام."

تذكر اكيولوس انسايت— تقنيتنا التي مكنت أول نظام تتبع مستقل كامل المواصفات لجهاز الواقع الافتراضي للمستهلك؟ لقد قمنا بترقية قدرات استشعار العمق لإنتاج تمثيل ثلاثي الأبعاد كثيف لمساحة معينة في الوقت الفعلي. بينما يستخدم Insight ما يقرب من 3 نقطة اهتمام في الغرفة لتحديد موضع سماعة الرأس في الفضاء، فإن حل استشعار العمق الخاص بنا في Meta Quest Pro ينتج ما يصل إلى 100 نقطة لكل إطار على مسافة تصل إلى خمسة أمتار في ظل مجموعة متنوعة من ظروف الإضاءة الطبيعية والاصطناعية. نحن نستخدم هذه المعلومات لإنشاء شبكة ثلاثية الأبعاد للعالم المادي، ودمج هذه المخرجات عبر إطارات قليلة لإنشاء تمثيل ثلاثي الأبعاد كثيف ومستقر مؤقتًا للمساحة. يتم بعد ذلك استخدام هذه الشبكة مع العرض التنبؤي لإنتاج صور للعالم المادي. وهذا يعني أن عمليات إعادة البناء يتم تشويهها بشكل فردي لتتناسب مع وجهات نظر العين اليسرى واليمنى لسماعة الرأس باستخدام TimeWarp غير متزامن تقنية تتنبأ بموضع عين المستخدم لبضعة مللي ثانية في المستقبل للتعويض عن زمن الوصول.

وأخيرًا، فإن إضافة اللون يجعل التجربة بأكملها تبدو أكثر واقعية. تقول سيلفيرا كابرال: "يتم استخدام الكاميرا الملونة لتلوين العرض المجسم لتقريب التجربة من العالم المادي قدر الإمكان". "مع هذه البنية بالإضافة إلى التحسينات التي تم إجراؤها عبر المسار بأكمله، يمكننا توفير عبور ألوان مجسم على Meta Quest Pro لجميع عناوين Meta Quest 2 الحالية وتطبيقات MR القادمة كتجربة افتراضية بدون موارد حسابية إضافية. وهذا يعني أن التطبيقات الحالية التي تستخدم Passthrough على Meta Quest 2 ستعمل مع تقنية Passthrough الملونة المجسمة الجديدة من Meta Quest Pro فور إخراجها من الصندوق.

عند إضافة كل ذلك، يؤدي عبور الألوان المجسم لـ Meta Quest Pro إلى تجربة أكثر راحة مع إدراك العمق وتشوهات بصرية أقل من الحلول الأحادية، مما يفتح تجارب الواقع المختلط عالية الجودة على مستوى الغرفة.

فهم المشهد لمزج المحتوى الافتراضي في العالم المادي

قدم كجزء من منصة الحضور خلال Connect 2021، فهم المشهد يتيح للمطورين بناء تجارب الواقع المختلط المعقدة والمدركة للمشهد بسرعة والتي تتيح تفاعلات غنية مع بيئة المستخدم.

"لتقليل التعقيد والسماح للمطورين بالتركيز على بناء تجاربهم وأعمالهم، قدمنا ​​فهم المشهد كحل للنظام،" يشير مدير منتجات Meta Wei Lyu.

• نموذج المشهد هو تمثيل واحد وشامل وحديث للبيئة يُدار بواسطة النظام ويتكون من معلومات هندسية ودلالية. العناصر الأساسية لنموذج المشهد هي المراسي، ويمكن ربط كل مرساة بمكونات مختلفة. على سبيل المثال، يتم تنظيم غرفة معيشة المستخدم حول نقاط تثبيت فردية ذات تسميات دلالية، مثل الأرضية والسقف والجدران والمكتب والأريكة. يتم إرفاق كل منها أيضًا بتمثيل هندسي بسيط: حدود ثنائية الأبعاد أو مربع محيط ثلاثي الأبعاد.
• التقاط المشهد عبارة عن تدفق موجه بواسطة النظام يتيح للمستخدمين التجول والتقاط بنية غرفهم وأثاثهم لإنشاء نموذج المشهد. في المستقبل، هدفنا هو تقديم إصدار تلقائي من Scene Capture لا يتطلب من الأشخاص التقاط المناطق المحيطة بهم يدويًا.
• واجهة برمجة تطبيقات المشهد هي الواجهة التي يمكن للتطبيقات الاستعلام عن المعلومات المكانية فيها والوصول إليها في Scene Model لحالات الاستخدام المختلفة بما في ذلك وضع المحتوى، والفيزياء، والملاحة، وما إلى ذلك. باستخدام Scene API، يمكن للمطورين استخدام Scene Model للحصول على كرة افتراضية ترتد عن الأسطح المادية في الغرفة الفعلية أو الروبوت الافتراضي الذي يمكنه تسلق الجدران المادية.

يقول راي: "إن فهم المشهد يقلل من الاحتكاك بالنسبة للمطورين، مما يسمح لهم ببناء تجارب الواقع المختلط التي تكون قابلة للتصديق وغامرة قدر الإمكان مع تأثيرات الانغلاق والتصادم في الوقت الحقيقي".

المراسي المكانية لوضع الكائنات الافتراضية

تقول لورا أونو، مديرة منتج Meta، "إذا كان مرور الألوان المجسم وفهم المشهد يقومان بالمهمة الثقيلة للسماح لتجارب الرنين المغناطيسي بمزج العالم المادي والافتراضي، فإن قدرات التثبيت لدينا توفر النسيج الضام الذي يجمع كل ذلك معًا".

المراسي المكانية هي قدرة أساسية لمساعدة المطورين على البدء في بناء تجارب الواقع المختلط من الدرجة الأولى. إنها تمكن التطبيق من إنشاء إطار مرجعي أو دبوس في الفضاء يسمح للكائن الافتراضي بالبقاء في الفضاء بمرور الوقت. بفضل المراسي المكانية، يمكن لمصمم المنتج تثبيت العديد من المخططات ثلاثية الأبعاد في مكانها رسم الجاذبية، أو قد تقوم مجموعة من الأصدقاء بتثبيت عالم اللعبة فيه ديميو على سطح طاولتهم حتى يتمكنوا من العودة إلى نفس الإعداد ومواصلة لعبتهم في اليوم التالي.

يمكن استخدام أدوات التثبيت المكانية مع أدوات تثبيت نموذج المشهد (الجدران، الطاولة، الأرضية، وما إلى ذلك) لإنشاء تجارب غنية ووضع تلقائي على نطاق الغرفة. تصبح غرفة المستخدم بمثابة لوحة عرض مكانية لكل من اللعب والإنتاجية. قد يختار المطور تثبيت باب افتراضي على جدار فعلي. يمكن للمستخدم بعد ذلك فتحه ليكشف عن عالم افتراضي غامر تمامًا، مكتمل بشخصياته الخاصة التي يمكنها بعد ذلك الدخول إلى المساحة المادية.

ويشير أونو إلى أنه "من خلال الجمع بين فهم المشهد والمثبتات المكانية، يمكنك مزج تجارب الرنين المغناطيسي وتكييفها مع بيئة المستخدم لإنشاء عالم جديد مليء بالإمكانيات". "أنت تستطيع تصبح عميلا سريا في غرفة المعيشة الخاصة بك، ضع أثاثًا افتراضيًا في غرفتك أو رسم امتداد على منزلك، إنشاء ألعاب الفيزياء، و اكثر."

المراسي المكانية المشتركة للتجارب في الموقع المشترك

وأخيرًا وليس آخرًا، أضفنا المراسي المكانية المشتركة إلى منصة الحضور. تسمح نقاط الارتساء المكانية المشتركة بمشاركة نقاط الارتساء التي أنشأها شخص واحد مع الآخرين في نفس المساحة الفعلية. يتيح ذلك للمطورين بناء تجارب محلية متعددة اللاعبين من خلال إنشاء إطار مرجعي مشترك ومغلق عالميًا لعدة مستخدمين. على سبيل المثال، يمكن لشخصين أو أكثر الجلوس على نفس الطاولة الفعلية ولعب لعبة لوحة افتراضية فوقها. اضغط هنا لتعلم المزيد.

مزيج ناجح للواقع المختلط

أنت بحاجة إلى عبور الألوان المجسم، وفهم المشهد، والمثبتات المكانية، والمثبتات المكانية المشتركة جنبًا إلى جنب مع الانسداد والاصطدام في الوقت الفعلي، واكتشاف الأشياء، ومعلومات الإضاءة - مجتمعة في حزمة واحدة لتقديم تجارب MR حقيقية وذات مغزى. ويجب أن يجتمع كل ذلك مع مراعاة قيود مثل تكلفة الأداء والحوسبة والحرارة. ولكن قبل كل شيء، ضمان تجربة مريحة هو المفتاح.

"كما هو الحال مع معظم الأشياء في مجال التكنولوجيا، هناك مقايضات متضمنة،" يعترف أفيناف باشين، مدير منتجات Meta. "على الرغم من أن حلنا الحالي ليس مثاليًا، إلا أنه يحافظ على الحوسبة مع زيادة راحة المستخدم إلى الحد الأقصى - ونحن قادرون على توفير عمق واتساع أفضل لأدوات المطورين بسبب ذلك."

هذه ليست سوى البداية. ستستمر Meta Reality في التطور من خلال تحديثات البرامج، ومع تقدم الأجهزة الذي يتم تقديمه في منتجات Meta Quest المستقبلية.

تضيف سيلفيرا كابرال: "إن Meta Quest Pro هو الأول من بين العديد من أجهزة الرنين المغناطيسي التي تستكشف الإمكانات المثيرة لهذه التكنولوجيا الناشئة". "نريد أن نتعلم مع المطورين أثناء قيامهم ببناء تجارب مقنعة تعيد تعريف ما هو ممكن باستخدام سماعة رأس الواقع الافتراضي. هذه القصة لم تكتمل بعد، هذه مجرد صفحة واحدة.