היכרות עם מטא מציאות: מבט על הטכנולוגיות הנחוצות לשילוב משכנע בין העולם הווירטואלי והפיזי

מציאות מעורבת (MR) יכולה לפתוח את הדלת למגוון חוויות ייחודיות, החל מפרודוקטיביות ושיתוף פעולה בזמן אמת עם עמיתים לבילוי עם חברים ובני משפחה ועד לסוגים חדשים של משחקים ואפליקציות אינטראקטיביות שעוד לא חלמנו עליהם. בעוד ש-VR טובל אותך במלואו בסביבה דיגיטלית, MR נותן לך את החופש לנוע ולתקשר עם אנשים וחפצים במרחב הפיזי שלך תוך כדי הנאה מתוכן וירטואלי, ופותח מעמד חדש של חוויות דמויות AR ב-VR שמגדילות את המרחב הפיזי שלך.

"היכולת לראות את העולם הפיזי סביבך ולמזג אותו עם תוכן וירטואלי פותחת אפשרויות חדשות עבור VR כיום - כמו משחקים במיקום משותף שאתה יכול לשחק עם חברים באותו חדר פיזי או חוויות פרודוקטיביות המשלבות צגים וירטואליים ענקיים עם כלים פיזיים ," מסביר מנהל מוצר Meta Sarthak Ray. "וזה צעד לקראת החזון ארוך הטווח שלנו למציאות רבודה."

יש תפיסה שגויה נפוצה שניתן להשיג מציאות מעורבת פשוט על ידי הצגת הזנת וידאו ברזולוציה גבוהה בזמן אמת של העולם הפיזי בתוך האוזניות, אבל האמת היא הרבה יותר מורכבת. חוויות MR אמינות דורשות את היכולת למזג בצורה משכנעת את העולם הווירטואלי והפיזי - כלומר האוזניות חייבות לעשות יותר מאשר רק להציג את הסביבה הפיזית שלך כסרטון דו-ממדי. הוא חייב למעשה לשחזר באופן דיגיטלי את החדר שלך כחלל תלת מימדי עם הבנה של האובייקטים והמשטחים סביבך. זה דורש מערכת מורכבת של מספר טכנולוגיות חומרה ותוכנה כמו חיישנים ברזולוציה גבוהה, תמסורת, מופעל בינה מלאכותית הבנת סצנה, ו עוגנים מרחביים, כולם עובדים יחד בצורה חלקה ונוחה.

ב-Meta, אנו משקיעים ללא הרף במחקר ופיתוח מקוריים כדי ליצור טכנולוגיות VR מובילות שאנו מספקים לצרכנים בקנה מידה - כל זאת תוך שימת לב לאנשים במקום הראשון בעיצוב שלנו. אנו מתמקדים בפרטים, מתוך הבנה עמוקה של האופן שבו אנשים תופסים את העולם סביבם ודחף לחבר את התפיסה הזו לחוויות סוחפות שמרגשות אנשים לגבי האפשרויות של מציאות מדומה ומעורבת. היום, אנו מציגים שם חדש למערכת המציאות המעורבת הייחודית שלנו - Meta Reality - ונותנים לך מבט מתחת למכסה המנוע על מה שנכנס לחוויית MR מהשורה הראשונה באמת.

מעבר צבע סטריאוסקופי למודעות מרחבית

בראש ובראשונה, חווית MR אמיתית חייבת להיות נוחה ולהרגיש כמו חווית צפייה טבעית - פיד וידאו ישיר שלא מצליח להעביר תחושת עומק פשוט לא יכול לספק זאת, גם אם הוא ברזולוציה גבוהה. בנוסף, אם המעבר הוא מונוסקופי (נראה מזווית צפייה אחת) ו/או חסר רמזים לעומק, זה יכול להיות לא נוח לצופה. ל תמסורת כדי להיות נוחים, התמונות המוצגות במאגר העין הבודד צריכות להיווצר משתי זוויות נפרדות המספקות רמזים סטריאוסקופיים. זה, יחד עם הנוכחות של מידע על עומק וצבע, חשוב לשחזר חוויה נוחה.

פתרון Passthrough הצבע הסטריאוסקופי שלנו משתמש בארכיטקטורת חומרה מותאמת אישית, אלגוריתמים מתקדמים של ראייה ממוחשבת ולמידת מכונה מתקדמת המדגימה כיצד העיניים שלך רואות באופן טבעי את העולם סביבך כדי לעמוד באתגר הזה. מצלמה ורזולוציית תצוגה טובים יותר מספקים איכות תמונה משופרת, כאשר המצלמות של Meta Quest Pro לוכדות פי ארבעה פיקסלים מהמצלמות של Meta Quest 2. אבל אולי חשוב מכך, העיבוד המבוסס על תמונה, שחזור גיאומטריית סטריאו והבנת העומק קובעים את מיקומם של אובייקטים ביחס לסצנה בתוך חדר נתון. מחסנית אלגוריתם חדשנית זו מאפשרת ל-Meta Quest Pro לזהות היבטים של גיאומטריית החדר ולזהות את מיקומם של אובייקטים בחלל התלת-ממדי. אז כשאתה מושיט את ידו אל כוס הקפה על השולחן שלך תוך כדי צפייה בה עם צבע סטריאוסקופי Passthrough, המוח שלך מבין שהכוס רחוקה יותר מהיד שלך מהעט היושב ממש לידך.

"Meta Quest Pro משלבת שתי תצוגות מצלמה כדי לשחזר עומק ריאליסטי, מה שמבטיח שחווית מציאות מעורבת שנבנתה באמצעות מעבר צבע נוחות לאנשים", מסביר מנהל הנדסת ראיית המחשב של Meta Ricardo Silveira Cabral. "אבל גם רמזים של מרקם סטריאו מאפשרים למוח של המשתמש לעשות את השאר ולהסיק עומק גם כאשר שחזור העומק אינו מושלם או שהוא מעבר לטווח המערכת."

לִזכּוֹר Oculus Insight—הטכנולוגיה שלנו שאפשרה את מערכת המעקב העצמאית הראשונה עם "בפנים החוצה" עבור מכשיר VR לצרכן? שדרגנו את יכולות חישת העומק שלו כדי לייצר ייצוג תלת מימדי צפוף של חלל נתון בזמן אמת. בעוד ש-Insight משתמשת בכ-3 נקודות עניין בחדר כדי לאתר את מיקום האוזניות בחלל, פתרון חישת העומק שלנו ב-Meta Quest Pro מייצר עד 100 נקודות לכל פריים במרחק של עד חמישה מטרים במגוון תנאי תאורה טבעיים ומלאכותיים. אנו משתמשים במידע זה כדי ליצור רשת תלת מימדית של העולם הפיזי, תוך שילוב פלט זה על פני מספר פריימים כדי ליצור ייצוג תלת מימדי צפוף ויציב זמנית של החלל. רשת זו משמשת לאחר מכן עם עיבוד חזוי כדי לייצר תמונות של העולם הפיזי. זה אומר שהשחזורים מעוותים בנפרד לתצוגות העין השמאלית והימנית של האוזניות באמצעות שלנו TimeWarp אסינכרוני טכנולוגיה המנבאת את מיקומי העין של המשתמש כמה אלפיות שניות בעתיד כדי לפצות על זמן השהייה בעיבוד.

לבסוף, הוספת צבע גורמת לכל החוויה להיראות ולהרגיש מציאותית יותר. "המצלמה הצבעונית משמשת לצביעה של התצוגה הסטריאוסקופית כדי להביא את החוויה קרובה ככל האפשר לעולם הפיזי", אומרת סילבירה קברל. "עם ארכיטקטורה זו בתוספת אופטימיזציות שנעשו על פני כל הצינור, אנו יכולים לספק מעבר צבע סטריאוסקופי ב-Meta Quest Pro עבור כל הכותרים הקיימים של Meta Quest 2 ואפליקציות MR הקרובות כחוויית ברירת המחדל ללא משאבי חישוב נוספים. זה אומר שאפליקציות קיימות המשתמשות ב-Passthrough ב-Meta Quest 2 יעבדו עם טכנולוגיית Passthrough הצבע הסטריאוסקופית החדשה של Meta Quest Pro ישירות מהקופסה."

כשמוסיפים הכל, Passthrough הצבע הסטריאוסקופי של Meta Quest Pro מביא לחוויה נוחה יותר עם תפיסת עומק ופחות עיוותים חזותיים מאשר פתרונות מונוסקופיים, מה שפותח חוויות מציאות מעורבת איכותיות בקנה מידה של חדר.

הבנת סצינות למיזוג תוכן וירטואלי לעולם הפיזי

הוצג במסגרת פלטפורמת נוכחות במהלך Connect 2021, הבנת סצנה מאפשר למפתחים לבנות במהירות חוויות MR מורכבות ומודעת לסצינה המאפשרות אינטראקציות עשירות עם סביבת המשתמש.

"כדי למזער את המורכבות ולאפשר למפתחים להתמקד בבניית החוויות והעסקים שלהם, הצגנו את Scene Understanding כפתרון מערכת", מציין מנהל המוצר של Meta Wei Lyu.

• דגם סצנה הוא ייצוג יחיד, מקיף, עדכני ומנוהל מערכתית של הסביבה המורכב ממידע גיאומטרי וסמנטי. המרכיבים הבסיסיים של מודל סצנה הם עוגנים, וניתן לחבר כל עוגן עם רכיבים שונים. לדוגמה, הסלון של משתמש מאורגן סביב עוגנים בודדים עם תוויות סמנטיות, כגון הרצפה, התקרה, הקירות, השולחן והספה. כל אחד מחובר גם עם ייצוג גיאומטרי פשוט: גבול דו-ממדי או תיבה תוחמת תלת-ממדית.
• לכידת סצנה הוא זרימה מונחית מערכת המאפשרת למשתמשים להסתובב וללכוד את ארכיטקטורת החדר והרהיטים שלהם כדי ליצור מודל סצנה. בעתיד, המטרה שלנו היא לספק גרסה אוטומטית של Scene Capture שאינה מחייבת אנשים לצלם באופן ידני את הסביבה שלהם.
• API של סצנה הוא הממשק שאפליקציות יכולות לבצע שאילתות וגישה למידע המרחבי במודל הסצנה עבור מקרי שימוש שונים כולל מיקום תוכן, פיזיקה, ניווט וכו'. עם Scene API, מפתחים יכולים להשתמש במודל הסצנה כדי שכדור וירטואלי יקפוץ משטחים פיזיים ב- החדר בפועל או רובוט וירטואלי שיכול להתאים את הקירות הפיזיים.

"הבנת הסצנה מורידה את החיכוך עבור מפתחים, ומאפשרת להם לבנות חוויות MR אמינות וסוחפות ככל האפשר עם אפקטים של חסימה והתנגשות בזמן אמת", אומר ריי.

עוגנים מרחביים להצבת אובייקט וירטואלי

"אם מעבר צבע סטריאוסקופי והבנת סצנה עושים את המשימות הכבדות כדי לאפשר לחוויות MR למזג את העולם הפיזי והווירטואלי, יכולות העיגון שלנו מספקות את רקמת החיבור שמחזיקה הכל ביחד", אומרת מנהלת המוצר של Meta, לורה אונו.

עוגנים מרחביים הם יכולת ליבה לעזור למפתחים להתחיל לבנות חוויות מציאות משולבת מהשורה הראשונה. הם מאפשרים לאפליקציה ליצור מסגרת התייחסות או סיכה בחלל המאפשרת לאובייקט וירטואלי להתמיד בחלל לאורך זמן. הודות לעוגנים מרחביים, מעצב מוצר יכול לעגן מספר סכימות תלת-ממדיות במקום גרביטציה, או שקבוצת חברים עשויה לעגן בו את עולם המשחק דמאו למשטח השולחן שלהם כדי שיוכלו לחזור לאותה הגדרה ולהמשיך במשחקם למחרת.

ניתן להשתמש בעיגונים מרחביים בשילוב עם עוגני דגם סצינה (קירות, שולחן, הרצפה וכו') ליצירת חוויות עשירות ומיקום אוטומטי בקנה מידה של חדר. החדר של המשתמש הופך לקנבס עיבוד מרחבי למשחקיות וגם לפרודוקטיביות. מפתח עשוי לבחור לעגן דלת וירטואלית לקיר פיזי. לאחר מכן המשתמש יכול לפתוח אותו כדי לחשוף עולם וירטואלי סוחף לחלוטין, עם דמויות משלו שיכולות להיכנס למרחב הפיזי.

"על ידי שילוב של הבנת סצנה עם עוגנים מרחביים, אתה יכול למזג ולהתאים את חוויות ה-MR שלך לסביבת המשתמש כדי ליצור עולם חדש מלא באפשרויות," מציין אונו. "אתה יכול להפוך לסוכן חשאי בסלון משלך, הנח רהיטים וירטואליים בחדר שלך או לשרטט הרחבה על הבית שלך, ליצור משחקי פיזיקה, ועוד."

עוגנים מרחביים משותפים לחוויות משותפים

אחרון חביב, הוספנו עוגנים מרחביים משותפים לפלטפורמת נוכחות. עוגנים מרחביים משותפים מאפשרים לשתף עוגנים שנוצרו על ידי אדם אחד עם אחרים באותו מרחב פיזי. זה מאפשר למפתחים לבנות חוויות מרובות משתתפים מקומיות על ידי יצירת מסגרת התייחסות משותפת נעולה עולמית עבור משתמשים מרובים. לדוגמה, שני אנשים או יותר יכולים לשבת באותו שולחן פיזי ולשחק על גביו משחק לוח וירטואלי. לחץ כאן ללמוד 'יותר.

שילוב מנצח למציאות מעורבת

אתה צריך מעבר צבע סטריאוסקופי, הבנת סצנה, עוגנים מרחביים ועוגנים מרחביים משותפים יחד עם חסימה והתנגשות בזמן אמת, זיהוי אובייקטים ותאורה - משולבים בחבילה אחת כדי לספק חוויות MR אמיתיות ומשמעותיות. והכל צריך לבוא יחד עם אילוצים כמו עלות ביצועים, מחשוב ותרמיקה בחשבון. אבל מעל הכל, הבטחת חוויה נוחה היא המפתח.

"כמו ברוב הדברים בטכנולוגיה, יש פשרות", מודה מנהל המוצר של Meta, אבינב פאשין. "למרות שהפתרון הנוכחי שלנו אינו מושלם, הוא שומר על מחשוב תוך מקסום נוחות המשתמש - ואנחנו מסוגלים לספק עומק ורוחב טובים יותר של כלי מפתחים בגלל זה."

זאת רק ההתחלה. Meta Reality תמשיך להתפתח באמצעות עדכוני תוכנה - ועם התקדמות החומרה המסופקת במוצרי Meta Quest העתידיים.

"Meta Quest Pro הוא הראשון מבין מכשירי MR רבים שחוקרים את הפוטנציאל המרגש של הטכנולוגיה המתהווה הזו", מוסיפה סילבירה קברל. "אנחנו רוצים ללמוד יחד עם מפתחים כשהם בונים חוויות משכנעות שמגדירות מחדש מה אפשרי עם אוזניות VR. הסיפור הזה עדיין לא שלם - זה רק עמוד ראשון."