ל-Quest 3 יש כעת מעקב גוף מבפנים וחוץ וחסימת MR

מפתחי Quest 3 יכולים כעת לשלב שלוש תכונות חדשות עיקריות כדי לשפר את המציאות המדומה והמעורבת כאחד.

Inside-Out Body Tracking (IOBT) ו-Genative Legs היו הוכרז לצד קווסט 3 כמו שיגיע בדצמבר. חסימה עבור מציאות מעורבת באמצעות ה-Depth API הייתה בעבר תכונה ניסיונית, כלומר מפתחים יכלו לבדוק אותו אבל לא יכלו לשלוח אותו ב-Quest Store או App Lab builds.

כל שלוש התכונות זמינות כעת כחלק מ-v60 SDK עבור Unity וקוד מקורי. בינתיים, שילוב v60 Unreal Engine כולל Depth API, אך לא IOBT או Generative Legs.

Inside-Out מעקב פלג גוף עליון

Inside-Out Body Tracking (IOBT) משתמש במצלמות הצד של Quest 3, הפונות כלפי מטה, כדי לעקוב אחר פרק כף היד, המרפקים, הכתפיים והגו באמצעות אלגוריתמים מתקדמים של ראייה ממוחשבת.

IOBT מונע את הבעיות עם זרועות משוערות בקינמטיקה הפוכה (IK), שלעתים קרובות אינן נכונות ומרגישות לא נוחות מכיוון שהמערכת רק מבצעת ניחושים ממיקום הראש והידיים שלך. כאשר מפתחים משלבים את IOBT, תראה את הזרועות והטורו שלך במיקומים האמיתיים שלהם - לא הערכה.

מעקב פלג גוף עליון זה גם מאפשר למפתחים לעגן את תנועת מקלות האגודל לכיוון הגוף שלך, לא רק לראש או לידיים שלך, ואתה יכול לבצע פעולות חדשות כמו להישען על מדף ולהציג את ההצגה הזו בצורה מציאותית על האווטאר שלך.

רגליים מחוללות בינה מלאכותית

IOBT עובד רק עבור פלג הגוף העליון שלך. עבור פלג הגוף התחתון שלך, Meta השיקה את Generative Legs.

Generative Legs משתמש במודל AI "מתקדם" כדי להעריך את עמדות הרגליים שלך - טכנולוגיה שהחברה כבר חוקר שנים. 

ב-Quest 3, Generative Legs מספקת אומדן מציאותי יותר מהאוזניות הקודמות הודות לשימוש במעקב פלג הגוף העליון כקלט, אבל זה עובד גם ב-Quest Pro ו-Quest 2 תוך שימוש בראש ובידיים בלבד.

מערכת הרגליים הגנרטיביות היא רק אומדן, לא עוקבת, כך שאמנם היא יכולה לזהות קפיצות וכפיפות, אבל היא לא קולטת הרבה תנועות ממשיות כמו הרמת ברכיים.

יחד, מעקב פלג גוף עליון מבפנים החוצה ורגליים יצירתיות מאפשרים גוף מלא סביר ב-VR, הנקרא Full Body Synthesis, ללא חומרה חיצונית.

Meta הודיעה בעבר ש-Full Body Synthesis יגיע ל-Supernatural, Swordsman VR ו-Drunken Bar Fight.

API לעומק לחסימה במציאות מעורבת

In סקירת Quest 3 שלנו ביקרנו בחריפות את היעדר חסימה דינמית של מציאות מעורבת. בעוד שאובייקטים וירטואליים יכולים להופיע מאחורי רשת הסצנה הגסה שנוצרה על ידי סריקת הגדרת החדר, הם תמיד מוצגים מול אובייקטים נעים כמו הזרועות שלך ואנשים אחרים גם אם רחוקים יותר, מה שנראה צורם ולא טבעי.

מפתחים כבר יכלו ליישם חסימה דינמית עבור הידיים שלך על ידי שימוש ברשת Hand Tracking, אבל מעטים עשו זאת מכיוון שזה מנותק את פרק היד שלך כך ששאר הזרוע שלך לא נכללת.

ה-Depth API החדש נותן למפתחים מפת עומק גסה לכל מסגרת שנוצרת על ידי האוזניות מנקודת המבט שלה. זה יכול לשמש כדי ליישם חסימה, הן עבור אובייקטים נעים והן עבור פרטים עדינים יותר של אובייקטים סטטיים מאחר שאלו לא נלכדו ב-Scene Mesh.

חסימה דינמית אמורה לגרום למציאות המעורבת ב-Quest 3 להיראות טבעית יותר. עם זאת, רזולוציית חישת העומק של האוזניות היא מאוד נמוך, כך שהוא לא יקלוט פרטים כמו הרווחים בין האצבעות שלך ותראה רווח ריק מסביב לקצוות של עצמים.

גם מפת העומק מוצעת למנף רק ל-4 מטרים, ולאחר מכן "הדיוק יורד משמעותית", כך שמפתחים עשויים לרצות להשתמש גם ב-Scene Mesh עבור חסימה סטטית.

ישנן שתי דרכים שבהן מפתחים יכולים ליישם חסימה: קשה ורך. Hard הוא בעצם חינמי אבל יש לו קצוות משוננים, בעוד של-Soft יש עלות GPU אבל נראה טוב יותר. כשמסתכלים על הקליפ לדוגמה של Meta, קשה לדמיין שכל מפתח יבחר ב-Hard.

עם זאת, בשני המקרים, החסימה מחייבת שימוש בהצללות החסימה המיוחדות של Meta או יישום ספציפי בהצללות המותאמות אישית שלך. זה רחוק מלהיות פתרון בלחיצה אחת וכנראה יהיה מאמץ משמעותי לתמוך למפתחים.

כמו גם עבור חסימה, מפתחים יכולים גם להשתמש ב-Depth API כדי ליישם אפקטים חזותיים מבוססי עומק במציאות מעורבת, כמו ערפל.

אתה יכול למצוא את התיעוד עבור אחדות כאן ועבור לא אמיתי כאן. שים לב שהתיעוד עדיין לא עודכן כך שישקף את הפרסום הציבורי.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.uploadvr.com/quest-3-inside-out-upper-body-tracking-and-dynamic-occlusion/