הדגמה טכנולוגית מראה את הכוח האמיתי של מעקב פנים Quest Pro

יכולות מעקב הפנים של Quest Pro יופעלו במהירות כדי להפוך את האווטרים של Meta ליותר אקספרסיביים, אבל האווטרים מהדור הבא ירוויחו הרבה יותר מהטכנולוגיה החדשה.

אחת התכונות החדשות הגדולות של Quest Pro היא מערכת מעקב פנים המשתמשת במצלמות פנימיות כדי לחוש את תנועת העיניים שלך וחלקים מסוימים של הפנים שלך. בשילוב עם מודל למידת מכונה ללא כיול, האוזניות לוקחות את מה שהיא רואה והופכת אותו לכניסות שיכולות להניע את האנימציה של כל אווטאר.

סיקור מפתח Quest Pro:

Quest Pro נחשף - מפרט מלא, מחיר ותאריך יציאה

Quest Pro Hands-on - שחר עידן אוזניות המציאות המעורבת

Quest Pro ניתוח טכני – מה מבטיח ומה לא

בקרי Touch Pro נחשפו - תואמים גם ל-Quest 2

בטווח הקרוב, זה יופעל עם האווטרים הקיימים של Meta. ולמרות שזה בהחלט עושה אותם יותר אקספרסיביים, הם עדיין נראים קצת מטופשים.

זו כנראה התוצאה של מערכת ה-Meta Avatar הנוכחית שלא נבנתה עם רמה זו של מעקב פנים בחשבון. נראה שה'חיפוי' - מסגרת האנימציה הבסיסית של המודל - לא ממש מתאים למשימה. השתלת כניסות מעקב הפנים של Quest Pro למערכת הנוכחית לא באמת עושה צדק עם מה שהיא באמת מסוגלת.

למרבה המזל Meta בנתה הדגמה טכנולוגית שמראה מה אפשרי כאשר אווטאר מתוכנן תוך מחשבה על מעקב הפנים של Quest Pro (וכאשר כמעט כל כוח העיבוד של האוזניות מוקדש לעיבודו).

[תוכן מוטבע]

כן, זה עדיין קצת רועד, אבל כל תנועה שאתה רואה כאן מונעת על ידי המשתמש שעושה את אותן תנועות, כולל דברים כמו ניפוח הלחיים או הזזת הפה מצד אחד לצד השני. בסך הכל זה ייצוג הרבה יותר שלם של פנים שלטענתי מצליח להימנע מלהיכנס לעמק המדהים.

אני חייבת לנסות את ההדגמה הזו בעצמי שלי מעשיים לאחרונה עם Quest Pro שבו הסתכלתי במראה והופעתי בתור הדמות הזו (שמטה מכנה Aura). יצאתי ממש מתרשמת מכך שאפילו ללא כיול מיוחד, הפנים שראיתי במראה כאילו מחקים את כל התנועות שיכולתי לחשוב לעשות עם הפנים שלי.

נמשכתי במיוחד לפרטים בעור. אם הייתי פוזל ומצמצם את האף יכולתי לראות את העור סביבו מתגבש בצורה מציאותית, ואותו הדבר כשהרמתי את הגבה שלי. הפרטים העדינים האלה, כמו הקמט בלחיים הנעים עם הפה, באמת מוסיפים המון לרושם שזה לא רק חפץ מולי, אלא משהו שיש מאחוריו יצור חי.

בין אם הביטויים באמת נראים או לא me כשאני זה שמאחורי המסכה זו שאלה אחרת. מכיוון שהפנים של האווטאר הזה לא תואמות את הפנים שלי, זה למעשה קשה לומר. אבל שהתנועות הן לפחות מציאותי באופן סביר הוא צעד חשוב ראשון לקראת אווטרים וירטואליים שמרגישים טבעיים ואמינים.

Meta אומרת שהיא תשחרר את ההדגמה של Aura כפרויקט קוד פתוח כדי שהמפתחים יוכלו לראות איך הם צירפו את כניסות מעקב הפנים לאוואטר. החברה גם אומרת שמפתחים יוכלו להשתמש בערכת כלים יחידה להנעת אווטרים דמויי אדם או אווטרים לא אנושיים כמו חיות או מפלצות מבלי צורך להתאים כל אווטאר בנפרד.

Meta אומר שמפתחים יוכלו להקיש על API למעקב פנים המשתמש בערכים התואמים ל-FACS, מערכת מוכרת היטב לתיאור תנועת השרירים השונים בפנים האנושיות.

זוהי מערכת יעילה לא רק לייצוג פנים, אלא היא גם מהווה מחסום פרטיות שימושי עבור המשתמשים. לפי Meta, מפתחים לא ממש יכולים לקבל גישה לתמונות הגולמיות של הפנים של המשתמש. במקום זאת הם מקבלים "סדרה של ערכים אפס לאחד שמתכתבים עם קבוצה של תנועות פנים גנריות, כמו כשאתה מכווץ את האף או מקמט את הגבות", אומר מטה. "האותות הללו מקלים על מפתח לשמר את המשמעות הסמנטית של התנועה המקורית של השחקן בעת ​​מיפוי אותות מ-API למעקב אחר פנים למתקן הדמות שלו, בין אם הדמות שלו היא דמוית אנוש או אפילו משהו פנטסטי יותר."

Meta טוענת שאפילו החברה עצמה לא יכולה לראות את התמונות שצולמו במצלמות האוזניות, לא פנימיות או חיצוניות. הם מעובדים באוזניות ואז נמחקים מיד, לדברי החברה, מבלי שנשלחו לעולם לענן או למפתחים.