בחינת אינטראקציות של ממשק משתמש XR ב-'Idea Engine'

מנוע רעיון מאפשר לך ליצור ולשתף VR וחוויות מציאות מעורבת. בניית כלי כזה למטרות כלליות דורשת ממשקי משתמש מורכבים. במאמר אורח זה, המפתח ברט ג'קסון חולק את הגישות שלו לאינטראקציה עם ממשק המשתמש.

מאמר אורח מאת ברט ג'קסון

ברט ג'קסון מפתח פרויקטים של VR מאז 2015 והוא המנהל של החברה החדשה שבסיסה בבריטניה X82 בע"מ. המהדורות הקודמות שלו כוללות: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & Mobile VR) ו-120Hz (SideQuest).

מקובל להציג ממשק משתמש באמצעות לוחות אינטראקטיביים דו-ממדיים ב-XR. זה לא סיכוי מרגש, אבל זה מוכר ויעיל. עם זאת, גם אם נקבל את החדירה הדו-ממדית הזו לעולמות ה-XR שלנו, עדיין יש שיקולים והזדמנויות חדשות להשתחרר מפרדיגמות דו-ממדיות.

מהר מאוד נמאס לי ממצביעי לייזר שהגזימו את תנועת היד שלי על לוחות מרוחקים, יחד עם וקטורי המטרה הלא עקביים שלהם וזיהוי הצביטה לסירוגין. ההעדפה שלי היא להגיע ולתקשר עם העולם. אני רוצה את הפאנל ממש מולי כדי שאוכל למקם אותו בנוחות ולהשתמש בו כמו מכשיר בעולם האמיתי.

הפרויקט האחרון שלי, מנוע רעיון, פותח באמצעות StereoKit, ספריית OpenXR בקוד פתוח. יש לו פילוסופיה של ידיים ראשונות ומספק תמיכה במעקב יד מהקופסה כמו גם תמיכה בבקר. זה מאפשר יצירה יעילה של חלונות דינמיים עם בקרות ממשק משתמש טיפוסיות. זהו כלי מצוין ליצירה מהירה של פרויקטי XR ויש לו יתרונות רבים אחרים.

פנלים

אז נקודת המוצא שלי היא פאנל ממשק משתמש שנוכל לתפוס אותו בכל נקודה (ללא ידיות או קצוות מיוחדים למצוא) עם הילה נחמדה שמוצגת כשאנחנו בטווח התפיסה. כעת, בואו נוסיף עוד שיקולי XR.

ב-XR, קל למשתמש להגיע מאחורי פאנל ממשק משתמש. במקום להציג ממשק משתמש אחורי ריק או הפוך, אני מפנה את ממשק המשתמש לצד שהמשתמש מסתכל עליו - פשוט. זה נשמע טריוויאלי, אבל כדאי לשקול תרחישים ספציפיים ל-XR. גישה נוספת היא לסובב אוטומטית את הפאנל כך שיפנה כל הזמן אל הנגן, אך זה מסיר את השליטה מהמשתמש. אם הם רוצים את הפאנל בזווית מוזרה, תנו להם, אולי יש להם סיבה טובה.

פאנל בודד צריך להישמר בגודל קטן (גודל עמוד / גודל צג) כך שהמשתמש יוכל לספוג בקלות את התוכן מבלי לסובב את הראש, אבל XR מספק לנו שפע של מקום. אני אוהב לחפש הזדמנויות לפרוץ את גבול העמוד. לאזורי הגלילה שלי יש ידית אחיזה כדי לתפוס ולהזיז את התוכן. בזמן האחיזה, אתה רואה תצוגה מורחבת מאוד של אזור התוכן, ואתה יכול לגרור ולשחרר במצב זה, מה שמספק טווח מיקומים גדול יותר.

אני מציג טיפים בצד של לוחות, עם קו לרכיב ממשק המשתמש שהם מתארים. זה מקטין את כמות הטקסט בחלונית. משתמשים יכולים לעבור על טיפים ולהסתיר את אלה שהם מכירים.

בפרויקט אחר, יצרתי אב טיפוס של תרשים גאנט תלת מימדי שגולל מהעמוד בצורה אופקית ודהה למרחוק. ההתמקדות העיקרית של המשתמש הייתה עדיין בפאנל המרכזי בגודל רגיל, אך הם הצליחו לבחון באופן אופציונלי את ההקשר הרחב יותר.

אמנם פאנלים נוחים ומוכרים, אבל אנחנו לא צריכים להרגיש מוגבלים על ידי הגבולות שלהם וזה כיף לחפש דרכים לפרוץ החוצה.

תפריטים

StereoKit הציג לי את תפריט היד הרדיאלי, עליו הרחבתי לאחר מכן. אני אוהב את הרעיון הזה כי אתה מפעיל אותו ביד אחת, כך שהוא נוח, נגיש. אני הופך את אותה מערכת תפריטים לזמינה הן ביד ימין והן ביד שמאל ומשתמש באותה גישה עבור תפריטים קופצים בלוחות לצורך עקביות.

התפריט הנפחי שלי לוקח את הדברים צעד קדימה והונע אך ורק על ידי הרצון לעשות שימוש בממד השלישי הזה. אני משתמש בו כדי לבחור יעדים בטלפורטים (עם מצביע לכל יעד) ולבחירת צמתים קרובים לעריכה. אני גם משתמש בו עבור קלט מקלדת בעת גלישה בכתובות metaverse. זה די ניסיוני. יש לזה את היתרון שכל הסמלים נמצאים במרחק שווה מהמרכז, ואתה רואה את הקלט שלך בלי צורך להסיט את המבט (בעיה נפוצה במקלדות וירטואליות). החיסרון הוא שזה לא מוכר למשתמשים, אז אני מצפה להתנגדות מסוימת אליו. שימו לב בסרטון, האותיות מתרחקות מלפנים לאחור בסדר אלפביתי, כך שבזמן קצר, המיקום שלהן אמור להיות מוכר.

בקרוב תוכל להוסיף תפריטים כאלה לפרויקטים של Idea Engine שלך.

ווידג'טים תלת מימדיים

בוחר צבעים הציע הזדמנות אידיאלית להתנסות, בעל שלושה ערכים (גוון, רוויה וערך) שניתן למפות ל-3 מימדים. בבורר הצבעים התלת-ממדי שלי, אתה יכול לשנות את כל שלושת הערכים בבת אחת או להגדיר בנפרד את הגוון, הרוויה או הערך. אני מרגיש שזה יותר מעניין ליצור איתו אינטראקציה מאשר מחוונים בעמוד דו מימדי.

בדומה לתנועה, אני רוצה לנוע בתלת מימד, אז הכנתי ג'ויסטיק תלת מימדי לתנועה חלקה במעקב יד. כל שעליך לעשות הוא לגרור את הכדור לכיוון שאתה רוצה לנסוע ולגלגל את פרק היד שלך להצמדה או סיבוב חלק. הוא פועל במצב הליכה או טיסה וניתן לבטל את הסיבוב אם המשתמש מוצא את זה יותר מדי לחשוב על הכל בשליטה אחת. אני עדיין תומך בתנועה מסורתית מבוססת בקר, אבל השליטה ביד אחת משכפלת את הפונקציונליות של מספר ג'ויסטיקים/כפתורים ומהווה דוגמה מעניינת לאופן שבו תנועת יד תלת מימדית יכולה לעמוד בדרישות בדרכים חדשות.

ידיים

בכל סרטוני הדוגמה שלי, תראה שאני מסתיר את ידו של המשתמש ברגע שהוא מתחיל ליצור אינטראקציה עם ממשק המשתמש. מפתחים רבים משקיעים מאמצים כדי ליצור בקפידה תנוחות אחיזה למטרות שונות, וזה נראה מסודר, אבל עבורי, יד מפוזרת היטב שאינה משקפת את תנוחת היד שלי מסיחת את הדעת יותר מאשר אין יד כלל. יד יכולה להיות גם חסימה חזותית ברגע שהאינטראקציה התחילה.

כשהיד נעלמה, אני גם חופשי להרגיע או להגזים בתנועת היד ללא כל קונפליקט ויזואלי. אני מרטיב את תנועת היד בבורר הצבעים כדי להוריד את הרגישות ולהגזים את תנועת היד בעת גלילה כשיש הרבה תוכן.

טקסט

בעוד ש-Idea Engine תומך ב-Sketchfab להורדת דגמי תלת מימד, בינה מלאכותית ליצירת תמונות וייבוא ​​תמונות/שמע, קשה לנצח את הקלות והנגישות של הטקסט והמילה המדוברת כדי להעביר נרטיבים מורכבים. עם זה בחשבון, הייתי צריך תמיכה הגונה עבור טקסט כדי שמשתמשים יוכלו למזג את כל הפורמטים הזמינים כדי לספר את הסיפורים שלהם.

טקסט בדרך כלל לא נראה נהדר ב-VR, אז אני דועך אותו כשאתה מתרחק כדי להסיר חפצים מכוערים ולסגור גם לוחות טקסט. משתמשים יהיו להוטים לחקור את הסביבה במקום לקרוא טקסט, כך שיש לי את האפשרות לאפשר לקריין לקרוא באופן אוטומטי כל טקסט בלוק שאתה נתקל בו.

קלט טקסט היה אתגר ללא פתרון מצוין. יצרתי קלט טקסט בסגנון נייד עם תמיכה בגזרה והדבקה ועימוד אוטומטי באמצעות מקלדת וירטואלית. כשסיימתי, חשבתי שזה בסדר, אבל לא הייתי רוצה להקליד קטע ארוך ב-XR. אחר כך הוספתי תמיכה בקול לטקסט. זה עזר, אבל גיליתי שאני צריך לעשות הרבה עריכה אחרי ההכתבה שלי וזה עדיין היה איטי יותר משימוש באמצעים מסורתיים. כעת אני מאפשר למשתמשים להתחבר לאוזניות שלהם מדפדפן בכל מכשיר שבבעלותם ולייבא טקסט דרך דף אינטרנט. אני משתמש בקביעות בכל שלוש הטכניקות, כאשר הדפדפן משמש להזנת טקסט ארוכה.

הלקח שלי כאן היה שלא תמיד צריך לפתור הכל ב-XR. לפעמים עדיף להשתמש במכשירים מתאימים יותר ואז לייבא את התוצאות.

נסה את זה

ממפות חשיבה חינוכיות, לסיפורים ומשחקים אינטראקטיביים, אתה יכול למנף את נכסי CC ולייבא תמונות, צלילים וטקסט משלך כדי לבנות את הרעיון שלך. לאחר מכן, הביאו אותו לחיים על ידי הוספת מצבים, אירועים וסקריפטים ברמה גבוהה ושתפו אותו במטא-ורס X82 שלנו. כלי עמוס בתכונות למשתמש קצה לחקור את האפשרויות של XR.

השמיים public alpha זמין כעת ולהורדה בחינם ב-App Lab, כדי שתוכל לבוא ולנסות כל אחת מהתכונות שנדונו ולתת לי את המשוב שלך.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/