מהפכה בגרפיקה ממוחשבת מביאה לכידת מציאות תלת מימדית להמונים

מהפכה בגרפיקה ממוחשבת מביאה לכידת מציאות תלת מימדית להמונים

חותמת זמן: 6 בנובמבר 2023 10:23
מהפכה בגרפיקה ממוחשבת מביאה לכידת מציאות תלת-ממדית להמונים אינטליגנציה נתונים PlatoBlockchain. חיפוש אנכי. איי.

ככלי מלחמה, השמדת אתרי מורשת תרבותית היא א שיטה נפוצה על ידי פולשים חמושים כדי לשלול מהקהילה את זהותם המובחנת. זה לא היה מפתיע אז, בפברואר 2022, כאשר חיילים רוסים נסחפו לתוך אוקראינה, שהיסטוריונים ומומחי מורשת תרבותית התאימו לקראת ההרס הקרוב. עד כה במלחמת רוסיה-אוקראינה, אונסק"ו עשה זאת מאושר נזק למאות מבנים דתיים והיסטוריים ועשרות אנדרטאות ציבוריות, ספריות ומוזיאונים.

בעוד טכנולוגיות חדשות כמו מזל"טים בעלות נמוכה, הדפסת 3D, ו אינטרנט פרטי לווייני ייתכן שיוצר שדה קרב מובהק של המאה ה-21 שאינו מוכר לצבאות קונבנציונליים, מערכת טכנולוגיות נוספת יוצרת אפשרויות חדשות עבור ארכיונאים אזרחיים מהחזית לשמר אתרי המורשת האוקראינית.

גיבוי אוקראינה, פרויקט שיתופי בין הנציבות הלאומית של אונסק"ו הדנית ו-Polycam, כלי ליצירת תלת-ממד, מאפשר לכל מי שמצויד בטלפון בלבד לסרוק וללכוד מודלים תלת-ממדיים באיכות גבוהה, מפורטים ופוטו-ריאליסטיים של אתרי מורשת, דבר אפשרי רק עם יקר ומכביד ציוד רק לפני כמה שנים.

Backup Ukraine הוא ביטוי בולט למהירות המדהימה שבה מתקדמים טכנולוגיות לכידת תלת מימד וגרפיקה, לדברי Bilawal Sidhu, טכנולוג, משקיע מלאך ומנהל מוצר של גוגל לשעבר שעבד על מפות תלת מימד ו-AR/VR.

"טכנולוגיות לכידת מציאות נמצאות על עקומה אקספוננציאלית מדהימה של דמוקרטיזציה", הוא הסביר לי בראיון ל- רכזת הסינגולריות.

לדברי Sidhu, יצירת נכסי תלת מימד הייתה אפשרית, אבל רק עם כלים יקרים כמו מצלמות DSLR, סורקי לידר ורישיונות תוכנה יקרים. כדוגמה, הוא הביא את עבודתו של CyArk, מלכ"ר שנוסדה לפני שני עשורים במטרה להשתמש בטכנולוגיית לכידת תלת מימד מקצועית לשימור המורשת התרבותית ברחבי העולם.

"מה שמטורף, ומה שהשתנה, זה שהיום אני יכול לעשות את כל זה עם האייפון בכיס שלך", הוא אומר.

בדיון שלנו, סידהו הציג שלוש מגמות טכנולוגיות ברורות אך קשורות זו בזו המניעות את ההתקדמות הזו. ראשית היא ירידה במחיר של סוגי המצלמות והחיישנים שיכולים ללכוד אובייקט או חלל. שנית היא מפל של טכניקות חדשות שעושות שימוש בבינה מלאכותית לבניית נכסי תלת מימד מוגמרים. ושלישית היא התפשטות כוח המחשוב, המונע בעיקר על ידי GPUs, המסוגלים להציג אובייקטים עתירי גרפיקה במכשירים הזמינים באופן נרחב לצרכנים.

סורקי Lidar הם דוגמה לשיפור המחיר-ביצועים בחיישנים. זכה לראשונה לפופולאריות כחיישני מסתובבים מגושמים על גבי כלי רכב אוטונומיים, ותומחר ב- עשרות אלפי דולרים, lidar עשתה את הופעת הבכורה שלה בטכנולוגיה צרכנית ב-iPhone 12 Pro ו-Pro Max בשנת 2020. היכולת לסרוק חלל באותו האופן שבו מכוניות ללא נהג רואות את העולם גרמה לכך שפתאום כל אחד יכול היה במהירות ובזול ליצור נכסי תלת מימד מפורטים. עם זאת, זה עדיין היה זמין רק ללקוחות העשירים ביותר של אפל.

אחת מנקודות המפנה המשמעותיות ביותר בתעשייה התרחשה באותה שנה כאשר חוקרים בגוגל הציג שדות קרינה עצביים, המכונה בדרך כלל NeRFs.

גישה זו משתמשת למידת מכונה כדי לבנות מודל תלת-ממד אמין של אובייקט או חלל מתמונות או וידאו דו-ממדיים. הרשת העצבית "הזויה" כיצד תיראה סצינה תלת-ממדית מלאה, לפי סידהו. זהו פתרון ל"צפייה בסינתזה", אתגר גרפי ממוחשב המבקש לאפשר למישהו לראות חלל מכל נקודת מבט ממספר תמונות מקור בלבד.

"אז הדבר הזה יצא וכולם הבינו שיש לנו עכשיו סינתזת תצוגה מתקדמת שעובדת בצורה מבריקה עבור כל הדברים שפוטוגרמטריה התקשתה איתם כמו שקיפות, שקיפות ורפלקטיביות. זה סוג של מטורף", הוא מוסיף.

קהילת הראייה הממוחשבת ניתבה את ההתרגשות שלהם ליישומים מסחריים. בגוגל, Sidhu והצוות שלו בחנו את השימוש בטכנולוגיה עבור נוף סוחף, גרסת תלת מימד של מפות Google. עבור המשתמש הממוצע, התפשטות יישומים ידידותיים לצרכן כמו Luma AI ואחרים התכוונו שכל אחד עם מצלמת סמארטפון בלבד יכול ליצור נכסי תלת מימד פוטוריאליסטיים. יצירת תוכן תלת מימד באיכות גבוהה כבר לא הייתה מוגבלת ל-lidar-elite של אפל.

כעת, שיטה נוספת שעלולה להיות מבטיחה אפילו יותר לפתרון סינתזת צפיות זוכה לתשומת לב המתחרה בהתרגשות המוקדמת של NeRF. התזות גאוסיות היא טכניקת עיבוד המחקה את הדרך משולשים משמשים לנכסי תלת מימד מסורתיים, אבל במקום משולשים, זהו "כתם" של צבע המתבטא באמצעות פונקציה מתמטית המכונה גאוס. ככל שיותר גאוסים משולבים יחדיו, נכס תלת-ממד מפורט ורב טקסטורה הופך גלוי. מהירות האימוץ של התזות היא מדהימה לצפייה.

עברו רק כמה חודשים אבל הדגמות מציפים את X, וגם Luma AI וגם Polycam מציעות כלים ליצירת כתמים גאוסיים. מפתחים אחרים כבר עובדים על דרכים לשילובם במנועי משחק מסורתיים כמו Unity ו-Unreal. Splats זוכים לתשומת לב גם מתעשיית הגרפיקה הממוחשבת המסורתית מאחר ומהירות העיבוד שלהם מהירה יותר מאשר NeRFs, וניתן לערוך אותם בדרכים שכבר מוכרות לאמני תלת מימד. (NeRFs לא מאפשרים זאת בהתחשב בכך שהם נוצרים על ידי רשת עצבית בלתי ניתנת לפענוח.)

להסבר מצוין כיצד פועלת התזת גאוס ומדוע היא מייצרת באזז, ראה סרטון זה מאת Sidhu.

[תוכן מוטבע]

ללא קשר לפרטים, עבור הצרכנים, אנחנו בהחלט נמצאים ברגע שבו טלפון יכול לייצר נכסי תלת מימד בקליבר הוליווד שרק צוותי הפקה מצוידים יכלו לייצר לפני זמן קצר.

אבל למה יצירת תלת מימד חשובה בכלל?

כדי להעריך את המעבר לעבר תוכן תלת מימד, ראוי לציין שהנוף הטכנולוגי מכוון לעבר עתיד של "מחשוב מרחבי". בעוד שמונחים בשימוש מופרז כמו המטא-ברס עשויים למשוך עיניים, הרוח הבסיסית היא הכרה שלסביבות תלת-ממד, כמו אלו המשמשות במשחקי וידאו, עולמות וירטואליים ותאומים דיגיטליים יש תפקיד גדול בעתיד שלנו. נכסי תלת-ממד כמו אלה המיוצרים על ידי NeRFs ו-splatting עשויים להפוך לתוכן שבו נעסוק בעתיד.

בהקשר זה, שאיפה בקנה מידה גדול היא התקווה לזמן אמת מפת העולם בתלת מימד. אמנם היו כלים ליצירת מפות תלת-ממדיות סטטיות, אך האתגר נותר למצוא דרכים לשמור על מפות אלו עדכניות עם עולם משתנה ללא הרף.

"יש את הבנייה של מודל העולם, ואז יש שמירה על המודל הזה של העולם. עם השיטות האלה שאנחנו מדברים עליהן, אני חושב שאולי יהיה לנו סוף סוף את הטכנולוגיה לפתור את בעיית 'שמירה על המודל' באמצעות מיקור המונים", אומר Sidhu.

פרויקטים כמו ה-Immersive View של גוגל הם דוגמאות מוקדמות טובות להשלכות הצרכניות של זה. למרות שהוא לא ישער מתי זה עשוי בסופו של דבר יתאפשר, סידהו הסכים שבשלב מסוים תתקיים הטכנולוגיה שתאפשר למשתמש ב-VR להסתובב בכל מקום על פני כדור הארץ עם חוויה סוחפת בזמן אמת של מה שקורה שם . סוג זה של טכנולוגיה יגלוש גם למאמצים ב "טלפורטציה" מבוסס אווטארפגישות מרוחקות ומפגשים חברתיים אחרים.

סיבה נוספת להתרגש, אומר Sidhu, היא לכידת זיכרון תלת מימדית. אפל, למשל, נשענת בכבדות צילום ווידאו בתלת מימד עבור אוזניות המציאות המעורבת של Vision Pro שלהם. כדוגמה, סידהו סיפר לי שהוא יצר לאחרונה העתק איכותי של בית הוריו לפני שהם עזבו. אז הוא יוכל לתת להם את החוויה של הליכה בתוכו באמצעות מציאות מדומה.

"ההרגשה הקרבית הזו של לחזור לשם היא כל כך עוצמתית. זו הסיבה שאני כל כך שורי ב-Apple, כי אם הם יצליחו לתקן את פורמט המדיה התלת-ממדי הזה, זה המקום שבו דברים יכולים להיות מרגשים עבור אנשים רגילים."

מאמנות מערות ועד ציורי שמן, הדחף לשמר היבטים של החוויה החושית שלנו הוא אנושי עמוק. בדיוק כמו שצילום פעם השפיע על טבע דומם כאמצעי לשימור, נראה שכלי יצירה בתלת-ממד עומדים לעקור את הרומן רב השנים שלנו עם תמונות דו-ממדיות ווידאו.

עם זאת, כפי שצילום יכול רק לקוות ללכוד שבריר של רגע בזמן, מודלים תלת מימדיים לא יכולים להחליף באופן מלא את היחס שלנו לעולם הפיזי. ובכל זאת, עבור אלה שחווים את זוועות המלחמה באוקראינה, אולי אלו התפתחויות מבורכות המציעות דרך סוחפת יותר לשמר את מה שלעולם לא ניתן יהיה להחליף באמת.

תמונת אשראי: וים טורביינס / Unsplash 

בול זמן:

עוד מ רכזת הסינגולריות