טכנולוגיה זו יכולה להפוך את העולם האמיתי לאמנות חיה

חוקרים יכולים לצלם תמונה ולהשתמש בה כנקודת התייחסות ליצירת עולם וירטואלי, אובייקט או אדם.

ככל שחברות בוחנות נוכחות מטא-ורסית באמצעות תאום דיגיטלי, היכולת לבנות במהירות ובקלות תוכן 3D מסוגנן ועולמות וירטואליים רק תהפוך חשובה יותר בהמשך הדרך.

פורסם לאחרונה אוניברסיטת קורנל נייר חקר את המגמה ההולכת וגוברת ופיתח פתרון להפקת שדות זוהר עצביים מסוגננים (SNeRFs) שיכולים לשמש ליצירת מגוון רחב של סצנות וירטואליות דינמיות במהירויות גבוהות יותר משיטות מסורתיות.

באמצעות תמונות התייחסות שונות, צוות המחקר של ה' נגוין-פווק, פנג ליו, ו ליי שיאו הצליחו ליצור סצנות תלת מימד מסוגננות שניתן להשתמש בהן במגוון של סביבות וירטואליות. לדוגמה, דמיינו לעצמכם אוזניות VR וצופים איך העולם האמיתי ייראה דרך עדשה מסוגננת כמו ציור של פבלו פיקאסו.

תהליך זה מאפשר לצוות לא רק ליצור אובייקטים וירטואליים במהירות אלא לנצל את סביבת העולם האמיתי שלהם כחלק מהעולם הווירטואלי עם זיהוי אובייקטים תלת מימדיים. 

חשוב לציין שצוות המחקר הצליח גם לצפות באותו אובייקט דרך כיווני ראייה שונים באותה נקודת מבט, הידועה גם בשם עקביות צולבת. זה יוצר אפקט תלת מימד סוחף כאשר צופים ב-VR.

על ידי החלפה של שלבי האופטימיזציה של NeRF ושל הסטייליזציה, צוות המחקר הצליח לצלם תמונה ולהשתמש בה כסגנון התייחסות כדי ליצור מחדש סביבה, אובייקט או אדם בעולם האמיתי באופן שמתאים את הסטייליזציה של אותה תמונה, ובכך. להאיץ את תהליך היצירה.

"אנו מציגים שיטת אימון חדשה לטיפול בבעיה זו על ידי החלפת שלבי ה-Nerf והאופטימיזציה של סגנונות," אמר הצוות. "שיטה כזו מאפשרת לנו לעשות שימוש מלא בקיבולת זיכרון החומרה שלנו כדי ליצור תמונות ברזולוציה גבוהה יותר וגם לאמץ שיטות העברת סגנון תמונה אקספרסיביות יותר. הניסויים שלנו מראים שהשיטה שלנו מייצרת NeRFs מסוגננות עבור מגוון רחב של תוכן, כולל סצינות פנימיות, חיצוניות ודינמיות, ומסנתזת תצוגות חדשות באיכות גבוהה עם עקביות צולבת.

בגלל מגבלות הזיכרון של NeRF, החוקרים נאלצו גם לפתור בעיה נוספת של איך הם יכולים להציג תמונות תלת מימד גבוהות יותר בקצב מהירות שהרגיש יותר כמו זמן אמת. הפתרון היה ליצור לולאה של תצוגות מעובדות שבכל איטרציה הצליחו למקד נקודות סטייליזציה באופן עקבי יותר עם כל מעבר ואז לבנות מחדש את התמונה עם יותר פרטים. 

הטכנולוגיה גם שיפרה את האווטרים. הגישה המסוגננת של צוות המחקר SNeRF אפשרה להם ליצור אווטאר שהיה אקספרסיבי יותר במהלך שיחות. התוצאה היא אווטרים 4D דינמיים שיכולים להעביר בצורה מציאותית רגשות כמו כעס, פחד, התרגשות ובלבול, והכל ללא צורך להשתמש באימוג'י או ללחוץ על כפתור בבקר VR.

עבודת המחקר עדיין נמשכת, אבל כרגע הצוות הצליח לפתח שיטה לסגנונות תלת-ממדיים באמצעות ייצוגים עצביים מרומזים שהשפיעו על הסביבה שלהם ועל האווטרים שלהם. בנוסף, הגישה שלהם להשתמש בשיטת סגנונות מתחלפת אפשרה להם לנצל את מלוא השימוש ביכולת זיכרון החומרה שלהם כדי לסגנן סצנות תלת מימד סטטיות ודינאמיות, מה שמאפשר לצוות ליצור תמונות ברזולוציה גבוהה יותר ולאמץ העברת סגנון תמונה אקספרסיבי יותר. שיטות ב-VR. 

אם אתה מעוניין לחפור עמוק בפרטים, תוכל לגשת לדוח שלהם כאן.

קרדיט תמונה: אוניברסיטת קורנל