כאשר Stable Diffusion, אפליקציית AI המציגה תמונות ריאליסטיות שצולמו לפני מספר שבועות, באה איתה מילת באז חדשה; היפר-רשתות.
עכשיו, כבר דיפוזיה יציבה והיפר-רשתות כל כך משולבות עד שאי אפשר להזכיר אחת בלי השניה באותה פסקה.
"אימנתי היפר-רשתות דיפוזיה יציבות על מערכי נתונים קטנים (לא, לא אמנים עכשוויים מלבד שלך באמת) כדי ללמד אותם "סגנונות" לא ברורים שהם לא ממש מבינים מהקופסה. זה עובד בדיוק כפי שתואר, למעשה טוב יותר ממה שחשבתי בעצמי", אומר משתמש בטוויטר.
אימנתי היפר-רשתות דיפוזיה יציבות על מערכי נתונים קטנים (לא, לא אמנים עכשוויים מלבד שלך באמת) כדי ללמד אותם "סגנונות" לא ברורים שהם לא ממש מבינים מהקופסה. זה עובד בדיוק כפי שהוא תיאר, למעשה יותר טוב ממה שחשבתי לעצמי.
— מקסם חרטה (@regretmaximizer) דצמבר 20, 2022
זה מייצג את באז ההיפר-רשת שתפס את המשתמשים ברשת לאחרונה.
במדעי המחשב, היפר-רשת היא מבחינה טכנית רשת שמייצרת משקלים עבור רשת ראשית. במילים אחרות, מאמינים שההתנהגות של הרשת הראשית זהה לרשתות עצביות אחרות מכיוון שהיא לומדת למפות כמה תשומות גולמיות למטרות הרצויות שלהן בעוד שהרשת ההיפר לוקחת סט של תשומות המכילות מידע על מבנה המשקולות ויוצרת המשקל עבור אותה שכבה.
קרא גם: טכנולוגיית AI שיוצרת תמונות מזויפות עמוקות הורסות חיים
כיצד משתמשים בהיפר-רשתות?
על מנת להבין מהי היפר-רשת, בוא נגבה מעט. אם יצרתם תמונות ב-Stable Diffusion – כלי הבינה המלאכותית ליצירת אמנות דיגיטלית ותמונות – נתקלתם בזה.
אימון מתייחס בדרך כלל לתהליך שבו מודל לומד (קובע) ערכים טובים עבור כל המשקולות וההטיה מדוגמאות מסומנות
יצירת תמונות על דיפוזיה יציבה זה לא תהליך אוטומטי, כפי שסיקרנו במקום אחר. כדי להגיע לשם יש תהליכים.
ראשית, מודל בינה מלאכותית חייב ללמוד כיצד לרנדר או לסנתז תמונה של מישהו לתמונה ממודל דו-ממדי או תלת-ממדי באמצעות תוכנה. למרות שמודל ה-Stable Diffusion נבדק ביסודיות, יש לו כמה מגבלות אימון שניתן לתקן על ידי הטמעה ושיטות אימון היפר-רשתות.
כדי לקבל את התוצאות הטובות ביותר, משתמשי קצה עשויים לבחור לבצע הדרכה נוספת כדי לכוונן את תפוקות הדור כך שיתאימו למקרי שימוש ספציפיים יותר. אימון "הטמעה" כולל אוסף של תמונות שסופקו על ידי המשתמש, ומאפשר למודל ליצור תמונות דומות מבחינה ויזואלית בכל פעם ששם ההטמעה משמש בהנחיית דור.
הטבעות מבוססות על תפיסת "היפוך טקסטואלי" שפותחה על ידי חוקרים מאוניברסיטת תל אביב, שבה ייצוגים וקטוריים של אסימונים ספציפיים המשמשים את מקודד הטקסט של המודל מקושרים למילים פסאודו חדשות. הטבעה יכולה להפחית הטיות בתוך המודל המקורי, או לחקות סגנונות חזותיים.
"היפררשת", לעומת זאת, היא רשת עצבית מאומנת מראש המופעלת על נקודות שונות בתוך רשת עצבית גדולה יותר, ומתייחסת לטכניקה שיצר מפתח NovelAI Kurumuz בשנת 2021, המיועדת במקור למודלים של שנאים ליצירת טקסט. .
מתאמן על אמנים ספציפיים
רשתות היפר כלולות כדי לכוון תוצאות לכיוון מסוים, מה שמאפשר למודלים מבוססי דיפוזיה יציבה לשכפל סגנונות אמנות של אמנים ספציפיים. לרשת יש יתרון ביכולת לעבוד גם כאשר האמן אינו מזוהה על ידי הדגם המקורי ועדיין תעבד את התמונה על ידי מציאת אזורי מפתח בעלי חשיבות כמו שיער ועיניים, ולאחר מכן ידבק אזורים אלו בחלל סמוי משני.
"שכבת ההטמעה ב-Stable Diffusion אחראית על קידוד הקלט (לדוגמה, הנחית הטקסט ותוויות המחלקה) לוקטורים בעלי מימד נמוך. וקטורים אלו עוזרים להנחות את מודל הדיפוזיה לייצר תמונות התואמות את הקלט של המשתמש", מסביר בני צ'ונג בבלוג שלו.
"שכבת היפר-רשת היא דרך למערכת ללמוד ולייצג את הידע שלה. זה מאפשר ל-Stable Diffusion ליצור תמונות על סמך הניסיון הקודם שלה."
בעוד שכבת ההטמעה שלה מקודדת את הקלטים כגון הנחיית טקסט ותוויות מחלקות לוקטורים בעלי ממדים נמוכים כדי לעזור להנחות את מודל הדיפוזיה לייצר תמונות התואמות את הקלט של המשתמש, שכבת ההיפר-רשת היא במידת מה דרך למערכת ללמוד ולייצג את שלה. יֶדַע.
במילים אחרות, הוא מאפשר ל-Stable Diffusion ליצור תמונות על סמך הניסיון הקודם שלה. ב-Stable Diffussion, היפר-רשת היא שכבה נוספת המעובדת לאחר עיבוד תמונה דרך המודל. ה-Hypernetwork נוטה להטות את כל התוצאות מהמודל לכיוון נתוני האימון שלך באופן שבעצם "משנה" את המודל.
שמירת זיכרון
זה בעצם אומר שרשת ההיפר אחראית לשמירת זיכרון של תמונות שהמערכת יצרה בעבר. כאשר משתמש נותן קלט חדש, המערכת יכולה להשתמש בידע הקודם שלה כדי ליצור תמונה מדויקת יותר. לפיכך, היפר-רשתות מאפשרות למערכת ללמוד מהר יותר ולהשתפר ככל שהיא מתקדמת.
יש לזה יתרון שכל תמונה המכילה משהו שמתאר את נתוני האימון שלך, תיראה כמו נתוני האימון שלך.
"מצאנו שאימון עם הטבעה קל יותר מאימון עם היפר-רשת ליצירת דיוקנאות עצמיים. האימונים שלנו הניבו תוצאות טובות שאנו מרוצים מהן", כתב צ'ונג.
באיזו טכניקת כוונון עדין אתה משתמש? משהו כמו Hypernetworks או Textual Inversion?
- מתיאס מישל (@m91michel) דצמבר 21, 2022
אבל זו טכנולוגיה שרבים עדיין מתמקחים איתה. היפר-רשתות ומחוללי בינה מלאכותית רק החלו לספק את הצרכים והרצונות של המשתמשים. ממשקי המשתמש וטכניקות ההנחיה ללא ספק יתקדמו במהירות, ואולי אפילו יתפסו Google מחוץ לשמירה, בתור MetaNews לאחרונה מכוסה.
