יישומים תעשייתיים של למידת מכונה מורכבים בדרך כלל מפריטים שונים בעלי אופני נתונים או התפלגות תכונות שונות. גרפים הטרוגניים (HGs) מציעים תצוגה אחידה של מערכות נתונים רב-מודאליות אלו על ידי הגדרת סוגים מרובים של צמתים (עבור כל סוג נתונים) וקצוות (עבור הקשר בין פריטי נתונים). לדוגמה, רשתות מסחר אלקטרוני עשויות להיות [המשתמש, מוצר, סקירה] צמתים או פלטפורמות וידאו עשויות להיות [ערוץ, המשתמש, וידאו, הערה] צמתים. רשתות עצביות גרפיות הטרוגניות (HGNNs) למד הטמעת צומת המסכמת את הקשרים של כל צומת לוקטור. עם זאת, ב-HGs בעולם האמיתי, לעתים קרובות יש בעיה של חוסר איזון תווית בין סוגי צמתים שונים. משמעות הדבר היא שסוגי צמתים חסרי תווית אינם יכולים לנצל את ה-HGNNs, מה שמקשה על הישימות הרחבה יותר של HGNNs.
ב"למידה של העברת אפס בתוך גרף הטרוגני באמצעות רשתות העברת ידע", הוצג ב נוריפס 2022, אנו מציעים מודל הנקרא Knowledge Transfer Network (KTN), אשר מעביר ידע מסוגי צמתים בשפע תוויות לסוגי צמתים בעלי תווית אפס תוך שימוש במידע ההתייחסותי העשיר שניתן ב-HG. אנו מתארים כיצד אנו מאמנים מראש דגם HGNN ללא צורך בכוונון עדין. מערכות KTN עולות על קווי הבסיס המתקדמים ביותר של למידה בהעברה בשיעור של עד 140% במשימות למידה של אפס-shot, וניתן להשתמש בהן כדי לשפר מודלים רבים של HGNN קיימים במשימות אלו ב-24% (או יותר).
KTNs ממיר תוויות מסוג אחד של מידע (ריבועים) דרך גרף לסוג אחר (כוכבים). |
מהו גרף הטרוגני?
HG מורכב מ סוגי צומת וקצה מרובים. האיור שלהלן מציג רשת מסחר אלקטרוני המוצגת כ-HG. במסחר אלקטרוני, "משתמשים" רוכשים "מוצרים" וכותבים "ביקורות". HG מציג מערכת אקולוגית זו באמצעות שלושה סוגי צמתים [המשתמש, מוצר, סקירה] ושלושה סוגי קצה [משתמש-קניית-מוצר, משתמש-כתוב-ביקורת, סקירה על המוצר]. מוצרים בודדים, משתמשים וסקירות מוצגים לאחר מכן כצמתים והקשרים שלהם כקצוות ב-HG עם סוגי הצומת והקצה המתאימים.
גרף הטרוגני של מסחר אלקטרוני. |
בנוסף לכל מידע הקישוריות, HGs ניתנים בדרך כלל עם תכונות צומת קלט המסכמים את המידע של כל צומת. לתכונות של צומת קלט יכולות להיות אופנים שונים על פני סוגי צמתים שונים. לדוגמה, תמונות של מוצרים יכולות להינתן כמאפייני צומת קלט עבור צמתי המוצר, בעוד שטקסט יכול להינתן כמאפייני קלט לצמתי סקירה. תוויות צומת (למשל, הקטגוריה של כל מוצר או הקטגוריה שהכי מעניינת כל משתמש) הן מה שאנחנו רוצים לחזות בכל צומת.
HGNNs ובעיות מחסור בתווית
HGNNs מחשבים הטבעות צמתים המסכמים את המבנים המקומיים של כל צומת (כולל הצומת והמידע של שכנו). הטמעות צומת אלה מנוצלות על ידי מסווג כדי לחזות את התווית של כל צומת. כדי לאמן מודל HGNN ומסווג לחזות תוויות עבור סוג צומת ספציפי, אנו דורשים כמות טובה של תוויות עבור הסוג.
בעיה נפוצה ביישומים תעשייתיים של למידה עמוקה היא מחסור בתווית, ועם סוגי הצמתים המגוונים שלהם, HGNNs נוטים אפילו יותר להתמודד עם האתגר הזה. לדוגמה, סוגי צמתי תוכן זמינים לציבור (למשל, צמתי מוצרים) מסומנים בשפע, בעוד שתוויות לצמתי משתמש או חשבון עשויות שלא להיות זמינות עקב מגבלות פרטיות. המשמעות היא שברוב הגדרות ההדרכה הסטנדרטיות, מודלים של HGNN יכולים ללמוד להסיק מסקנות טובות רק עבור כמה סוגי צמתים בשפע, ובדרך כלל לא יכולים להסיק מסקנות עבור כל סוגי הצומת הנותרים (בהתחשב בהיעדר תוויות כלשהן עבורם).
העברת למידה על גרפים הטרוגניים
למידת העברה בזריקת אפס היא טכניקה המשמשת לשיפור הביצועים של מודל ב-a יעד תחום ללא תוויות על ידי שימוש בידע שלמד המודל מקשור אחר מָקוֹר דומיין עם נתונים מסומנים כראוי. כדי ליישם למידת העברה כדי לפתור את בעיית מחסור התווית הזו עבור סוגי צמתים מסוימים ב-HGs, תחום היעד יהיה סוגי הצמתים המסומנים באפס. אז מה יהיה תחום המקור? הקודם לעבוד בדרך כלל מגדיר את תחום המקור כאותו סוג של צמתים הממוקמים ב-HG אחר, בהנחה שאותם צמתים מסומנים בשפע. זֶה למידת העברת גרף לגרף הגישה מכשירה מראש דגם HGNN ב-HG החיצוני ולאחר מכן מפעילה את המודל ב-HG המקורי (דל תווית).
עם זאת, גישות אלו אינן ישימות בתרחישים רבים בעולם האמיתי משלוש סיבות. ראשית, כל HG חיצוני שניתן להשתמש בו במסגרת למידה של העברת גרף לגרף יהיה כמעט בטוח קניינית, ולכן, כנראה לא זמין. שנית, גם אם מתרגלים יוכלו לקבל גישה ל-HG חיצוני, אין זה סביר הפצה של אותו מקור HG יתאימו ל-HG היעד שלהם מספיק כדי ליישם למידת העברה. לבסוף, סוגי צמתים הסובלים מחסור בתווית צפויים לסבול מאותה בעיה ב-HGs אחרים (למשל, בעיות פרטיות בצמתי משתמש).
הגישה שלנו: העברת למידה בין סוגי צמתים בתוך גרף הטרוגני
כאן, אנו שופכים אור על תחום מקור מעשי יותר, סוגי צומת אחרים עם תוויות בשפע הממוקמות באותו HG. במקום להשתמש ב-HGs מיותרים, אנו מעבירים ידע בתוך HG יחיד (המניח שהוא בבעלות מלאה של המתרגלים) על פני סוגים שונים של צמתים. ליתר דיוק, אנו מאמנים מראש מודל HGNN ומסווג על סוג צומת שופע תווית (מקור), ולאחר מכן עושים שימוש חוזר במודלים בסוגי הצומת המסומנים באפס (יעד) הממוקמים באותו HG ללא כוונון עדין נוסף. הדרישה האחת היא שסוגי המקור וצמתי היעד חולקים את אותה סט תוויות (לדוגמה, במסחר האלקטרוני HG, לצמתי מוצרים יש ערכת תוויות המתארת קטגוריות מוצרים, וצמתי המשתמש חולקים את אותה סט תוויות המתארת את קטגוריות הקניות המועדפות עליהם) .
למה זה מאתגר?
למרבה הצער, איננו יכולים לעשות שימוש חוזר ישירות ב-HGNN המאומן מראש ובמסווג על סוג צומת היעד. מאפיין מכריע אחד של ארכיטקטורות HGNN הוא שהם מורכבים ממודולים מיוחדים לכל סוג צומת כדי ללמוד באופן מלא את ריבוי ה-HGs. HGNNs משתמשים בקבוצות נפרדות של מודולים כדי לחשב הטמעות עבור כל סוג צומת. באיור למטה, מודולים בצבע כחול ואדום משמשים לחישוב הטבעות של צומת עבור סוגי המקור והיעד של צומת היעד, בהתאמה.
HGNNs מורכבים ממודולים מיוחדים לכל סוג צומת ומשתמשים בקבוצות נפרדות של מודולים כדי לחשב הטבעות של סוגי צמתים שונים. פרטים נוספים ניתן למצוא ב מאמר. |
בזמן אימון מראש של HGNNs על סוג צומת המקור, מודולים ספציפיים למקור ב-HGNNs מאומנים היטב, אולם מודולים ספציפיים למטרה אינם מאומנים כיוון שיש להם רק כמות קטנה של שיפועים זורמת לתוכם. זה מוצג להלן, שם אנו רואים כי נורמה L2 של שיפועים עבור סוגי צומת יעד (כלומר, Mtt) נמוכים בהרבה מאשר עבור סוגי מקור (כלומר, Mss). במקרה זה מודל HGNN מוציא הטמעות צומת גרועות עבור סוג צומת היעד, מה שגורם לביצוע משימה גרוע.
ב-HGNNs, מודולים ספציפיים לסוג יעד מקבלים אפס או רק כמות קטנה של שיפועים במהלך אימון מקדים על סוג צומת המקור, מה שמוביל לביצועים גרועים בסוג צומת היעד. |
KTN: למידת העברה צולבת ניתנת לאימון עבור HGNNs
העבודה שלנו מתמקדת בהפיכת ההטמעות של צומת היעד (הגרועות) המחושבות על ידי מודל HGNN מאומן מראש כדי לעקוב אחר התפלגות ההטבעות של צומת המקור. לאחר מכן ניתן לעשות שימוש חוזר במסווג, שהוכשר מראש על סוג צומת המקור, עבור יעד סוג צומת. כיצד נוכל למפות את ההטמעות של צומת היעד לתחום המקור? כדי לענות על שאלה זו, אנו חוקרים כיצד HGNNs מחשבים הטמעות צמתים כדי ללמוד את הקשר בין הפצות מקור ויעד.
HGNNs צוברים הטמעות של צומת מחובר כדי להגדיל את ההטמעות של צומת יעד בכל שכבה. במילים אחרות, הטמעות הצומת הן עבור סוגי המקור והן עבור צומת היעד מתעדכנים באמצעות אותו קלט - הטבעות הצומת של השכבה הקודמת מכל סוגי הצומת המחוברים. המשמעות היא שהם יכולים להיות מיוצגים זה על ידי זה. אנו מוכיחים את הקשר הזה באופן תיאורטי ומוצאים שיש מטריצת מיפוי (מוגדרת על ידי פרמטרי HGNN) מתחום היעד לתחום המקור (פרטים נוספים במשפט 1 ב- מאמר). בהתבסס על משפט זה, אנו מציגים עזר רשת עצבית, שאליו אנו מכנים א רשת העברת ידע (KTN), שמקבל את ההטמעות של צומת היעד ואז הופך אותם על ידי הכפלתם עם מטריצת מיפוי (ניתנת לאימון). לאחר מכן אנו מגדירים מסדר שממוזער יחד עם אובדן הביצועים בשלב הטרום-אימון לאימון ה-KTN. בזמן הבדיקה, אנו ממפים את הטבעות היעד המחושבות מה-HGNN המאומן מראש לתחום המקור באמצעות ה-KTN המאומן לסיווג.
ב-HGNNs, הטבעות הסופיות של הצומת של סוגי המקור והיעד מחושבות מפונקציות מתמטיות שונות (f(): מקור, g(): target) המשתמשים באותו קלט - הטבעות הצומת של השכבה הקודמת. |
תוצאות ניסיוניות
כדי לבחון את היעילות של KTNs, הרצנו 18 משימות למידה שונות של העברת אפס-shot על שני גרפים הטרוגניים ציבוריים, גרף אקדמי פתוח ו PubMed. אנו משווים את KTN עם שמונה שיטות למידה מתקדמות של העברה (דן, JAN, Dann, CDAN, CDAN-E, WDGRL, LP, EP). מוצג להלן, KTN מתגבר באופן עקבי על כל קווי הבסיס בכל המשימות, ומנצח את קווי הבסיס של למידה בהעברה בשיעור של עד 140% (כפי שנמדד על ידי רווח מצטבר מוזל מנורמל, מדד דירוג).
למידת העברת זריקת אפס ב-Open Academic Graph (OAG-CS) ו-Pubmed מערכי נתונים. הצבעים מייצגים קטגוריות שונות של קווי בסיס למידת העברה שלפיהן התוצאות מושוות. צהוב: השתמש במאפיינים סטטיסטיים (למשל, ממוצע, שונות) של התפלגויות. ירוק: להשתמש מודלים יריבים להעביר ידע. כָּתוֹם: העברת ידע ישירות באמצעות מבנה גרף באמצעות התפשטות תווית. |
והכי חשוב, ניתן ליישם את KTN כמעט על כל דגמי HGNN שיש להם פרמטרים ספציפיים לסוג צומת וקצה ולשפר את ביצועי ה-0-shot שלהם בתחומי מטרה. כפי שמוצג להלן, KTN משפר את הדיוק בסוגי צמתים עם תווית אפס בשישה דגמי HGNN שונים (R-GCN, HAN, HGT, MAGNN, MPNN, H-MPNN) עד 190%.
ניתן להחיל את KTN על שישה דגמי HGNN שונים ולשפר את ביצועי ה-0-shot שלהם בתחומי מטרה. |
Takeaways
ניתן להציג מערכות אקולוגיות שונות בתעשייה כגרפים הטרוגניים. HGNNs מסכמים מידע גרפי הטרוגני לייצוגים יעילים. עם זאת, בעיות מחסור בתווית בסוגים מסוימים של צמתים מונעות יישום רחב יותר של HGNNs. בפוסט זה, הצגנו את KTN, שיטת לימוד העברה צולבת הראשונה המיועדת עבור HGNNs. עם KTN, אנו יכולים לנצל באופן מלא את העושר של גרפים הטרוגניים באמצעות HGNNs ללא קשר למחסור בתווית. ראה את מאמר לקבלת פרטים נוספים.
תודות
מאמר זה הוא עבודה משותפת עם המחברים השותפים שלנו, ג'ון פאלוביץ' (Google Research), Dustin Zelle (Google Research), Ziniu Hu (מתמחה, Google Research) ו-Rass Salakhutdinov (CMU). אנו מודים לטום סמול על יצירת הדמות המונפשת בפוסט זה בבלוג.
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 form { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { padding: 0px; }
#mailpoet_form_1 .wp-block-column:first-child, #mailpoet_form_1 .mailpoet_form_column:first-child { padding: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:first-child) { margin-left: 0; }
#mailpoet_form_1 h2.mailpoet-heading { margin: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { line-height: 20px; margin-bottom: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; משקל גופן: רגיל; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_date_day, #mailpoet_form_date_1; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { width: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { width: 30px; יישור טקסט: מרכז; גובה קו: רגיל; }
#mailpoet_form_1 .mailpoet_form_loading > span { width: 5px; גובה: 5 פיקסלים; צבע רקע: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form mailpoet_message {שוליים: 1; ריפוד: 0 0px;}
#mailpoet_form_1 .mailpoet_validate_success {color: #00d084}
#mailpoet_form_1 input.parsley-success {color: #00d084}
#mailpoet_form_1 select.parsley-success {color: #00d084}
#mailpoet_form_1 textarea.parsley-success {color: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {color: #cf2e2e}
#mailpoet_form_1 input.parsley-error {color: #cf2e2e}
#mailpoet_form_1 select.parsley-error {color: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {color: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {color: #cf2e2e}
#mailpoet_form_1 .parsley-required {color: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {color: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (max-width: 500px) {#mailpoet_form_1 {background: #27282e;}} @media (min-width: 500px) {#mailpoet_paragraph_1 .last . last-child {margin-bottom: 0}} @media (max-width: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
ללמד תוויות ישנות טריקים חדשים בגרפים הטרוגניים פורסם מחדש ממקור http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html דרך http://feeds.feedburner.com/blogspot /gJZg
שבוע מיקור המונים
<!–
->
<!–
->
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- אקדמי
- גישה
- חֶשְׁבּוֹן
- דיוק
- ACM
- לרוחב
- תוספת
- נוסף
- כראוי
- נגד
- תעשיות
- כמות
- ו
- אחר
- לענות
- ישים
- בקשה
- יישומים
- יישומית
- החל
- גישה
- גישות
- להניח
- תכונות
- זמין
- רקע
- מבוסס
- להלן
- בֵּין
- לחסום
- בלוג
- רחב
- בריאן
- נקרא
- לא יכול
- מקרה
- קטגוריות
- קטגוריה
- מרכז
- מסוים
- לאתגר
- אתגר
- מאפיין
- מיון
- צֶבַע
- Common
- בדרך כלל
- לְהַשְׁווֹת
- לעומת
- מורכב
- לחשב
- מחובר
- קישוריות
- תוכן
- תוֹאֵם
- יכול
- יוצרים
- מכריע
- נתונים
- מערכי נתונים
- dc
- עמוק
- למידה עמוקה
- מוגדר
- הגדרה
- לתאר
- תיאור
- מעוצב
- פרטים
- אחר
- נבדלים זה מזה
- ישירות
- מוזל
- לְהַצִיג
- מובהק
- הפצה
- הפצות
- שונה
- תחום
- תחומים
- בְּמַהֲלָך
- מסחר אלקטרוני
- כל אחד
- המערכת האקולוגית
- מערכות אקולוגיות
- אדג '
- אפקטיבי
- יְעִילוּת
- מספיק
- אֲפִילוּ
- קיימים
- לנצל
- חיצוני
- נוסף
- פָּנִים
- חביב
- מאפיין
- מעטים
- תרשים
- סופי
- בסופו של דבר
- ראשון
- זורם
- מתמקד
- לעקוב
- טופס
- מצא
- החל מ-
- לגמרי
- פונקציות
- gif
- GitHub
- נתן
- טוב
- שיפועים
- גרף
- גרפים
- גובה
- כאן
- איך
- אולם
- HTML
- HTTPS
- תמונות
- חוסר איזון
- לשפר
- in
- באחר
- כולל
- בנפרד
- התעשייה
- תעשייה
- מידע
- קלט
- למשל
- במקום
- אינטרסים
- מבוא
- הציג
- לחקור
- סוגיה
- בעיות
- IT
- פריטים
- ג'ון
- משותף
- ידע
- תווית
- תוויות
- אחרון
- שכבה
- מוביל
- לִלמוֹד
- למד
- למידה
- אוֹר
- סביר
- מקומי
- ממוקם
- את
- מכונה
- למידת מכונה
- לעשות
- רב
- מַפָּה
- מיפוי
- שולים
- להתאים
- מתימטי
- מַטרִיצָה
- max-width
- אומר
- שיטה
- שיטות
- מטרי
- יכול
- כרייה
- מודל
- מודלים
- מודולים
- יותר
- רוב
- מספר
- מכפילים
- צורך
- רשת
- רשתות
- חדש
- צומת
- צמתים
- נוֹרמָלִי
- להשיג
- הַצָעָה
- זקן
- ONE
- לפתוח
- מְקוֹרִי
- אחר
- ביצועים טובים יותר
- ביצועים טובים יותר
- בבעלות
- מאמר
- פרמטרים
- ביצועים
- שלב
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- עני
- הודעה
- מעשי
- לחזות
- מוצג
- מתנות
- למנוע
- קודם
- פְּרָטִיוּת
- המוצר
- מוצרים
- נכסים
- להציע
- להוכיח
- ציבורי
- בפומבי
- לִרְכּוֹשׁ
- שאלה
- דירוג
- ממשי
- עולם אמיתי
- סיבות
- לקבל
- מקבל
- ללא קשר
- קָשׁוּר
- יחס
- קשר
- מערכות יחסים
- נותר
- לייצג
- מיוצג
- לדרוש
- דרישה
- מחקר
- הגבלות
- תוצאות
- סקירה
- חוות דעת של לקוחותינו
- עשיר
- אותו
- מחסור
- תרחישים
- מַדְעָן
- שְׁנִיָה
- סט
- סטים
- הצבה
- הגדרות
- שיתוף
- קניות
- הראה
- הופעות
- יחיד
- שישה
- קטן
- לפתור
- מָקוֹר
- מיוחד
- ספציפי
- במיוחד
- תֶקֶן
- מדינה-of-the-art
- סטטיסטי
- מִבְנֶה
- סֵבֶל
- לסכם
- בוודאי
- מערכות
- יעד
- המשימות
- משימות
- הוראה
- מבחן
- השמיים
- המקור
- שֶׁלָהֶם
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- רכבת
- מְאוּמָן
- הדרכה
- להעביר
- העברות
- לשנות
- הפיכה
- סוגים
- מאוחד
- מְעוּדכָּן
- להשתמש
- משתמש
- משתמשים
- בְּדֶרֶך כְּלַל
- מנוצל
- שונים
- באמצעות
- וִידֵאוֹ
- לצפיה
- W3
- מה
- אשר
- בזמן
- רחב יותר
- רוחב
- ויקיפדיה
- בתוך
- לְלֹא
- מילים
- תיק עבודות
- עוֹלָם
- היה
- לכתוב
- תא
- זפירנט
- אפס
- למידה אפס-שוט