Aplicațiile industriale ale învățării automate sunt de obicei compuse din diverse elemente care au modalități de date sau distribuții de caracteristici diferite. Grafice eterogene (HG) oferă o vedere unificată a acestor sisteme de date multimodale prin definirea mai multor tipuri de noduri (pentru fiecare tip de date) și margini (pentru relația dintre elementele de date). De exemplu, rețelele de comerț electronic ar putea avea [utilizator, produs, revizuiască] nodurile sau platformele video pot avea [canal, utilizator, video, comentariu] noduri. Rețele neuronale cu graf eterogene (HGNN-urile) învață înglobarea nodurilor care rezumă relațiile fiecărui nod într-un vector. Cu toate acestea, în HG-urile din lumea reală, există adesea o problemă de dezechilibru a etichetei între diferitele tipuri de noduri. Aceasta înseamnă că tipurile de noduri cu etichete limitate nu pot exploata HGNN-urile, ceea ce împiedică aplicabilitatea mai largă a HGNN-urilor.
În "Învățare cu transfer zero-shot într-un grafic eterogen prin rețele de transfer de cunoștințe”, prezentat la NeurIPS 2022, propunem un model numit Knowledge Transfer Network (KTN), care transferă cunoștințele de la tipuri de noduri cu abundență de etichete la tipuri de noduri etichetate zero folosind informațiile relaționale bogate date într-un HG. Descriem modul în care pre-antrenăm un model HGNN fără a fi nevoie de o reglare fină. KTN-urile depășesc liniile de bază de învățare prin transfer de ultimă generație cu până la 140% la sarcinile de învățare zero-shot și pot fi utilizate pentru a îmbunătăți multe modele HGNN existente pentru aceste sarcini cu 24% (sau mai mult).
KTN-urile transformă etichetele dintr-un tip de informații (pătrate) printr-un grafic la alt tip (stele). |
Ce este un grafic eterogen?
Un HG este compus din mai multe tipuri de noduri și margini. Figura de mai jos prezintă o rețea de comerț electronic prezentată ca HG. În comerțul electronic, „utilizatorii” cumpără „produse” și scriu „recenzii”. Un HG prezintă acest ecosistem folosind trei tipuri de noduri [utilizator, produs, revizuiască] și trei tipuri de muchii [utilizator-cumpără-produs, utilizator-scrie-recenzie, recenzie pe produs]. Produsele, utilizatorii și recenziile individuale sunt apoi prezentate ca noduri și relațiile lor ca margini în HG cu nodurile și tipurile de margini corespunzătoare.
Grafic eterogen de comerț electronic. |
În plus față de toate informațiile de conectivitate, HG-urile sunt de obicei date cu atributele nodului de intrare care rezumă informațiile fiecărui nod. Atributele nodurilor de intrare pot avea modalități diferite în diferite tipuri de noduri. De exemplu, imaginile produselor ar putea fi date ca atribute de intrare pentru nodurile de produs, în timp ce textul poate fi dat ca atribute de intrare pentru nodurile de revizuire. Etichetele nodurilor (de exemplu, categoria fiecărui produs sau categoria care interesează cel mai mult fiecare utilizator) sunt ceea ce vrem să prezicem pe fiecare nod.
HGNN-urile și problemele legate de deficitul de etichete
HGNN-urile calculează înglobări de noduri care rezumă structurile locale ale fiecărui nod (inclusiv nodul și informațiile vecinului său). Aceste înglobări de noduri sunt utilizate de un clasificator pentru a prezice eticheta fiecărui nod. Pentru a antrena un model HGNN și un clasificator pentru a prezice etichete pentru un anumit tip de nod, avem nevoie de o cantitate bună de etichete pentru tip.
O problemă comună în aplicațiile industriale ale învățării profunde este deficitul de etichete, iar cu diversele lor tipuri de noduri, HGNN-urile sunt și mai probabil să se confrunte cu această provocare. De exemplu, tipurile de noduri de conținut disponibile public (de exemplu, nodurile de produs) sunt etichetate din abundență, în timp ce etichetele pentru nodurile de utilizator sau de cont ar putea să nu fie disponibile din cauza restricțiilor de confidențialitate. Aceasta înseamnă că, în majoritatea setărilor standard de antrenament, modelele HGNN pot învăța să facă inferențe bune doar pentru câteva tipuri de noduri cu abundență de etichete și, de obicei, nu pot face inferențe pentru niciun tip de noduri rămase (dată fiind absența oricăror etichete pentru ele).
Transferați învățarea pe grafice eterogene
Învățare cu transfer zero-shot este o tehnică folosită pentru a îmbunătăți performanța unui model pe a ţintă domeniu fara etichete prin utilizarea cunoştinţelor învăţate de model de la un alt înrudit sursă domeniu cu date etichetate corespunzător. Pentru a aplica învățarea de transfer pentru a rezolva această problemă a deficitului de etichete pentru anumite tipuri de noduri din HG, domeniul țintă ar fi tipurile de noduri cu etichete zero. Atunci care ar fi domeniul sursă? Pagina Anterioară muncă setează de obicei domeniul sursă ca același tip de noduri situate într-un HG diferit, presupunând că acele noduri sunt etichetate abundent. Acest învățarea prin transfer de la grafic la grafic abordare pre-antrenează un model HGNN pe HG extern și apoi rulează modelul pe HG original (etichetă-rar).
Cu toate acestea, aceste abordări nu sunt aplicabile în multe scenarii din lumea reală din trei motive. În primul rând, orice HG extern care ar putea fi folosit într-o setare de învățare de transfer de la grafic la grafic ar fi aproape sigur proprietate, astfel, probabil indisponibil. În al doilea rând, chiar dacă practicienii ar putea obține acces la un HG extern, este puțin probabil ca distribuția acelei surse HG s-ar potrivi cu HG-ul lor țintă suficient de bine pentru a aplica învățarea prin transfer. În cele din urmă, tipurile de noduri suferă de deficitul de etichete este probabil să sufere aceeași problemă pe alte HG (de exemplu, probleme de confidențialitate pe nodurile utilizator).
Abordarea noastră: transferați învățarea între tipurile de noduri într-un grafic eterogen
Aici, aruncăm lumină asupra unui domeniu sursă mai practic, alte tipuri de noduri cu etichete abundente situate pe același HG. În loc să folosim HG-uri suplimentare, transferăm cunoștințele într-un singur HG (se presupune că este deținut în întregime de către practicieni) prin diferite tipuri de noduri. Mai precis, pre-antrenăm un model HGNN și un clasificator pe un tip de nod (sursă) cu etichetă abundentă, apoi reutilizam modelele pe tipurile de noduri (țintă) cu etichete zero, situate în același HG, fără o reglare fină suplimentară. Singura cerință este ca tipurile de noduri sursă și țintă să împartă același set de etichete (de exemplu, în HG de comerț electronic, nodurile de produse au un set de etichete care descrie categoriile de produse, iar nodurile de utilizator au același set de etichete care descriu categoriile lor preferate de cumpărături) .
De ce este provocator?
Din păcate, nu putem reutiliza direct HGNN și clasificatorul pre-antrenați pe tipul de nod țintă. O caracteristică crucială a arhitecturilor HGNN este că acestea sunt compuse din module specializate pentru fiecare tip de nod pentru a învăța pe deplin multiplicitatea HG-urilor. HGNN-urile folosesc seturi distincte de module pentru a calcula înglobările pentru fiecare tip de nod. În figura de mai jos, modulele de culoare albastră și roșie sunt utilizate pentru a calcula înglobarea nodurilor pentru tipurile de noduri sursă și, respectiv, țintă.
HGNN-urile sunt compuse din module specializate pentru fiecare tip de nod și folosesc seturi distincte de module pentru a calcula înglobarea diferitelor tipuri de noduri. Mai multe detalii pot fi găsite în hârtie. |
În timp ce pre-instruirea HGNN-urilor pe tipul de nod sursă, modulele specifice sursei din HGNN-uri sunt bine antrenate, cu toate acestea modulele specifice țintă sunt insuficient antrenate, deoarece au doar o cantitate mică de gradienți care curg în ele. Acest lucru este prezentat mai jos, unde vedem că norma L2 de gradienți pentru tipurile de noduri țintă (de exemplu, Mtt) sunt mult mai mici decât pentru tipurile de sursă (adică, Mss). În acest caz, un model HGNN produce încorporare de noduri slabe pentru tipul de nod țintă, ceea ce are ca rezultat o performanță slabă a sarcinii.
KTN: Învățare prin transfer de tip încrucișat antrenabil pentru HGNN
Munca noastră se concentrează pe transformarea înglobărilor nodurilor țintă (slabe) calculate printr-un model HGNN pre-antrenat pentru a urmări distribuția înglobărilor nodului sursă. Apoi clasificatorul, pre-antrenat pe tipul de nod sursă, poate fi reutilizat pentru ţintă tipul nodului. Cum putem mapa înglobările nodului țintă la domeniul sursă? Pentru a răspunde la această întrebare, investigăm modul în care HGNN-urile calculează înglobarea nodurilor pentru a afla relația dintre distribuțiile sursă și țintă.
HGNN-urile agregă înglobările nodurilor conectate pentru a spori înglobarile unui nod țintă în fiecare strat. Cu alte cuvinte, înglobările de noduri atât pentru tipurile de noduri sursă, cât și țintă sunt actualizate folosind aceeași intrare - înglobările de noduri ale stratului anterior ale oricăror tipuri de noduri conectate. Aceasta înseamnă că pot fi reprezentați unul de celălalt. Demonstrăm această relație teoretic și aflăm că există o matrice de mapare (definită de parametrii HGNN) de la domeniul țintă la domeniul sursă (mai multe detalii în Teorema 1 în hârtie). Pe baza acestei teoreme, introducem un auxiliar rețele neuronale, la care ne referim ca a Rețeaua de transfer de cunoștințe (KTN), care primește înglobarea nodului țintă și apoi le transformă prin înmulțirea lor cu o matrice de mapare (întrenabilă). Definim apoi un regulator care este minimizat împreună cu pierderea de performanță în faza de pre-antrenament pentru a antrena KTN-ul. La momentul testării, mapăm înglobările țintă calculate de la HGNN pre-antrenat la domeniul sursă folosind KTN-ul antrenat pentru clasificare.
Rezultate experimentale
Pentru a examina eficiența KTN-urilor, am rulat 18 sarcini diferite de învățare cu transfer zero-shot pe două grafice publice eterogene, Deschide graficul academic și PubMed. Comparăm KTN cu opt metode de învățare prin transfer de ultimă generație (DAN, JAN, DANN, CDAN, CDAN-E, WDGRL, LP, EP). Prezentat mai jos, KTN depășește în mod constant toate liniile de bază pentru toate sarcinile, depășind liniile de bază ale învățării prin transfer cu până la 140% (măsurată prin Câștig cumulativ cu reducere normalizat, o valoare de clasare).
Învățare cu transfer zero-shot pe Open Academic Graph (OAG-CS) și seturi de date Pubmed. Culorile reprezintă diferite categorii de linii de bază ale învățării prin transfer cu care sunt comparate rezultatele. Galben: Folosiți proprietăți statistice (de exemplu, medie, varianță) ale distribuțiilor. Verde: Utilizare modele contradictorii pentru a transfera cunoștințe. Portocaliu: Transferați cunoștințele direct prin structura graficului folosind propagarea etichetei. |
Cel mai important, KTN poate fi aplicat la aproape toate modelele HGNN care au parametri specifici tipului de nod și margine și își îmbunătățesc performanța zero-shot pe domeniile țintă. După cum se arată mai jos, KTN îmbunătățește precizia pe tipurile de noduri cu etichete zero în șase modele HGNN diferite (R-GCN, HAN, HGT, MAGNN, MPNN, H-MPNN) cu până la 190%.
KTN poate fi aplicat la șase modele HGNN diferite și își poate îmbunătăți performanța zero-shot pe domeniile țintă. |
Takeaways
Diverse ecosisteme din industrie pot fi prezentate ca grafice eterogene. HGNN-urile rezumă informațiile grafice eterogene în reprezentări eficiente. Cu toate acestea, problemele legate de deficitul de etichete pe anumite tipuri de noduri împiedică aplicarea mai largă a HGNN-urilor. În această postare, am prezentat KTN, prima metodă de învățare prin transfer de tip încrucișat concepută pentru HGNN. Cu KTN, putem exploata pe deplin bogăția graficelor eterogene prin intermediul HGNN-urilor, indiferent de deficitul de etichete. Vezi hârtie pentru mai multe detalii.
Mulţumiri
Această lucrare este o lucrare comună cu co-autorii noștri John Palowitch (Google Research), Dustin Zelle (Google Research), Ziniu Hu (intern, Google Research) și Russ Salakhutdinov (CMU). Îi mulțumim lui Tom Small pentru crearea figurii animate în această postare de blog.
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 form { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { padding: 0px; }
#mailpoet_form_1 .wp-block-column:primul copil, #mailpoet_form_1 .mailpoet_form_column:primul copil { padding: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:nu(:primul copil) { margin-left: 0; }
#mailpoet_form_1 h2.mailpoet-heading { margin: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { line-height: 20px; margine-jos: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; greutatea fontului: normal; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_date_day, #mailpoet_form_1, #mailpoet_date_date, #mailpoet_form_1 . }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { width: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { width: 30px; text-align: centru; înălțimea liniei: normală; }
#mailpoet_form_1 .mailpoet_form_loading > span { width: 5px; înălțime: 5px; culoare de fundal: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mesaj_poet {marja: 0; umplutură: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {culoare: #00d084}
#mailpoet_form_1 input.persley-success {culoare: #00d084}
#mailpoet_form_1 select.persley-success {culoare: #00d084}
#mailpoet_form_1 textarea.parsley-success {color: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {culoare: #cf2e2e}
#mailpoet_form_1 input.parsley-error {culoare: #cf2e2e}
#mailpoet_form_1 select.parsley-error {culoare: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {culoare: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {culoare: #cf2e2e}
#mailpoet_form_1 .persley-required {culoare: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {culoare: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (max-width: 500px) {#mailpoet_form_1 {background: #27282e;}} @media (min-width: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: ultimul copil {margin-bottom: 0}} @media (max-lățime: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
Predarea etichetelor vechi trucuri noi în grafice eterogene Republicat din Sursa http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html prin http://feeds.feedburner.com/blogspot /gJZg
săptămâna crowdsourcing
<!–
->
<!–
->
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- academic
- acces
- Cont
- precizie
- ACM
- peste
- plus
- Suplimentar
- adecvat
- împotriva
- TOATE
- sumă
- și
- O alta
- răspunde
- aplicabil
- aplicație
- aplicatii
- aplicat
- Aplică
- abordare
- abordari
- asumat
- atribute
- disponibil
- fundal
- bazat
- de mai jos
- între
- Bloca
- Blog
- mai larg
- Bryan
- denumit
- nu poti
- caz
- categorii
- Categorii
- Centru
- sigur
- contesta
- provocare
- caracteristică
- clasificare
- culoare
- Comun
- în mod obișnuit
- comparaţie
- comparație
- compuse
- Calcula
- legat
- Suport conectare
- conţinut
- Corespunzător
- ar putea
- Crearea
- crucial
- de date
- seturi de date
- dc
- adânc
- învățare profundă
- definit
- definire
- descrie
- descriere
- proiectat
- detalii
- diferit
- diferite
- direct
- actualizate
- Afişa
- distinct
- distribuire
- distribuții
- diferit
- domeniu
- domenii
- în timpul
- e-commerce
- fiecare
- ecosistem
- ecosistemele
- Margine
- Eficace
- eficacitate
- suficient de
- Chiar
- existent
- Exploata
- extern
- suplimentar
- Față
- Favorite
- Caracteristică
- puțini
- Figura
- final
- În cele din urmă
- Găsi
- First
- Curgere
- se concentrează
- urma
- formă
- găsit
- din
- complet
- funcții
- gif
- GitHub
- dat
- bine
- gradienți
- grafic
- grafice
- înălțime
- aici
- Cum
- Totuși
- HTML
- HTTPS
- imagini
- dezechilibru
- îmbunătăţi
- in
- În altele
- Inclusiv
- individ
- industrial
- industrie
- informații
- intrare
- instanță
- in schimb
- interese
- introduce
- introdus
- investiga
- problema
- probleme de
- IT
- articole
- Ioan
- comun
- cunoştinţe
- Etichetă
- etichete
- Nume
- strat
- conducere
- AFLAȚI
- învățat
- învăţare
- ușoară
- Probabil
- local
- situat
- de pe
- maşină
- masina de învățare
- face
- multe
- Hartă
- cartografiere
- Margine
- Meci
- matematic
- Matrice
- max-width
- mijloace
- metodă
- Metode
- metric
- ar putea
- Minerit
- model
- Modele
- Module
- mai mult
- cele mai multe
- multiplu
- multiplicându-se
- Nevoie
- reţea
- rețele
- Nou
- nod
- noduri
- normală.
- obține
- oferi
- Vechi
- ONE
- deschide
- original
- Altele
- outperform
- surclasează
- deţinute
- Hârtie
- parametrii
- performanță
- fază
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- sărac
- Post
- Practic
- prezice
- prezentat
- cadouri
- împiedica
- precedent
- intimitate
- Produs
- Produse
- proprietăţi
- propune
- Dovedi
- public
- public
- cumpărare
- întrebare
- Clasat
- real
- lumea reală
- motive
- a primi
- primește
- Fără deosebire
- legate de
- relație
- relaţie
- Relaţii
- rămas
- reprezenta
- reprezentate
- necesita
- cerință
- cercetare
- restricții
- REZULTATE
- revizuiască
- Recenzii
- Bogat
- acelaşi
- raritate
- scenarii
- Om de stiinta
- Al doilea
- set
- Seturi
- instalare
- setări
- Distribuie
- Cumpărături
- indicat
- Emisiuni
- singur
- SIX
- mic
- REZOLVAREA
- Sursă
- de specialitate
- specific
- specific
- standard
- de ultimă oră
- statistic
- structura
- suferinţă
- rezuma
- cu siguranţă
- sisteme
- Ţintă
- Sarcină
- sarcini
- Predarea
- test
- Sursa
- lor
- trei
- Prin
- timp
- la
- Tren
- dresat
- Pregătire
- transfer
- Transferuri
- Transforma
- transformare
- Tipuri
- unificat
- actualizat
- utilizare
- Utilizator
- utilizatorii
- obișnuit
- utilizate
- diverse
- de
- Video
- Vizualizare
- W3
- Ce
- care
- în timp ce
- mai larg
- lățime
- Wikipedia
- în
- fără
- cuvinte
- Apartamente
- lume
- ar
- scrie
- celulă
- zephyrnet
- zero
- Învățare Zero-Shot