Makine öğreniminin endüstriyel uygulamaları genellikle farklı veri yöntemlerine veya özellik dağılımlarına sahip çeşitli öğelerden oluşur. Heterojen grafikler (HG'ler), birden fazla düğüm türünü (her veri türü için) ve kenarları (veri öğeleri arasındaki ilişki için) tanımlayarak bu çok modlu veri sistemlerinin birleşik bir görünümünü sunar. Örneğin, e-ticaret ağları [kullanıcı, ürün, yorum] düğümler veya video platformları [kanal, kullanıcı, video, yorum Yap] düğümleri. Heterojen grafik sinir ağları (HGNN'ler), her düğümün ilişkilerini bir vektörde özetleyen düğüm yerleştirmelerini öğrenir. Ancak gerçek dünyadaki HG'lerde genellikle farklı düğüm türleri arasında etiket dengesizliği sorunu vardır. Bu, etiket kıtlığı olan düğüm türlerinin HGNN'lerden yararlanamayacağı anlamına gelir ve bu da HGNN'lerin daha geniş uygulanabilirliğini engeller.
"Bilgi Aktarım Ağları Aracılığıyla Heterojen Bir Grafik İçinde Sıfır Atışlı Aktarım Öğrenimi”, sunuldu NeurIPS 2022HG'de verilen zengin ilişkisel bilgileri kullanarak bilgiyi etiket bol düğüm türlerinden sıfır etiketli düğüm türlerine aktaran Bilgi Aktarım Ağı (KTN) adı verilen bir model öneriyoruz. İnce ayara gerek kalmadan bir HGNN modelini nasıl önceden eğittiğimizi açıklıyoruz. KTN'ler, sıfır atışlı öğrenme görevlerinde son teknoloji transfer öğrenme temellerini %140'a kadar daha iyi performans gösterir ve bu görevlerde mevcut birçok HGNN modelini %24 (veya daha fazla) oranında iyileştirmek için kullanılabilir.
KTN'ler etiketleri tek bir bilgi türünden dönüştürür (kareler) bir grafik aracılığıyla başka bir türe (yıldızlar). |
Heterojen grafik nedir?
Bir HG şunlardan oluşur: çoklu düğüm ve kenar türleri. Aşağıdaki şekil HG olarak sunulan bir e-ticaret ağını göstermektedir. E-ticarette “kullanıcılar” “ürün” satın alır ve “yorum” yazar. Bir HG bu ekosistemi üç düğüm tipi kullanarak sunar [kullanıcı, ürün, yorum] ve üç kenar türü [kullanıcı-satın-ürün, kullanıcı-yazma-inceleme, ürün incelemesi] Bireysel ürünler, kullanıcılar ve incelemeler daha sonra düğümler olarak sunulur ve bunların ilişkileri HG'de karşılık gelen düğüm ve kenar türleriyle kenarlar olarak sunulur.
E-ticaret heterojen grafiği. |
Tüm bağlantı bilgilerine ek olarak HG'ler genellikle aşağıdakilerle birlikte verilir: giriş düğümü nitelikleri Her düğümün bilgilerini özetleyen. Giriş düğümü nitelikleri, farklı düğüm türlerinde farklı yöntemlere sahip olabilir. Örneğin, ürün görselleri, ürün düğümleri için giriş düğümü özellikleri olarak verilebilirken, inceleme düğümlerine giriş özellikleri olarak metin verilebilir. Düğüm etiketleri (örneğin, her ürünün kategorisi veya her kullanıcının en çok ilgisini çeken kategori) her düğümde tahmin etmek istediğimiz şeydir.
HGNN'ler ve etiket kıtlığı sorunları
HGNN'ler hesaplama düğüm yerleştirmeleri Her bir düğümün yerel yapılarını özetleyen (düğümün ve komşusunun bilgileri dahil). Bu düğüm yerleştirmeleri, her düğümün etiketini tahmin etmek için bir sınıflandırıcı tarafından kullanılır. Belirli bir düğüm türüne yönelik etiketleri tahmin etmek amacıyla bir HGNN modelini ve sınıflandırıcıyı eğitmek için türe yönelik iyi miktarda etikete ihtiyacımız var.
Derin öğrenmenin endüstriyel uygulamalarında yaygın bir sorun, etiket kıtlığıdır ve çeşitli düğüm türleriyle HGNN'lerin bu zorlukla karşılaşma olasılığı daha da yüksektir. Örneğin, genel kullanıma açık içerik düğümü türleri (örneğin, ürün düğümleri) bol miktarda etiketlenirken, kullanıcı veya hesap düğümlerine ilişkin etiketler gizlilik kısıtlamaları nedeniyle kullanılamayabilir. Bu, çoğu standart eğitim ortamında HGNN modellerinin yalnızca etiket açısından zengin birkaç düğüm türü için iyi çıkarımlar yapmayı öğrenebileceği ve genellikle kalan düğüm türleri için herhangi bir çıkarım yapamayacağı anlamına gelir (bunlar için herhangi bir etiketin olmadığı göz önüne alındığında).
Heterojen grafiklerde öğrenmeyi aktarın
Sıfır atışlı transfer öğrenimi bir modelin performansını artırmak için kullanılan bir tekniktir. hedef domain etiketsiz Modelin ilgili başka bir kaynaktan öğrendiği bilgiyi kullanarak kaynak yeterince etiketlenmiş verilere sahip alan adı. HG'lerdeki belirli düğüm türleri için bu etiket kıtlığı sorununu çözmek amacıyla transfer öğrenimini uygulamak için hedef alan, sıfır etiketli düğüm türleri olacaktır. O halde kaynak etki alanı ne olurdu? Önceki iş genellikle kaynak etki alanını, bu düğümlerin bol miktarda etiketlendiğini varsayarak, farklı bir HG'de bulunan aynı türdeki düğümler olarak ayarlar. Bu grafikten grafiğe aktarım öğrenimi yaklaşım, harici HG üzerinde bir HGNN modelini önceden eğitir ve ardından modeli orijinal (etiket kıt) HG üzerinde çalıştırır.
Ancak bu yaklaşımlar birçok gerçek dünya senaryosunda üç nedenden dolayı uygulanamaz. İlk olarak, grafikten grafiğe aktarım öğrenme ortamında kullanılabilecek herhangi bir harici HG neredeyse kesinlikle özeldolayısıyla muhtemelen kullanılamıyor. İkincisi, uygulayıcılar harici bir HG'ye erişim elde edebilseler bile, bu pek olası değildir. bu kaynağın dağıtımı HG transfer öğrenimini uygulayabilecek kadar hedef HG'leriyle eşleşecektir. Son olarak, sorun yaşayan düğüm türleri etiket kıtlığı diğer HG'lerde de aynı sorunu yaşamaları muhtemeldir (örneğin, kullanıcı düğümlerindeki gizlilik sorunları).
Yaklaşımımız: Heterojen bir grafik içindeki düğüm türleri arasında öğrenmeyi aktarın
Burada daha pratik bir kaynak alanına ışık tutuyoruz, aynı HG'de bulunan çok sayıda etikete sahip diğer düğüm türleri. Fazladan HG'ler kullanmak yerine, bilgiyi tek bir HG (tamamen uygulayıcılara ait olduğu varsayılır) içinde farklı düğüm türleri arasında aktarırız. Daha spesifik olarak, bir HGNN modelini ve bir sınıflandırıcıyı etiket bol (kaynak) düğüm türü üzerinde önceden eğitiyoruz, ardından ek ince ayar yapmadan aynı HG'de bulunan sıfır etiketli (hedef) düğüm türlerindeki modelleri yeniden kullanıyoruz. Gerekliliklerden biri, kaynak ve hedef düğüm türlerinin aynı etiket kümesini paylaşmasıdır (örneğin, e-ticaret HG'de, ürün düğümleri, ürün kategorilerini açıklayan bir etiket kümesine sahiptir ve kullanıcı düğümleri, favori alışveriş kategorilerini açıklayan aynı etiket kümesini paylaşmaktadır). .
Neden zorluyor?
Ne yazık ki, önceden eğitilmiş HGNN'yi ve sınıflandırıcıyı hedef düğüm tipinde doğrudan yeniden kullanamıyoruz. HGNN mimarilerinin önemli bir özelliği, HG'lerin çeşitliliğini tam olarak öğrenmek için her düğüm tipine özel modüllerden oluşmasıdır. HGNN'ler, her düğüm türüne yönelik yerleştirmeleri hesaplamak için farklı modül kümeleri kullanır. Aşağıdaki şekilde, sırasıyla kaynak ve hedef düğüm türleri için düğüm yerleştirmelerini hesaplamak amacıyla mavi ve kırmızı renkli modüller kullanılmıştır.
HGNN'ler, her düğüm türüne özel modüllerden oluşur ve farklı düğüm türlerinin yerleştirmelerini hesaplamak için farklı modül kümeleri kullanır. Daha fazla ayrıntıyı şurada bulabilirsiniz: kâğıt. |
HGNN'leri kaynak düğüm türü üzerinde önceden eğitirken, HGNN'lerdeki kaynağa özgü modüller iyi eğitilir, ancak hedefe özgü modüller, içlerine akan yalnızca küçük miktarda gradyan olduğundan yetersiz eğitilir. Bu aşağıda gösterilmektedir, burada şunu görüyoruz: L2 normu hedef düğüm türleri için degradelerin sayısı (ör. Mtt) kaynak türlerine göre çok daha düşüktür (örn. Mss). Bu durumda bir HGNN modeli, hedef düğüm türü için zayıf düğüm yerleştirmeleri üretir ve bu da zayıf görev performansıyla sonuçlanır.
HGNN'lerde, hedef türe özgü modüller, kaynak düğüm türünde ön eğitim sırasında sıfır veya yalnızca az miktarda gradyan alır ve bu da hedef düğüm türünde performansın düşmesine neden olur. |
KTN: HGNN'ler için eğitilebilir çapraz tür transfer öğrenimi
Çalışmamız, önceden eğitilmiş bir HGNN modeli tarafından hesaplanan (zayıf) hedef düğüm yerleştirmelerini, kaynak düğüm yerleştirmelerinin dağılımını takip edecek şekilde dönüştürmeye odaklanmaktadır. Daha sonra kaynak düğüm tipine göre önceden eğitilmiş sınıflandırıcı, hedef düğüm türü. Hedef düğüm yerleştirmelerini kaynak etki alanına nasıl eşleyebiliriz? Bu soruyu cevaplamak için kaynak ve hedef dağılımları arasındaki ilişkiyi öğrenmek amacıyla HGNN'lerin düğüm yerleştirmelerini nasıl hesapladığını araştırıyoruz.
HGNN'ler, her katmandaki hedef düğümün yerleştirmelerini artırmak için bağlı düğüm yerleştirmelerini bir araya getirir. Başka bir deyişle, hem kaynak hem de hedef düğüm türleri için düğüm yerleştirmeleri, aynı girdi (bir önceki katmanın bağlı herhangi bir düğüm türünün düğüm yerleştirmeleri) kullanılarak güncellenir. Bu, birbirleriyle temsil edilebilecekleri anlamına gelir. Bu ilişkiyi teorik olarak kanıtladık ve hedef etki alanından kaynak etki alanına bir eşleme matrisi (HGNN parametreleriyle tanımlanan) olduğunu bulduk (daha fazla ayrıntı için Teorem 1'de). kâğıt). Bu teoreme dayanarak, bir yardımcı tanıtıyoruz. sinir ağıolarak adlandırdığımız Bilgi Aktarım Ağı (KTN), hedef düğüm yerleştirmelerini alır ve bunları (eğitilebilir) bir haritalama matrisiyle çarparak dönüştürür. Daha sonra KTN'yi eğitmek için ön eğitim aşamasındaki performans kaybıyla birlikte en aza indirilecek bir düzenleyici tanımlıyoruz. Test zamanında, önceden eğitilmiş HGNN'den hesaplanan hedef yerleştirmeleri, sınıflandırma için eğitilmiş KTN'yi kullanarak kaynak alana eşleştiririz.
Deneysel sonuçlar
KTN'lerin etkinliğini incelemek için iki genel heterojen grafik üzerinde 18 farklı sıfır atışlı transfer öğrenme görevi yürüttük, Akademik Grafiği Aç ve Pubmed. KTN'yi son teknolojiye sahip sekiz transfer öğrenme yöntemiyle karşılaştırıyoruz (DAN, JAN, DANN, CDAN, CDAN-E, WDGRL, LP, EP). Aşağıda gösterilen KTN, tüm görevlerde sürekli olarak tüm temel çizgilerden daha iyi performans göstererek transfer öğrenimi temel çizgilerini %140'a kadar geride bırakıyor (şu şekilde ölçüldü: Normalleştirilmiş İndirgenmiş Kümülatif Kazanç, bir sıralama ölçütü).
Açık Akademik Grafik (OAG-CS) ve Pubmed veri kümelerinde sıfır atışlı aktarım öğrenimi. Renkler, sonuçların karşılaştırılacağı farklı transfer öğrenme temel çizgileri kategorilerini temsil eder. Sarı: Dağılımların istatistiksel özelliklerini (örn. ortalama, varyans) kullanın. Yeşil: Kullan rakip modeller bilgiyi aktarmak. Portakal: Grafik yapısını kullanarak bilgiyi doğrudan aktarın etiket yayılımı. |
En önemlisi, KTN, düğüm ve kenar tipine özgü parametrelere sahip hemen hemen tüm HGNN modellerine uygulanabilir ve hedef etki alanlarında sıfır atış performanslarını geliştirebilir. Aşağıda gösterildiği gibi KTN, altı farklı HGNN modelinde sıfır etiketli düğüm türlerinin doğruluğunu artırır (R-GCN, HAN, HGT, MAGNN, MPNN, H-MPNN) %190'a kadar.
KTN, altı farklı HGNN modeline uygulanabilir ve hedef alanlardaki sıfır atış performanslarını geliştirebilir. |
Takeaways
Endüstrideki çeşitli ekosistemler heterojen grafikler olarak sunulabilir. HGNN'ler heterojen grafik bilgilerini etkili gösterimler halinde özetler. Ancak belirli düğüm türlerindeki etiket kıtlığı sorunları HGNN'lerin daha geniş çapta uygulanmasını engellemektedir. Bu yazıda HGNN'ler için tasarlanan ilk çapraz tür transfer öğrenme yöntemi olan KTN'yi tanıttık. KTN ile etiket kıtlığına bakılmaksızın HGNN'ler aracılığıyla heterojen grafiklerin zenginliğinden tam olarak yararlanabiliyoruz. Bkz. kâğıt daha fazla ayrıntı için.
Teşekkür
Bu makale ortak yazarlarımız John Palowitch (Google Araştırması), Dustin Zelle (Google Araştırması), Ziniu Hu (Stajyer, Google Araştırması) ve Russ Salakhutdinov (CMU) ile ortak bir çalışmadır. Bu blog yazısındaki animasyonlu figürü oluşturduğu için Tom Small'a teşekkür ederiz.
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 form { kenar boşluğu: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { dolgu: 0px; }
#mailpoet_form_1 .wp-block-column: first-child, #mailpoet_form_1 .mailpoet_form_column: first-child { dolgu: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:ilk-çocuk) { sol kenar boşluğu: 0; }
#mailpoet_form_1 h2.mailpoet-heading { kenar boşluğu: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { satır yüksekliği: 20px; kenar boşluğu: 20 piksel; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; yazı tipi ağırlığı: normal; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { display : blok; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea {genişlik: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading {genişlik: 30 piksel; metin hizalama: merkez; satır yüksekliği: normal; }
#mailpoet_form_1 .mailpoet_form_loading > açıklık { genişlik: 5px; yükseklik: 5 piksel; arka plan rengi: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {marj: 0; dolgu: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {renk: #00d084}
#mailpoet_form_1 input.parsley-success {renk: #00d084}
#mailpoet_form_1 select.parsley-success {renk: #00d084}
#mailpoet_form_1 textarea.parsley-başarılı {renk: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {renk: #cf2e2e}
#mailpoet_form_1 input.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 select.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley hatası {renk: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {renk: #cf2e2e}
#mailpoet_form_1 .parsley gerekli {renk: #cf2e2e}
#mailpoet_form_1 .parsley-özel-hata-mesajı {renk: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {kenar boşluğu: 0} @media (maks-genişlik: 500px) {#mailpoet_form_1 {arka plan: #27282e;}} @media (min-genişlik: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: son çocuk {margin-bottom: 0}} @media (maks-genişlik: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
Heterojen grafiklerde eski etiketlere yeni hilelerin öğretilmesi Kaynak http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html'den http://feeds.feedburner.com/blogspot aracılığıyla yayınlandı /gJZg
kitle kaynak haftası
<!–
->
<!–
->
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- akademik
- erişim
- Hesap
- doğruluk
- ACM
- karşısında
- ilave
- Ek
- yeterli olarak
- karşı
- Türkiye
- miktar
- ve
- Başka
- cevap
- uygulanabilir
- Uygulama
- uygulamaları
- uygulamalı
- Tamam
- yaklaşım
- yaklaşımlar
- varsayılır
- öznitelikleri
- mevcut
- arka fon
- merkezli
- altında
- arasında
- Engellemek
- Blog
- Daha geniş
- Bryan
- denilen
- yapamam
- dava
- kategoriler
- Kategoriler
- Merkez
- belli
- meydan okuma
- zor
- karakteristik
- sınıflandırma
- renk
- ortak
- çoğunlukla
- karşılaştırmak
- karşılaştırıldığında
- oluşan
- hesaplamak
- bağlı
- Bağlantı
- içerik
- uyan
- olabilir
- Oluşturma
- çok önemli
- veri
- veri kümeleri
- dc
- derin
- derin öğrenme
- tanımlı
- tanımlarken
- tanımlamak
- tanım
- tasarlanmış
- ayrıntılar
- farklı
- farklı
- direkt olarak
- indirimli
- ekran
- farklı
- dağıtım
- Dağılımlar
- çeşitli
- domain
- etki
- sırasında
- e-ticaret
- her
- ekosistem
- ekosistemler
- kenar
- Etkili
- etki
- yeterli
- Hatta
- mevcut
- sömürmek
- dış
- ekstra
- Yüz
- Favori
- Özellikler(Hazırlık aşamasında)
- az
- şekil
- son
- Nihayet
- bulmak
- Ad
- Akan
- odaklanır
- takip et
- Airdrop Formu
- bulundu
- itibaren
- tamamen
- fonksiyonlar
- gif
- GitHub
- verilmiş
- Tercih Etmenizin
- gradyanları
- grafik
- grafikler
- yükseklik
- okuyun
- Ne kadar
- Ancak
- HTML
- HTTPS
- görüntüleri
- dengesizlik
- iyileştirmek
- in
- Diğer
- Dahil olmak üzere
- bireysel
- Sanayi
- sanayi
- bilgi
- giriş
- örnek
- yerine
- ilgi alanları
- tanıtmak
- tanıttı
- araştırmak
- konu
- sorunlar
- IT
- ürün
- John
- ortak
- bilgi
- etiket
- Etiketler
- Soyad
- tabaka
- önemli
- ÖĞRENİN
- öğrendim
- öğrenme
- ışık
- Muhtemelen
- yerel
- bulunan
- kayıp
- makine
- makine öğrenme
- yapmak
- çok
- harita
- haritalama
- Kenar
- Maç
- matematiksel
- Matris
- maksimum genişlik
- anlamına geliyor
- yöntem
- yöntemleri
- metrik
- olabilir
- Madencilik
- model
- modelleri
- Modüller
- Daha
- çoğu
- çoklu
- çarpılması
- gerek
- ağ
- ağlar
- yeni
- düğüm
- düğümler
- normal
- elde etmek
- teklif
- Eski
- ONE
- açık
- orijinal
- Diğer
- daha iyi çalmak
- Mağazasından
- Sahip olunan
- kâğıt
- parametreler
- performans
- faz
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- yoksul
- Çivi
- Pratik
- tahmin
- sundu
- hediyeler
- önlemek
- önceki
- gizlilik
- PLATFORM
- Ürünler
- özellikleri
- önermek
- Kanıtlamak
- halka açık
- alenen
- satın alma
- soru
- Sıralaması
- gerçek
- Gerçek dünya
- nedenleri
- teslim almak
- alır
- Ne olursa olsun
- ilgili
- ilişki
- ilişki
- İlişkiler
- kalan
- temsil etmek
- temsil
- gerektirir
- gereklilik
- araştırma
- kısıtlamaları
- Sonuçlar
- yorum
- Yorumları
- Zengin
- aynı
- Kıtlık
- senaryolar
- bilim adamı
- İkinci
- set
- Setleri
- ayar
- ayarlar
- paylaş
- Alışveriş
- gösterilen
- Gösteriler
- tek
- ALTINCI
- küçük
- ÇÖZMEK
- Kaynak
- özel
- özel
- özellikle
- standart
- state-of-the-art
- istatistiksel
- yapı
- acı
- özetlemek
- elbette
- Sistemler
- Hedef
- Görev
- görevleri
- Öğretim
- test
- The
- Kaynak
- ve bazı Asya
- üç
- İçinden
- zaman
- için
- Tren
- eğitilmiş
- Eğitim
- transfer
- transferler
- Dönüştürmek
- dönüşüm
- türleri
- birleşik
- güncellenmiş
- kullanım
- kullanıcı
- kullanıcılar
- genellikle
- kullanılan
- çeşitli
- üzerinden
- Video
- Görüntüle
- W3
- Ne
- hangi
- süre
- Daha geniş
- genişlik
- Vikipedi
- içinde
- olmadan
- sözler
- İş
- Dünya
- olur
- yazmak
- hücre
- zefirnet
- sıfır
- Sıfır Atışta Öğrenme