Aplikasi industri pembelajaran mesin biasanya terdiri dari berbagai item yang memiliki modalitas data atau distribusi fitur yang berbeda. Grafik heterogen (HGs) menawarkan pandangan terpadu dari sistem data multimodal dengan mendefinisikan beberapa jenis node (untuk setiap jenis data) dan tepi (untuk hubungan antara item data). Misalnya, jaringan e-niaga mungkin memiliki [pemakai, produk, ulasan] node atau platform video mungkin memiliki [saluran, pemakai, video, komentar] node. Jaringan saraf grafik heterogen (HGNNs) mempelajari penyematan simpul yang meringkas hubungan setiap simpul menjadi vektor. Namun, di HG dunia nyata, sering ada masalah ketidakseimbangan label antara berbagai jenis node. Ini berarti bahwa tipe simpul langka label tidak dapat mengeksploitasi HGNN, yang menghambat penerapan HGNN yang lebih luas.
Dalam "Pembelajaran Transfer Zero-shot dalam Grafik Heterogen melalui Jaringan Transfer Pengetahuanโ, disajikan di NeuroIPS 2022, kami mengusulkan model yang disebut Knowledge Transfer Network (KTN), yang mentransfer pengetahuan dari tipe node label-abundant ke tipe node zero-labeled menggunakan informasi relasional yang kaya yang diberikan dalam HG. Kami menjelaskan bagaimana kami melakukan pra-pelatihan model HGNN tanpa perlu penyempurnaan. KTN mengungguli baseline pembelajaran transfer canggih hingga 140% pada tugas pembelajaran zero-shot, dan dapat digunakan untuk meningkatkan banyak model HGNN yang ada pada tugas-tugas ini sebesar 24% (atau lebih).
KTN mengubah label dari satu jenis informasi (kotak) melalui grafik ke tipe lain (bintang). |
Apa itu graf heterogen?
HG terdiri dari beberapa tipe node dan edge. Gambar di bawah menunjukkan jaringan e-commerce yang ditampilkan sebagai HG. Dalam e-commerce, "pengguna" membeli "produk" dan menulis "ulasan". HG menyajikan ekosistem ini menggunakan tiga tipe simpul [pemakai, produk, ulasan] dan tiga tipe tepi [pengguna-beli-produk, ulasan-tulis-pengguna, ulasan-pada-produk]. Masing-masing produk, pengguna, dan ulasan kemudian disajikan sebagai node dan hubungannya sebagai edge di HG dengan tipe node dan edge yang sesuai.
Grafik heterogen e-niaga. |
Selain semua informasi konektivitas, HG umumnya diberikan bersama atribut simpul masukan yang meringkas setiap informasi node. Atribut simpul input dapat memiliki modalitas yang berbeda di berbagai jenis simpul. Misalnya, gambar produk dapat diberikan sebagai atribut node input untuk node produk, sedangkan teks dapat diberikan sebagai atribut input ke node ulasan. Label simpul (misalnya, kategori dari setiap produk atau kategori yang paling menarik bagi setiap pengguna) adalah apa yang ingin kita prediksi di setiap node.
HGNN dan masalah kelangkaan label
HGNN menghitung penyematan simpul yang meringkas setiap struktur lokal node (termasuk node dan informasi tetangganya). Penyematan simpul ini digunakan oleh pengklasifikasi untuk memprediksi label setiap simpul. Untuk melatih model HGNN dan pengklasifikasi untuk memprediksi label untuk jenis node tertentu, kami memerlukan jumlah label yang baik untuk jenis tersebut.
Masalah umum dalam aplikasi industri pembelajaran mendalam adalah kelangkaan label, dan dengan beragam jenis simpulnya, HGNN bahkan lebih mungkin menghadapi tantangan ini. Misalnya, jenis simpul konten yang tersedia untuk umum (misalnya, simpul produk) banyak diberi label, sedangkan label untuk simpul pengguna atau akun mungkin tidak tersedia karena pembatasan privasi. Ini berarti bahwa di sebagian besar pengaturan pelatihan standar, model HGNN hanya dapat belajar membuat inferensi yang baik untuk beberapa tipe node yang banyak label dan biasanya tidak dapat membuat inferensi untuk tipe node yang tersisa (mengingat tidak adanya label untuk mereka).
Mentransfer pembelajaran pada grafik heterogen
Pembelajaran transfer tanpa tembakan adalah teknik yang digunakan untuk meningkatkan kinerja model pada a target domain tanpa label dengan menggunakan pengetahuan yang dipelajari oleh model dari pihak lain yang terkait sumber domain dengan data berlabel yang memadai. Untuk menerapkan pembelajaran transfer untuk mengatasi masalah kelangkaan label ini untuk tipe node tertentu di HG, domain targetnya adalah tipe node berlabel nol. Lalu apa yang akan menjadi domain sumber? sebelumnya kerja biasanya menetapkan domain sumber sebagai jenis node yang sama yang terletak di HG yang berbeda, dengan asumsi node tersebut diberi banyak label. Ini pembelajaran transfer grafik ke grafik approach pra-melatih model HGNN pada HG eksternal dan kemudian menjalankan model pada HG asli (langka label).
Namun, pendekatan ini tidak dapat diterapkan di banyak skenario dunia nyata karena tiga alasan. Pertama, setiap HG eksternal yang dapat digunakan dalam pengaturan pembelajaran transfer grafik-ke-grafik hampir pasti hak milik, dengan demikian, kemungkinan besar tidak tersedia. Kedua, bahkan jika praktisi dapat memperoleh akses ke HG eksternal, kemungkinannya kecil distribusi sumber HG tersebut akan cocok dengan target HG mereka dengan cukup baik untuk menerapkan pembelajaran transfer. Akhirnya, tipe node menderita kelangkaan label cenderung mengalami masalah yang sama di HG lain (mis., masalah privasi di node pengguna).
Pendekatan kami: Mentransfer pembelajaran antar tipe node dalam grafik heterogen
Di sini, kami menjelaskan domain sumber yang lebih praktis, tipe node lain dengan banyak label yang terletak di HG yang sama. Alih-alih menggunakan HG ekstra, kami mentransfer pengetahuan dalam satu HG (diasumsikan sepenuhnya dimiliki oleh praktisi) di berbagai jenis node. Lebih khusus lagi, kami melakukan pra-pelatihan model HGNN dan pengklasifikasi pada tipe node label-berlimpah (sumber), kemudian menggunakan kembali model pada tipe node berlabel nol (target) yang terletak di HG yang sama tanpa penyesuaian tambahan. Satu persyaratan adalah bahwa tipe node sumber dan target berbagi set label yang sama (misalnya, di e-commerce HG, node produk memiliki set label yang menjelaskan kategori produk, dan node pengguna berbagi set label yang sama yang menjelaskan kategori belanja favorit mereka) .
Mengapa ini menantang?
Sayangnya, kami tidak dapat langsung menggunakan kembali HGNN dan pengklasifikasi yang telah dilatih sebelumnya pada tipe node target. Salah satu karakteristik penting dari arsitektur HGNN adalah bahwa mereka terdiri dari modul yang dikhususkan untuk setiap jenis node untuk mempelajari sepenuhnya multiplisitas HG. HGNN menggunakan set modul yang berbeda untuk menghitung penyematan untuk setiap jenis node. Pada gambar di bawah, modul berwarna biru dan merah digunakan untuk menghitung node embeddings untuk masing-masing tipe node sumber dan target.
HGNN terdiri dari modul khusus untuk setiap jenis node dan menggunakan set modul yang berbeda untuk menghitung penyematan dari jenis node yang berbeda. Rincian lebih lanjut dapat ditemukan di kertas. |
Sementara pra-pelatihan HGNN pada tipe node sumber, modul khusus sumber di HGNN terlatih dengan baik, namun modul spesifik target kurang terlatih karena hanya memiliki sedikit gradien yang mengalir ke dalamnya. Ini ditunjukkan di bawah ini, di mana kita melihat bahwa norma L2 gradien untuk tipe node target (yaitu, Mtt) jauh lebih rendah daripada untuk tipe sumber (yaitu, Mss). Dalam hal ini model HGNN menghasilkan penyematan simpul yang buruk untuk jenis simpul target, yang menghasilkan kinerja tugas yang buruk.
Dalam HGNN, modul khusus tipe target menerima nol atau hanya sejumlah kecil gradien selama pra-pelatihan pada tipe node sumber, yang menyebabkan kinerja buruk pada tipe node target. |
KTN: Pembelajaran transfer lintas tipe yang dapat dilatih untuk HGNN
Pekerjaan kami berfokus pada transformasi penyematan node target (buruk) yang dihitung oleh model HGNN terlatih untuk mengikuti distribusi penyematan node sumber. Kemudian pengklasifikasi, yang dilatih sebelumnya pada tipe node sumber, dapat digunakan kembali untuk target tipe simpul. Bagaimana kita bisa memetakan penyematan node target ke domain sumber? Untuk menjawab pertanyaan ini, kami menyelidiki bagaimana HGNN menghitung penyematan node untuk mempelajari hubungan antara distribusi sumber dan target.
HGNN menggabungkan penyematan node yang terhubung untuk menambah penyematan node target di setiap lapisan. Dengan kata lain, penyematan node untuk tipe node sumber dan target diperbarui menggunakan input yang sama โ penyematan node lapisan sebelumnya dari semua tipe node yang terhubung. Ini berarti bahwa mereka dapat diwakili oleh satu sama lain. Kami membuktikan hubungan ini secara teoritis dan menemukan ada matriks pemetaan (didefinisikan oleh parameter HGNN) dari domain target ke domain sumber (lebih detail dalam Teorema 1 di kertas). Berdasarkan teorema ini, kami memperkenalkan tambahan saraf jaringan, yang kami sebut sebagai a Jaringan Transfer Pengetahuan (KTN), yang menerima penyematan node target dan kemudian mengubahnya dengan mengalikannya dengan matriks pemetaan (dapat dilatih). Kami kemudian menentukan regularizer yang diminimalkan bersama dengan penurunan performa pada fase pra-pelatihan untuk melatih KTN. Pada saat pengujian, kami memetakan penyematan target yang dihitung dari HGNN terlatih ke domain sumber menggunakan KTN terlatih untuk klasifikasi.
Hasil percobaan
Untuk memeriksa keefektifan KTN, kami menjalankan 18 tugas pembelajaran transfer zero-shot yang berbeda pada dua grafik heterogen publik, Buka Grafik Akademik dan PubMed. Kami membandingkan KTN dengan delapan metode pembelajaran transfer yang canggih (DAN, JAN, DANN, CDAN, CDAN-E, WDGRL, LP, EP). Ditunjukkan di bawah, KTN secara konsisten mengungguli semua baseline pada semua tugas, mengalahkan baseline pembelajaran transfer hingga 140% (diukur dengan Keuntungan Kumulatif Diskon yang Dinormalisasi, metrik peringkat).
Pembelajaran transfer zero-shot pada Open Academic Graph (OAG-CS) dan kumpulan data Pubmed. Warna-warna tersebut mewakili berbagai kategori dasar pembelajaran transfer yang hasilnya dibandingkan. Kuning: Gunakan properti statistik (misalnya rata-rata, varians) dari distribusi. Hijau: Gunakan model permusuhan untuk mentransfer pengetahuan. Jeruk: Mentransfer pengetahuan secara langsung melalui struktur grafik menggunakan propagasi label. |
Yang paling penting, KTN dapat diterapkan pada hampir semua model HGNN yang memiliki parameter khusus tipe node dan edge dan meningkatkan kinerja zero-shot pada domain target. Seperti yang ditunjukkan di bawah ini, KTN meningkatkan akurasi pada tipe node berlabel nol di enam model HGNN yang berbeda (R-GCN, HAN, HGT, MAGNN, MPNN, H-MPNN) hingga 190%.
KTN dapat diterapkan pada enam model HGNN yang berbeda dan meningkatkan kinerja zero-shot pada domain target. |
Takeaways
Berbagai ekosistem dalam industri dapat disajikan sebagai grafik yang heterogen. HGNN meringkas informasi grafik heterogen menjadi representasi yang efektif. Namun, masalah kelangkaan label pada jenis node tertentu mencegah penerapan HGNN yang lebih luas. Dalam postingan ini, kami memperkenalkan KTN, metode pembelajaran transfer tipe silang pertama yang dirancang untuk HGNN. Dengan KTN, kami dapat sepenuhnya mengeksploitasi kekayaan grafik heterogen melalui HGNN terlepas dari kelangkaan label. Lihat kertas lebih lanjut.
Ucapan Terima Kasih
Makalah ini merupakan karya bersama dengan rekan penulis kami John Palowitch (Google Research), Dustin Zelle (Google Research), Ziniu Hu (Intern, Google Research), dan Russ Salakhutdinov (CMU). Kami berterima kasih kepada Tom Small karena telah membuat figur animasi di postingan blog ini.
#mailpoet_form_1 .mailpoet_form {}
#mailpoet_form_1 formulir { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { bantalan: 0 piksel; }
#mailpoet_form_1 .wp-block-column:anak pertama, #mailpoet_form_1 .mailpoet_form_column:anak pertama { padding: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:anak pertama) { margin-kiri: 0; }
#mailpoet_form_1 h2.mailpoet-heading { margin: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { line-height: 20px; margin-bawah: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; font-berat: normal; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { tampilan: blok; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { lebar: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message {}
#mailpoet_form_1 .mailpoet_form_loading { lebar: 30px; perataan teks: tengah; garis-tinggi: normal; }
#mailpoet_form_1 .mailpoet_form_loading > span { width: 5px; tinggi: 5px; warna latar belakang: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {margin: 0; padding: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {warna: #00d084}
#mailpoet_form_1 masukan.kesuksesan peterseli {warna: #00d084}
#mailpoet_form_1 pilih.kesuksesan peterseli {warna: #00d084}
#mailpoet_form_1 textarea.parsley-sukses {warna: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {warna: #cf2e2e}
#mailpoet_form_1 masukan.kesalahan-parsley {warna: #cf2e2e}
#mailpoet_form_1 pilih.kesalahan-parsley {warna: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {warna: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {warna: #cf2e2e}
#mailpoet_form_1 .diperlukan peterseli {warna: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {warna: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (lebar maks: 500px) {#mailpoet_form_1 {latar belakang: #27282e;}} @media (lebar minimum: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: anak terakhir {margin-bottom: 0}} @media (lebar maks: 500 piksel) {#mailpoet_form_1 .mailpoet_form_column:anak terakhir .mailpoet_paragraph:anak terakhir {margin-bottom: 0}}
Mengajar label lama trik baru dalam grafik heterogen Diterbitkan ulang dari Sumber http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html melalui http://feeds.feedburner.com/blogspot /gJZg
minggu crowdsourcing
<!โ
->
<!โ
->
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- akademik
- mengakses
- Akun
- ketepatan
- ACM
- di seluruh
- tambahan
- Tambahan
- cukup
- terhadap
- Semua
- jumlah
- dan
- Lain
- menjawab
- berlaku
- Aplikasi
- aplikasi
- terapan
- Mendaftar
- pendekatan
- pendekatan
- diasumsikan
- atribut
- tersedia
- latar belakang
- berdasarkan
- di bawah
- antara
- Memblokir
- Blog
- lebih luas
- Bryan
- bernama
- tidak bisa
- kasus
- kategori
- Kategori
- pusat
- tertentu
- menantang
- menantang
- ciri
- klasifikasi
- warna
- Umum
- umum
- membandingkan
- dibandingkan
- tersusun
- menghitung
- terhubung
- Konektivitas
- Konten
- Sesuai
- bisa
- membuat
- sangat penting
- data
- kumpulan data
- dc
- mendalam
- belajar mendalam
- didefinisikan
- mendefinisikan
- menggambarkan
- deskripsi
- dirancang
- rincian
- berbeda
- berbeda
- langsung
- diskon
- Display
- berbeda
- distribusi
- distribusi
- beberapa
- domain
- domain
- selama
- e-commerce
- setiap
- ekosistem
- Ekosistem
- Tepi
- Efektif
- efektivitas
- cukup
- Bahkan
- ada
- Mengeksploitasi
- luar
- tambahan
- Menghadapi
- Favorit
- Fitur
- beberapa
- Angka
- terakhir
- Akhirnya
- Menemukan
- Pertama
- Mengalir
- berfokus
- mengikuti
- bentuk
- ditemukan
- dari
- sepenuhnya
- fungsi
- gif
- GitHub
- diberikan
- baik
- gradien
- grafik
- grafik
- tinggi
- di sini
- Seterpercayaapakah Olymp Trade? Kesimpulan
- Namun
- HTML
- HTTPS
- gambar
- ketidakseimbangan
- memperbaiki
- in
- Di lain
- Termasuk
- sendiri-sendiri
- industri
- industri
- informasi
- memasukkan
- contoh
- sebagai gantinya
- kepentingan
- memperkenalkan
- diperkenalkan
- menyelidiki
- isu
- masalah
- IT
- item
- John
- bersama
- pengetahuan
- label
- Label
- Terakhir
- lapisan
- terkemuka
- BELAJAR
- belajar
- pengetahuan
- cahaya
- Mungkin
- lokal
- terletak
- lepas
- mesin
- Mesin belajar
- membuat
- banyak
- peta
- pemetaan
- Margin
- Cocok
- matematis
- Matriks
- max-width
- cara
- metode
- metode
- metrik
- mungkin
- Pertambangan
- model
- model
- Modul
- lebih
- paling
- beberapa
- mengalikan
- Perlu
- jaringan
- jaringan
- New
- simpul
- node
- normal
- memperoleh
- menawarkan
- Tua
- ONE
- Buka
- asli
- Lainnya
- Mengungguli
- Mengungguli
- dimiliki
- kertas
- parameter
- prestasi
- tahap
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- miskin
- Pos
- Praktis
- meramalkan
- disajikan
- hadiah
- mencegah
- sebelumnya
- pribadi
- Produk
- Produk
- properties
- mengusulkan
- Rasakan itu
- publik
- di depan umum
- membeli
- pertanyaan
- Peringkat
- nyata
- dunia nyata
- alasan
- menerima
- menerima
- Bagaimanapun juga
- terkait
- hubungan
- hubungan
- Hubungan
- yang tersisa
- mewakili
- diwakili
- membutuhkan
- kebutuhan
- penelitian
- pembatasan
- Hasil
- ulasan
- Review
- Kaya
- sama
- Kelangkaan
- skenario
- ilmuwan
- Kedua
- set
- set
- pengaturan
- pengaturan
- Share
- tas
- ditunjukkan
- Pertunjukkan
- tunggal
- ENAM
- kecil
- MEMECAHKAN
- sumber
- khusus
- tertentu
- Secara khusus
- standar
- state-of-the-art
- statistik
- struktur
- penderitaan
- meringkaskan
- Pasti
- sistem
- target
- tugas
- tugas
- Pengajaran
- uji
- Grafik
- Sumber
- mereka
- tiga
- Melalui
- waktu
- untuk
- Pelatihan VE
- terlatih
- Pelatihan
- transfer
- transfer
- Mengubah
- mengubah
- jenis
- terpadu
- diperbarui
- menggunakan
- Pengguna
- Pengguna
- biasanya
- dimanfaatkan
- berbagai
- melalui
- Video
- View
- W3
- Apa
- yang
- sementara
- lebih luas
- lebar
- Wikipedia
- dalam
- tanpa
- kata
- Kerja
- dunia
- akan
- menulis
- sel
- zephyrnet.dll
- nol
- Pembelajaran Zero-Shot