機械学習の産業用アプリケーションは、通常、異なるデータ モダリティや特徴分布を持つさまざまなアイテムで構成されています。 異種グラフ (HG) は、複数のタイプのノード (データ タイプごと) とエッジ (データ項目間の関係) を定義することにより、これらのマルチモーダル データ システムの統一されたビューを提供します。 たとえば、電子商取引ネットワークには [user, BOX, レビュー] ノードまたはビデオ プラットフォームには [チャンネル, user, ビデオ, コメント]ノード。 異種グラフ ニューラル ネットワーク (HGNN) 各ノードの関係をベクトルに要約するノードの埋め込みを学習します。 ただし、現実の HG では、異なるノード タイプ間でラベルの不均衡の問題が発生することがよくあります。 これは、ラベル不足のノード タイプが HGNN を利用できないことを意味し、HGNN の幅広い適用性を妨げます。
」では、知識伝達ネットワークを介した異種グラフ内でのゼロショット転移学習」で発表 ニューロIPS 2022では、HG で与えられる豊富なリレーショナル情報を使用して、ラベルが豊富なノード タイプからラベルがゼロのノード タイプに知識を転送する、知識転送ネットワーク (KTN) と呼ばれるモデルを提案します。 微調整を必要とせずに HGNN モデルを事前トレーニングする方法について説明します。 KTN は、ゼロショット学習タスクで最先端の転移学習ベースラインを最大 140% 上回るパフォーマンスを示し、これらのタスクで多くの既存の HGNN モデルを 24% (またはそれ以上) 改善するために使用できます。
KTN は、XNUMX 種類の情報からラベルを変換します (正方形) グラフを介して別のタイプ (星). |
異種グラフとは何ですか?
HGの構成要素は、 複数のノードとエッジのタイプ。 以下の図は、HG として表された電子商取引ネットワークを示しています。 ECでは「ユーザー」が「商品」を購入し、「レビュー」を書きます。 HG は、XNUMX つのノード タイプを使用してこのエコシステムを表します [user, BOX, レビュー] と XNUMX つのエッジ タイプ [ユーザーが製品を購入する, ユーザーの書き込みレビュー, 製品のレビュー]。 その後、個々の製品、ユーザー、レビューがノードとして表示され、それらの関係が対応するノードおよびエッジ タイプを備えた HG 内のエッジとして表示されます。
電子商取引の異種グラフ。 |
すべての接続情報に加えて、HG には通常、次の情報が与えられます。 入力ノードの属性 各ノードの情報を要約します。 入力ノード属性は、ノード タイプごとに異なるモダリティを持つ可能性があります。 たとえば、製品の画像を製品ノードの入力ノード属性として指定し、テキストをレビュー ノードの入力属性として指定することができます。 ノードラベル (各製品のカテゴリや各ユーザーが最も関心のあるカテゴリなど) は、各ノードで予測したいものです。
HGNN とラベル不足の問題
HGNN の計算 ノードの埋め込み 各ノードのローカル構造 (ノードとその隣接ノードの情報を含む) を要約します。 これらのノードの埋め込みは、各ノードのラベルを予測するために分類子によって利用されます。 HGNN モデルと分類器をトレーニングして特定のノード タイプのラベルを予測するには、そのタイプに十分な量のラベルが必要です。
ディープラーニングの産業応用における一般的な問題はラベルの不足であり、HGNN はノードタイプが多様であるため、この課題に直面する可能性がさらに高くなります。 たとえば、公開されているコンテンツ ノード タイプ (製品ノードなど) には多くのラベルが付けられていますが、ユーザーまたはアカウント ノードのラベルはプライバシー制限により利用できない場合があります。 これは、ほとんどの標準的なトレーニング設定では、HGNN モデルはラベルが豊富な少数のノード タイプに対して適切な推論を行うことのみを学習でき、通常、残りのノード タイプに対しては推論を行うことができないことを意味します (それらのノード タイプにラベルがない場合)。
異種グラフでの転移学習
ゼロショット転移学習 モデルのパフォーマンスを向上させるために使用される手法です。 ターゲット ドメイン ラベルなしで モデルが他の関連する情報から学習した知識を使用することによって source 適切にラベル付けされたデータを含むドメイン。 HG の特定のノード タイプに対するこのラベル不足の問題を解決するために転移学習を適用するには、ターゲット ドメインはゼロラベルのノード タイプになります。 では、ソースドメインは何でしょうか? 前へ は通常、ソース ドメインを、異なる HG にある同じタイプのノードとして設定します (これらのノードには豊富なラベルが付けられていると仮定します)。 これ グラフ間の転移学習 このアプローチでは、外部 HG で HGNN モデルを事前トレーニングし、その後、元の (ラベルが不足している) HG でモデルを実行します。
ただし、これらのアプローチは、XNUMX つの理由により、多くの現実世界のシナリオには適用できません。 まず、グラフ間転移学習設定で使用できる外部 HG は、ほぼ確実に次のとおりです。 所有権したがって、利用できない可能性があります。 第二に、たとえ実務者が外部 HG にアクセスできたとしても、それが可能になる可能性は低いです。 あのソースHGの配布 転移学習を適用するのに十分なほどターゲットの HG と一致します。 最後に、次のような問題が発生するノード タイプ ラベルの希少性 他の HG でも同じ問題が発生する可能性があります (ユーザー ノードのプライバシー問題など)。
私たちのアプローチ: 異種グラフ内のノードタイプ間で学習を転移する
ここでは、より実用的なソース ドメインに光を当てます。 同じ HG 上に豊富なラベルを持つ他のノード タイプ。 追加の HG を使用する代わりに、単一の HG (実践者が完全に所有していると想定) 内の知識をさまざまなタイプのノードに転送します。 具体的には、ラベルが豊富な (ソース) ノード タイプで HGNN モデルと分類器を事前トレーニングし、その後、追加の微調整を行わずに、同じ HG 内にあるゼロラベル (ターゲット) ノード タイプでモデルを再利用します。 XNUMX つの要件は、ソース ノード タイプとターゲット ノード タイプが同じラベル セットを共有することです (たとえば、電子商取引 HG では、製品ノードは製品カテゴリを説明するラベル セットを持ち、ユーザー ノードはお気に入りのショッピング カテゴリを説明する同じラベル セットを共有します)。 。
なぜ挑戦的なのでしょうか?
残念ながら、ターゲット ノード タイプで事前トレーニングされた HGNN と分類子を直接再利用することはできません。 HGNN アーキテクチャの重要な特徴の XNUMX つは、HG の多重度を完全に学習するために各ノード タイプに特化したモジュールで構成されていることです。 HGNN は、モジュールの個別のセットを使用して、ノード タイプごとに埋め込みを計算します。 以下の図では、青と赤のモジュールが、それぞれソース ノード タイプとターゲット ノード タイプのノード エンベディングを計算するために使用されます。
HGNN は、各ノード タイプに特化したモジュールで構成され、異なるノード タイプの埋め込みを計算するために個別のモジュール セットを使用します。 詳細については、 紙. |
ソース ノード タイプで HGNN を事前トレーニングする際、HGNN 内のソース固有のモジュールは十分にトレーニングされますが、ターゲット固有のモジュールには少量の勾配しか流入しないため、トレーニングが不十分になります。 これを以下に示します。 L2基準 ターゲット ノード タイプの勾配 (つまり、Mtt)は、ソースタイプ(すなわち、M)よりもはるかに低いss)。 この場合、HGNN モデルはターゲット ノード タイプに対して不適切なノード エンベディングを出力し、タスクのパフォーマンスが低下します。
HGNN では、ターゲット タイプ固有のモジュールは、ソース ノード タイプでの事前トレーニング中にゼロまたは少量の勾配しか受け取らないため、ターゲット ノード タイプでのパフォーマンスの低下につながります。 |
KTN: HGNN 向けのトレーニング可能なクロスタイプ転移学習
私たちの研究は、ソース ノード エンベディングの分布に従うように、事前トレーニングされた HGNN モデルによって計算された (貧弱な) ターゲット ノード エンベディングを変換することに焦点を当てています。 その後、ソース ノード タイプで事前トレーニングされた分類子を、 ターゲット ノードタイプ。 ターゲット ノードの埋め込みをソース ドメインにマッピングするにはどうすればよいでしょうか? この質問に答えるために、HGNN がノードの埋め込みを計算してソース分布とターゲット分布の関係を学習する方法を調査します。
HGNN は、接続されたノードのエンベディングを集約して、各層のターゲット ノードのエンベディングを強化します。 つまり、ソース ノード タイプとターゲット ノード タイプの両方のノード エンベディングは、同じ入力 (接続されているノード タイプの前の層のノード エンベディング) を使用して更新されます。 これは、それらが相互に表現できることを意味します。 この関係を理論的に証明すると、ターゲット ドメインからソース ドメインへのマッピング行列 (HGNN パラメーターによって定義される) が存在することがわかります (詳細については、「定理 1」を参照してください)。 紙)。 この定理に基づいて、補助的な式を導入します。 ニューラルネットワーク、これを 知識伝達ネットワーク (KTN)、ターゲット ノードの埋め込みを受け取り、(トレーニング可能な) マッピング行列を乗算して変換します。 次に、KTN をトレーニングするための事前トレーニング段階でのパフォーマンス損失を最小限に抑える正則化子を定義します。 テスト時には、分類用のトレーニング済み KTN を使用して、事前トレーニング済みの HGNN から計算されたターゲット エンベディングをソース ドメインにマッピングします。
HGNN では、ソース タイプとターゲット タイプの両方の最終的なノード エンベディングは、さまざまな数学関数 (f(): ソース、 g(): ターゲット) は同じ入力、つまり前の層のノードの埋め込みを使用します。 |
実験結果
KTN の有効性を調べるために、18 つの公開異種グラフ上で XNUMX の異なるゼロショット転移学習タスクを実行しました。 アカデミックグラフを開く および PubMedの。 KTN を XNUMX つの最先端の転移学習法と比較します (DAN, JAN, DANN, CDAN, CDAN-E, WDGRL, LP, EP)。 以下に示すように、KTN はすべてのタスクですべてのベースラインを常に上回っており、転移学習のベースラインを最大 140% 上回っています (測定によると)。 正規化された割引累積ゲイン、ランキング指標)。
Open Academic Graph (OAG-CS) および Pubmed データセットでのゼロショット転移学習。 色は、結果が比較される転移学習ベースラインのさまざまなカテゴリを表します。 イエロー: 分布の統計的特性 (平均、分散など) を使用します。 グリーン: つかいます 敵対的モデル 知識を伝達すること。 オレンジ: を使用してグラフ構造を介して知識を直接伝達します。 ラベルの伝播. |
最も重要なことは、KTN は、ノードおよびエッジ タイプ固有のパラメーターを持つほぼすべての HGNN モデルに適用でき、ターゲット ドメインでのゼロショット パフォーマンスを向上させることができます。 以下に示すように、KTN は XNUMX つの異なる HGNN モデルにわたってゼロラベル付きノード タイプの精度を向上させます(R-GCN, HAN, HGT, マグン, MPNN, H-MPNN) 最大 190% 増加します。
KTN は XNUMX つの異なる HGNN モデルに適用でき、ターゲット ドメインでのゼロショット パフォーマンスを向上させることができます。 |
まとめ
業界のさまざまなエコシステムは、異種グラフとして表現できます。 HGNN は、異種グラフ情報を効果的な表現に要約します。 ただし、特定のタイプのノードではラベル不足の問題が発生し、HGNN の広範な適用が妨げられています。 この記事では、HGNN 向けに設計された初のクロスタイプ転移学習手法である KTN を紹介しました。 KTN を使用すると、ラベルの不足に関係なく、HGNN を介して異種グラフの豊富さを最大限に活用できます。 を参照してください。 紙 のガイドをご参照ください。
謝辞
この論文は、共著者である John Palowitch (Google Research)、Dustin Zelle (Google Research)、Ziniu Hu (Google Research、インターン)、および Russ Salakhutdinov (CMU) との共同研究です。 このブログ投稿のアニメーション フィギュアを作成してくれた Tom Small に感謝します。
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 フォーム { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { パディング: 0px; }
#mailpoet_form_1 .wp-block-column:first-child, #mailpoet_form_1 .mailpoet_form_column:first-child { パディング: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:first-child) { margin-left: 0; }
#mailpoet_form_1 h2.mailpoet-heading { マージン: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { 行の高さ: 20px; margin-bottom: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; フォントの太さ: 通常; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { 表示: ブロック; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { 幅: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { 幅: 30px; テキスト整列: 中央; 行の高さ: 通常; }
#mailpoet_form_1 .mailpoet_form_loading > スパン { 幅: 5px; 高さ: 5px; 背景色: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {マージン: 0; パディング: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {color: #00d084}
#mailpoet_form_1 input.parsley-success {color: #00d084}
#mailpoet_form_1 select.parsley-success {color: #00d084}
#mailpoet_form_1 textarea.parsley-success {color: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {色: #cf2e2e}
#mailpoet_form_1 input.parsley-error {color: #cf2e2e}
#mailpoet_form_1 select.parsley-error {color: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {色: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {color: #cf2e2e}
#mailpoet_form_1 .パセリ必須 {色: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {color: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (最大幅: 500px) {#mailpoet_form_1 {background: #27282e;}} @media (最小幅: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: last-child {margin-bottom: 0}} @media (最大幅: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
異種グラフで古いラベルに新しいトリックを教える/gJZg
クラウドソーシング週間
<!–
–>
<!–
–>
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- アカデミック
- アクセス
- 精度
- ACM
- 越えて
- 添加
- NEW
- 十分に
- に対して
- すべて
- 量
- および
- 別の
- 回答
- 適用可能な
- 申し込み
- 適用された
- 申し込む
- アプローチ
- アプローチ
- 想定される
- 属性
- 利用できます
- 背景
- ベース
- 以下
- の間に
- ブロック
- ブログ
- より広い
- ブライアン
- 呼ばれます
- 場合
- カテゴリ
- カテゴリー
- センター
- 一定
- 挑戦する
- 挑戦
- 特性
- 分類
- カラー
- コマンドと
- 一般に
- 比較します
- 比べ
- 構成
- 計算
- 交流
- 接続性
- コンテンツ
- 対応する
- 可能性
- 作成
- 重大な
- データ
- データセット
- dc
- 深いです
- 深い学習
- 定義済みの
- 定義
- 説明する
- 説明
- 設計
- 細部
- 異なります
- 異なる
- 直接に
- 割引
- ディスプレイ
- 明確な
- ディストリビューション
- ディストリビューション
- 異なる
- ドメイン
- ドメイン
- 間に
- eコマース
- 各
- エコシステム
- 生態系
- エッジ(Edge)
- 効果的な
- 有効
- 十分な
- さらに
- 既存の
- 悪用する
- 外部
- 余分な
- 顔
- お気に入り
- 特徴
- 少数の
- フィギュア
- ファイナル
- 最後に
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- 流れる
- 焦点を当てて
- フォーム
- 発見
- から
- 完全に
- 機能
- GIF
- GitHubの
- 与えられた
- 良い
- でログイン
- 勾配
- グラフ
- グラフ
- 高さ
- こちら
- 認定条件
- しかしながら
- HTML
- HTTPS
- 画像
- 不均衡
- 改善します
- in
- その他の
- 含めて
- 個人
- インダストリアル
- 産業を変えます
- 情報
- を取得する必要がある者
- 利益
- 紹介する
- 導入
- 調べる
- 問題
- 問題
- IT
- リーディングシート
- John Redfern
- ジョイント
- 知識
- ラベル
- ラベル
- 姓
- 層
- 主要な
- LEARN
- 学んだ
- 学習
- 光
- 可能性が高い
- ローカル
- 位置して
- 損失
- 機械
- 機械学習
- make
- 多くの
- 地図
- マッピング
- マージン
- 一致
- 数学的
- マトリックス
- 最大幅
- 手段
- 方法
- メソッド
- メトリック
- かもしれない
- 鉱業
- モデル
- モジュール
- 他には?
- 最も
- の試合に
- 掛け算
- 必要
- ネットワーク
- ネットワーク
- 新作
- ノード
- 通常の
- 入手する
- 提供
- 古い
- ONE
- 開いた
- オリジナル
- その他
- 優れたパフォーマンス
- 優れた性能
- 所有している
- 紙素材
- パラメータ
- パフォーマンス
- 相
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 貧しいです
- ポスト
- 実用的
- 予測する
- PLM platform.
- プレゼント
- 防ぐ
- 前
- プライバシー
- プロダクト
- 製品
- プロパティ
- 提案する
- 受験する
- 公共
- 公然と
- 購入
- 質問
- ランキング
- リアル
- 現実の世界
- 理由は
- 受け取ります
- 受け取り
- 関係なく
- 関連する
- 関係
- 関係
- の関係
- 残り
- 表す
- で表さ
- 必要とする
- 要件
- 研究
- 制限
- 結果
- レビュー
- レビュー
- 富裕層
- 同じ
- 希少性
- シナリオ
- 科学者
- 二番
- セッションに
- セット
- 設定
- 設定
- シェアする
- ショッピング
- 示す
- 作品
- SIX
- 小さい
- 解決する
- ソース
- 専門の
- 特定の
- 特に
- 標準
- 最先端の
- 統計的
- 構造
- 苦しみ
- まとめる
- 確かに
- システム
- ターゲット
- 仕事
- タスク
- ティーチング
- test
- ソース
- アプリ環境に合わせて
- 三
- 介して
- 時間
- 〜へ
- トレーニング
- 訓練された
- トレーニング
- 転送
- 転送
- 最適化の適用
- 変換
- 統一
- 更新しました
- つかいます
- ユーザー
- users
- 通常
- 利用された
- さまざまな
- 、
- ビデオ
- 詳しく見る
- W3
- この試験は
- which
- while
- より広い
- 幅
- Wikipedia
- 以内
- 無し
- 言葉
- 仕事
- 世界
- でしょう
- 書きます
- セル
- ゼファーネット
- ゼロ
- ゼロショット学習