机器学习的工业应用通常由具有不同数据模式或特征分布的各种项目组成。 异构图 (HG)通过定义多种类型的节点(针对每种数据类型)和边(针对数据项之间的关系),提供这些多模式数据系统的统一视图。 例如,电子商务网络可能有[用户, 产品展示, 检讨] 节点或视频平台可能有[渠道, 用户, 电影, 评论] 节点。 异构图神经网络 (HGNN)学习节点嵌入,将每个节点的关系总结为一个向量。 然而,在现实世界的HG中,不同节点类型之间经常存在标签不平衡的问题。 这意味着标签稀缺节点类型无法利用 HGNN,这阻碍了 HGNN 更广泛的适用性。
在“通过知识转移网络在异构图中进行零样本转移学习”,发表于 NeurIPS 2022年,我们提出了一种称为知识转移网络(KTN)的模型,该模型使用 HG 中给出的丰富关系信息将知识从标签丰富的节点类型转移到零标签节点类型。 我们描述了如何在不需要微调的情况下预训练 HGNN 模型。 KTN 在零样本学习任务上的性能比最先进的迁移学习基线高出 140%,并且可用于将这些任务上的许多现有 HGNN 模型改进 24%(或更多)。
KTN 将标签从一种类型的信息转换为标签(广场)通过图形转换为另一种类型(星星). |
什么是异构图?
HG 由以下部分组成 多种节点和边类型。 下图显示了一个以 HG 形式呈现的电子商务网络。 在电子商务中,“用户”购买“产品”并撰写“评论”。 HG 使用三种节点类型来呈现这个生态系统 [用户, 产品展示, 检讨] 和三种边类型 [用户购买产品, 用户撰写评论, 产品评论]。 然后,各个产品、用户和评论将呈现为节点,它们的关系则呈现为 HG 中的边,并具有相应的节点和边类型。
电子商务异构图。 |
除了所有连接信息之外,HG 通常还提供 输入节点属性 总结每个节点的信息。 输入节点属性在不同的节点类型上可以具有不同的模式。 例如,产品的图像可以作为产品节点的输入节点属性给出,而文本可以作为评论节点的输入属性给出。 节点标签 (例如,每个产品的类别或每个用户最感兴趣的类别)是我们想要在每个节点上预测的内容。
HGNN 和标签稀缺问题
HGNN 计算 节点嵌入 总结每个节点的本地结构(包括节点及其邻居的信息)。 分类器利用这些节点嵌入来预测每个节点的标签。 为了训练 HGNN 模型和分类器来预测特定节点类型的标签,我们需要大量该类型的标签。
深度学习工业应用中的一个常见问题是标签稀缺,而由于 HGNN 节点类型多样,因此更有可能面临这一挑战。 例如,公开可用的内容节点类型(例如,产品节点)被大量标记,而用户或账户节点的标签由于隐私限制可能不可用。 这意味着在大多数标准训练设置中,HGNN 模型只能学习对少数标签丰富的节点类型做出良好的推断,并且通常无法对任何剩余的节点类型进行任何推断(假设它们没有任何标签)。
异构图上的迁移学习
零样本迁移学习 是一种用于提高模型性能的技术 目标 域 没有标签 通过使用模型从另一个相关模型学到的知识 资源 具有充分标记数据的域。 为了应用迁移学习来解决 HG 中某些节点类型的标签稀缺问题,目标域将是零标签节点类型。 那么源域是什么? 上一页 工作 通常将源域设置为位于不同 HG 中的相同类型的节点,假设这些节点被大量标记。 这 图到图的迁移学习 方法在外部 HG 上预训练 HGNN 模型,然后在原始(标签稀缺)HG 上运行该模型。
然而,由于三个原因,这些方法并不适用于许多现实场景。 首先,任何可用于图到图迁移学习设置的外部 HG 几乎肯定是 所有权,因此,可能不可用。 其次,即使从业者可以获得外部 HG 的帮助,也不太可能 该源 HG 的分布 会很好地匹配他们的目标 HG 来应用迁移学习。 最后,节点类型遭受 标签稀缺 在其他 HG 上可能会遇到同样的问题(例如,用户节点上的隐私问题)。
我们的方法:异构图中节点类型之间的迁移学习
在这里,我们阐明了一个更实用的源域, 位于同一 HG 上的具有丰富标签的其他节点类型。 我们不使用额外的 HG,而是在不同类型的节点之间传输单个 HG(假设完全由从业者拥有)内的知识。 更具体地说,我们在标签丰富(源)节点类型上预训练 HGNN 模型和分类器,然后在位于同一 HG 中的零标签(目标)节点类型上重用这些模型,而无需额外微调。 一个要求是源节点类型和目标节点类型共享相同的标签集(例如,在电子商务HG中,产品节点具有描述产品类别的标签集,并且用户节点共享描述他们最喜欢的购物类别的相同标签集) 。
为什么它具有挑战性?
不幸的是,我们不能直接在目标节点类型上重用预训练的 HGNN 和分类器。 HGNN 架构的一个重要特征是它们由专门针对每种节点类型的模块组成,以充分学习 HG 的多样性。 HGNN 使用不同的模块集来计算每种节点类型的嵌入。 在下图中,蓝色和红色模块分别用于计算源节点类型和目标节点类型的节点嵌入。
HGNN 由专门针对每种节点类型的模块组成,并使用不同的模块集来计算不同节点类型的嵌入。 更多详细信息可以在 纸. |
在源节点类型上预训练 HGNN 时,HGNN 中的源特定模块训练有素,但目标特定模块训练不足,因为它们只有少量梯度流入。 如下所示,我们可以看到 L2范数 目标节点类型的梯度(即,Mtt)远低于源类型(即 Mss)。 在这种情况下,HGNN 模型会针对目标节点类型输出较差的节点嵌入,从而导致任务性能较差。
在 HGNN 中,目标类型特定模块在源节点类型预训练期间接收零或仅少量梯度,导致目标节点类型性能较差。 |
KTN:HGNN 的可训练跨类型迁移学习
我们的工作重点是转换由预先训练的 HGNN 模型计算的(不良)目标节点嵌入,以遵循源节点嵌入的分布。 然后,在源节点类型上预先训练的分类器可以重复用于 目标 节点类型。 我们如何将目标节点嵌入映射到源域? 为了回答这个问题,我们研究了 HGNN 如何计算节点嵌入来学习源分布和目标分布之间的关系。
HGNN 聚合连接的节点嵌入,以增强每层中目标节点的嵌入。 换句话说,源节点类型和目标节点类型的节点嵌入都使用相同的输入(任何连接的节点类型的前一层的节点嵌入)进行更新。 这意味着它们可以互相代表。 我们从理论上证明了这种关系,并发现从目标域到源域存在一个映射矩阵(由 HGNN 参数定义)(更多详细信息见定理 1) 纸)。 基于这个定理,我们引入一个辅助的 神经网络,我们称之为 知识转移网络 (KTN),接收目标节点嵌入,然后通过将它们与(可训练的)映射矩阵相乘来对其进行转换。 然后,我们定义一个正则化器,在预训练阶段将性能损失最小化,以训练 KTN。 在测试时,我们使用经过训练的 KTN 进行分类,将从预训练的 HGNN 计算出的目标嵌入映射到源域。
在 HGNN 中,源类型和目标类型的最终节点嵌入是根据不同的数学函数计算的(f(): 来源, g():目标)使用相同的输入——前一层的节点嵌入。 |
实验结果
为了检查 KTN 的有效性,我们在两个公共异构图上运行了 18 个不同的零样本迁移学习任务, 开放学术图谱 和 Pubmed。 我们将 KTN 与八种最先进的迁移学习方法进行比较(丹, JAN, DANN, CDAN, CDAN-E, WDGRL, LP, EP)。 如下所示,KTN 在所有任务上始终优于所有基线,比迁移学习基线高出 140%(通过测量) 归一化贴现累积收益,排名指标)。
开放学术图谱 (OAG-CS) 和 Pubmed 数据集上的零样本迁移学习。 颜色代表不同类别的迁移学习基线,与结果进行比较。 黄色:使用分布的统计属性(例如平均值、方差)。 绿色: 使用 对抗模型 传递知识。 橘色:使用图结构直接传递知识 标签传播. |
最重要的是,KTN 可以应用于几乎所有具有节点和边类型特定参数的 HGNN 模型,并提高其在目标域上的零样本性能。 如下所示,KTN 提高了六种不同 HGNN 模型中零标记节点类型的准确性(R-GCN, 韩, HGT, 磁力神经网络, 神经网络, H-MPNN) 高达 190%。
KTN 可以应用于六种不同的 HGNN 模型,并提高其在目标域上的零样本性能。 |
投资讯息
行业中的各种生态系统可以呈现为异构图。 HGNN 将异构图信息总结为有效的表示。 然而,某些类型节点上的标签稀缺问题阻碍了 HGNN 的更广泛应用。 在这篇文章中,我们介绍了 KTN,这是第一个为 HGNN 设计的跨类型迁移学习方法。 借助 KTN,无论标签稀缺性如何,我们都可以通过 HGNN 充分利用异构图的丰富性。 请参阅 纸 以获得更多细节。
致谢
本文是我们与合著者 John Palowitch(谷歌研究中心)、Dustin Zelle(谷歌研究中心)、Ziniu Hu(谷歌研究中心实习生)和 Russ Salakhutdinov(卡内基梅隆大学)共同合作的成果。 我们感谢 Tom Small 在这篇博文中创建了动画人物。
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 表格 { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { 填充:0px; }
#mailpoet_form_1 .wp-block-column:first-child, #mailpoet_form_1 .mailpoet_form_column:first-child { 填充:0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:first-child) { 左边距:0; }
#mailpoet_form_1 h2.mailpoet-heading { 边距:0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { 行高:20px; 底部边距:20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; 字体粗细:正常; }
#mailpoet_form_1 .mailpoet_text,#mailpoet_form_1 .mailpoet_textarea,#mailpoet_form_1 .mailpoet_select,#mailpoet_form_1 .mailpoet_date_month,#mailpoet_form_1 .mailpoet_date_day,#mailpoet_form_1 .mailpoet_date_year,#mailpoet_form_1 .mailpoet_date { 显示:块; }
#mailpoet_form_1 .mailpoet_text,#mailpoet_form_1 .mailpoet_textarea { 宽度:200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { 宽度:30px; 文本对齐:居中; 行高:正常; }
#mailpoet_form_1 .mailpoet_form_loading > span { width: 5px; 高度:5px; 背景色:#5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {保证金:0; 填充:0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {颜色:#00d084}
#mailpoet_form_1 input.parsley-success {颜色:#00d084}
#mailpoet_form_1 select.parsley-success {颜色:#00d084}
#mailpoet_form_1 textarea.parsley-success {颜色:#00d084}
#mailpoet_form_1 .mailpoet_validate_error {颜色:#cf2e2e}
#mailpoet_form_1 input.parsley-error {颜色:#cf2e2e}
#mailpoet_form_1 select.parsley-error {颜色:#cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {颜色:#cf2e2e}
#mailpoet_form_1 .parsley-errors-list {颜色:#cf2e2e}
#mailpoet_form_1 .parsley-required {颜色:#cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {颜色:#cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (max-width: 500px) {#mailpoet_form_1 {background: #27282e;}} @media (min-width: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: last-child {margin-bottom: 0}} @media (max-width: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
在异构图中教授旧标签新技巧通过 http://feeds.feedburner.com/blogspot 从源 http://ai.googleblog.com/2023/03/teaching-old-labels-new-tricks-in.html 重新发布/gJZg
众包周
–>
–>
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://blockchainconsultants.io/teaching-old-labels-new-tricks-in-heterogeneous-graphs/?utm_source=rss&utm_medium=rss&utm_campaign=teaching-old-labels-new-tricks-in-heterogeneous-graphs
- 1
- 1999
- 7
- a
- AC
- 学者
- ACCESS
- 账号管理
- ACM
- 横过
- 增加
- 额外
- 充分
- 驳
- 所有类型
- 量
- 和
- 另一个
- 回答
- 相应
- 应用领域
- 应用领域
- 应用的
- 使用
- 的途径
- 方法
- 假定
- 属性
- 可使用
- 背景
- 基于
- 如下。
- 之间
- 阻止
- 博客
- 更广泛
- 布莱恩
- 被称为
- 不能
- 案件
- 类别
- 产品类别
- Center
- 一定
- 挑战
- 挑战
- 特点
- 分类
- 颜色
- 相当常见
- 常用
- 比较
- 相比
- 由
- 计算
- 已联繫
- 连接方式
- 内容
- 相应
- 可以
- 创造
- 关键
- data
- 数据集
- dc
- 深
- 深入学习
- 定义
- 定义
- 描述
- 描述
- 设计
- 详情
- 不同
- 不同的
- 直接
- 打折
- 屏 显:
- 不同
- 分配
- 分布
- 不同
- 域
- 域名
- ,我们将参加
- 电子商务行业
- 每
- 生态系统
- 生态系统
- 边缘
- 有效
- 效用
- 更多
- 甚至
- 现有
- 利用
- 外部
- 额外
- 面部彩妆
- 喜爱
- 专栏
- 少数
- 数字
- 最后
- 终于
- 找到最适合您的地方
- (名字)
- 流动
- 重点
- 遵循
- 申请
- 发现
- 止
- 充分
- 功能
- GIF
- GitHub上
- 特定
- 非常好
- 谷歌
- 渐变
- 图形
- 图表
- 高度
- 相关信息
- 创新中心
- 但是
- HTML
- HTTPS
- 图片
- 失调
- 改善
- in
- 其他
- 包含
- 个人
- 产业
- 行业中的应用:
- 信息
- 输入
- 例
- 代替
- 利益
- 介绍
- 介绍
- 调查
- 问题
- 问题
- IT
- 项目
- John
- 联合
- 知识
- 标签
- 标签
- (姓氏)
- 层
- 领导
- 学习用品
- 知道
- 学习
- 光
- 容易
- 本地
- 位于
- 离
- 机
- 机器学习
- 使
- 许多
- 地图
- 制图
- 余量
- 匹配
- 数学的
- 矩阵
- 最大宽度
- 手段
- 方法
- 方法
- 公
- 可能
- 采矿
- 模型
- 模型
- 模块
- 更多
- 最先进的
- 多
- 倍增
- 需求
- 网络
- 网络
- 全新
- 节点
- 节点
- 正常
- 获得
- 提供
- 老
- 一
- 打开
- 原版的
- 其他名称
- 性能优异
- 性能优于
- 拥有
- 纸类
- 参数
- 性能
- 相
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 贫困
- 帖子
- 实用
- 预测
- 呈现
- 礼物
- 防止
- 以前
- 隐私
- 产品
- 核心产品
- 提供
- 证明
- 国家
- 公然
- 采购
- 题
- 排行
- 真实
- 真实的世界
- 原因
- 接收
- 接收
- 而不管
- 有关
- 关系
- 关系
- 关系
- 其余
- 代表
- 代表
- 要求
- 需求
- 研究
- 限制
- 成果
- 检讨
- 评论
- 丰富
- 同
- 缺乏
- 情景
- 科学家
- 其次
- 集
- 套数
- 设置
- 设置
- Share
- 购物
- 如图
- 作品
- 单
- SIX
- 小
- 解决
- 来源
- 专门
- 具体的
- 特别是
- 标准
- 国家的最先进的
- 统计
- 结构体
- 痛苦
- 总结
- 一定
- 产品
- 目标
- 任务
- 任务
- 教诲
- test
- 其
- 三
- 通过
- 次
- 至
- 培训
- 熟练
- 产品培训
- 转让
- 转让
- 改造
- 转型
- 类型
- 统一
- 更新
- 使用
- 用户
- 用户
- 平时
- 利用
- 各个
- 通过
- 视频
- 查看
- W3
- 什么是
- 这
- 而
- 更宽
- 宽度
- 维基百科上的数据
- 中
- 也完全不需要
- 话
- 工作
- 世界
- 将
- 写
- 细胞
- 和风网
- 零
- 零样本学习