研究人员发现了大约 100 个机器学习 (ML) 模型,这些模型已上传到 Hugging Face 人工智能 (AI) 平台,可能使攻击者能够将恶意代码注入到用户计算机上。研究结果进一步强调了当攻击者 毒害公开可用的人工智能模型 进行邪恶活动。
JFrog Security Research 发现的恶意模型是该公司正在进行的研究的一部分,该研究旨在研究攻击者如何使用 ML 模型来破坏用户环境。 博客文章 本周公布。
具体来说,JFrog 开发了一个扫描环境来审查上传到 Hugging Face(广泛使用的公共人工智能模型存储库)的模型文件,以检测和消除新出现的威胁, 特别是来自代码执行。
在运行该工具时,研究人员发现加载到存储库中的模型隐藏着恶意负载。在一个示例中,扫描仪标记了由名为 baller423 的用户(该帐户已被删除)上传到存储库的 PyTorch 模型,该模型使攻击者能够将任意 Python 代码插入到关键进程中。当模型加载到用户的计算机上时,这可能会导致恶意行为。
拥抱面部负载分析
JFrog 高级安全研究员 David Cohen 在帖子中写道,虽然研究人员上传的人工智能模型中嵌入的有效负载通常旨在展示漏洞或展示概念验证而不造成伤害,但 baller423 上传的有效负载却有很大不同。
它启动了到实际 IP 地址 210.117.212.93 的反向 shell 连接, “明显更具侵入性和 潜在的恶意,因为它建立了与外部服务器的直接连接,这表明存在潜在的安全威胁,而不仅仅是漏洞的表现,”他写道。
JFrog 发现该 IP 地址范围属于 Kreonet,它代表“韩国研究环境开放网络”。 Kreonet 是韩国的一个高速网络,用于支持先进的研究和教育工作;因此,人工智能研究人员或从业者可能是该模型的幕后黑手。
“然而,安全研究的一个基本原则是避免发布真正有效的漏洞或恶意代码,”当恶意代码试图连接回真实 IP 地址时,这一原则就被违反了,Cohen 指出。
此外,在模型被删除后不久,研究人员又遇到了具有不同 IP 地址的相同有效负载的更多实例,其中一个仍然处于活动状态。
对 Hugging Face 的进一步调查发现了大约 100 个潜在的恶意模型,凸显了该行为的更广泛影响 恶意人工智能模型带来的整体安全威胁科恩写道,这需要时刻保持警惕并采取更主动的安全措施。
恶意人工智能模型如何运作
要了解攻击者如何将 Hugging Face ML 模型武器化,需要了解恶意 PyTorch 模型(例如 baller423 上传的模型)如何在以下环境中工作: Python和人工智能开发.
加载某些类型的 ML 模型时可能会执行代码 - 例如,使用所谓的“pickle”格式(一种用于序列化 Python 对象的常见格式)的模型。据 JFrog 称,这是因为 pickle 文件还可以包含加载文件时执行的任意代码。
使用转换器加载 PyTorch 模型是开发人员的常用方法,涉及使用 torch.load() 函数,该函数从文件中反序列化模型。 JFrog 表示,特别是在处理使用 Hugging Face 的 Transformers 库训练的 PyTorch 模型时,开发人员经常使用这种方法来加载模型及其架构、权重和任何相关配置。
Cohen 指出,Transformer 为自然语言处理任务提供了一个全面的框架,有助于复杂模型的创建和部署。
他写道:“看来恶意负载是使用 pickle 模块的 __reduce__ 方法注入到 PyTorch 模型文件中的。” “这种方法使攻击者能够将任意 Python 代码插入到反序列化过程中,从而可能在加载模型时导致恶意行为。”
虽然 Hugging Face 具有许多高质量的内置安全保护功能(包括恶意软件扫描、pickle 扫描和秘密扫描),但它不会完全阻止或限制 pickle 模型的下载。相反,它只是将它们标记为“不安全”,这意味着有人仍然可以下载并执行可能有害的模型。
此外,值得注意的是,不仅仅是基于 pickle 的模型容易执行恶意代码。例如,据 JFrog 称,Hugging Face 上第二流行的模型类型是 Tensorflow Keras,它也可以执行任意代码,尽管攻击者利用这种方法并不那么容易。
降低人工智能模型中毒的风险
这并不是研究人员第一次在 Hugging Face 中发现人工智能安全风险,Hugging Face 是 ML 社区在模型、数据集和应用程序上进行协作的平台。人工智能安全初创公司 Lasso Security 的研究人员此前表示,他们能够使用 Meta 的 Bloom、Meta-Llama 和 Pythia 大语言模型 (LLM) 存储库 他们在 GitHub 和 Hugging Face 上发现的不安全的 API 访问令牌 LLM 开发人员的平台。
该访问将允许对手 默默地毒害训练数据 在这些广泛使用的法学硕士中,窃取模型和数据集,并可能执行其他恶意活动。
事实上,公开可用的信息越来越多,因此 潜在的恶意 AI/ML 模型 JFrog 表示,这对供应链构成了重大风险,特别是针对专门针对人工智能/机器学习工程师和管道机器等人群的攻击。
为了减轻这种风险,人工智能开发人员应该使用可用的新工具,例如 猎手科恩写道,这是一个专门针对人工智能漏洞量身定制的错误赏金平台,旨在增强人工智能模型和平台的安全态势。
他写道:“这种集体努力对于强化 Hugging Face 存储库以及保护依赖这些资源的 AI/ML 工程师和组织的隐私和完整性至关重要。”
- :具有
- :是
- :不是
- :在哪里
- 100
- 210
- 212
- 7
- a
- Able
- 关于
- ACCESS
- 根据
- 账号管理
- 要积极。
- 活动
- 活动
- 实际
- 地址
- 地址
- 高级
- 后
- AI
- AI模型
- 人工智能平台
- AI / ML
- 瞄准
- 允许
- 沿
- 还
- an
- 分析
- 和
- 任何
- API
- API访问
- 出现
- 应用领域
- 的途径
- 随意
- 架构
- 保健
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 相关
- At
- 攻击
- 尝试
- 可使用
- 背部
- 因为
- 很
- 行为
- 背后
- 作为
- 属于
- 阻止
- 博客
- Bloom
- 内建的
- by
- 被称为
- CAN
- 造成
- 一定
- 链
- 码
- 科恩
- 领域展开合作
- 集体
- COM的
- 相当常见
- 社体的一部分
- 全面
- 妥协
- 分享链接
- 地都
- 常数
- 包含
- 上下文
- 可以
- 创建
- data
- 数据集
- David
- 处理
- 需求
- 人口统计
- 演示
- 部署
- 检测
- 开发
- 直接
- 发现
- 发现
- 不会
- 下载
- 易
- 教育的
- 努力
- 嵌入式
- 新兴经济体的新市场。
- enable
- 使
- 努力
- 工程师
- 提高
- 环境
- 环境中
- 建立
- 甚至
- 例子
- 执行
- 执行
- 执行
- 执行
- 存在
- 利用
- 功勋
- 外部
- 面部彩妆
- 促进
- 文件
- 档
- 发现
- 公司
- (名字)
- 第一次
- 已标记
- 针对
- 格式
- 发现
- 骨架
- 止
- 功能
- 根本
- 进一步
- GitHub上
- 成长
- 发生
- 伤害
- 有害
- 有
- he
- 突出
- 创新中心
- 但是
- HTTPS
- 影响力故事
- 势在必行
- 重要
- in
- 包含
- 说明
- 启动
- 注入
- 例
- 代替
- 诚信
- 房源搜索
- 成
- 侵入
- 调查
- 涉及
- IP
- IP地址
- IP地址
- ISN
- IT
- 它的
- JPG
- 只是
- 凯拉斯
- 键
- 韩国
- 语言
- 大
- 铅
- 领导
- 学习
- 自学资料库
- 喜欢
- LLM
- 加载
- 装载
- 机
- 机器学习
- 机
- 主要
- 恶意
- 恶意软件
- 可能..
- 手段
- 聚体
- 元
- 方法
- 减轻
- 缓解
- ML
- 模型
- 模型
- 模块
- 更多
- 命名
- 自然
- 自然语言处理
- 网络
- 全新
- 特别是
- 注意
- 注意到
- 数
- 对象
- of
- 经常
- on
- 一
- 正在进行
- 到
- 打开
- 开放网络
- or
- 组织
- 其他名称
- 彻底
- 部分
- 尤其
- 管道
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 毒药
- 构成
- 可能
- 帖子
- 潜力
- 可能
- 流行
- 先前
- 原理
- 隐私
- 主动
- 过程
- 处理
- 提供
- 国家
- 公然
- 出版
- 出版
- 蟒蛇
- pytorch
- 质量
- 范围
- 宁
- 真实
- 依托
- 遗迹
- 去除
- 知识库
- 需要
- 研究
- 研究员
- 研究人员
- 资源
- 限制
- 反转
- 乱七八糟
- 风险
- 运行
- s
- 保护
- 说
- 同
- 扫描
- 秘密
- 保安
- 安全启动
- 前辈
- 服务器
- 服务
- 套数
- 壳
- 不久
- 应该
- 展示
- 显著
- 自
- 一些
- 有人
- 极致
- 南部
- South Korea
- 特别是
- 赞助商
- 看台
- 启动
- 仍
- 这样
- 供应
- 供应链
- SUPPORT
- 易感
- 量身定制
- 目标
- 任务
- tensorflow
- 比
- 这
- 他们
- 然后
- 因此
- 博曼
- 他们
- Free Introduction
- 本星期
- 虽然?
- 威胁
- 威胁
- 从而
- 次
- 至
- 令牌
- 工具
- 工具
- 火炬
- 熟练
- 产品培训
- 变形金刚
- 类型
- 类型
- 一般
- 裸露
- 下划线
- 理解
- 理解
- 上传
- 使用
- 用过的
- 用户
- 使用
- 运用
- 变化
- 警觉
- 漏洞
- 漏洞
- 是
- 周
- 为
- 什么是
- ,尤其是
- 这
- 广泛
- 更宽
- 中
- 也完全不需要
- 工作
- 加工
- 合作
- 将
- 写
- 和风网