如果您认为今天的软件供应链安全问题已经足够困难,那么请系好安全带。人工智能 (AI) 使用的爆炸性增长将使这些供应链问题在未来几年内变得更加难以解决。
开发人员、应用程序安全专家和 DevSecOps 专业人员被要求修复潜伏在其应用程序和云基础设施中的开源和专有组件的无尽组合中的最高风险缺陷。但这是一场持续不断的战斗,试图了解它们拥有哪些组件、哪些组件容易受到攻击,以及哪些缺陷使它们面临最大的风险。显然,他们已经在努力在软件中合理地管理这些依赖关系。
变得更加困难的是人工智能给这种情况带来的乘数效应。
人工智能模型作为自动执行代码
支持人工智能和机器学习 (ML) 的工具与任何其他类型的应用程序一样都是软件,它们的代码也同样可能遭受供应链不安全的影响。然而,他们在组合中添加了另一个资产变量,大大增加了人工智能软件供应链的攻击面:人工智能/机器学习模型。
“人工智能应用程序与其他形式的软件的区别在于,它们以某种方式或方式依赖于一种称为机器学习模型的东西,”Protect AI 联合创始人 Daryan Dehghanpisheh 解释道。 “因此,机器学习模型本身现在就是您基础设施中的一项资产。当您的基础设施中有资产时,您需要能够扫描您的环境,识别它们的位置、包含的内容、谁拥有权限以及它们做什么。如果今天你不能用模型做到这一点,你就无法管理它们。”
AI/ML 模型为 AI 系统识别模式、做出预测、做出决策、触发操作或创建内容的能力提供了基础。但事实是,大多数组织甚至不知道如何开始了解其软件中嵌入的所有人工智能模型。模型及其周围的基础设施的构建方式与其他软件组件不同,传统的安全和软件工具并不是为了扫描或理解人工智能模型的工作原理或缺陷而构建的。 Dehghanpisheh 说,这就是它们的独特之处,他解释说它们本质上是隐藏的自动执行代码片段。
“从设计上来说,模型是一段自动执行的代码。它有一定的代理作用,”Dehghanpisheh 说。 “如果我告诉你,你的基础设施中遍布着你看不到、你无法识别、你不知道它们包含什么、你不知道代码是什么的资产,而且它们会自动执行并且有外部电话,这听起来很像许可病毒,不是吗?”
人工智能不安全的早期观察者
解决这个问题是他和联合创始人在 2022 年推出 Protect AI 的巨大动力,该公司是为解决人工智能时代迫在眉睫的模型安全和数据沿袭问题而涌现的众多新公司之一。 Dehghanpisheh 和联合创始人 Ian Swanson 之前在 AWS 共同构建 AI/ML 解决方案时看到了未来。 Dehghanpisheh 一直是 AI/ML 解决方案架构师的全球领导者。
“我们在 AWS 共事期间,我们看到客户以令人难以置信的速度构建 AI/ML 系统,而早在生成式 AI 就俘获了从高管到国会的每个人的心之前,”他说道,并解释说他与众多工程师和业务开发专家以及广泛的客户合作。 “那时我们意识到人工智能/机器学习系统特有的安全漏洞是如何存在的以及在哪里。”
他说,他们观察到了有关人工智能/机器学习的三个基本特征,这些特征对网络安全的未来具有令人难以置信的影响。首先,采用的速度如此之快,以至于他们亲眼目睹了围绕人工智能开发和业务使用的影子 IT 实体以多快的速度出现,而这些实体逃脱了监督企业中任何其他类型开发的治理。
第二个问题是,大多数正在使用的工具(无论是商业工具还是开源工具)都是由从未接受过安全概念培训的数据科学家和崭露头角的机器学习工程师构建的。
“因此,你拥有了非常有用、非常流行、分布广泛、广泛采用的工具,但这些工具并不是以安全第一的心态构建的,”他说。
人工智能系统并非“安全第一”
他解释说,因此,许多人工智能/机器学习系统和共享工具缺乏身份验证和授权的基础知识,并且经常在文件系统中授予过多的读写访问权限。再加上不安全的网络配置以及模型中的固有问题,组织开始陷入这些高度复杂、难以理解的系统中的级联安全问题。
“这让我们意识到,现有的安全工具、流程、框架——无论你如何转变,都缺少机器学习工程师、数据科学家和人工智能构建者所需的背景,”他说。
最后,他和 Swanson 在 AWS 时代做出的第三个主要观察结果是,人工智能漏洞不会出现。他们已经到了。
“我们看到客户在各种人工智能/机器学习系统上出现了漏洞,这些系统本来应该被捕获,但却没有被捕获,”他说。 “这告诉我们,集合和流程以及事件响应管理元素并不是专门针对 AI/ML 的架构方式而构建的。随着生成式人工智能的发展势头增强,这个问题变得更加严重。”
AI模型被广泛共享
Dehghanpisheh 和 Swanson 还开始了解模型和训练数据如何创建独特的新人工智能供应链,需要像软件供应链的其他部分一样认真考虑。就像其他现代软件开发和云原生创新一样,数据科学家和人工智能专家通过广泛使用开源和共享组件(包括人工智能模型和用于训练它们的数据)推动了人工智能/机器学习系统的进步。很多人工智能系统,无论是学术的还是商业的,都是使用别人的模型构建的。与现代发展的其他方面一样,人工智能开发的爆炸性发展不断推动新模型资产每天大量涌入整个供应链,这意味着跟踪它们变得越来越困难。
以拥抱脸为例。这是当今在线使用最广泛的开源人工智能模型存储库之一——其创始人表示他们希望成为人工智能的 GitHub。早在 2022 年 93,501 月,Hugging Face 用户就已在社区分享了 414,695 个不同的模型。接下来的 527,244 月,这一数字已增至 XNUMX 辆。现在,仅仅三个月后,这个数字已扩大到 XNUMX。这个问题的范围日益扩大。 Dehghanpisheh 表示,这将使软件供应链安全问题“更加严重”。
A 最近的分析 他的公司发现 Hugging Face 上公开共享的数千个模型可以在模型加载或推理时执行任意代码。虽然 Hugging Face 对其存储库进行了一些基本的安全问题扫描,但在此过程中遗漏了许多模型 - 研究中发现的高风险模型中至少有一半未被平台视为不安全,Hugging Face 在文档中明确表示确定模型的安全性最终是其用户的责任。
应对人工智能供应链的步骤
Dehghanpisheh 认为,人工智能时代网络安全的关键首先是建立对人工智能谱系的结构化理解。这包括模型沿袭和数据沿袭,它们本质上是这些资产的起源和历史、它们的更改方式以及与它们相关的元数据。
“这是第一个开始的地方。你无法修复你看不到的东西、你无法知道的东西以及你无法定义的东西,对吗?”他说。
与此同时,在日常运营层面,Dehghanpisheh 认为组织需要建立扫描模型的能力,寻找不仅会影响系统强化而且会影响输出完整性的缺陷。这包括人工智能偏见和故障等问题,这些问题可能会导致现实世界的身体伤害,例如自动驾驶汽车撞上行人。
“第一件事是你需要扫描,”他说。 “第二件事是你需要了解这些扫描。第三个是一旦你有一些被标记的东西,你基本上需要阻止该模型激活。你需要限制它的代理权。”
推动 MLSecOps
MLSecOps 是一项与供应商无关的运动,反映了传统软件世界中的 DevSecOps 运动。
“与从 DevOps 迁移到 DevSecOps 类似,您必须同时做两件事。你要做的第一件事就是让从业者意识到安全是一项挑战,也是一项共同的责任,”Dehghanpisheh 说。 “你要做的第二件事是提供背景信息,并将安全性融入到工具中,使数据科学家、机器学习工程师和人工智能构建者保持在前沿并不断创新,同时让安全问题消失在后台”。
此外,他表示,组织必须开始增加治理、风险和合规政策以及执行能力和事件响应程序,以帮助管理发现不安全情况时所采取的行动和流程。与坚实的 DevSecOps 生态系统一样,这意味着 MLSecOps 将需要业务利益相关者一直到高管阶梯的大力参与。
好消息是,人工智能/机器学习安全正受益于其他快速技术创新所没有的一件事——即监管要求。
“考虑一下任何其他技术转型,”Dehghanpisheh 说。 “有一次联邦监管机构甚至州监管机构很早就说过这样的话,‘哇,哇,哇,你必须告诉我其中的所有内容。你必须优先考虑该系统的知识。您必须确定物料清单的优先级。没有。”
这意味着许多安全领导者更有可能在创新生命周期的早期阶段获得支持来构建人工智能安全功能。这种支持最明显的迹象之一是组织中迅速转向赞助新的工作职能。
“监管心态带来的最大差异是,2023 年 XNUMX 月,人工智能安全总监的概念很新颖,而且还不存在。但到了六月,你开始看到这些角色,”Dehghanpisheh 说。 “现在它们无处不在——而且它们得到了资助。”
- :具有
- :是
- :不是
- :在哪里
- ][p
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- 对,能力--
- 关于
- 学者
- ACCESS
- 横过
- 行动
- 激活
- 加
- 添加
- 增加
- 地址
- 采用
- 采用
- 进步
- 机构
- 向前
- AI
- AI模型
- 人工智能系统
- AI / ML
- 所有类型
- 允许
- 沿
- 已经
- 还
- 量
- an
- 和
- 另一个
- 任何
- 应用领域
- 应用安全
- 应用领域
- 随意
- 架构的
- 建筑师
- 保健
- 围绕
- 抵达
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 财富
- 办公室文员:
- 相关
- At
- 攻击
- 认证
- 授权
- 自主性
- 察觉
- AWS
- 背部
- 背景
- 基本包
- 基础
- 战斗
- BE
- 成为
- 很
- before
- 背后
- 作为
- 相信
- 受益
- 偏见
- 大
- 最大
- 法案
- 出血
- 熄火了
- 违规
- 带
- 扣
- 建立
- 建设者
- 建筑物
- 建
- 商业
- 业务发展
- 但是
- by
- C-套房
- 被称为
- 呼叫
- CAN
- 能力
- 捕获
- 汽车
- 抓
- 原因
- 一定
- 链
- 挑战
- 变
- 清除
- 明确地
- 云端技术
- 云基础设施
- 联合创始人
- 联合创始人
- 码
- 组合
- 如何
- 未来
- 商业的
- 社体的一部分
- 复杂
- 符合
- 组件
- 概念
- 概念
- 关注
- 代表大会
- 考虑
- 常数
- 经常
- 包含
- 内容
- 上下文
- 可以
- 再加
- 崩溃
- 创建信息图
- 创造
- 合作伙伴
- 网络安全
- 周期
- 每天
- data
- 天
- 一年中的
- 决定
- 认为
- 定义
- 依赖
- 设计
- 确定
- 研发支持
- 没
- 差异
- 不同
- 不同
- 难
- 副总经理
- 消失
- 发现
- 分布
- do
- 文件
- 不
- 不会
- 不
- 向下
- 驾驶
- ,我们将参加
- 此前
- 早
- 生态系统
- 边缘
- 效果
- 分子
- 其他
- 嵌入式
- 无穷
- 强制
- 工程师
- 更多
- 企业
- 实体
- 环境
- 时代
- 本质上
- 甚至
- 所有的
- 每个人
- 一切
- 到处
- 例子
- 执行
- 执行
- 存在
- 现有
- 扩大
- 专家
- 说明
- 介绍
- 爆炸
- 成倍
- 广泛
- 面部彩妆
- 时尚
- 高效率
- 联邦
- 文件
- 公司
- 企业
- (名字)
- 第一手
- 固定
- 已标记
- 有缺陷
- 缺陷
- 以下
- 针对
- 申请
- 发现
- 基金会
- 创始人
- 框架
- 止
- 推动
- 功能
- 受资助
- 未来
- 获得
- 门
- 生成的
- 生成式人工智能
- 得到
- 越来越
- GitHub上
- 给
- 一瞥
- 全球
- 去
- 非常好
- 得到了
- 治理
- 治理
- 授予
- 非常
- 事业发展
- 民政事务总署
- 半
- 更难
- 伤害
- 有
- he
- 帮助
- 老旧房屋
- 最高
- 高度
- 他
- 他的
- 历史
- 创新中心
- How To
- 但是
- HTTPS
- 巨大
- i
- 鉴定
- if
- 影响力故事
- 启示
- in
- 事件
- 事件响应
- 包括
- 包含
- 增加
- 难以置信
- 令人难以置信
- 辐辏
- 基础设施
- 固有
- 创新
- 創新
- 不安全
- 诚信
- 房源搜索
- 成
- 参与
- ISN
- 问题
- 问题
- IT
- 它的
- 本身
- 一月
- 工作
- JPG
- 六月
- 只是
- 保持
- 保持
- 保持
- 类
- 知道
- 知识
- 缺乏
- 阶梯
- 后来
- 发射
- 领导者
- 领导人
- 学习
- 最少
- 左
- Level
- 生活
- 喜欢
- 容易
- 血统
- 加载
- 长
- 寻找
- 若隐若现
- 占地
- 机
- 机器学习
- 制成
- 主要
- 多数
- 使
- 制作
- 管理
- 颠覆性技术
- 任务
- 许多
- 物料
- 问题
- me
- 手段
- 元数据
- 头脑
- 思维定势
- 错过
- 失踪
- 混合
- ML
- 模型
- 模型
- 现代
- 动力泉源
- 个月
- 更多
- 最先进的
- 移动
- 运动
- 许多
- 姓名
- 亦即
- 导航
- 需求
- 网络
- 决不要
- 全新
- 新公司
- 消息
- 没有
- 小说
- 十一月
- 现在
- 数
- 观察
- 明显
- of
- 经常
- on
- 一旦
- 一
- 那些
- 在线
- 仅由
- 打开
- 开放源码
- 公然
- 操作
- or
- 组织
- 起源
- 其他名称
- 输出
- 产量
- 学校以外
- 超过
- 监视
- 步伐
- 模式
- 允许
- 权限
- 的
- 采摘的
- 片
- 件
- 地方
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 热门
- 预测
- 先前
- 优先
- 市场问题
- 问题
- 程序
- 过程
- 专业人士
- 所有权
- PROS
- 保护
- 提供
- 推
- 放
- 很快
- 范围
- 快
- RE
- 阅读
- 真实的世界
- 实现
- 实现
- 真
- 承认
- 调节器
- 稳压器
- 监管
- 依靠
- 知识库
- 研究
- 响应
- 责任
- REST的
- 限制
- 导致
- 右
- 风险
- 风险模型
- 角色
- s
- 实现安全
- 说
- 同
- 锯
- 对工资盗窃
- 说
- 浏览
- 扫描
- 扫描
- 科学家
- 范围
- 其次
- 保安
- 看到
- 看到
- 似乎
- 认真地
- 集
- 阴影
- 共用的,
- 转移
- 应该
- 迹象
- 类似
- 情况
- So
- 软件
- 软件组件
- 软件开发
- 软件供应链
- 固体
- 方案,
- 解决方案
- 一些
- 有人
- 东西
- 声音
- 来源
- 花费
- 赞助
- 赞助商
- 利益相关者
- 看台
- 开始
- 开始
- 州/领地
- 步骤
- Stop 停止
- 强烈
- 结构化
- 奋斗的
- 供应
- 供应链
- SUPPORT
- 磁化面
- 可疑地
- 系统
- 产品
- 表
- 抢断
- 采取
- 专业技术
- 技术创新
- 展示
- 比
- 这
- 基础知识
- 未来
- 其
- 他们
- 然后
- 那里。
- 博曼
- 他们
- 事
- 事
- 认为
- 第三
- Free Introduction
- 那些
- 思想
- 数千
- 三
- 通过
- 次
- 至
- 今晚
- 一起
- 告诉
- 也有
- 工具
- 跟踪时
- 传统
- 培训
- 熟练
- 产品培训
- 过渡
- 触发
- 真相
- 试图
- 二
- 最终
- 理解
- 理解
- 独特
- us
- 使用
- 用过的
- 有用
- 用户
- 运用
- 变量
- 各种
- Ve
- 非常
- 病毒
- 能见度
- 漏洞
- 脆弱
- 想
- 是
- 方法..
- we
- 井
- 去
- 为
- 人
- 什么是
- ,尤其是
- 是否
- 这
- 而
- WHO
- 谁的
- 广泛
- 将
- 工作
- 工作
- 世界
- 更坏
- 将
- 写
- 年
- 完全
- 您一站式解决方案
- 和风网