随着公司越来越多地将人工智能 (AI) 功能添加到其产品组合中，网络安全专家警告说，机器学习 (ML) 组件容易受到新型攻击，需要受到保护。
19 月 XNUMX 日推出的初创公司 HiddenLayer 旨在帮助公司更好地保护其敏感的机器学习模型以及用于训练这些模型的数据。 该公司已经发布了针对 ML 检测和响应领域的首批产品，旨在强化模型免受攻击并保护用于训练这些模型的数据。
风险不是理论上的：HiddenLayer 的首席执行官 Christopher Sestito 说，当研究人员找到绕过公司的人工智能引擎检测恶意软件的方法时，该公司的创始人在 Cylance 工作。
“他们通过产品本身攻击模型，并与模型交互足以......确定模型最薄弱的地方，”他说。
随着越来越多的公司将这些功能整合到他们的产品中，Sestito 预计针对 AI/ML 系统的攻击将会增加。
“AI 和 ML 是我们见过的发展最快的技术，因此我们预计它们也将成为我们见过的发展最快的攻击媒介，”他说。
机器学习模型的缺陷
ML 已成为许多公司下一代产品的必备品，但企业通常会在不考虑安全隐患的情况下添加基于 AI 的功能。 其中的威胁包括模型规避，例如针对 Cylance 进行的研究和功能提取，攻击者可以在其中查询模型并根据输出构建功能等效系统。
两年前，微软、MITRE 等公司 创建了对抗性机器学习威胁矩阵 对基于人工智能的系统的潜在威胁进行分类。 现在更名为 人工智能系统的对抗性威胁态势 (ATLAS)，可能的攻击字典强调创新技术将吸引创新攻击。
“与与特定软件和硬件系统相关的传统网络安全漏洞不同，对抗性 ML 漏洞是由 ML 算法的固有限制启用的，”根据 GitHub 上的 ATLAS 项目页面. “数据可以以新的方式被武器化，这需要扩展我们对网络对手行为建模的方式，以反映新兴的威胁向量和快速发展的对抗性机器学习攻击生命周期。”
HiddenLayer 的三位创始人——Sestito、Tanner Burns 和 James Ballard——都知道实际威胁，他们曾在 Cylance 一起工作。 当时，Skylight Cyber 的研究人员 附加已知良好代码 — 实际上，是来自游戏 Rocket League 的可执行文件的字符串列表 — 用来欺骗 Cylance 的技术，使其相信 84% 的恶意软件实际上是良性的。
Sestito 在 宣布 HiddenLayer 发布的声明.
实时寻找对手
HiddenLayer 旨在创建一个系统，该系统可以监控 ML 系统的运行，并且无需访问数据或计算，就可以使用已知的对抗方法之一确定软件是否受到攻击。
“我们正在研究与模型的行为交互——它可能是 IP 地址或端点，”Sestito 说。 “我们正在分析模型是否按预期使用，或者输入和输出是否被利用，或者请求者是否做出了非常高的熵决策。”
他说，实时进行行为分析的能力使公司的 ML 检测和响应有别于其他方法。 此外，该技术不需要访问特定模型或训练数据，从而进一步隔离了知识产权，HiddenLayer 说。
Sestito 说，这种方法还意味着安全代理的开销很小，大约为 1 或 2 毫秒。
“我们正在查看原始数据矢量化后的输入，因此对性能的影响很小，”他说。
