严重错误使拥抱面部人工智能平台陷入“困境”

严重错误使拥抱面部人工智能平台陷入“困境”

时间戳记：5年2024月4日下午38:XNUMX
关键错误使 Hugging Face 人工智能平台陷入“困境” PlatoBlockchain 数据智能。垂直搜索。人工智能。

Hugging Face AI 平台中的两个关键安全漏洞为想要访问和更改客户数据和模型的攻击者打开了大门。

其中一个安全漏洞使攻击者能够访问属于 Hugging Face 平台上其他客户的机器学习 (ML) 模型，第二个安全漏洞使他们能够覆盖共享容器注册表中的所有图像。 Wiz 研究人员发现的这两个缺陷都与攻击者接管 Hugging Face 部分推理基础设施的能力有关。

Wiz 研究人员发现了三个特定组件的弱点：Hugging Face 的 Inference API，它允许用户浏览平台上的可用模型并与之交互；拥抱人脸推理端点——或用于将人工智能模型部署到生产中的专用基础设施； Hugging Face Spaces 是一项托管服务，用于展示 AI/ML 应用程序或协作进行模型开发。

泡菜的问题

在检查 Hugging Face 的基础设施以及将他们发现的错误武器化的方法时，Wiz 研究人员发现任何人都可以轻松地将 AI/ML 模型上传到该平台，包括基于 Pickle 格式的模型。 泡菜 是一个广泛使用的模块，用于在文件中存储 Python 对象。尽管 Python 软件基金会本身也认为 Pickle 不安全，但由于其易用性和人们对它的熟悉程度，它仍然很受欢迎。

Wiz 表示：“制作一个 PyTorch (Pickle) 模型相对简单，该模型将在加载时执行任意代码。”

Wiz 研究人员利用了将基于 Pickle 的私有模型上传到 Hugging Face 的功能，该模型将在加载时运行反向 shell。然后，他们使用 Inference API 与其进行交互，以实现类似 shell 的功能，研究人员用它来探索 Hugging Face 基础设施上的环境。

该练习很快向研究人员展示了他们的模型正在 Amazon Elastic Kubernetes Service (EKS) 集群的 Pod 中运行。从那里，研究人员能够利用常见的错误配置来提取信息，使他们能够获得查看秘密所需的特权，而这些秘密可能允许他们访问共享基础设施上的其他租户。

通过 Hugging Face Spaces，Wiz 发现攻击者可以在应用程序构建期间执行任意代码，从而让他们检查计算机的网络连接。他们的审查显示了与共享容器注册表的一个连接，其中包含属于其他客户的图像，他们可能会篡改这些图像。

“如果落入坏人之手，写入内部容器注册表的能力可能会对平台的完整性产生重大影响，并导致对客户空间的供应链攻击，”Wiz 说。

抱脸说道 完全降低了维兹发现的风险。与此同时，该公司发现这些问题至少部分与其继续允许在 Hugging Face 平台上使用 Pickle 文件的决定有关，尽管上述文件与此类文件相关的安全风险已得到充分记录。  

该公司指出：“Pickle 文件一直是 Wiz 所做的大部分研究以及安全研究人员最近发表的有关 Hugging Face 的其他出版物的核心。”允许在 Hugging Face 上使用 Pickle 是“我们的工程和安全团队的负担，我们付出了巨大的努力来减轻风险，同时允许人工智能社区使用他们选择的工具。”

人工智能即服务的新风险

Wiz 描述了它的发现 这表明组织在使用共享基础设施来托管、运行和开发新的人工智能模型和应用程序（即所谓的“人工智能即服务”）时需要认识到的风险。该公司将风险和相关缓解措施与组织在公共云环境中遇到的风险和相关缓解措施进行了比较，并建议他们在人工智能环境中也应用相同的缓解措施。

Wiz 在本周的博客中表示：“组织应该确保他们对所使用的整个人工智能堆栈具有可见性和治理能力，并仔细分析所有风险。”这包括分析“使用 恶意模型, 训练数据的暴露，训练中的敏感数据， 漏洞 人工智能 SDK、人工智能服务的暴露以及其他可能被攻击者利用的有毒风险组合，”该安全供应商表示。

Salt Security 网络安全战略总监 Eric Sc​​hwake 表示，组织需要注意与使用人工智能即服务相关的两个主要问题。 “首先，威胁行为者可以上传有害的人工智能模型或利用推理堆栈中的漏洞来窃取数据或操纵结果，”他说。 “其次，恶意行为者可能会尝试破坏训练数据，导致人工智能输出有偏见或不准确，通常称为数据中毒。”

他说，识别这些问题可能具有挑战性，特别是考虑到人工智能模型变得越来越复杂。为了帮助管理部分风险，组织必须了解其 AI 应用程序和模型如何与 API 交互，并找到确保安全的方法。 “组织可能还想探索 可解释的人工智能 (XAI) 帮助使人工智能模型更容易理解，”Schwake 说，“它可以帮助识别和减轻人工智能模型中的偏见或风险。”

时间戳记：

更多来自 暗读