研究人员吉米 OpenAI 和谷歌的封闭模型

由柏拉图重新发布

关注： 0

研究人员吉米 OpenAI 和谷歌的封闭模型 PlatoBlockchain Data Intelligence。垂直搜索。人工智能。

研究人员成功地从 OpenAI 和 Google 撬开了封闭的人工智能服务，通过攻击恢复了 Transformer 模型的隐藏部分。

该攻击部分阐明了一种特定类型的所谓“黑匣子”模型，通过 API 查询揭示了 Transformer 模型的嵌入投影层。这样做的成本从几美元到几千美元不等，具体取决于被攻击模型的大小和查询数量。

来自 Google DeepMind、苏黎世联邦理工学院、华盛顿大学、OpenAI 和麦吉尔大学的至少 13 名计算机科学家撰写了这篇文章一篇论文描述基于模型提取攻击技术的攻击建议。

研究人员在论文中表示：“我们的攻击花费不到 20 美元，提取了 OpenAI 的 ada 和 Babbage 语言模型的整个投影矩阵。” “因此，我们首次确认这些黑盒模型的隐藏维度分别为 1024 和 2048。我们还恢复了 gpt-3.5-turbo 模型的精确隐藏维度大小，并估计恢复整个投影矩阵的查询成本不到 2,000 美元。”

研究人员已向 OpenAI 和谷歌披露了他们的发现，据说这两家公司都已经实施了防御措施来减轻攻击。他们选择不公布仍在使用的两个 OpenAI gpt-3.5-turbo 模型的尺寸。 ada 和 babbage 模型均已弃用，因此公开它们各自的大小被认为是无害的。

虽然攻击并没有完全暴露模型，但研究人员表示，它可以揭示模型的最终结果权重矩阵 – 或其宽度，通常与参数计数有关 – 并提供有关模型功能的信息，为进一步的探测提供信息。他们解释说，能够从生产模型中获取任何参数是令人惊讶且不可取的，因为攻击技术可能可以扩展以恢复更多信息。

Gladstone AI 首席技术官 Edouard Harris 在给我们的电子邮件中解释道：“如果你有权重，那么你就拥有了完整的模型。” 注册。 “谷歌[等]所做的是通过查询来重建完整模型的一些参数，就像用户一样。他们表明，您可以在根本无法访问权重的情况下重建模型的重要方面。”

获得有关专有模型的足够信息可能会允许某人复制它——Gladstone AI 考虑过这种情况报告受美国国务院委托，题为“纵深防御：提高先进人工智能安全性的行动计划”。

那个报告，昨天发布，就政府应如何利用人工智能并防范人工智能对国家安全构成潜在威胁的方式提供分析和建议。

该报告的建议之一是“美国政府紧急探索方法，限制先进人工智能模型的开放发布或销售超过能力或总训练计算的关键阈值。”这包括“[制定]足够的安全措施来保护关键知识产权，包括模型权重。”

当被问及 Gladstone 报告根据 Google 的调查结果提出的建议时，Harris 表示：“基本上，为了执行此类攻击，您需要（至少目前如此）以服务模型的公司可以检测到的模式执行查询” ，在 GPT-4 的情况下是 OpenAI。我们建议跟踪高级使用模式，这应该以保护隐私的方式完成，以便识别使用这些方法重建模型参数的尝试。”

“当然，这种首次防御也可能变得不切实际，我们可能需要制定更复杂的对策（例如，稍微随机化哪些模型在任何给定时间服务于哪些响应，或其他方法）。不过，我们并没有在计划本身中涉及到如此详细的细节。” ®