简单的黑客技术可以提取 ChatGPT 训练数据

由柏拉图重新发布

关注： 0

简单的黑客技术可以提取 ChatGPT 训练数据 PlatoBlockchain 数据智能。垂直搜索。人工智能。

让 ChatGPT 一遍又一遍地重复同一个单词是否会导致其重复大量训练数据，包括个人身份信息和从网络上抓取的其他数据？

谷歌 DeepMind、康奈尔大学和其他四所大学的一组研究人员测试了广受欢迎的生成式人工智能聊天机器人在以特定方式提示时泄露数据的敏感性，答案是肯定的。

“诗”作为触发词

在本周的一份报告中在文章中，研究人员描述了他们如何让 ChatGPT 仅仅通过提示它永远重复“诗”、“公司”、“发送”、“制作”和“部分”等单词，就可以输出其记忆的部分训练数据。

例如，当研究人员提示 ChatGPT 永远重复“诗”这个词时，聊天机器人最初的反应是按照指示重复这个词。但几百次之后，ChatGPT 开始生成“通常无意义”的输出，其中一小部分包括记忆的训练数据，例如个人的电子邮件签名和个人联系信息。

研究人员发现，某些单词比其他单词更能让生成式人工智能模型泄露记忆的数据。例如，提示聊天机器人重复“公司”一词会导致其发出训练数据的频率是“知道”等其他词的 164 倍。

研究人员以这种方式从 ChatGPT 中提取的数据包括数十个人的个人身份信息；明确的内容（当研究人员使用 NSFW 单词作为提示时）；书籍和诗歌中的逐字段落（当提示包含“书”或“诗”一词时）； URL、唯一用户标识符、比特币地址和编程代码。

潜在的重大隐私问题？

研究人员在题为“从（生产）语言中可扩展地提取训练数据”的论文中写道：“仅使用价值 200 美元的 ChatGPT (gpt-3.5-turbo) 查询，我们就能够提取超过 10,000 个独特的逐字记忆训练示例。”楷模。”

他们写道：“我们对更大预算的推断表明，专门的对手可以提取更多的数据。”研究人员估计，对手可以通过更多查询提取 10 倍以上的数据。

暗读尝试使用研究中的一些提示并没有产生研究人员在报告中提到的输出。目前还不清楚这是否是因为 ChatGPT 创建者 OpenAI 在研究人员于 XNUMX 月底向该公司披露了他们的发现后已经解决了根本问题。 OpenAI 没有立即回应 Dark Reading 的置评请求。

这项新研究是了解开发人员使用从不同来源（通常未完全公开）获取的大量数据集来训练人工智能模型的隐私影响的最新尝试。

以前的研究研究表明，诸如 ChatGPT 之类的大型语言模型 (LLM) 通常会无意中记住训练数据集中的逐字模式和短语。这种记忆的趋势随着训练数据的大小而增加。

研究人员已经展示了这些记忆数据是如何经常被使用的。可发现的在模型的输出中。其他研究人员已经展示了对手如何利用所谓的分歧攻击提取训练数据来自法学硕士。发散攻击是一种攻击者使用故意设计的提示或输入来让 LLM 生成与其通常产生的输出显着不同的输出的攻击。

在许多此类研究中，研究人员使用开源模型（训练数据集和算法已知）来测试法学硕士对数据记忆和泄漏的敏感性。这些研究通常还涉及基础人工智能模型，这些模型尚未调整为以像 ChatGPT 等人工智能聊天机器人那样的方式运行。

对 ChatGPT 的分歧攻击

最新的研究试图展示分歧攻击如何在复杂的封闭式生成人工智能聊天机器人上发挥作用，而该聊天机器人的训练数据和算法仍然大多未知。在这项研究中，研究人员开发了一种方法，让 ChatGPT“‘逃脱’其对齐训练”，并让它“表现得像基础语言模型，以典型的互联网文本风格输出文本”。他们发现的提示策略（让 ChatGPT 不断重复同一个单词）正是导致了这样的结果，导致模型吐出记忆的数据。

为了验证模型生成的数据确实是训练数据，研究人员首先构建了一个辅助数据集，其中包含来自四个最大的 LLM 预训练数据集（The Pile、RefinedWeb、RedPajama 和 Dolma）的约 9 TB 数据。然后，他们将 ChatGPT 的输出数据与辅助数据集进行比较，并发现了许多匹配项。

研究人员认为，他们可能低估了 ChatGPT 中数据记忆的程度，因为他们仅将提示的输出与 9 TB 的辅助数据集进行比较。因此，他们从提示中获取了大约 494 个 ChatGPT 的输出，并在 Google 上手动搜索逐字匹配。该练习产生了 150 个精确匹配，而辅助数据集只有 70 个精确匹配。

研究人员指出，“我们在手动搜索分析中检测到的模型输出数量几乎是我们（相对较小的）”辅助数据集中检测到的模型输出的两倍。 “我们的论文表明，可以通过简单的技术从过去几年的最佳语言模型中轻松提取训练数据。”

研究人员在报告中描述的攻击特定于 ChatGPT，并且不适用于其他 LLM。但他们指出，该论文应该有助于“警告从业者，在没有极端保护措施的情况下，他们不应为任何隐私敏感应用程序培训和部署法学硕士”。