我们正在推出一个经过训练的分类器,可以区分人工智能编写的文本和人工编写的文本。
我们训练了一个分类器来区分人类编写的文本和来自各种提供商的 AI 编写的文本。 虽然不可能可靠地检测所有 AI 编写的文本,但我们相信好的分类器可以为缓解 AI 生成的文本是由人类编写的错误声明提供信息:例如,运行 自动错误信息活动,使用人工智能工具进行学术造假,并将人工智能聊天机器人定位为人类。
我们的分类器并不完全可靠。 在我们对英语文本“挑战集”的评估中,我们的分类器正确地将 26% 的 AI 编写的文本(真阳性)识别为“可能是 AI 编写的”,同时错误地将 9% 的人类编写的文本标记为 AI 编写的时间(误报)。 我们的分类器的可靠性通常会随着输入文本长度的增加而提高。 比起我们的 先前发布的分类器,这个新的分类器在来自更新的 AI 系统的文本上明显更可靠。
我们正在公开提供此分类器,以获取有关此类不完善的工具是否有用的反馈。 我们在检测 AI 生成的文本方面的工作将继续,我们希望在未来分享改进的方法。
亲自尝试我们的免费半成品分类器:
限制
我们的分类器有许多重要的局限性。 它不应该被用作主要的决策工具,而是作为其他确定一段文本来源的方法的补充。
- 分类器在短文本(少于 1,000 个字符)上非常不可靠。 甚至更长的文本有时会被分类器错误地标记。
- 有时,人类编写的文本会被我们的分类器错误但自信地标记为 AI 编写的。
- 我们建议仅对英文文本使用分类器。 它在其他语言中的表现要差得多,并且在代码上不可靠。
- 无法可靠地识别非常可预测的文本。 例如,无法预测前 1,000 个素数的列表是由人工智能还是人类编写的,因为正确答案总是相同的。
- 可以编辑 AI 编写的文本以避开分类器。 像我们这样的分类器可以根据成功的攻击进行更新和再训练,但目前尚不清楚检测是否具有长期优势。
- 众所周知,基于神经网络的分类器在其训练数据之外的校准很差。 对于与我们训练集中的文本有很大不同的输入,分类器有时非常有信心做出错误的预测。
训练分类器
我们的分类器是一种语言模型,针对同一主题的人工文本和 AI 文本对的数据集进行了微调。 我们从我们认为是由人类编写的各种来源收集了这个数据集,例如预训练数据和提交给的提示的人类演示 指导GPT. 我们将每个文本分为提示和响应。 根据这些提示,我们生成了来自我们和其他组织训练的各种不同语言模型的响应。 对于我们的网络应用程序,我们调整置信度阈值以保持较低的误报率; 换句话说,如果分类器非常有信心,我们只会将文本标记为可能是 AI 编写的。
对教育工作者的影响和征求意见
我们认识到识别 AI 编写的文本一直是教育工作者讨论的一个重要问题,同样重要的是认识到 AI 生成的文本分类器在课堂上的局限性和影响。 我们开发了一个 初步资源 关于为教育工作者使用 ChatGPT,其中概述了一些用途以及相关的限制和注意事项。 虽然此资源主要针对教育工作者,但我们希望我们的分类器和相关分类器工具能够对记者、错误/虚假信息研究人员和其他群体产生影响。
我们正在与美国的教育工作者合作,了解他们在课堂上看到的内容,并讨论 ChatGPT 的功能和局限性,我们将在学习的过程中继续扩大我们的影响范围。 这些都是重要的对话,因为我们使命的一部分是安全地部署大型语言模型,与受影响的社区直接联系。
如果您直接受到这些问题的影响(包括但不限于教师、管理人员、家长、学生和教育服务提供商),请使用以下方式向我们提供反馈 这种形式. 直接反馈 初步资源 很有帮助,我们也欢迎教育工作者正在开发或发现有帮助的任何资源(例如,课程指南、荣誉守则和政策更新、交互式工具、AI 扫盲计划)。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- 学者
- 管理员
- 优点
- AI
- AI聊天机器人
- 所有类型
- 时刻
- 其中
- 和
- 回答
- 应用
- 相关
- 攻击
- 可使用
- 基于
- 因为
- 相信
- 如下。
- 之间
- 扩大
- 呼叫
- 不能
- 能力
- 字符
- 聊天机器人
- ChatGPT
- 索赔
- 码
- 地区
- 相比
- 补充
- 信心
- 信心
- 信心十足地
- 注意事项
- CONTACT
- 继续
- 对话
- 套餐
- data
- 决策
- 部署
- 检测
- 确定
- 发达
- 发展
- 不同
- 直接
- 直接
- 讨论
- 讨论
- 区分
- 分
- 每
- 教育
- 教育工作者
- 从事
- 英语
- 一样
- 评价
- 甚至
- 例子
- 期望
- 非常
- 反馈
- 姓氏:
- 重点
- 发现
- Free
- 止
- 充分
- 未来
- 产生
- 得到
- 非常好
- 谷歌
- 组的
- 方针
- 有帮助
- 抱有希望
- HTTPS
- 人
- 人类
- 确定
- 识别
- 确定
- 影响力故事
- 影响
- 影响
- 重要
- 不可能
- 改善
- in
- 其他
- 包含
- 不正确
- 增加
- 输入
- 代替
- 互动
- 问题
- IT
- 记者
- 保持
- 已知
- 标签
- 语言
- 语言
- 大
- 发射
- 学习用品
- 长度
- 容易
- 限制
- 有限
- 范围
- 清单
- 文化
- 长期
- 不再
- 低
- 制作
- 标记
- 方法
- 误传
- 使命
- 模型
- 模型
- 更多
- 网络
- 神经网络
- 全新
- 数
- 数字
- 一
- OpenAI
- 组织
- 其他名称
- 大纲
- 推广
- 学校以外
- 对
- 父母
- 部分
- 施行
- 片
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 点
- 政策
- 定位
- 积极
- 预测
- 可预见
- 预测
- 小学
- 总理
- 训练课程
- 提供
- 供应商
- 公然
- 率
- 最近
- 承认
- 建议
- 发布
- 可靠性
- 可靠
- 研究人员
- 资源
- 资源
- 响应
- 运行
- 安然
- 同
- 看到
- 服务
- 服务供应商
- 集
- Share
- 短
- 应该
- 显著
- 一些
- 来源
- 来源
- 学生
- 提交
- 成功
- 这样
- 产品
- 教师
- 其
- 门槛
- 至
- 工具
- 主题
- 熟练
- 产品培训
- true
- 一般
- 更新
- 最新动态
- us
- 使用
- 各种
- 卷筒纸
- 欢迎进入
- 什么是
- 是否
- 这
- 而
- 将
- 话
- 工作
- 书面
- 错误
- 你自己
- 和风网