通过 Amazon Mechanical Turk 等众包服务雇佣的员工正在使用大型语言模型来完成他们的任务——这可能在未来对人工智能模型产生负面的连锁反应。
数据对人工智能至关重要。 开发人员需要干净、高质量的数据集来构建准确可靠的机器学习系统。 然而,汇编有价值的一流数据可能很乏味。 公司经常求助于第三方平台,如 Amazon Mechanical Turk,以指导廉价工人池执行重复性任务,例如标记对象、描述情况、转录段落和注释文本。
他们的输出可以被清理并输入一个模型来训练它在更大的自动化规模上重现该工作。
因此,AI 模型是建立在人类劳动的基础上的:人们辛勤工作,为 AI 系统提供大量训练示例,企业可以利用这些示例赚取数十亿美元。
但瑞士洛桑联邦理工学院 (EPFL) 的研究人员进行的一项实验得出的结论是,这些众包工人正在使用 AI 系统——例如 OpenAI 的聊天机器人 ChatGPT——在线执行零工。
不建议根据自己的输出训练模型。 我们可以看到 AI 模型不是根据人生成的数据进行训练的,而是由其他 AI 模型生成的——甚至可能是相同的模型。 这可能会导致灾难性的输出质量、更多的偏见和其他不良影响。
本实验
学术界招募了 44 名 Mechanical Turk 农奴来总结 16 篇医学研究论文的摘要,并估计工人提交的文本段落中有 33% 到 46% 是使用大型语言模型生成的。 人群工作者的工资通常很低——使用人工智能自动生成响应可以让他们工作得更快,并承担更多的工作以增加工资。
瑞士团队训练了一个分类器来预测来自 Turker 的提交是人工生成的还是人工智能生成的。 学者们还记录了他们工人的击键,以检测农奴是将文本复制粘贴到平台上,还是自己输入。 总是有人使用聊天机器人然后手动输入输出的机会——但我们认为这不太可能。
“我们开发了一种非常具体的方法,非常适合在我们的场景中检测合成文本,”Manoel Ribeiro, 该研究 和 EPFL 的一名博士生告诉 注册 这个星期。
“虽然传统方法试图在‘任何上下文’中检测合成文本,但我们的方法侧重于在我们的特定场景中检测合成文本。”
分类器在识别某人是使用人工智能系统还是自己制作作品方面并不完美。 学者们将他们的分类器的输出与击键数据结合起来,以便在有人从机器人复制粘贴或制作他们自己的材料时更加确定。
人类数据是黄金标准,因为我们关心的是人类
“我们设法使用同样从 MTurk 收集的击键数据来验证我们的结果,”Ribeiro 告诉我们。 “例如,我们发现所有不是复制粘贴的文本都被我们归类为‘真实’,这表明几乎没有误报。”
用于运行测试的代码和数据 可以在这里找到, 在 GitHub 上。
还有另一个原因,该实验不太可能完全公平地代表有多少工人真正使用 AI 来自动化众包任务。 作者指出,与其他类型的工作相比,文本摘要任务更适合大型语言模型——这意味着他们的结果可能更倾向于使用 ChatGPT 等工具的更多工人。
他们的 46 名工人的 44 份回复数据集也很小。 每个文本摘要向工人支付 1 美元,这可能再次鼓励使用 AI。
研究人员认为,如果大型语言模型越来越多地接受人工智能从众包平台收集的虚假内容的训练,它们将会变得更糟。 像 OpenAI 这样的机构将他们训练最新模型的方式严格保密,并且可能不会严重依赖 Mechanical Turk 之类的东西,如果有的话。 也就是说,许多其他模型可能依赖于人类工作者,而人类工作者可能反过来使用机器人来生成训练数据,这是一个问题。
例如,Mechanical Turk 作为“为机器学习模型提供动力的数据标签解决方案”的提供商进行营销。
“人类数据是黄金标准,因为我们关心的是人类,而不是大型语言模型,”Riberio 说。 “我不会服用仅在果蝇生物模型中测试过的药物,”他举例说。
研究人员认为,当今人工智能模型产生的反应通常非常平淡或微不足道,并且没有捕捉到人类创造力的复杂性和多样性。
“有时我们想用众包数据研究的恰恰是人类不完美的方式,”该论文的合著者、洛桑联邦理工学院计算机与通信科学学院助理教授罗伯特·韦斯特告诉我们。
随着 AI 的不断改进,众包工作很可能会发生变化。 Riberio 推测,大型语言模型可以取代一些从事特定任务的工人。 “然而,自相矛盾的是,人类数据可能比以往任何时候都更加宝贵,因此这些平台可能会采取措施防止大量语言模型的使用,并确保它仍然是人类数据的来源。”
他补充说,谁知道呢——也许人类最终甚至可能会与大型语言模型合作来生成响应。 ®
- SEO 支持的内容和 PR 分发。 今天得到放大。
- EVM财务。 去中心化金融的统一接口。 访问这里。
- 量子传媒集团。 IR/PR 放大。 访问这里。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- Sumber: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :具有
- :是
- :不是
- $UP
- 16
- 7
- a
- Able
- 关于
- 摘要
- 学者
- 精准的
- 添加
- 再次
- AI
- 所有类型
- 允许
- 还
- 时刻
- Amazon
- an
- 和
- 另一个
- 任何
- 的途径
- 保健
- 争论
- 人造的
- 人工智能
- AS
- 助理
- At
- 作者
- 自动化
- 自动化
- 自动
- 远离
- BE
- 因为
- 作为
- 偏见
- 十亿美元
- 平淡
- 博特
- 机器人
- 建立
- 建
- 但是
- by
- CAN
- 捕获
- 关心
- 一定
- 机会
- 更改
- 聊天机器人
- ChatGPT
- 廉价
- 机密
- 关闭
- CO
- 合著者
- 码
- 合作
- 结合
- 沟通
- 公司
- 相比
- 完成
- 完全
- 复杂
- 一台
- 总结
- 进行
- 内容
- 上下文
- 继续
- 企业
- 可以
- 创造力
- 危急
- 人群
- data
- 数据集
- 发达
- 开发
- 惨重
- 多元化
- do
- 美元
- 每
- 影响
- 鼓励
- 结束
- 确保
- 估计
- 甚至
- EVER
- 究竟
- 例子
- 例子
- 实验
- 公平
- 假
- false
- 快
- 美联储
- 少数
- 重点
- 针对
- 发现
- 止
- 未来
- 生成
- 产生
- 得到
- GitHub上
- 黄金
- 最高标准
- 有
- he
- 严重
- 高品质
- 更高
- 创新中心
- 但是
- HTTPS
- 人
- 人类
- i
- 确定
- if
- 实施
- 改善
- in
- 增加
- 日益
- 房源搜索
- 成
- ISN
- IT
- 它的
- 工作机会
- JPG
- 保持
- 标签
- 劳工
- 语言
- 大
- 大
- 最新
- 铅
- 学习
- 喜欢
- 容易
- 记录
- 低
- 机
- 机器学习
- 使
- 管理
- 手动
- 许多
- 材料
- 可能..
- 意
- 机械
- 医生
- 医学研究
- 药物
- 研究方法
- 方法
- 可能
- 模型
- 模型
- 更多
- 许多
- 需求
- 负
- 数
- 对象
- of
- 经常
- on
- 一
- 在线
- 仅由
- OpenAI
- or
- 其他名称
- 我们的
- 产量
- 己
- 支付
- 纸类
- 文件
- 党
- 员工
- 百分
- 演出
- 也许
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 大量
- 矿池
- 功率
- 珍贵
- 恰恰
- 预测
- 防止
- 市场问题
- 生成
- 教授
- 提供者
- 优
- 质量
- 真实
- 真
- 原因
- 建议
- 可靠
- 依靠
- 遗迹
- 重复的
- 更换
- 表示
- 研究
- 研究人员
- 回复
- 成果
- ROBERT
- 运行
- s
- 说
- 同
- 鳞片
- 脚本
- 学校
- 科学
- 秘密
- 看到
- 特色服务
- 情况
- 小
- 解决方案
- 一些
- 有人
- 来源
- 具体的
- 标准
- 学生
- 学习
- 意见书
- 提交
- 这样
- 提示
- 总结
- 概要
- 瑞士人
- 瑞士
- 合成的
- 系统
- 产品
- 采取
- 任务
- 任务
- 团队
- test
- 测试
- 比
- 这
- 未来
- 其
- 他们
- 他们自己
- 然后
- 那里。
- 博曼
- 他们
- 事
- 第三
- Free Introduction
- 本星期
- 至
- 今晚
- 也有
- 工具
- 向
- 传统
- 培训
- 熟练
- 产品培训
- 尝试
- 转
- 类型
- 不会
- 无用
- us
- 用法
- 使用
- 用过的
- 使用
- 运用
- 平时
- 验证
- 有价值
- 非常
- 通过
- 工资
- 想
- 是
- 方法
- we
- 周
- 井
- 为
- 西部
- 什么是
- ,尤其是
- 是否
- 这
- 而
- 将
- 工作
- 工作
- 工人
- 更坏
- 和风网