OpenAI 的一位前主要研究员认为，人工智能很有可能会控制人类并摧毁它。
“我认为人工智能接管的可能性大约为 10-20%，[许多] [或] 大多数人类已经死亡，”负责语言模型对齐团队的保罗·克里斯蒂安诺 (Paul Christiano) OpenAI, 上说 无银行播客. “我非常认真地对待它。”
克里斯蒂亚诺，现在负责 对齐研究中心，一家旨在使人工智能和机器学习系统与“人类利益”保持一致的非营利组织表示，他特别担心当人工智能达到人类的逻辑和创造能力时会发生什么。 “总的来说，也许我们谈论的是在我们拥有人类层面的系统后不久发生灾难的可能性为 50/50，”他说。
克里斯蒂亚诺的陪伴很好。 最近世界各地的几十位科学家 签了一封网上信 敦促 OpenAI 和其他竞相构建更快、更智能的 AI 的公司按下开发暂停键。 从 Bill Gates 到 Elon Musk 的大人物都表示担心，如果不加以控制，AI 会对人类构成明显的、存在的危险。
不要邪恶
AI为什么会变坏？ 从根本上说，出于与一个人相同的原因：培训和生活经验。
像个小孩， 人工智能被训练 在不知道如何处理的情况下接收大量数据。 它通过尝试通过随机动作实现某些目标来学习，并根据训练定义的“正确”结果归零。
到目前为止，通过沉浸在互联网上积累的数据中，机器学习已经使人工智能在对人类查询的结构良好、连贯的响应方面取得了巨大的飞跃。 与此同时，支持机器学习的底层计算机处理变得更快、更好、更专业。 一些科学家认为，在十年内，处理能力与人工智能相结合，将使这些机器变得像人类一样有知觉，并具有自我意识。
那是事情变得多毛的时候。 这就是为什么许多研究人员认为我们现在需要弄清楚如何实施护栏，而不是以后。 只要 AI 行为受到监控，它 可以控制.
但如果硬币落在另一边，即使是 OpenAI 的联合创始人也表示事情会变得非常， 非常糟糕.
世界末日？
这个话题已经摆在桌面上很多年了。 关于这个主题最著名的辩论之一发生在 11 年前，AI 研究人员与 埃里泽·尤德科斯基 和经济学家 罗宾汉森. 两人讨论了达成“泡沫”——这显然代表“快速掌握压倒一切”——人工智能变得比人类更聪明并且能够自我改进的点。 （术语“foom”的派生是 值得商榷.)
“Eliezer 和他的追随者认为，AI 不可避免地会在没有警告的情况下‘foom’，这意味着，有一天你构建了一个 AGI [通用人工智能]，数小时或数天后，它会递归地自我改进为神一般的智能，然后吞噬世界. 这现实吗？” 活跃于 AI 社区的计算机科学家 Perry Metzger， 最近发了推文.
梅茨格认为，即使计算机系统达到了人类智能的水平，仍然有足够的时间来阻止任何不良结果。 “'foom'在逻辑上是可能的吗？ 或许。 我不相信，”他说。 “现实世界可能吗？ 我很确定没有。 长期的深度超人人工智能会成为现实吗？ 是的，但不是‘foom’”
另一位知名人士Yann Le Cun也提高了声音，声称是“完全不可能”，让人类体验人工智能接管。 希望如此。
