介绍
许多年前，我学会了在一台旧的 Symbolics Lisp 机器上编程。 操作系统有一个拼写为“DWIM”的内置命令，是“Do What I Mean”的缩写。 如果我输入一条命令并出现错误，我可以输入“DWIM”，然后机器会尝试弄清楚我的意思。 令人惊讶的是，它确实奏效了。
DWIM 命令是更现代的“AI 对齐”问题的缩影：我们人类很容易给机器提供模棱两可或错误的指令，我们希望它们按照我们的意思去做，而不一定是按照我们说的去做。
计算机经常会误解我们希望它们做的事情，从而产生意想不到且通常很有趣的结果。 例如，一位机器学习研究人员在调查图像分类程序的可疑良好结果时， 发现 它不是基于图像本身进行分类，而是基于访问图像文件所花费的时间——不同类别的图像存储在数据库中，访问时间略有不同。 其他 进取的程序员 他希望他的 Roomba 真空吸尘器不再撞到家具，因此他将 Roomba 连接到一个神经网络，该网络会奖励速度，但会在前保险杠与某物发生碰撞时惩罚 Roomba。 机器通过始终向后行驶来满足这些目标。
但 AI 对齐研究人员社区看到了这些轶事的阴暗面。 事实上，他们认为机器无法辨别我们真正想让它们做什么是一种存在风险。 他们认为，要解决这个问题，我们必须找到使人工智能系统与人类偏好、目标和价值观保持一致的方法。
这种观点在 2014 年的畅销书中得到了重视 超级智能 由哲学家尼克·博斯特罗姆 (Nick Bostrom) 提出，其部分论点是计算机智能的不断提高可能对人类的未来构成直接威胁。 Bostrom 从未精确定义智能，但与 AI 对齐社区中的大多数其他人一样，他后来采用了一个定义 铰接式 由人工智能研究员 斯图尔特·罗素 如：“一个实体被认为是智能的，粗略地说，如果它选择预期实现其目标的行动，给定它所感知的。”
Bostrom 将他对 AI 风险的看法建立在两个论点之上。 第一个是正交性论题，用博斯特罗姆的话来说，“情报和最终目标是正交轴，可能的代理人可以沿着这些轴自由变化。 换句话说，或多或少的任何智力水平原则上都可以或多或少地与任何最终目标相结合。” 第二个是工具收敛论点，这意味着智能主体将以促进自身生存、自我完善和获取资源的方式行事，只要这些使主体更有可能实现其最终目标。 然后他做出了最后一个假设：研究人员很快就会创造出一种人工智能超级智能——一种“在几乎所有感兴趣的领域都大大超过人类认知能力”的超级智能。
对于 Bostrom 和 AI 对齐社区的其他人来说，这种前景意味着人类的厄运，除非我们成功地将超级智能 AI 与我们的愿望和价值观对齐。 博斯特罗姆用一个现在著名的思想实验来说明这种危险：想象一下，给一个超级智能人工智能设定最大化回形针产量的目标。 根据 Bostrom 的论文，为了实现这一目标，人工智能系统将利用其超人的才华和创造力来增强自身的力量和控制力，最终获得世界上所有的资源来制造更多的回形针。 人类会灭绝，但回形针的生产确实会得到最大化。
如果你相信智能是由实现目标的能力来定义的，任何目标都可以被人类“插入”到超级智能 AI 代理中，并且这样的代理会使用它的超级智能做任何事情来实现这个目标，那么你就会同时到达 结论 Russell 所做的是：“确保灾难发生所需要的只是一台非常有能力的机器和人类的结合，而人类的能力并不完美，无法完全正确地指定人类的偏好。”
这是科幻小说中常见的比喻——人类受到失控的机器的威胁，这些机器误解了人类的欲望。 现在，人工智能研究界的一个重要部分对现实生活中出现的这种情况深感担忧。 数十家研究机构已经在这个问题上投入了数亿美元，世界各地的大学以及谷歌、Meta 和 OpenAI 等大型人工智能公司都在进行对齐研究。
非超级智能人工智能带来的更直接的风险又如何呢，例如失业、偏见、隐私侵犯和错误信息传播？ 事实证明，主要关注此类短期风险的社区与更担心长期调整风险的社区之间几乎没有重叠。 事实上，这是一场 AI 文化战争，一方更担心当前的这些风险，而不是他们认为不切实际的技术未来主义，而另一方则认为当前的问题不如超级智能 AI 带来的潜在灾难性风险那么紧迫。
对于这些特定社区之外的许多人来说，AI 结盟看起来有点像一种宗教——一个拥有受人尊敬的领袖、不容置疑的教义和忠诚的门徒与潜在的全能敌人（未结盟的超级智能 AI）作战的宗教。 事实上，计算机科学家兼博主 Scott Aaronson 最近 注意到 现在有 AI 结盟信仰的“正统”和“改革”分支。 他写道，前者几乎完全担心“错位的人工智能会在努力摧毁人类的同时欺骗人类”。 相比之下，他写道，“我们改革人工智能风险者接受了这种可能性，但我们至少同样担心被坏人武器化的强大人工智能，我们预计它们会更早地构成生存风险。”
许多研究人员积极参与基于对齐的项目，范围从 尝试传授原则 对机器的道德哲学，对 训练大型语言模型 关于众包的道德判断。 这些努力都没有在让机器对现实世界的情况进行推理方面特别有用。 许多作家指出了阻止机器学习人类偏好和价值观的诸多障碍：人们往往是非理性的，其行为方式与他们的价值观相矛盾，而价值观会随着个人的一生和几代人而改变。 毕竟，尚不清楚我们应该让机器尝试学习谁的价值观。
对齐社区中的许多人认为最有前途的前进道路是一种称为 逆向强化学习 （爱尔兰）。 使用 IRL，机器没有最大化目标； 对齐支持者认为，这种“插入”的目标可能会无意中导致回形针最大化场景。 相反，机器的任务是观察人类的行为并推断他们的偏好、目标和价值观。 近年来，研究人员使用 IRL 来 训练机器玩电子游戏 通过观察人类和教机器人 如何做后空翻 通过向他们提供来自人类的增量反馈（人们观看机器人各种尝试的短片并选择看起来最好的）。
目前尚不清楚类似的方法是否可以教会机器更微妙和抽象的人类价值观。 作家布赖恩·克里斯蒂安，一本书的作者 AI对齐科普书, 是乐观的：“想象用一个更加模糊和难以言喻的概念，如“乐于助人”，来取代模糊的“后空翻”概念并不是一件容易的事。 或“仁慈”。 或‘良好’的行为。”
但是，我认为这低估了挑战。 诸如善良和良好行为之类的道德观念比 IRL 迄今为止掌握的任何事物都复杂得多，并且依赖于上下文。 考虑“真实性”的概念——我们在人工智能系统中肯定想要的价值。 事实上，当今大型语言模型的一个主要问题是它们无法区分真假。 与此同时，我们有时可能希望我们的 AI 助手，就像人类一样，缓和他们的真实性：保护隐私，避免侮辱他人，或者保证某人的安全，以及无数其他难以表达的情况。
其他伦理概念同样复杂。 应该清楚的是，向机器教授伦理概念的重要第一步是让机器首先掌握类似人类的概念，我认为这仍然是人工智能的 最重要的开放性问题.
此外，我发现人工智能对齐概念的科学基础存在一个更根本的问题。 大多数讨论都将超级智能 AI 想象成一台机器，虽然在所有认知任务上都超越了人类，但仍然缺乏类似人类的常识，并且在本质上仍然是奇怪的机械。 重要的是，根据 Bostrom 的正交性理论，机器在没有任何自己的目标或价值的情况下实现了超级智能，而是等待人类插入目标。
然而，智力可以这样运作吗？ 当前的心理学或神经科学中没有任何东西支持这种可能性。 至少在人类中，智力与我们的目标和价值观、我们的自我意识以及我们特定的社会和文化环境密切相关。 一种纯粹的智能可以从这些其他因素中分离出来的直觉导致了 许多失败的预测 在人工智能的历史上。 据我们所知，一个普遍智能的人工智能系统的目标似乎更有可能不容易被插入，而是必须像我们一样，作为其自身社会和文化教养的结果。
在他的书 人类兼容, Russell 论证了对齐问题研究的紧迫性：“担心人类潜在严重问题的正确时间不仅取决于问题何时发生，还取决于准备和实施解决方案需要多长时间。 ” 但是，如果不更好地理解什么是智能以及它与我们生活的其他方面有多大的区别，我们甚至无法定义问题，更不用说找到解决方案了。 正确定义和解决对齐问题并不容易； 这将要求我们发展一个广泛的、以科学为基础的智力理论。
