DARPA 如何重新思考人工智能的基础以包括信任

评论 你会把你的生命托付给人工智能吗？

人工智能的当前状态令人印象深刻，但将其视为接近普遍智能是一种夸大其词的说法。 如果你想了解 AI 热潮的进展情况，只需回答这个问题：你信任 AI 吗？

谷歌的 Bard 和微软的 ChatGPT 支持的 Bing 大型语言模型 都 制成 在他们的发布演示中可能会通过快速网络搜索避免愚蠢的错误。 法学硕士也被发现 弄错事实 并推出不正确的引文。

DARPA 的信息创新办公室副主任 Matt Turek 告诉我们，当这些 AI 只负责娱乐 Bing 或 Bard 用户时，这是一回事。 当生命危在旦夕时，这完全是另一回事，这就是为什么 Turek 的机构发起了一项名为 AI Forward 的计划，试图回答构建我们可以信任的 AI 系统究竟意味着什么的问题。

信任是……？

在接受记者采访时 寄存器， Turek 说，他喜欢用土木工程的比喻来思考构建可信赖的人工智能，这也涉及对技术的高度信任：搭建桥梁。

“我们不再通过反复试验来搭建桥梁，”Turek 说。 “我们了解基础物理学、基础材料科学和系统工程，所以我需要能够跨越这个距离，需要承受这种重量，”他补充道。

Turek 说，有了这些知识，工程部门已经能够制定标准，使建造桥梁变得简单和可预测，但我们现在还没有 AI。 事实上，我们处在比没有标准更糟糕的境地：我们正在构建的 AI 模型有时会让我们感到惊讶，这很糟糕，Turek 说。 

“我们并不完全了解这些模型。 我们不了解他们擅长什么，我们不了解极端情况、失败模式……这可能导致事情以我们以前从未见过的速度和规模出现问题。” 

注册 读者无需想象世界末日场景，即通用人工智能 (AGI) 开始杀害人类并发动战争来传达 Turek 的观点。 “我们不需要 AGI 才能让事情变得严重错误，”Turek 说。 他列举了闪电般的市场崩盘，例如 2016 年英镑的下跌，归因于 糟糕的算法决策，举个例子。 

然后是像特斯拉的自动驾驶仪这样的软件，表面上是一种人工智能，旨在驾驶据称与汽车相关的汽车 70 percent 涉及自动驾驶辅助技术的事故。 Turek 告诉我们，当此类事故发生时，特斯拉不会责怪人工智能，它说司机应对 Autopilot 的行为负责。 

按照这种推理，可以公平地说，即使是特斯拉也不信任自己的人工智能。 

DARPA 如何推动人工智能……向前发展

“大型软件系统的运行速度会给人类监督带来挑战，”Turek 说，这就是 DARPA 启动其最新人工智能计划 AI Forward 的原因， 今年早些时候.

在一个 XNUMX 月，Turek 的老板 Kathleen Fisher 博士解释了 DARPA 希望通过 AI Forward 实现的目标，即建立对 AI 开发的理解基础，类似于工程师使用他们自己的标准集开发的基础。

Fisher 在她的演讲中解释说，DARPA 认为 AI 信任是综合性的，任何值得信任的 AI 都应该能够做三件事：

• 胜任经营，我们 无疑 还没想好
• 与人类进行适当的互动，包括交流它为什么做它所做的事情（请参阅上一点了解进展情况），
• 符合道德和道德，费舍尔说这包括能够确定指令是否合乎道德，并做出相应的反应。 

阐明什么定义了可信赖的人工智能是一回事。 到达那里需要做更多的工作。 为此，DARPA 表示计划投入精力、时间和金钱 三个领域：建立基础理论，阐明适当的 AI 工程实践并制定人机协作和交互的标准。 

AI Forward 被 Turek 描述为与其说是一个项目，不如说是一个社区外展计划，它将于 XNUMX 月和 XNUMX 月下旬举办两场夏季研讨会，将公共和私营部门的人们聚集在一起，帮助充实这三项 AI 投资领域。 

Turek 说，DARPA 具有独特的能力“将多个社区的广泛研究人员聚集在一起，全面审视问题，确定……令人信服的前进方向，然后进行 DARPA 认为可以引领的投资”转向转型技术。”

对于任何希望参加前两场 AI Forward 研讨会的人来说——抱歉——他们已经坐满了。 Turek 没有透露任何有关谁将出席的细节，只是说预计有数百名参与者具有“不同的技术背景 [和] 观点。”

值得信赖的防御人工智能是什么样的？

如果 DARPA 以及何时设法充实其 AI 信任模型，它究竟将如何使用该技术？ 

Turek 说，网络安全应用是显而易见的，因为可以依靠值得信赖的 AI 以人类无法采取的规模和速度做出正确的决策。 Turek 补充说，从大型语言模型方面来看，正在构建可以信赖的 AI 来正确处理机密信息，或者以准确的方式消化和总结报告，“如果我们能够消除这些幻觉”。

然后是战场。 人工智能不仅是一种用于伤害的工具，还可以通过诸如此类的研究计划转变为拯救生命的应用程序 在当下，一个研究项目 Turek 导致支持在困难情况下的快速决策。 

正如 DARPA 在项目页面上所描述的那样，In The Moment 的目标是确定“动态设置中可信的人类决策背后的关键属性，并通过计算表示这些属性”。 

“[In The Moment] 确实是一项基础研究计划，涉及如何对信任进行建模和量化，以及如何构建那些导致信任并进入系统的属性，”Turek 说。

具备这些能力的人工智能可用于在战场或灾难场景中做出医疗分类决策。

DARPA 希望白皮书在今年夏天的两次 AI Forward 会议之后发布，但从那里开始，这是一个通过定义阶段并走向实现的问题，这肯定需要一段时间。 

“DARPA 将通过会议进行投资，”Turek 告诉我们。 “这些投资的数量或规模将取决于我们听到的消息，”他补充道。 ®

• SEO 支持的内容和 PR 分发。 今天得到放大。
• 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
• 与 Adryenn Ashley 一起铸造未来。 访问这里。
• Sumber: https://go.theregister.com/feed/www.theregister.com/2023/04/20/darpa_ai_trust/