与机器人实时交谈

作者：谷歌机器人研究科学家 Corey Lynch 和研究工程师 Ayzaan Wahid

机器人学习的宏伟愿景，回到 SHRDLU实验 在 1960 世纪 XNUMX 年代后期，是居住在人类空间并遵循各种自然语言命令的有用机器人。 在过去的几年中，机器学习 (ML) 的应用取得了重大进展 指令跟随，无论是 in 模拟 和在现实世界的系统中。 最近的 棕榈赛罐 工作已经产生了利用语言模型来规划长期行为和推理抽象目标的机器人。 代码即策略 已经表明，代码生成语言模型与预训练的感知系统相结合可以为零镜头机器人操作产生语言条件策略。 尽管取得了这一进展，但当前“语言输入，动作输出”机器人学习系统的一个重要缺失特性是 实时 与人类的互动。

理想情况下，未来的机器人将对用户可以用自然语言描述的任何相关任务做出实时反应。 特别是在开放的人类环境中，对于最终用户来说，定制机器人的行为可能很重要，因为它正在发生，提供快速纠正（“停下来，将你的手臂向上移动一点”）或指定约束（“推动它 慢慢地 向右”）。 此外，实时语言可以使人和机器人更容易在复杂的、长期的任务上进行协作，人们通过偶尔的语言反馈以迭代和交互的方式指导机器人操作。

开放词汇语言的挑战如下。 为了成功地完成像“将所有块放在一条垂直线上”这样的长期任务，机器人必须准确地响应各种各样的命令，包括像“将红色圆圈向右推一点”这样的小纠正行为。

然而，让机器人跟随 开放词汇 从机器学习的角度来看，语言是一个重大挑战。 这是一个本质上具有大量任务的设置，包括许多小的纠正行为。 现存的 多任务处理 学习 设置利用策划 模仿学习 数据集或复杂的强化学习 (RL) 奖励函数来驱动每个任务的学习，并且这种针对每个任务的重要工作很难扩展到一个小的预定义集之外。 因此，开放词汇设置中的一个关键开放性问题是：我们如何扩展机器人数据的收集，使其不包括数十个，而是包括环境中数十万个行为，以及我们如何将所有这些行为与自然语言联系起来最终用户可能实际提供？

In 互动语言，我们提出了一个大规模 模仿学习框架 用于生产实时、开放词汇语言条件机器人。 在用我们的方法训练后，我们发现 个人政策是有能力的 解决了 87,000 条独特的指令 （比之前的工作大一个数量级），估计平均成功率为 93.5%。 我们也很高兴地宣布发布 语言表，最大的可用语言注释机器人数据集，我们希望它能推动对实时语言可控机器人的进一步研究。

用实时语言引导机器人。

实时语言控制机器人

我们方法的关键是一个可扩展的配方，用于创建大型、多样化的语言条件机器人演示数据集。 与预先定义所有技能然后为每项技能收集精选演示的先前设置不同，我们在多个机器人之间持续收集数据，而无需场景重置或任何低级技能分割。 所有数据，包括故障数据（例如，从表中敲出块），都经过一个 后见之明的语言重新标记 与文本配对的过程。 在这里，注释者观看长机器人视频以识别尽可能多的行为，标记每个行为的开始和结束时间，并使用自由形式的自然语言来描述每个片段。 重要的是，与设置后的先前指令相比，用于训练的所有技能都是从数据本身自下而上出现的，而不是由研究人员预先确定的。

我们的学习方法和架构有意简单明了。 我们的机器人策略是交叉注意力 变压器，将 5hz 视频和文本映射到 5hz 机器人动作，使用标准的监督学习 行为克隆 没有辅助损失的目标。 在测试时，可以向策略发送新的口头命令（通过 语音到文本) 随时高达 5hz。

交互式语言：用于生产实时语言可控机器人的模仿学习系统。

开源版本：语言表数据集和基准

这个注释过程使我们能够收集语言表数据集，其中包含机器人执行语言命令的超过 440 万个真实和 180 万个模拟演示，以及机器人在演示期间采取的动作序列。 这是同类中最大的语言条件机器人演示数据集，数量级。 Language-Table 带有一个模拟模仿学习基准，我们用它来执行模型选择，可用于评估遵循体系结构或方法的新指令。

数据集	# 轨迹 (k)	# 唯一 (k)	肢体动作	真实成功	可提供
情景示范
BC-Z	25	0.1	✓	✓	✓
赛康	68	0.5	✓	✓	❌
剧场	1,097	779	❌	❌	❌
后见之明的语言标签
积木	30	不适用	❌	❌	✓
郎朗LFP	10	不适用	✓	❌	❌
乐乐	6	1.7	✓	✓	✓
CALVIN	20	0.4	✓	❌	✓
语言表 (真实 + SIM卡)	623分(442+181)	206分(127+79)	✓	✓	✓

我们将 Language-Table 与现有机器人数据集进行比较，突出显示模拟（红色）或真实（蓝色）机器人数据的比例、收集的轨迹数量以及独特语言可描述任务的数量。

学习实时语言行为

机器人能够遵循的短期指令示例，从超过 87,000 条指令中随机抽取。

短期教学	成功
（还有 87,000 个……）	...
将蓝色三角形推到左上角	80.0%
将红星和红圈分开	100.0%
把黄心稍微推一下	80.0%
将红星放在蓝色立方体上方	90.0%
将你的手臂指向蓝色三角形	100.0%
将块组向左推一点	100.0%
平均超过 87k，CI 95%	93.5% ± 3.42%

超过 95 条独特的自然语言指令的单个交互式语言策略的平均成功率的 87,000% 置信区间 (CI)。

我们发现，当机器人能够遵循实时语言时，就会出现有趣的新功能。 我们表明，用户可以仅使用自然语言让机器人通过复杂的长视界序列来解决需要多分钟精确、协调控制的目标（例如，“用绿色眼睛制作笑脸”或“将所有块在一条垂直线上”）。 因为机器人被训练来遵循开放的词汇语言，我们看到它可以对一组不同的口头纠正做出反应（例如，“将红星稍微向右轻推”），否则可能难以预先列举。

在实时人类语言指导下实现长期目标的示例。

最后，我们看到实时语言允许新的机器人数据收集模式。 例如，一个人类操作员仅使用口头语言就可以同时控制四个机器人。 这有可能在未来扩大机器人数据的收集，而不需要每个机器人全神贯注。

一名操作员通过口语同时控制多台机器人。

结论

虽然目前仅限于具有一组固定对象的桌面，但交互式语言显示了大规模模仿学习确实可以产生实时可交互机器人的初步证据，这些机器人遵循自由形式的最终用户命令。 我们开源 语言表，同类中最大的语言条件真实世界机器人演示数据集和相关的模拟基准，以促进物理机器人实时语言控制的进步。 我们相信这个数据集的用途可能不仅限于机器人控制，而且可能为研究语言和动作条件视频预测、机器人视频条件语言建模或许多其他有趣的主动问题提供一个有趣的起点更广泛的 ML 上下文。 看看我们的 纸 和 GitHub上 页面了解更多。

致谢

我们要感谢所有支持这项研究的人。 这包括机器人遥控操作员：Alex Luong、Armando Reyes、Elio Prado、Eric Tran、Gavin Gonzalez、Jodexty Therlonge、Joel Magpantay、Rochelle Dela Cruz、Samuel Wan、Sarah Nguyen、Scott Lehrer、Norine Rosales、Tran Pham、Kyle Gajadhar、Reece Mungal和 Nikauleene Andrews； 机器人硬件支持和远程操作协调：Sean Snyder、Spencer Goodrich、Cameron Burns、Jorge Aldaco、Jonathan Vela； 数据运营和基础设施：Muqthar Mohammad、Mitta Kumar、Arnab Bose、Wayne Gramlich； 以及许多帮助提供数据集语言标签的人。 我们还要感谢 Pierre Sermanet、Debidatta Dwibedi、Michael Ryoo、Brian Ichter 和 Vincent Vanhoucke 提供的宝贵建议和支持。

实时与机器人交谈，来源为 http://ai.googleblog.com/2022/12/talking-to-robots-in-real-time.html，来自 http://feeds.feedburner.com/blogspot/gJZg

众包周

–>

–>

• SEO 支持的内容和 PR 分发。 今天得到放大。
• 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
• Sumber: https://blockchainconsultants.io/talking-to-robots-in-real-time/?utm_source=rss&utm_medium=rss&utm_campaign=talking-to-robots-in-real-time