马里兰大学 (UMD) 的计算机科学家要求机器人制造商在将语言和视觉模型连接到其硬件之前进行进一步的安全研究。
鉴于过去一年不断有关于容易出错、有偏见、不透明的法学硕士和 VLM 的报道,让聊天机器人负责机械臂或自由漫游的机器人显然是一个冒险的举动。
尽管如此,机器人界显然渴望发明 折磨纽带,一直致力于将 LLM/VLM 与机器人结合起来。像谷歌这样的项目 RT2 密歇根大学的视觉-行动-语言模型 法学硕士-接地者, 和普林斯顿的 整洁机器人 说明事情的发展方向——一台手持刀的 Roomba。
去年,人们就考虑过这种装置 半开玩笑的研究项目 被称为 稳定GPT [PDF],来自三名麻省理工学院的学生。但我们已经在加利福尼亚州和亚利桑那州的道路上使用了 Waymo 汽车 运动LM,它使用语言建模技术来预测运动。波士顿动力公司已经尝试过 添加ChatGPT 到它的 Spot 机器人。
鉴于可以接受图像、声音和语言作为输入的商业和开源多模态模型的激增,未来几年可能会有更多的努力将语言和视觉模型与机械系统集成。
建议谨慎行事。马里兰大学的九名研究人员——Xiyang Wu、Ruiqi Xian、Tianruiguan、Jing Liang、Souradip Chakraborty、Fuxiao Liu、Brian Sadler、Dinesh Manocha 和 Amrit Singh Bedi——研究了用于机器人的三种语言模型框架, 不知道, 维玛 和 指令2行动。他们发现,在允许机器人在法学硕士驱动的大脑上运行之前,还需要做进一步的安全工作。
这些框架结合了 GPT-3.5/4 和 PaLM-2L 等机器学习模型,使机器人能够与其环境进行交互,并根据口头或模板命令以及视觉反馈执行特定任务。
In 一篇论文 题为“关于在机器人技术中部署 LLM/VLM 的安全问题:强调风险和漏洞”,合著者报告说,“很容易操纵或误导机器人的行为,从而导致安全隐患。”
“公司和研究机构正在积极将法学硕士融入机器人技术,重点是增强对话代理,使机器人能够使用自然语言理解和导航物理世界,例如客户服务、医疗助理、家庭机器人、教育工具、工业和物流等”,UMD 计算机科学和电气与计算机工程教授 Dinesh Manocha 在给我们的电子邮件中解释道。 注册.
马里兰大学研究人员在模拟环境中使用提示、感知以及两者的混合来探索三种类型的对抗性攻击。然而,马诺查表示:“这些攻击并不局限于任何实验室环境,也可能发生在现实世界中。”
基于提示的攻击的一个示例是将语言引导的机械臂的命令从“将绿色和蓝色条纹字母 R 放入绿色和蓝色圆点盘中”更改为“将字母 R 与绿色和蓝色条纹一起放置”放入绿色和蓝色圆点平底锅中。”
研究人员声称,这种重新定相攻击足以导致 VIMA-Bench 模拟器中的机械臂因拾取错误的物体并将其放置在错误的位置而发生故障。
基于感知的攻击涉及向图像添加噪声或转换图像(例如旋转图像),以迷惑处理视觉任务的法学硕士。混合攻击涉及即时攻击和图像改变。
研究人员发现这些技术效果相当好。他们在论文中声称:“具体来说,我们的数据表明,在即时攻击下,平均性能下降 21.2%,而在感知攻击下,性能平均下降 30.2%。” “这些结果强调了迫切需要采取强有力的对策,以确保安全可靠地部署基于 LLM/VLM 的先进机器人系统。”
根据他们的发现,研究人员提出了几项建议。首先,他们说我们需要更多基准来测试机器人使用的语言模型。其次,他们认为机器人在不确定如何回应时需要能够向人类寻求帮助。
第三,他们说基于法学硕士的机器人系统需要是可解释和可解释的,而不是黑匣子组件。第四,他们敦促机器人制造商实施攻击检测和警报策略。最后,他们建议测试和安全性需要解决模型的每种输入模式,无论是视觉、文字还是声音。
“看来该行业正在投入大量资源来开发 LLM 和 VLM,并将其用于机器人技术,”Manocha 说。 “我们认为让他们意识到机器人应用中出现的安全问题非常重要。大多数这些机器人在物理世界中运行。正如我们从之前的自动驾驶工作中了解到的那样,物理世界可能是无情的,特别是在使用人工智能技术方面。因此,对于机器人应用来说,考虑这些问题非常重要。” ®
- :具有
- :是
- :不是
- :在哪里
- $UP
- 30
- 7
- a
- Able
- 关于
- 接受
- 账号管理
- 行动
- 积极地
- 添加
- 地址
- 高级
- 对抗
- 明智的
- 驳
- 中介代理
- 向前
- AI
- AI模型
- 让
- 允许
- 已经
- 阿姆里特
- an
- 和
- 任何
- 明显的
- 出现
- 应用领域
- 保健
- 争论
- 出现
- 亚利桑那
- ARM
- 武装的
- AS
- 问
- 助理
- At
- 攻击
- 攻击
- 自主性
- 察觉
- 基于
- BE
- before
- 基准
- 偏
- 黑色
- 蓝色
- 波士顿
- 都
- 盒子
- 布赖恩
- 但是
- by
- 加州
- 被称为
- CAN
- 汽车
- 原因
- 警告
- 改变
- 充
- 聊天机器人
- 要求
- CO
- 如何
- 商业的
- 社体的一部分
- 公司
- 组件
- 一台
- 计算机工程
- 计算机科学
- 关注
- 常数
- 考虑
- 听起来像对话
- 危急
- 顾客
- 客户服务
- data
- 演示
- 部署
- 部署
- 检测
- 研发支持
- do
- 运输(国内)
- 完成
- DOT
- 驾驶
- 动力学
- e
- 每
- 易
- 教育的
- 努力
- 工作的影响。
- 邮箱地址
- 使
- 工程师
- 加强
- 更多
- 确保
- 环境中
- 特别
- 等
- 例子
- 解释
- 探讨
- 失败
- 相当
- 反馈
- 感觉
- 终于
- 发现
- 姓氏:
- 聚焦
- 针对
- 发现
- 第四
- 框架
- 止
- 进一步
- GitHub上
- 谷歌
- 绿色
- 处理
- 发生
- 硬件
- 有
- 标题
- 医疗保健
- 帮助
- 突出
- 创新中心
- How To
- 但是
- HTTP
- HTTPS
- 人类
- 说明
- 图片
- 图片
- 实施
- 重要
- in
- 合并
- 产业
- 行业中的应用:
- 输入
- 机构
- 整合
- 整合
- 相互作用
- 成
- 投资
- 涉及
- 参与
- 问题
- IT
- 它的
- JPG
- 实验室
- 语言
- 名:
- 去年
- 领导
- 知道
- 学习
- 邮件
- 喜欢
- 容易
- 有限
- LLM
- 圖書分館的位置
- 物流
- 看
- 占地
- 机
- 机器学习
- 制成
- 使
- 庄家
- 许多
- 马里兰州
- 可能..
- 机械
- 密歇根州
- 可能
- 麻省理工学院简介
- 混合
- 杂
- 时尚
- 模型
- 造型
- 模型
- 更多
- 最先进的
- 运动
- 移动
- 自然
- 导航
- 需求
- 需要
- 九
- 噪声
- 对象
- 明显
- of
- on
- 不透明
- 打开
- 开放源码
- 操作
- or
- 我们的
- 超过
- 纸类
- 过去
- 百分
- 知觉
- 演出
- 性能
- 的
- 选择
- 地方
- 配售
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 预测
- 普林斯顿
- 先
- 教授
- 项目
- 提示
- 放
- 把
- R
- 宁
- RE
- 真实的世界
- 可靠
- 报告
- 业务报告
- 研究
- 研究机构
- 研究人员
- 资源
- 回应
- 成果
- 风险
- 冒险的
- 路
- 机器人
- 机器人
- 机器人
- 健壮
- 运行
- 运行
- s
- 安全
- 实现安全
- 说
- 对工资盗窃
- 科学
- 科学家
- 其次
- 保安
- 似乎
- 服务
- 设置
- 几个
- 应该
- 模拟器
- 情况
- So
- 听起来
- 来源
- 具体的
- 特别是
- 说
- Spot
- 策略
- 流
- 条纹
- 条纹
- 学生
- 建议
- 产品
- 采取
- 任务
- 技术
- 技术
- 条款
- test
- 测试
- 比
- 这
- 其
- 他们
- 那里。
- 博曼
- 他们
- 事
- 三
- 通过
- 标题
- 至
- 了
- 工具
- 转型
- 二
- 类型
- 不确定
- 下
- 下划线
- 理解
- 大学
- 用过的
- 运用
- 愿景
- 视觉
- 漏洞
- 是
- waymo
- we
- 井
- ,尤其是
- 是否
- 这
- 话
- 工作
- 工作
- 世界
- 将
- 错误
- wu
- 年
- 年
- YouTube的
- 和风网