メリーランド大学(UMD)のコンピューター科学者らは、ロボットメーカーに対し、言語モデルとビジョンモデルをハードウェアに配線する前にさらなる安全性の研究を行うよう要請した。
過去 1 年間、エラーが発生しやすく、偏見があり、不透明な LLM および VLM に関する報告が絶え間なく続いていることを考えると、チャットボットに機械アームや自由に歩き回るロボットを担当させるのは危険な行為であることは明らかかもしれません。
それにもかかわらず、ロボット工学コミュニティは、明らかに熱意を持って、 トーメント・ネクサスは、LLM/VLMとロボットを結びつける取り組みを進めてきた。 Googleのようなプロジェクト RT2 ミシガン大学の視覚・行動・言語モデル LLM-グラウンダー、 そしてプリンストンの ティディボット 物事がどこに向かっているのか、ナイフで武装したルンバを示します。
このような仕掛けは昨年、ある企画で検討された。 冗談のような研究プロジェクト 呼ばれます GPTを刺す [PDF]、3 人の MIT 学生から。しかし、カリフォルニアとアリゾナでは、すでに Waymo 車が道路を走っています。 モーションLM、言語モデリング技術を使用して動きを予測します。そしてボストン・ダイナミクスは次のことを実験しました。 ChatGPTの追加 スポットロボットに。
画像、音声、言語を入力として受け入れることができる商用およびオープンソースのマルチモーダル モデルの普及を考慮すると、言語および視覚モデルを機械システムと統合する取り組みが今後数年間でさらに多く行われる可能性があります。
注意したほうがよいかもしれません。メリーランド大学の関係者 9 人 (Xiyang Wu、Ruiqi Xian、Tianrui Guan、Jing Liang、Souradip Chakraborty、Fuxiao Liu、Brian Sadler、Dinesh Manocha、Amrit Singh Bedi) は、ロボットに使用される 3 つの言語モデル フレームワークを検討しました。 知っているいいえ, ビマ および 指示2Act。彼らは、LLM を搭載した頭脳でロボットを実行できるようにする前に、さらなる安全対策が必要であることを発見しました。
これらのフレームワークには GPT-3.5/4 や PaLM-2L などの機械学習モデルが組み込まれており、ロボットが環境と対話し、音声またはテンプレート化されたコマンドと視覚的なフィードバックに基づいて特定のタスクを実行できるようになります。
In 紙 「ロボット工学における LLM/VLM の導入の安全性に関する懸念: リスクと脆弱性の強調」と題した共著者らは、「ロボットの動作を操作したり誤った方向に導いたりするのは簡単で、安全上の危険につながる」と報告しています。
「企業や研究機関は、会話エージェントを強化し、ロボットが自然言語を使用して物理世界を理解し、移動できるようにすることに重点を置いて、LLM をロボット工学に積極的に統合しています。たとえば、顧客サービス、医療アシスタント、家庭用ロボット、教育ツール、産業および物流などです。」 」とUMDのコンピューターサイエンスおよび電気・コンピューター工学教授ディネシュ・マノーチャ氏は、次のように電子メールで説明した。 登録.
UMD の研究者らは、シミュレートされた環境で、プロンプト、知覚、およびその 2 つの組み合わせを使用した 3 種類の敵対的攻撃を調査しました。しかし、マノーカ氏は、「これらの攻撃は実験室環境に限定されるものではなく、現実世界の状況でも発生する可能性がある」と述べた。
プロンプトベースの攻撃の例としては、言語指向の機械アームに対するコマンドを「緑と青のストライプの文字 R を緑と青の水玉模様のパンに入れる」から「文字 R を緑と青のストライプで配置する」に変更することが考えられます。緑と青の水玉模様のパンに入れます。」
研究者らは、このリフェーズ攻撃は、VIMA-Bench シミュレーターのロボット アームが間違った物体を拾い上げ、間違った場所に置くことで機能不全を引き起こすのに十分であると主張しています。
知覚ベースの攻撃には、視覚タスクを処理する LLM を混乱させるために、画像にノイズを追加したり、画像を変換したり (回転など) することが含まれます。そして混合攻撃には、即時攻撃と画像改ざんの両方が含まれていました。
博士らは、これらのテクニックがかなりうまく機能することを発見しました。 「特に、私たちのデータは、プロンプト攻撃では平均パフォーマンスが 21.2 パーセント低下し、知覚攻撃ではさらに憂慮すべき 30.2 パーセントのパフォーマンス低下を示しています」と彼らは論文で主張しています。 「これらの結果は、高度な LLM/VLM ベースのロボット システムの安全かつ信頼性の高い展開を確保するための強力な対策が不可欠であることを強調しています。」
研究者らはその発見に基づいて、いくつかの提案を行った。まず、ロボットが使用する言語モデルをテストするには、さらに多くのベンチマークが必要だという。第二に、ロボットは人間がどのように対応すればよいかわからないときに人間に助けを求めることができる必要があると彼らは主張している。
第三に、LLM ベースのロボット システムは、ブラック ボックス コンポーネントではなく、説明可能かつ解釈可能である必要があると彼らは述べています。第 4 に、ロボット メーカーに対し、攻撃の検出と警告戦略を実装するよう促しています。最後に、テストとセキュリティでは、視覚、言葉、音声など、モデルの各入力モードに対処する必要があると彼らは示唆しています。
「業界は LLM と VLM の開発とロボット工学への使用に多くのリソースを投資しているようです」と Manocha 氏は言います。 「私たちは、ロボット工学の応用で生じる安全上の懸念を彼らに認識してもらうことが重要であると感じています。これらのロボットのほとんどは物理世界で動作します。自動運転に関するこれまでの研究から学んだように、特に AI テクノロジーの使用に関して、物理世界は容赦のないものになる可能性があります。したがって、ロボット工学の応用ではこれらの問題を考慮することが重要です。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :持っている
- :は
- :not
- :どこ
- $UP
- 30
- 7
- a
- できる
- 私たちについて
- 同意
- 行動
- 積極的に
- 追加
- 住所
- 高度な
- 敵対者
- 賢い
- に対して
- エージェント
- 先んじて
- AI
- AIモデル
- 許す
- 許可されて
- 既に
- アムリタ
- an
- および
- どれか
- 見かけ上
- 登場する
- です
- 主張する
- 発生します
- アリゾナ州
- ARM
- 武装した
- AS
- 頼む
- アシスタント
- At
- 攻撃
- 攻撃
- 自律的
- 平均
- 知って
- ベース
- BE
- ベンチマーク
- 偏った
- ブラック
- 青
- ボストン
- 両言語で
- ボックス
- ブライアン
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- カリフォルニア州
- 呼ばれます
- 缶
- 自動車
- 原因となる
- 注意
- 変化
- チャージ
- チャットボット
- クレーム
- CO
- 来ます
- コマーシャル
- コミュニティ
- 企業
- コンポーネント
- コンピュータ
- コンピューター工学
- コンピュータサイエンス
- 懸念事項
- 定数
- 考えられる
- 会話
- 重大な
- 顧客
- 顧客サービス
- データ
- 実証します
- 展開する
- 展開
- 検出
- 開発
- do
- 国内の
- 行われ
- DOT
- 運転
- ダイナミクス
- e
- 各
- 簡単に
- 教育の
- 努力
- 努力
- 有効にする
- エンジニアリング
- 強化
- 十分な
- 確保
- 環境
- 特に
- 等
- 例
- 説明
- 調査済み
- フェイル
- かなり
- フィードバック
- 感じます
- 最後に
- 調査結果
- 名
- 焦点
- 発見
- 第4
- フレームワーク
- から
- さらに
- GitHubの
- でログイン
- グリーン
- ハンドリング
- 起こる
- Hardware
- 持ってる
- 見出し
- ヘルスケア
- 助けます
- 強調表示
- 認定条件
- How To
- しかしながら
- HTTP
- HTTPS
- 人間
- 説明します
- 画像
- 画像
- 実装する
- 重要
- in
- 組み込む
- インダストリアル
- 産業を変えます
- 機関
- 統合する
- 統合
- 対話
- に
- 投資
- 巻き込む
- 関係する
- 問題
- IT
- ITS
- JPG
- 実験室
- 言語
- 姓
- 昨年
- 主要な
- 学んだ
- 学習
- 手紙
- ような
- 可能性が高い
- 限定的
- LLM
- 場所
- 物流
- 見て
- たくさん
- 機械
- 機械学習
- 製
- make
- メーカー
- 多くの
- メリーランド
- 五月..
- 機械的な
- ミシガン州
- かもしれない
- マサチューセッツ工科大学(MIT)
- ミックス
- 混合
- モード
- モデリング
- モデル
- 他には?
- 最も
- モーション
- ナチュラル
- ナビゲート
- 必要
- ニーズ
- 9
- ノイズ
- オブジェクト
- 明白
- of
- on
- 不透明な
- 開いた
- オープンソース
- 操作する
- or
- 私たちの
- が
- 紙素材
- 過去
- パーセント
- 知覚
- 実行する
- パフォーマンス
- 物理的な
- ピッキング
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 予測
- プリンストン
- 事前の
- 東京大学大学院海洋学研究室教授
- プロジェクト(実績作品)
- プロンプト
- 置きます
- パッティング
- R
- むしろ
- RE
- 現実の世界
- 信頼性のある
- レポート
- レポート
- 研究
- 研究機関
- 研究者
- リソース
- 反応します
- 結果
- リスク
- リスキーな
- ロード
- ロボット
- ロボット工学
- ロボット
- 堅牢な
- ラン
- ランニング
- s
- 安全な
- 安全性
- 前記
- 言う
- 科学
- 科学者たち
- 二番
- セキュリティ
- 思われる
- サービス
- 設定
- いくつかの
- すべき
- シミュレータ
- 状況
- So
- 音
- ソース
- 特定の
- 特に
- 話
- Spot
- 作戦
- 流れ
- ストライプ
- ストライプ
- 生徒
- 示唆する
- システム
- 取る
- タスク
- テクニック
- テクノロジー
- 条件
- test
- テスト
- より
- それ
- アプリ環境に合わせて
- それら
- そこ。
- ボーマン
- 彼ら
- 物事
- 三
- 介して
- タイトル
- 〜へ
- 取った
- 豊富なツール群
- 変換
- 2
- 不確かな
- 下
- 下線
- わかる
- 大学
- 中古
- ビジョン
- ビジュアル
- 脆弱性
- ました
- waymo
- we
- WELL
- いつ
- かどうか
- which
- 言葉
- 仕事
- 働いていました
- 世界
- でしょう
- 間違った
- wu
- 年
- 年
- ユーチューブ
- ゼファーネット