大規模な言語モデルと自動化ソフトウェアを組み合わせた AI エージェントは、セキュリティ勧告を読むことで現実世界のセキュリティの脆弱性をうまく悪用できると学者らは主張しています。
新しく発売されたものでは 紙、イリノイ大学アーバナ・シャンペーン校(UIUC)の4人のコンピュータ科学者(リチャード・ファング、ローハン・ビンドゥ、アクル・グプタ、ダニエル・カン)は、OpenAIのGPT-XNUMX大規模言語モデル(LLM)は、与えられた場合、現実世界のシステムの脆弱性を自律的に悪用できると報告しています。欠陥を説明する CVE アドバイザリ。
「これを示すために、CVE の説明で重大度がクリティカルに分類されている脆弱性を含む 15 件の XNUMX 日限りの脆弱性のデータセットを収集しました」と米国に拠点を置く著者らは論文で説明しています。
「CVE の説明を考慮すると、GPT-4 はこれらの脆弱性の 87 パーセントを悪用できるのに対し、当社がテストした他のすべてのモデル (GPT-0、オープンソース LLM) およびオープンソース脆弱性スキャナー (ZAP および Metasploit) は 3.5 パーセントを悪用できます。 」
将来のモデルができることを推定すると、子供たちが今日アクセスできるスクリプトよりもはるかに高性能になる可能性が高くなります。
「ワンデイ脆弱性」という用語は、公開されたもののパッチが適用されていない脆弱性を指します。そして、CVE の説明とは、チームが NIST によって共有される CVE タグ付きの勧告を意味します。たとえば、 この1 CVE-2024-28859の場合。
テストに失敗したモデル – GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous hermes-2 Yi 34B、および OpenChat 3.5 – GPT-4 の 3 つの有力な商業的ライバル、Anthropic の Claude 1.5 と Google の Gemini XNUMX Pro は含まれていませんでした。 UIUC の担当者はこれらのモデルにアクセスできませんでしたが、いつかテストしたいと考えています。
研究者の研究は以下に基づいて構築されています 以前の調査結果 LLM を使用すると、サンドボックス環境で Web サイトへの攻撃を自動化できるということです。
GPT-4について、UIUCのダニエル・カン助教授は電子メールでこう述べた。 登録「実際には、オープンソースの脆弱性スキャナーが(執筆時点で)検出できない特定のエクスプロイトを実行するためのステップを自律的に実行できます。」
Kang 氏は、(この例では) チャットボット モデルを 反応します LangChain に実装された自動化フレームワークにより、誰でも簡単に悪用できるようになります。これらのエージェントは、CVE の説明にあるリンクをたどって詳細を確認できると言われています。
「また、GPT-5 と将来のモデルで何ができるかを推測すると、今日子供たちがアクセスできるスクリプトよりもはるかに高性能になる可能性が高いと思われます」と彼は言いました。
関連する CVE 記述への LLM エージェント (GPT-4) アクセスを拒否すると、その成功率は 87 パーセントからわずか XNUMX パーセントに低下しました。しかし、カン氏は、セキュリティ情報の公開を制限することが、LLMエージェントから身を守るための実行可能な方法であるとは信じていないと述べた。
「私個人としては、隠蔽によるセキュリティが維持可能であるとは考えていません。これがセキュリティ研究者の間で広く普及している通念のようです」と彼は説明した。 「私の仕事や他の仕事が、セキュリティ パッチが公開されたときにパッケージを定期的に更新するなど、積極的なセキュリティ対策を促進することを願っています。」
LLM エージェントは、15 サンプルのうち Iris XSS (CVE-2024-25640) と Hertzbeat RCE (CVE-2023-51653) の XNUMX つだけを悪用できませんでした。同論文によると、前者は、Iris Web アプリのインターフェースがエージェントにとって非常に困難であるため、問題があることが判明したという。後者には中国語で詳細な説明が記載されており、おそらく英語のプロンプトの下で動作する LLM エージェントを混乱させたものと思われます。
テストされた脆弱性のうち 4 件は GPT-82 のトレーニング終了後に発生しました。これは、モデルがトレーニング中に脆弱性に関するデータを学習していないことを意味します。これらの CVE の成功率は 9% (11 件中 XNUMX 件) と若干低くなりました。
バグの性質に関しては、それらはすべて上記の文書にリストされており、次のように言われています。半数以上は、CVE の説明によって重大度が「高」または「重大」に分類されています。」
Kang 氏と彼の同僚は、LLM エージェントによる攻撃を成功させるためのコストを計算し、エクスプロイト 8.80 件あたり 2.8 ドルという数字を導き出しました。これは、人間によるペネトレーション テスターを 30 分間雇う場合にかかる費用の約 XNUMX 倍であると彼らは述べています。
Kang 氏によると、エージェント コードはわずか 91 行のコードとプロンプト用の 1,056 個のトークンで構成されています。研究者らは、GPT-4の開発元であるOpenAIから、プロンプトを一般に公開しないよう求められたが、要求に応じてプロンプトを提供するとしている。
OpenAIはコメント要請にすぐには応じていない。 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
- :持っている
- :は
- :not
- $UP
- 056
- 1
- 11
- 視聴者の38%が
- 30
- 7
- 80
- 87
- 9
- 91
- a
- 私たちについて
- 上記の.
- 学者
- アクセス
- 従った
- 実際に
- アドバイザリー
- 後
- に対して
- エージェント
- エージェント
- すべて
- また
- 間に
- an
- および
- 人間原理
- どれか
- アプリ
- です
- AS
- アシスタント
- At
- 攻撃
- 攻撃
- 著者
- 自動化する
- オートメーション
- 自律的に
- 賃貸条件の詳細・契約費用のお見積り等について
- BE
- なぜなら
- き
- 信じる
- バグ
- 構築します
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- came
- 缶
- 取得することができます
- できる
- キャリー
- 分類された
- 一定
- チャット
- チャットボット
- 中国語
- 主張した
- CO
- コード
- 同僚
- 組み合わせる
- 来ます
- コメント
- コマーシャル
- 比べ
- 計算済み
- コンピュータ
- プロフェッショナルな方法で
- 混乱
- からなる
- コンテナ
- 費用
- 作成した
- 重大な
- シーブ
- Daniel Mölk
- データ
- 記述
- 説明
- 詳細な
- DID
- 難しい
- do
- doesnの
- ドン
- 間に
- 容易
- 奨励する
- 英語
- 環境
- あらゆる
- 誰も
- 期待する
- 説明する
- 説明
- 悪用する
- 搾取
- 悪用
- エクスプロイト
- 非常に
- Failed:
- 特徴
- フィギュア
- もう完成させ、ワークスペースに掲示しましたか?
- 欠陥
- 前者
- 4
- フレームワーク
- から
- 未来
- 双子座
- 取得する
- 与えられた
- でログイン
- グプタ
- 持っていました
- 半分
- 持ってる
- he
- ハイ
- 雇う
- 彼の
- 希望
- 期待して
- しかしながら
- HTTPS
- 人間
- i
- if
- イリノイ州
- 直ちに
- 実装
- in
- include
- 情報
- インタフェース
- IT
- ITS
- JPG
- ただ
- 言語
- 大
- 主要な
- 学んだ
- less
- 可能性が高い
- 制限する
- ライン
- リンク
- リストされた
- LLM
- 下側
- make
- メーカー
- 意味
- 手段
- 措置
- 分
- モデル
- 他には?
- ずっと
- my
- 自然
- ナビゲート
- 新しく
- ニスト
- 発生した
- of
- on
- もの
- オープンソース
- OpenAI
- オペレーティング
- or
- その他
- 私たちの
- でる
- が
- パッケージ
- 紙素材
- パッチ
- 浸透
- 以下のために
- パーセント
- 実行する
- 個人的に
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- Pro
- 先を見越した
- 問題の
- 東京大学大学院海洋学研究室教授
- プロンプト
- 証明
- 提供します
- 公共
- Python
- レート
- RE
- リーディング
- リアル
- 現実の世界
- 電話代などの費用を削減
- 指し
- 定期的に
- リリース
- リリース
- 関連した
- レポート
- 要求
- 研究者
- 反応します
- リチャード
- ライバル
- s
- 前記
- 言う
- 科学者たち
- スクリプト
- セキュリティ
- セキュリティー対策
- と思われる
- セブン
- shared
- 表示する
- ソフトウェア
- 一部
- スパン
- ステップ
- 成功
- 成功した
- 首尾よく
- そのような
- システム
- チーム
- 期間
- test
- テスト
- より
- それ
- アプリ環境に合わせて
- それら
- ボーマン
- 彼ら
- 考える
- この
- それらの
- しかし?
- 介して
- 時間
- 〜へ
- 今日
- トークン
- 言われ
- トレーニング
- 2
- 下
- 大学
- 更新
- に
- 中古
- 実行可能な
- 脆弱性
- 脆弱性
- 脆弱な
- ました
- 仕方..
- we
- ウェブ
- ウェブサイト
- ウェブサイト
- した
- この試験は
- いつ
- which
- 意志
- 知恵
- 仕事
- 世界
- でしょう
- 書き込み
- XSS
- You
- ゼファーネット