ボフィンズは、変圧器モデルの隠された部分を回復する攻撃により、OpenAI と Google のクローズド AI サービスをこじ開けることに成功しました。
この攻撃は、特定のタイプのいわゆる「ブラック ボックス」モデルを部分的に明らかにし、API クエリを通じてトランスフォーマー モデルの埋め込み投影層を明らかにします。これにかかるコストは、攻撃対象のモデルのサイズとクエリの数に応じて、数ドルから数千ドルの範囲です。
Google DeepMind、チューリッヒ工科大学、ワシントン大学、OpenAI、マギル大学の 13 人以上のコンピューター科学者が執筆しました。 紙 モデル抽出攻撃手法に基づいた攻撃の説明 提案された 2016インチ
「20 米ドル未満で、私たちの攻撃は OpenAI の ada および babbage 言語モデルの射影行列全体を抽出します」と研究者らは論文で述べています。 「これにより、これらのブラックボックス モデルの隠れ次元がそれぞれ 1024 と 2048 であることが初めて確認されました。また、gpt-3.5-turbo モデルの正確な隠れ次元のサイズも回復し、射影行列全体を回復するのにかかるクエリコストは 2,000 ドル未満と見積もっています。」
研究者らは調査結果をOpenAIとGoogleに開示したが、両社とも攻撃を軽減するための防御を実装したと言われている。彼らは、現在も使用されている 3.5 つの OpenAI gpt-XNUMX-turbo モデルのサイズを公開しないことを選択しました。 ada モデルと babbage モデルは両方とも非推奨であるため、それぞれのサイズを公開することは無害であると判断されました。
この攻撃によってモデルが完全に暴露されるわけではありませんが、研究者らはモデルの最終的な情報を明らかにできる可能性があると述べています。 重み行列 – またはその幅(多くの場合パラメータ数に関連します) – は、さらなる調査に役立つ可能性のあるモデルの機能に関する情報を提供します。彼らは、攻撃手法はさらに多くの情報を回復するために拡張できる可能性があるため、実稼働モデルから任意のパラメータを取得できることは驚くべきことであり、望ましくないことであると説明しています。
「重みがわかれば、完全なモデルが手に入るだけです」と Gladstone AI の CTO、Edouard Harris 氏は次のように説明しました。 登録。 「Google などが行ったのは、ユーザーが行うのと同じように、完全なモデルにクエリを実行して、そのモデルの一部のパラメーターを再構築することでした。彼らは、重みにまったくアクセスしなくてもモデルの重要な側面を再構築できることを示していました。」
独自のモデルに関する十分な情報にアクセスできれば、誰かがそれを複製できる可能性があります。これは、Gladstone AI が検討したシナリオです。 レポート 米国国務省から委託された「多層防御: 高度な AI の安全性とセキュリティを向上させるための行動計画」。
レポート、 昨日リリースでは、政府が AI をどのように活用し、AI が国家安全保障に潜在的な脅威をもたらす方法から守るべきかについての分析と推奨事項を提供します。
報告書の推奨事項の 1 つは、「米国政府は、機能またはトレーニング コンピューティングの合計の重要なしきい値を超える高度な AI モデルのオープンアクセスのリリースまたは販売を制限するアプローチを緊急に検討すること」です。これには、「モデルの重みを含む重要な IP を保護するための適切なセキュリティ対策(の実施)」が含まれます。
Googleの調査結果を踏まえたGladstoneレポートの推奨事項について尋ねられたハリス氏は、「基本的に、このような攻撃を実行するには、少なくとも現時点では、モデルを提供している企業が検出できる可能性のあるパターンでクエリを実行する必要がある」と信頼した。 、GPT-4 の場合は OpenAI です。これらのアプローチを使用してモデルパラメータを再構築しようとする試みを特定するために、プライバシーを保護する方法で高レベルの使用パターンを追跡することをお勧めします。」
「もちろん、この種のファーストパス防御も同様に非現実的になる可能性があり、より洗練された対策を開発する必要があるかもしれません(たとえば、特定の時点でどのモデルがどの応答に役立つかをわずかにランダム化する、または他のアプローチ)。ただし、計画自体ではそこまでの詳細には踏み込んでいません。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/
- :は
- :not
- 000
- 13
- 2016
- 7
- a
- できる
- 私たちについて
- 上記の.
- アクセス
- Action
- ADA
- 十分な
- 高度な
- に対して
- AI
- AIモデル
- AIサービス
- AL
- すべて
- 許す
- また
- an
- 分析
- および
- どれか
- API
- アプローチ
- です
- AS
- 側面
- At
- 攻撃
- 攻撃
- 試み
- バベッジ
- 基本的に
- BE
- なぜなら
- になる
- さ
- ブラック
- 両言語で
- ボックス
- 構築します
- by
- 缶
- 機能
- 機能
- 場合
- 選んだ
- 閉まっている
- CO
- 会社
- 完全に
- 計算
- コンピュータ
- 確認します
- 見なさ
- 費用
- 可能性
- カウント
- コース
- 重大な
- CTO
- 考える
- ディープマインド
- 防衛
- 防御
- 部門
- によっては
- 非推奨の
- 深さ
- 記述
- 詳細
- 開発する
- DID
- 次元
- 開示する
- do
- ありません
- ドル
- ドン
- 行われ
- e
- E&T
- 埋め込み
- 十分な
- 全体
- 推定
- ETH
- さらに
- 正確な
- 実行します
- 説明する
- 説明
- 探る
- 抽出
- 抽出物
- 少数の
- ファイナル
- 調査結果
- 名
- 初回
- から
- フル
- さらに
- 取得する
- 与えられた
- でログイン
- 政府・公共機関
- ガード
- ハーネス
- 持ってる
- 持って
- 隠されました
- ハイ
- 認定条件
- しかしながら
- HTML
- HTTPS
- 識別する
- if
- 実装
- 重要
- 非現実的
- in
- 含ま
- 含めて
- 増える
- 知らせます
- 情報
- に
- IP
- IT
- ITS
- 自体
- ジミー
- JPG
- ただ
- キー
- 種類
- 言語
- 層
- 最低
- less
- レベル
- 光
- ような
- マネージド
- マトリックス
- 五月..
- 措置
- かもしれない
- 軽減する
- モデル
- 他には?
- 国民
- 国際セキュリティー
- 必要
- 今
- 数
- 入手する
- of
- 頻繁に
- 開いた
- OpenAI
- or
- 注文
- その他
- さもないと
- 私たちの
- 紙素材
- パラメーター
- パラメータ
- 特定の
- パターン
- 計画
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 部分
- ポーズ
- 潜在的な
- 生産
- 投影
- 所有権
- 守る
- は、大阪で
- パブリッシュ
- クエリ
- 範囲
- 推奨する
- 提言
- 回復する
- 回復する
- 関連する
- リリース
- レポート
- 研究者
- それらの
- それぞれ
- 回答
- 制限する
- 明らかにする
- 明らかにする
- s
- 安全性
- 安全とセキュリティ
- 前記
- 塩
- 言う
- シナリオ
- 科学者たち
- セキュリティ
- セキュリティー対策
- 役立つ
- サービス
- サービング
- いくつかの
- すべき
- 表示
- サイズ
- サイズ
- So
- 一部
- 誰か
- 洗練された
- 都道府県
- まだ
- 驚くべき
- 技術
- より
- それ
- アプリ環境に合わせて
- その後
- それによって
- ボーマン
- 彼ら
- この
- 千
- 脅威
- 介して
- 時間
- タイトル
- 〜へ
- トータル
- 追跡
- トレーニング
- トランス
- 2
- type
- 下
- 大学
- に
- us
- 米国国務省
- 私たち政府
- 使用法
- USD
- つかいます
- ユーザー
- ました
- ワシントン
- 仕方..
- 方法
- we
- WELL
- した
- この試験は
- which
- 幅
- 無し
- でしょう
- You
- ゼファーネット
- チューリッヒ