Google では、 脆弱性報奨プログラム Google 所有および Alphabet 子会社のウェブ プロパティの問題に対処する最先端の外部貢献を表彰します。 AI テクノロジーの急速な進歩に対応し、セキュリティ上の課題に確実に対処できるようにするため。 責任 ちなみに、私たちは最近既存のサービスを拡張しました バグハンタープログラム 当社の AI システムに特有の問題や脆弱性のサードパーティによる発見と報告を促進するため。この拡張は、 自発的な AI への取り組み 私たちがXNUMX月にホワイトハウスで作ったものです。
セキュリティ コミュニティがこれらの動向をよりよく理解できるように、報酬プログラムの要素に関する詳細情報を追加しました。
特典の範囲内のもの
私たちの最近のでは AIレッドチームレポート、に基づいています GoogleのAIレッドチーム 演習では、最も関連性があり現実的であると考えられる一般的な戦術、技術、手順 (TTP) を特定しました。 AI システムに対して使用する現実世界の敵。次の表には、研究コミュニティが AI バグレポートの基準と報奨プログラムの対象範囲を理解するのに役立つように、私たちが学んだことをまとめています。報酬の額は、攻撃シナリオの重大度と影響を受けるターゲットの種類によって異なることに注意することが重要です (次のページを参照)。 プログラムルールページ 詳細については、報酬表をご覧ください)。
プロンプト攻撃: アプリケーションが意図しない方法で、敵対者がモデルの動作、つまり出力に影響を与えることを可能にする敵対的なプロンプトを作成します。 |
被害者には見えない即時注入を行い、被害者のアカウントまたは資産の状態を変更します。 |
|
被害ユーザーに直接影響する決定を下すために応答が使用されるツールへのプロンプト注入。 |
||
プロンプトまたはプリアンブルの抽出。抽出されたプリアンブルに機密情報が存在する場合にのみ、モデルの準備に使用される最初のプロンプトをユーザーが抽出できます。 |
||
製品を使用して、違反、誤解を招く、または事実に反するコンテンツを自分のセッション内で生成すること (例: 「脱獄」)。これには、「幻覚」や事実に反する回答が含まれます。 Google の生成 AI 製品には、この種のコンテンツの問題に対する専用のレポート チャネルがすでにあります。 |
範囲外 |
|
トレーニング データの抽出: 機密情報を含むトレーニング サンプルを逐語的に再構築できる攻撃。メンバーシップ推論とも呼ばれます。 |
機密性の高い非公開情報を漏洩するトレーニング データ セットで使用される項目を再構成するトレーニング データの抽出。 |
|
非機密/公開情報を再構成する抽出。 |
範囲外 |
|
モデルの操作: 攻撃者は、事前に定義された敵対的な動作を引き起こすことができるように、モデルの動作を密かに変更することができます。 |
Google が所有および運用するモデルの特定の入力を介して攻撃者が確実にトリガーできる敵対的な出力または動作 (「バックドア」)。対象となるのは、モデルの出力が被害者のアカウントまたはデータの状態を変更するために使用される場合のみです。 |
|
攻撃者がモデルのトレーニング データを操作して、攻撃者の好みに応じて被害者のセッションでのモデルの出力に影響を与える攻撃。対象となるのは、モデルの出力が被害者のアカウントまたはデータの状態を変更するために使用される場合のみです。 |
||
Adversarial Perturbation (敵対的摂動): 決定論的ではあるがモデルから非常に予期せぬ出力をもたらす、モデルに提供される入力。 |
敵対者がセキュリティ制御において誤分類を確実に引き起こし、悪意のある使用や敵対的利益のために悪用される可能性があるコンテキスト。 |
|
モデルの誤った出力や分類が、説得力のある攻撃シナリオや、Google やユーザーに損害を与える実現可能な経路を引き起こさないコンテキスト。 |
範囲外 |
|
モデルの盗難/流出: AI モデルには機密の知的財産が含まれることが多いため、当社はこれらの資産の保護を最優先にしています。窃盗攻撃により、攻撃者はモデルのアーキテクチャや重みなどの詳細を盗むことができます。 |
機密/独自モデルの正確なアーキテクチャまたは重みが抽出される攻撃。 |
|
アーキテクチャと重みが正確に抽出されない攻撃、または機密でないモデルから抽出される攻撃。 |
範囲外 |
|
AI を利用したツールに上記以外の欠陥が見つかった場合でも、それが次の条件を満たしている限り、提出することができます。 プログラムページに記載されている資格. |
有効なセキュリティまたは悪用の問題に関する当社の資格を明らかに満たすバグまたは動作。 |
|
AI 製品を使用して、他のツールではすでに可能になっている潜在的に有害な操作を実行します。たとえば、オープンソース ソフトウェアの脆弱性を見つける(公開されているソフトウェアを使用してすでに可能です) 静的解析ツール)、答えがすでにオンラインで入手可能な場合に、有害な質問に対する答えを作成します。 |
範囲外 |
|
私たちのプログラムと同様に、私たちがすでに知っている問題は報酬の対象になりません。 |
範囲外 |
|
潜在的な著作権問題 — 製品が著作権で保護されているように見えるコンテンツを返品するという調査結果。 Google の生成 AI 製品には、この種のコンテンツの問題に対する専用のレポート チャネルがすでにあります。 |
範囲外 |
私たちは、バグ報奨金プログラムを AI システムに拡張することで、 責任あるAIイノベーション今後も研究コミュニティと協力して、AI を活用した機能のセキュリティと悪用の問題を発見して修正していきたいと考えています。対象となる問題を見つけた場合は、バグ ハンター Web サイトにアクセスしてバグ レポートを送信してください。問題が有効であると判明した場合は、ユーザーの安全を守るための協力として報酬を受け取ります。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :は
- :not
- $UP
- 視聴者の38%が
- 32
- 33
- 視聴者の38%が
- 36
- 41
- 7
- 8
- 9
- a
- できる
- 私たちについて
- 上記の.
- 虐待
- 従った
- 住所
- アドレッシング
- 進歩
- 敵対者
- 影響を及ぼす
- 影響を受けました
- に対して
- AI
- AIモデル
- AIシステム
- AI電源
- 許す
- 既に
- また
- 金額
- an
- 分析
- および
- 回答
- どれか
- 現われる
- 申し込み
- 建築
- です
- AS
- 資産
- At
- 攻撃
- 攻撃
- 利用できます
- バックドア
- ベース
- BE
- 行動
- 行動
- 信じる
- より良いです
- 報奨金
- 賞金プログラム
- バグ
- バグバウンティ
- バグ
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 呼ばれます
- 缶
- 課題
- 変化する
- チャネル
- 分類
- はっきりと
- コマンドと
- コミュニティ
- 説得力のある
- 検討
- 整合性のある
- 含む
- コンテンツ
- 連続
- 貢献
- コントロール
- 著作権
- 基準
- 最先端
- データ
- データセット
- 決定
- 専用の
- 依存
- 細部
- 進展
- 直接に
- 発見する
- 発見
- do
- ありません
- e
- 努力
- 要素は
- 適格
- 確保
- 確立
- 例
- 例
- 流出
- 拡大
- 拡大
- 拡大
- 外部
- エキス
- 抽出
- 実行可能な
- 特徴
- もう完成させ、ワークスペースに掲示しましたか?
- 発見
- 調査結果
- 修正する
- 欠陥
- フォロー中
- フォワード
- 育てる
- 発見
- から
- FT
- 利得
- 生成する
- 生々しい
- 生成AI
- Go
- でログイン
- 害
- 有害な
- 持ってる
- 助けます
- 助け
- それゆえ
- ハイ
- 非常に
- 名誉
- お家の掃除
- HTML
- HTTP
- HTTPS
- 特定され
- if
- 実装する
- 重要
- in
- 不正確
- include
- 含まれました
- 含ま
- 組み込む
- 影響
- 情報
- 初期
- 入力
- 知的
- 知的財産
- 意図された
- に
- 目に見えない
- 問題
- 問題
- IT
- リーディングシート
- ITS
- JPG
- 7月
- キープ
- 知っている
- 漏れ
- 学んだ
- リストされた
- 見て
- 製
- 維持する
- make
- ミーツ
- メンバーシップ
- 誤解を招く
- モデル
- 他には?
- 最も
- 注意
- of
- 頻繁に
- on
- オンライン
- の
- 開いた
- オープンソース
- 運営
- or
- その他
- 私たちの
- 出力
- 自分の
- 所有している
- 部
- path
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- お願いします
- ポーズ
- 可能
- :
- 正確に
- 準備
- 現在
- 素数
- 優先順位
- 手続き
- 作成
- プロダクト
- 製品
- 演奏曲目
- プロンプト
- プロパティ
- 財産
- 保護された
- 保護
- 提供
- 公然と
- 資格
- 予選
- 質問
- 急速な
- RE
- 現実の世界
- 現実的な
- 最近
- レッド
- 関連した
- レポート
- 各種レポート作成
- レポート
- 研究
- 応答
- 回答
- 結果
- return
- 報いる
- 報わ
- ルール
- s
- 安全な
- シナリオ
- スコープ
- セキュリティ
- 送信
- 敏感な
- セッション
- セッションに
- So
- ソフトウェア
- 何か
- ソース
- 特定の
- 都道府県
- まだ
- 提出する
- 首尾よく
- そのような
- サポート
- システム
- テーブル
- 戦術
- ターゲット
- チーム
- テクニック
- テクノロジー
- より
- それ
- ステート
- アプリ環境に合わせて
- ボーマン
- 彼ら
- サードパーティ
- この
- 〜へ
- ツール
- 豊富なツール群
- トレーニング
- トリガー
- type
- わかる
- 予期しない
- us
- つかいます
- 中古
- ユーザー
- users
- 有効な
- Ve
- 、
- 被害者
- 犠牲者
- 訪問
- 自発的
- 脆弱性
- 脆弱性
- 仕方..
- 方法
- we
- ウェブ
- ウェブサイト
- した
- この試験は
- 何ですか
- いつ
- which
- 白
- ホワイトハウス
- Wikipedia
- 意志
- 仕事
- You
- あなたの
- ゼファーネット