2023 年が終わるずっと前に、XNUMX 年はすでに生成 AI の年として栄えていました。ユーザーのプロンプトに対して詳細で耳障りな人間的な応答を生成する ChatGPT のようなモデルの出現に刺激されて、専門家も初心者も同様に、このテクノロジーが仕事、教育、創造性に与える潜在的な影響について熟考し始めました。
しかし、今日の大規模言語モデル (LLM) は驚くほど高性能である一方で、驚くほど脆弱でもある、と Khoury 教授の Alina Oprea 氏は言います。彼女は 10 年以上にわたってサイバーセキュリティの文脈で AI を研究しており、最近、AI に対するこれらの攻撃、つまり攻撃がどのように機能するのか、どのように分類されるのか、どのように攻撃できるのか (できないのか) を詳しく調査したレポートを共同執筆しました。軽減されました。
「生成 AI を安全に保つのは非常に困難です」と Oprea 氏は言います。 「これらのモデルとそのトレーニング データの規模は時間の経過とともに拡大するため、これらの攻撃はさらに容易になります。そして、テキストを超えて画像や音声に至る生成 AI について話し始めると、セキュリティは非常に未解決の問題になります。」
商務省の国立標準技術研究所(NIST)が発行したこの報告書は、Opreaが昨年NISTのApostol Vassilev氏と共著した報告書の最新版である。その最初のレポートでは、より伝統的な予測 AI について扱っていましたが、それ以来、生成 AI の人気が爆発的に高まったため、Opera と Vassilev は、プロジェクトの権限を拡大するために、Robust Intelligence の生成 AI 専門家である Alie Fordyce と Hyrum Anderson を迎えました。
「現在、私たちは学者、政府、産業界が協力しています。それが報告書の対象読者です」とオプレア氏は述べた。
レポートによると、生成 AI モデルはさまざまな要因によって脆弱になっています。まず、ほとんどの攻撃は「かなり簡単に仕掛けられ、AI システムに関する最小限の知識しか必要としない」と Oprea 氏は指摘します。もう 1 つは、モデルの膨大なトレーニング データセットが大きすぎて人間が監視および検証できないことです。また、モデルを支えるコードは自動化されていません。人間の節度に依存しており、悪意のある人間の干渉にさらされています。
研究者4人組によると、その結果は、AIシステムを混乱させ、機能不全を引き起こす4つの主要なタイプの攻撃だという。すなわち、モデルの入力を変更して応答を変える回避攻撃、モデルの基礎となるアルゴリズムやトレーニングデータを破壊するポイズニング攻撃、プライバシーである。モデルを誘導して医療情報などの機密トレーニング データを明らかにさせる攻撃や、モデルが学習する正当なソースに誤った情報をフィードする悪用攻撃です。攻撃者はモデルの入力を操作することで、その出力を事前に選択できます。
「これは商業目的、広告、マルウェア スパムやヘイト スピーチの生成に使用される可能性があります。これらのモデルでは通常生成されないものです」と Oprea 氏は説明します。
悪意のある攻撃者は、過剰な負担をかけずに、AI モデルがトレーニングする Web データを制御し、バックドアを導入し、そこからモデルの動作をこっそり操作することができます。これらのモデルの人気が爆発的に高まっていることを考えると、このようなバックドアはそれだけで十分に懸念されることになります。しかし、被害はそれだけにとどまりません。
「現在、LLM を使用する統合アプリケーションが存在します。たとえば、ある企業がバックグラウンドで LLM と統合する電子メール エージェントを構築すると、そのエージェントが電子メールを読んで、代わりに電子メールを送信できるようになります」と Oprea 氏は言います。 「しかし、攻撃者は同じツールを使用して、何千人もの人々にマルウェアやスパムを送信する可能性があります。これらのアプリケーションに LLM を統合しているため、攻撃対象領域が増加しています。」
ヘイトスピーチや大量スパムと同様に破壊的で危険ですが、さらに大きなセキュリティ上の懸念が目前に迫っています。
「自動運転車など、一部のアプリケーションは安全性が重要です」とオプレア氏は言う。 「これらのモデルが誤った予測を行う場合、それらは使用できません。」
では、何ができるのでしょうか?チームは、レポートの分類を自分の研究の基礎やコンテキストとして使用できる政策立案者、AI 開発者、学者などの少数の対象者向けに、毎年更新する予定のレポートを作成しました。オプレア氏によると、これらのグループはすべて、AI モデルが人間の価値観に沿ったものとなり、プライバシーが保護され、ユーザーの利益を最優先に運用されるようにするためにやるべき仕事があるという。しかし彼女は、報告書で提起されたすべての問題に対処するのは困難であり、緩和ではなく解決策を宣伝する人は大きな間違いであることを認めています。
「緩和策よりもはるかに多くの攻撃が存在しており、私たちが言及するすべての緩和策には、モデルの精度の低下を含む、トレードオフまたはパフォーマンスのオーバーヘッドが存在します」と Oprea 氏は警告します。 「緩和策は無料ではなく、AI の保護は非常に困難な取り組みですが、このレポートが攻撃を理解するための有用な出発点となることを願っています。」
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.mtlc.co/in-the-age-of-chatgpt-ai-models-are-massively-popular-and-easily-compromised/
- :持っている
- :は
- 2023
- a
- 私たちについて
- 虐待
- 学者
- 精度
- 俳優
- アドレッシング
- 進める
- 出現
- 広告
- 年齢
- エージェント
- AI
- AIモデル
- AIシステム
- アルゴリズム
- 整列する
- 同様に
- すべて
- 既に
- また
- 変更する
- an
- および
- アンダーソン
- 年単位
- 別の
- 誰も
- です
- AS
- 攻撃
- 攻撃
- 聴衆
- ヒアリング
- 自動化
- 裏口
- バックドア
- 背景
- BE
- なぜなら
- になる
- き
- 始まった
- 代わって
- 行動
- BEST
- 越えて
- より大きい
- 構築します
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 缶
- できる
- 自動車
- 原因となる
- 注意
- 挑戦
- 変化する
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- 選択する
- 分類された
- コード
- 来ます
- コマーシャル
- 会社
- 損害を受けた
- について
- 懸念事項
- コンテキスト
- コントロール
- 腐敗した
- 可能性
- 協議会
- 創造性
- サイバーセキュリティ
- 損傷
- 危険な
- データ
- データセット
- 配られた
- 十年
- 探求する
- 部門
- 詳細な
- 開発者
- 難しい
- do
- そうではありません
- 行われ
- ドント
- 容易
- 簡単に
- 簡単に
- 教育
- メール
- 将来
- 終わった
- 巨大な
- 十分な
- 確保
- 回避
- さらに
- あらゆる
- 例
- 詳細
- 専門家
- 説明
- 露出した
- 要因
- 少数の
- Foundation
- 4
- 無料版
- から
- 生成する
- 生成
- 生々しい
- 生成AI
- 与えられた
- ゴエス
- 政府・公共機関
- グループの
- 成長する
- 持っていました
- 嫌い
- 持ってる
- 希望
- 地平線
- 認定条件
- HTTPS
- 人間
- 人間
- 画像
- 影響
- in
- 含めて
- 誤った
- 増加した
- 産業を変えます
- 情報
- 初期
- 入力
- 機関
- 統合された
- 統合する
- 統合
- インテリジェンス
- 意図された
- 関心
- に
- 紹介する
- 問題
- IT
- ITS
- キープ
- 知識
- 言語
- 大
- 姓
- 昨年
- リーダーシップ
- 学ぶ
- 正当な
- ような
- LLM
- 主要な
- make
- 作る
- 悪意のある
- マルウェア
- 操作する
- 多くの
- 質量
- 大規模
- 医療の
- 言及
- 最小限の
- 緩和
- モデル
- 節度
- モニター
- 他には?
- 最も
- MOUNT
- 国民
- ニスト
- 注意
- ノート
- 初心者
- 今
- of
- on
- かつて
- ONE
- の
- 開いた
- Opera
- 操作する
- or
- outputs
- が
- オーバーヘッド
- 自分の
- のワークプ
- パフォーマンス
- 計画
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- 中毒
- 政策立案
- 人気
- 人気
- 潜在的な
- 予測
- 準備
- プライバシー
- 生産された
- 東京大学大学院海洋学研究室教授
- プロジェクト(実績作品)
- プロンプト
- は、大阪で
- 公表
- 目的
- 質問
- 隆起した
- むしろ
- 読む
- 本当に
- 最近
- 信頼する
- レポート
- 必要とする
- 研究者
- 回答
- 明らかにする
- 堅牢な
- 同じ
- 言う
- 言う
- 規模
- 安全に
- 確保する
- セキュリティ
- 自動運転
- 送信
- 敏感な
- セット
- 彼女
- から
- ソリューション
- ソース
- スパム
- スピーチ
- 規格
- start
- 起動
- 舵を取る
- Force Stop
- 勉強
- そのような
- 表面
- システム
- 会話
- 分類
- チーム
- テク
- テクノロジー
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- そこ。
- ボーマン
- 彼ら
- 物事
- それらの
- 数千
- 時間
- 〜へ
- 今日の
- 一緒に
- あまりに
- ツール
- 伝統的な
- トレーニング
- 列車
- 根本的な
- 基盤
- 理解する
- アップデイト
- つかいます
- 中古
- 便利
- ユーザー
- users
- 通常
- 検証
- 価値観
- 多様
- 非常に
- 脆弱性
- 脆弱な
- we
- ウェブ
- 歓迎
- この試験は
- which
- while
- 誰
- 意志
- 仕事
- ワーキング
- でしょう
- 年
- You
- あなたの
- ゼファーネット