研究者らは、Hugging Face 人工知能 (AI) プラットフォームにアップロードされた約 100 の機械学習 (ML) モデルを発見し、攻撃者がユーザーのマシンに悪意のあるコードを挿入できる可能性があります。この調査結果は、攻撃者が侵入した場合に潜在する脅威の増大をさらに強調しています。 公開されている AI モデルを毒する 悪質な行為の場合。
JFrog Security Research による悪意のあるモデルの発見は、攻撃者が ML モデルを使用してユーザー環境を侵害する方法に関する同社による継続的な研究の一環であると、JFrog Security Research は述べています。 ブログ投稿 今週公開されました。
具体的には、JFrog 新たな脅威を検出して無力化するために、Hugging Face (広く使用されているパブリック AI モデル リポジトリ) にアップロードされたモデル ファイルを精査するスキャン環境を開発しました。 特にコードの実行から。
研究者らは、このツールを実行する際に、リポジトリにロードされたモデルに悪意のあるペイロードが含まれていることを発見しました。一例では、baller423 という名前のユーザー (現在削除されているアカウント) によってリポジトリにアップロードされた PyTorch モデルにスキャナーがフラグを立てたため、攻撃者が任意の Python コードを主要プロセスに挿入できるようになります。これにより、モデルがユーザーのマシンにロードされるときに悪意のある動作が引き起こされる可能性があります。
ハグ顔ペイロード分析
通常、研究者によってアップロードされた AI モデルに埋め込まれたペイロードは、害を及ぼさずに脆弱性を実証したり概念実証を披露したりすることを目的としていますが、baller423 によってアップロードされたペイロードは大きく異なりました、と JFrog の上級セキュリティ研究者 David Cohen 氏は投稿で述べています。
実際の IP アドレス 210.117.212.93 へのリバース シェル接続を開始しました。 「著しく侵入的であり、 潜在的に悪意のある外部サーバーへの直接接続を確立するため、単なる脆弱性の実証ではなく、潜在的なセキュリティ上の脅威を示しています」と彼は書いています。
JFrog は、この IP アドレス範囲が「Korea Research Environment Open Network」の略である Kreonet に属していることを発見しました。 Kreonet は、韓国の高速ネットワークとして機能し、高度な研究と教育の取り組みをサポートします。したがって、AI 研究者または実践者がモデルの背後にいる可能性があります。
「しかし、セキュリティ研究の基本原則は、実際に機能するエクスプロイトや悪意のあるコードを公開しないことです」と、悪意のあるコードが実際の IP アドレスに接続しようとしたときに原則が破られたとコーエン氏は指摘しました。
さらに、モデルが削除された直後、研究者らは、さまざまな IP アドレスを持つ同じペイロードのさらなるインスタンスに遭遇し、そのうちの 1 つはアクティブなままでした。
「Hugging Face」に対するさらなる調査により、約 100 の潜在的に悪意のあるモデルが明らかになり、この攻撃の広範な影響が浮き彫りになりました。 悪意のある AI モデルによる全体的なセキュリティ脅威、これには継続的な警戒とより積極的なセキュリティが必要であるとコーエン氏は書いています。
悪意のある AI モデルの仕組み
攻撃者がどのようにして Hugging Face ML モデルを武器化できるかを理解するには、baller423 によってアップロードされたもののような悪意のある PyTorch モデルがどのように機能するかを理解する必要があります。 PythonとAIの開発.
特定の種類の ML モデル (たとえば、Python オブジェクトをシリアル化するための一般的な形式である「ピクル」形式を使用するモデルなど) を読み込むときに、コードが実行される可能性があります。 JFrog によると、pickle ファイルには、ファイルのロード時に実行される任意のコードが含まれる可能性があるためです。
開発者による一般的なアプローチであるトランスフォーマーを使用した PyTorch モデルのロードには、ファイルからモデルを逆シリアル化する torch.load() 関数の使用が含まれます。 JFrog によると、特に Hugging Face の Transformers ライブラリでトレーニングされた PyTorch モデルを扱う場合、開発者はこの方法をよく使用して、モデルをそのアーキテクチャ、重み、および関連する構成とともにロードします。
そして、トランスフォーマーは自然言語処理タスクのための包括的なフレームワークを提供し、洗練されたモデルの作成と展開を容易にする、とコーエン氏は観察しました。
「悪意のあるペイロードは、pickle モジュールの __reduce__ メソッドを使用して PyTorch モデル ファイルに挿入されたようです」と彼は書いています。 「この方法により、攻撃者は逆シリアル化プロセスに任意の Python コードを挿入することができ、モデルのロード時に悪意のある動作を引き起こす可能性があります。」
Hugging Face には、マルウェア スキャン、ピクルス スキャン、秘密スキャンなど、高品質のセキュリティ保護機能が多数組み込まれていますが、ピクルス モデルのダウンロードを完全にブロックしたり制限したりするわけではありません。代わりに、それらを「安全ではない」とマークするだけです。これは、誰かが依然として有害な可能性のあるモデルをダウンロードして実行できることを意味します。
さらに、悪意のあるコードが実行される可能性があるのは pickle ベースのモデルだけではないことに注意することが重要です。たとえば、Hugging Face で 2 番目に普及しているモデル タイプは Tensorflow Keras です。JFrog によると、攻撃者にとってこのメソッドを悪用するのはそれほど簡単ではありませんが、これも任意のコードを実行する可能性があります。
汚染された AI モデルによるリスクを軽減する
研究者らが Hugging Face で AI セキュリティ リスクを発見したのは、これが初めてではありません。Hugging Face は、ML コミュニティがモデル、データセット、アプリケーションで協力するプラットフォームです。 AI セキュリティの新興企業 Lasso Security の研究者らは以前、次の方法を使用して Meta の Bloom、Meta-Llama、および Pythia 大規模言語モデル (LLM) リポジトリにアクセスできたと述べました。 GitHub と Hugging Face で発見した安全でない API アクセス トークン LLM 開発者向けのプラットフォーム。
このアクセスにより、敵対者は次のことを行うことができます。 静かにトレーニング データを毒する これらの広く使用されている LLM では、モデルやデータ セットを盗み、他の悪意のあるアクティビティを実行する可能性があります。
実際、一般に公開されているものの存在が増大しているため、 潜在的に悪意のある AI/ML モデル JFrog によると、特に AI/ML エンジニアやパイプライン マシンなどの人口統計を特にターゲットにした攻撃の場合、サプライ チェーンに大きなリスクをもたらします。
このリスクを軽減するには、AI 開発者は次のような利用可能な新しいツールを使用する必要があります。 ハンター、AIモデルとプラットフォームのセキュリティ体制を強化するために、AIの脆弱性に特化して調整されたバグ報奨金プラットフォームであるとコーエン氏は書いている。
「この共同の取り組みは、Hugging Face リポジトリを強化し、これらのリソースに依存する AI/ML エンジニアと組織のプライバシーと完全性を保護するために不可欠です」と彼は書いています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :持っている
- :は
- :not
- :どこ
- 100
- 210
- 212
- 7
- a
- できる
- 私たちについて
- アクセス
- 従った
- アクティブ
- 活動
- アクティビティ
- 実際の
- 住所
- アドレス
- 高度な
- 後
- AI
- AIモデル
- AIプラットフォーム
- AI / ML
- 目指す
- 許可されて
- 沿って
- また
- an
- 分析
- および
- どれか
- API
- APIアクセス
- 登場する
- アプローチ
- 任意
- 建築
- です
- 人工の
- 人工知能
- 人工知能(AI)
- AS
- 関連する
- At
- 攻撃
- 試みた
- 利用できます
- バック
- なぜなら
- き
- 行動
- 背後に
- さ
- 所属
- ブロック
- ブログ
- ブルーム
- 内蔵
- by
- 呼ばれます
- 缶
- 原因
- 一定
- チェーン
- コード
- コーエン
- 共同作業する
- 集団
- COM
- コマンドと
- コミュニティ
- 包括的な
- 妥協
- お問合せ
- 接続
- 定数
- 含む
- コンテキスト
- 可能性
- 創造
- データ
- データセット
- デイビッド
- 取引
- 需要
- 人口動態
- 実証します
- 展開
- 検出
- 開発者
- 直接
- 発見
- 発見
- doesnの
- ダウンロード
- 簡単に
- 教育の
- 努力
- 埋め込まれた
- 新興の
- enable
- 可能
- 努力
- エンジニア
- 高めます
- 環境
- 環境
- 確立する
- さらに
- 例
- 実行します
- 実行された
- 実行
- 実行
- 存在
- 悪用する
- エクスプロイト
- 外部
- 顔
- 容易化する
- File
- 調査結果
- 会社
- 名
- 初回
- フラグが立てられた
- 形式でアーカイブしたプロジェクトを保存します.
- 発見
- フレームワーク
- から
- function
- 基本的な
- さらに
- GitHubの
- 成長
- 起こる
- 害
- 有害な
- 持ってる
- he
- 強調表示
- 認定条件
- しかしながら
- HTTPS
- 影響
- 命令的
- 重要
- in
- 含めて
- 示します
- 開始
- 注入します
- を取得する必要がある者
- 整合性
- インテリジェンス
- に
- 押し付けがましい
- 調査
- 関与
- IP
- IPアドレス
- IPアドレス
- ISN
- IT
- ITS
- JPG
- ただ
- keras
- キー
- 韓国
- 言語
- 大
- つながる
- 主要な
- 学習
- 図書館
- ような
- LLM
- 負荷
- ローディング
- 機械
- 機械学習
- マシン
- 主要な
- 悪意のある
- マルウェア
- 五月..
- 手段
- 単なる
- Meta
- 方法
- 軽減する
- 緩和する
- ML
- モデル
- モジュール
- 他には?
- 名前付き
- ナチュラル
- 自然言語処理
- ネットワーク
- 新作
- 特に
- 注意
- 注意
- 数
- オブジェクト
- of
- 頻繁に
- on
- ONE
- 継続
- 〜に
- 開いた
- オープンネットワーク
- or
- 組織
- その他
- 完全に
- 部
- 特に
- パイプライン
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 毒
- ポーズ
- 可能
- ポスト
- 潜在的な
- :
- 流行している
- 前に
- 原則
- プライバシー
- 先を見越した
- プロセス
- 処理
- 提供します
- 公共
- 公然と
- 公表
- 出版
- Python
- パイトーチ
- 品質
- 範囲
- むしろ
- リアル
- 信頼
- 残っている
- 削除済み
- 倉庫
- 必要
- 研究
- 研究者
- 研究者
- リソース
- 制限する
- 逆
- 謎の
- リスク
- ランニング
- s
- 保護
- 前記
- 同じ
- スキャニング
- 秘密
- セキュリティ
- セキュリティスタートアップ
- シニア
- 仕える
- セット
- シェル(Shell)
- まもなく
- すべき
- ショーケース
- 著しく
- から
- 一部
- 誰か
- 洗練された
- サウス
- 韓国
- 特に
- スポンサー
- スタンド
- スタートアップ
- まだ
- そのような
- 供給
- サプライチェーン
- サポート
- がち
- テーラード
- ターゲット
- タスク
- テンソルフロー
- より
- それ
- それら
- その後
- したがって、
- ボーマン
- 彼ら
- この
- 今週
- しかし?
- 脅威
- 脅威
- 従って
- 時間
- 〜へ
- トークン
- ツール
- 豊富なツール群
- トーチ
- 訓練された
- トレーニング
- トランスフォーマー
- type
- 一般的に
- 発見
- 下線
- わかる
- 理解する
- アップロード
- つかいます
- 中古
- ユーザー
- 使用されます
- 変化する
- 警戒
- 脆弱性
- 脆弱性
- ました
- 週間
- した
- この試験は
- いつ
- which
- 広く
- より広い
- 以内
- 無し
- 仕事
- ワーキング
- 作品
- でしょう
- 書いた
- ゼファーネット