パッチが適用されていない重大な脆弱性により AI モデルが乗っ取られる可能性がある

研究者らは、AI モデルが使用するインフラストラクチャに XNUMX 件近くの重大な脆弱性 (さらに、重大度の高い XNUMX 件と中程度のバグ XNUMX 件) を特定しました。これらの脆弱性は、企業が AI の活用を競う際に危険にさらされる可能性があります。 それらの一部はパッチが適用されていないままです。

影響を受けるプラットフォームは、大規模言語モデル (LLM)、その他の ML プラットフォームや AI のホスティング、デプロイ、共有に使用されます。 これらには、機械学習モデルの分散トレーニングに使用される Ray が含まれます。 MLflow、機械学習ライフサイクル プラットフォーム。 モデルDB、機械学習管理プラットフォーム。 そして H20 バージョン 3、Java ベースの機械学習用のオープンソース プラットフォーム。

Machine 学習型セキュリティ企業 Protect AI は、AI に特化したバグ報奨金プログラム Huntr の一環として、16 月 XNUMX 日にこの結果を公表しました。 いいえソフトウェアのメンテナとベンダーに脆弱性について通知し、問題にパッチを適用するまでに 45 日間の猶予を与えました。

各問題には CVE 識別子が割り当てられており、問題の多くは修正されていますが、その他の問題はパッチが適用されていないままです。その場合、Protect AI は次の回避策を推奨しました。 その助言.

AI のバグは組織に高いリスクをもたらす

Protect AI によると、AI システムの脆弱性により、攻撃者が AI モデルに不正にアクセスし、自らの目的のためにモデルを利用できる可能性があります。

しかし、それらはネットワークの残りの部分への出入り口を与えることもできると、Protect AI のチーフアーキテクトである Sean Morgan 氏は言います。 たとえば、サーバーの侵害と、ローコード AI サービスからの資格情報の盗難が、初期アクセスの XNUMX つの可能性として考えられます。

「推論サーバーには、ユーザーが ML モデルを（リモートで）使用できるようにするためのアクセス可能なエンドポイントを設けることができますが、誰かのネットワークに侵入する方法はたくさんあります」と彼は言います。 「私たちが（バグ報奨金プログラムの対象として）ターゲットにしているこれらの ML システムは、昇格された権限を持っていることが多いため、誰かがネットワークに侵入できた場合に、非常に機密性の高いシステムにすぐに権限が昇格できないようにすることが非常に重要です」 」

たとえば、Ray 分散学習プラットフォームの API にある重大なローカル ファイル インクルードの問題 (現在パッチ済み) により、攻撃者はシステム上の任意のファイルを読み取ることができます。 H20 プラットフォームの別の問題 (こちらも修正済み) により、AI モデルのインポートを介してコードを実行できます。

このリスクは理論上のものではありません。大企業はすでに、有用な AI モデルを見つけて市場や業務に適用するための積極的なキャンペーンに着手しています。 銀行はすでに、たとえば住宅ローンの処理やマネーロンダリング対策に機械学習やAIを活用している。

見つけながら これらの AI システムの脆弱性 インフラストラクチャの侵害につながる可能性があり、知的財産を盗むことも大きな目標であると、Protect AI の社長兼共同創設者であるダリアン・デガンピシェ氏は述べています。

「産業スパイは大きな要素であり、AI と ML の戦いにおいて、モデルは非常に貴重な知的財産資産です」と彼は言います。 「毎日、モデルのトレーニングにどれだけのお金が費やされているかを考えてみてください。また、XNUMX 億のパラメーターなどについて話しているとき、非常に多額の投資が行われますが、純粋な資本は簡単に侵害されたり盗まれたりするだけです。」

HackerOne のシニア ソリューション アーキテクトであるデーン シェレッツ氏は、人々が ChatGPT などの AI システムと行う自然言語対話を支えるインフラストラクチャに対する新たなエクスプロイトとの戦いは、さらに大きな影響を与えるだろうと述べています。 サイバー犯罪者がこの種の脆弱性を引き起こすことができた場合、AI システムの効率性によってその影響がさらに大きくなるからです。

これらの攻撃により、「システムが機密データを吐き出したり、悪意のある攻撃者がシステムのバックエンドにアクセスできるようになったりする可能性があります」と彼は言います。 「トレーニング データ ポイズニングのような AI の脆弱性も重大な波及効果をもたらし、誤った出力や悪意のある出力が広範に拡散する可能性があります。」

AI インフラストラクチャのセキュリティ: 見落とされがちな

XNUMX 年前の ChatGPT の導入後、AI、特に生成 AI (GenAI) に基づくテクノロジーとサービスが普及しました。 その結果、 さまざまな敵対攻撃 AI および機械学習システムとその運用をターゲットにできるものが開発されています。 たとえば、15 月 XNUMX 日には、AI セキュリティ会社 Adversa AI が
GPTベースのシステムに対する多数の攻撃を明らかにした これには、システムがアクセスできる API のプロンプト リークと列挙が含まれます。

しかし、ProtectAI のバグ公開は、機械学習プロセスや AI 運用をサポートするツールやインフラストラクチャも標的になる可能性があるという事実を浮き彫りにしています。 そして多くの場合、企業は AI ベースのツールやワークフローを採​​用しています。 情報セキュリティグループに頻繁に相談せずに.

「あらゆるハイテクの誇大宣伝サイクルと同様に、人々はシステムを導入し、アプリケーションをリリースし、ビジネスや市場のニーズを満たす新しいエクスペリエンスを作成しますが、多くの場合、セキュリティを軽視し、これらを作成します。さもなければ、彼らは自分たちが持っている既存のセキュリティ機能で安全を保てると思い込むでしょう」とデガンピシェ氏は言います。 「しかし、私たち（サイバーセキュリティ専門家）が従来のデータセンターに対して行っていることは、必ずしもクラウドで安全を保つとは限りませんし、その逆も同様です。」

Protect AI は、Huntr と呼ばれるバグ報奨金プラットフォームを使用して、さまざまな機械学習プラットフォームの脆弱性の投稿を何千人もの研究者から募りましたが、今のところ、この分野でのバグハンティングは初期段階にとどまっています。 しかし、それは変わろうとしているかもしれない。

たとえば、トレンドマイクロのゼロデイ イニシアチブでは、AI/ML ツールのバグ発見に対する大きな需要はまだ見られていませんが、同グループでは、業界が研究者に発見してほしい脆弱性の種類が定期的に変化していることを確認しており、今後 AI に焦点が当てられる可能性があります。トレンドマイクロのゼロデイ・イニシアチブの脅威認識責任者であるダスティン・チャイルズ氏は、「まもなく」と述べています。

「他の業界の発展で見てきたのと同じことが、AI でも見られています」と彼は言います。 「当初は、セキュリティの優先順位が低くなり、機能の追加が優先されました。 今では一定の受け入れレベルに到達し、人々はセキュリティへの影響について疑問を持ち始めています。」

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://www.darkreading.com/vulnerabilities-threats/unpatched-critical-vulnerabilities-ai-models-takeover