企業がますます人工知能 (AI) 機能を製品ポートフォリオに追加するにつれて、サイバーセキュリティの専門家は、機械学習 (ML) コンポーネントが新しいタイプの攻撃に対して脆弱であり、保護する必要があると警告しています。
19 月 XNUMX 日にローンチされたスタートアップ HiddenLayer は、企業が機密性の高い機械学習モデルとそれらのモデルのトレーニングに使用されるデータをより適切に保護できるよう支援することを目的としています。 同社は、攻撃に対するモデルの強化と、それらのモデルのトレーニングに使用されるデータの保護を目的として、ML 検出および応答セグメントを対象とした最初の製品をリリースしました。
リスクは理論的なものではありません。同社の創業者は Cylance で働いていたときに、研究者がマルウェアを検出するために同社の AI エンジンをバイパスする方法を発見したと、HiddenLayer の CEO である Christopher Sestito は述べています。
「彼らは製品自体を介してモデルを攻撃し、モデルと対話して、モデルのどこが最も弱いかを判断しました」と彼は言います。
Sestito は、より多くの企業がその機能を製品に組み込むにつれて、AI/ML システムに対する攻撃が増加すると予想しています。
「AI と ML は、これまでに見た中で最も急速に成長しているテクノロジーであるため、これまでに見た中で最も急速に成長している攻撃ベクトルになると予想しています」と彼は言います。
機械学習モデルの欠陥
ML は、多くの企業の次世代製品にとってなくてはならないものになっていますが、企業は通常、セキュリティへの影響を考慮せずに AI ベースの機能を追加しています。 脅威の中には、Cylance に対して実施された調査などのモデル回避や、攻撃者がモデルにクエリを実行し、出力に基づいて機能的に同等のシステムを構築できる機能抽出があります。
XNUMX年前、Microsoft、MITRE、およびその他の企業 Adversarial Machine Learning Threat Matrix を作成 AI ベースのシステムに対する潜在的な脅威をカタログ化します。 現在は、 人工知能システム (ATLAS) の敵対的脅威ランドスケープ、可能性のある攻撃の辞書は、革新的な技術が革新的な攻撃を引き付けることを強調しています。
「特定のソフトウェアおよびハードウェア システムに関連付けられている従来のサイバーセキュリティの脆弱性とは異なり、敵対的な ML の脆弱性は、ML アルゴリズムの根底にある固有の制限によって可能になります。」 GitHub の ATLAS プロジェクト ページ. 「データは、新たな脅威ベクトルと急速に進化する敵対的機械学習攻撃ライフサイクルを反映するために、サイバー攻撃者の行動をモデル化する方法の拡張を必要とする新しい方法で武器化される可能性があります。」
実際の脅威は、Cylance で一緒に働いていた HiddenLayer の XNUMX 人の創設者 (Sestito、Tanner Burns、James Ballard) にはよく知られています。 当時、Skylight Cyber の研究者は 既知の正常なコードを追加 — 実際には、ゲーム ロケット リーグの実行可能ファイルの文字列のリスト — Cylance のテクノロジーをだまして、マルウェアの 84% が実際には無害であると信じ込ませます。
「私たちの機械学習モデルが私たちの製品を通じて直接攻撃された後、私たちは救援活動を主導し、製品に ML モデルを展開している組織にとってこれが大きな問題になることを認識しました」と Sestito 氏は述べています。 HiddenLayer の立ち上げを発表する声明.
リアルタイムで敵を探す
HiddenLayer は、ML システムの動作を監視し、データや計算へのアクセスを必要とせずに、既知の敵対的手法のいずれかを使用してソフトウェアが攻撃されているかどうかを判断できるシステムを作成することを目指しています。
「私たちはモデルとの振る舞いの相互作用を調べています。それは IP アドレスまたはエンドポイントである可能性があります」と Sestito 氏は言います。 「モデルが意図したとおりに使用されているのか、入力と出力が活用されているのか、要求者が非常に高いエントロピーの決定を下しているのかを分析しています。」
リアルタイムで行動分析を行う能力により、同社の ML の検出と対応は他のアプローチとは一線を画すものになる、と彼は言います。 さらに、このテクノロジーは特定のモデルやトレーニング データへのアクセスを必要としないため、知的財産がさらに隔離されると HiddenLayer 氏は述べています。
また、このアプローチは、セキュリティ エージェントのオーバーヘッドが 1 ～ 2 ミリ秒程度と小さいことも意味します、と Sestito 氏は言います。
「生データがベクトル化された後に入力を見ているので、パフォーマンスへの影響はほとんどありません」と彼は言います。
