ソフトウェア サプライ チェーンのセキュリティ問題が今日では十分に難しいと思っているなら、しっかりと腰を据えてください。人工知能 (AI) の使用が爆発的に増加することで、今後数年間でサプライ チェーンの問題の解決が飛躍的に困難になるでしょう。
開発者、アプリケーション セキュリティの専門家、DevSecOps の専門家は、アプリケーションやクラウド インフラストラクチャに組み込まれたオープン ソースと独自コンポーネントの無限の組み合わせのように見えるものの中に潜む、最もリスクの高い欠陥を修正するよう求められています。しかし、どのコンポーネントがあり、どのコンポーネントが脆弱で、どの欠陥が最も危険にさらされているかを理解しようとするのは絶え間ない戦いです。明らかに、彼らはソフトウェア内のこれらの依存関係を現状のままで適切に管理することにすでに苦労しています。
さらに困難になるのは、AI が状況をさらに悪化させるであろう相乗効果です。
自己実行コードとしての AI モデル
AI および機械学習 (ML) 対応ツールは、他の種類のアプリケーションとまったく同じソフトウェアであり、そのコードはサプライ チェーンの不安定性の影響を受ける可能性が高くなります。ただし、AI ソフトウェア サプライ チェーンの攻撃対象領域を大幅に増加させる別の資産変数、つまり AI/ML モデルが混合に追加されます。
「AI アプリケーションが他の形式のソフトウェアと異なるのは、機械学習モデルと呼ばれるものに何らかの形で依存していることです」と Protect AI の共同創設者であるダリアン デガンピシェ氏は説明します。 「その結果、その機械学習モデル自体がインフラストラクチャの資産になりました。インフラストラクチャに資産がある場合、環境をスキャンして、資産がどこにあるか、何が含まれているか、誰が権限を持っているか、何をしているかを特定する機能が必要です。そして、今日のモデルでそれができないのであれば、モデルを管理することはできません。」
AI/ML モデルは、パターンの認識、予測、意思決定、アクションのトリガー、またはコンテンツの作成を行う AI システムの機能の基盤を提供します。しかし実のところ、ほとんどの組織は、ソフトウェアに組み込まれているすべての AI モデルを可視化する方法さえ知りません。モデルとその周囲のインフラストラクチャは、他のソフトウェア コンポーネントとは異なる方法で構築されており、従来のセキュリティとソフトウェア ツールは、AI モデルがどのように機能するか、どのように欠陥があるかをスキャンしたり理解したりするように構築されていません。これがこれらをユニークなものにしているのだとデガンピシェ氏は言い、本質的には自己実行コードの隠された部分であると説明します。
「モデルは設計上、自己実行されるコードです。それにはある程度の主体性があります」とデガンピシェ氏は言います。 「インフラストラクチャ全体に、目に見えず、識別もできず、何が含まれているかも、コードが何であるかも分からず、自己実行される資産があると言ったら、外部に電話をかけるなんて、疑わしいほど許可ウイルスのように聞こえますよね?」
AI の不安を早期に観察した人
この問題を先取りすることが、彼と彼の共同創設者たちが 2022 年に Protect AI を立ち上げる大きな原動力となった。これは、AI 時代に迫り来るモデルのセキュリティとデータリネージの問題に対処するために次々と誕生する新興企業の XNUMX つである。 Dehghanpisheh 氏と共同創設者の Ian Swanson 氏は、以前 AWS で AI/ML ソリューションの構築に協力していたときに、未来を垣間見ました。 Dehghanpisheh は、AI/ML ソリューション アーキテクトの世界的リーダーでした。
「私たちが AWS で一緒に過ごした間、生成 AI が経営幹部から議会に至るまで全員の心を掴むずっと前に、顧客が信じられないほど速いペースで AI/ML システムを構築しているのを見てきました」と彼は言い、次のように説明しました。彼は、さまざまなエンジニアやビジネス開発の専門家だけでなく、顧客とも幅広く協力してきました。 「そのとき、AI/ML システムに特有のセキュリティ上の脆弱性がどこにどのように存在するかに気づきました。」
彼らは、サイバーセキュリティの将来に信じられないほどの影響を与える AI/ML に関する 3 つの基本的な事柄を観察しました、と彼は言います。 1 つ目は、導入のペースが非常に速かったため、企業内の他の種類の開発を監督するようなガバナンスから逃れた影の IT 組織が AI 開発とビジネス利用の周りにいかに急速に現れているかを彼らが目の当たりにしたことです。
2 つ目は、商用ツールであれオープンソースであれ、使用されていたツールの大部分が、セキュリティ概念について訓練を受けたことのないデータ サイエンティストや新進気鋭の ML エンジニアによって構築されていたことです。
「その結果、セキュリティ第一の考え方で構築されていない、非常に便利で、非常に人気があり、非常に分散され、広く採用されているツールができました」と彼は言います。
AI システムは「セキュリティ第一」で構築されていない
その結果、多くの AI/ML システムや共有ツールには認証と認可の基本が欠けており、ファイル システムで過剰な読み取りおよび書き込みアクセスを許可することがよくあると同氏は説明します。安全でないネットワーク構成と、モデルに内在する問題が相まって、組織は、これらの非常に複雑で理解しにくいシステムにおける連鎖的なセキュリティ問題に行き詰まり始めます。
「その結果、既存のセキュリティ ツール、プロセス、フレームワークには、どんなに左にシフトしたとしても、機械学習エンジニア、データ サイエンティスト、AI ビルダーが必要とするコンテキストが欠けていることに気づきました」と彼は言います。
最後に、彼と Swanson が AWS 時代に行った 3 番目の主要な観察は、AI 侵害は来ていないということでした。彼らはすでに到着していました。
「私たちは、お客様がさまざまな AI/ML システムで侵害を起こしており、本来は捕らえられるべきだったのに捕らえられなかったのを目にしました」と彼は言います。 「その結果、セットとプロセス、およびインシデント対応管理要素が、AI/ML の設計方法に合わせて専用に構築されたものではないことが分かりました。生成 AI の勢いが増すにつれて、この問題はさらに悪化しています。」
AI モデルは広く共有されている
Dehghanpisheh 氏と Swanson 氏はまた、モデルとトレーニング データが、他のソフトウェア サプライ チェーンと同様に真剣に検討する必要がある独自の新しい AI サプライ チェーンをどのように作成しているかについても理解し始めました。他の最新のソフトウェア開発やクラウド ネイティブのイノベーションと同様に、データ サイエンティストや AI 専門家は、AI モデルやそのトレーニングに使用されるデータを含む、オープンソースや共有コンポーネントの広範な使用を通じて、AI/ML システムの進歩を促進してきました。非常に多くの AI システムは、学術的であれ商業的であれ、他人のモデルを使用して構築されています。そして、他の現代の開発と同様に、AI 開発の爆発的な増加により、毎日大量の新しいモデル資産がサプライ チェーン全体に流入し続けています。これは、それらを追跡することがますます困難になっていることを意味します。
たとえば、顔を抱きしめてみましょう。これは、現在オンラインでオープンソース AI モデルの最も広く使用されているリポジトリの 2022 つです。その創設者らは、AI の GitHub になりたいと言っています。 93,501 年 414,695 月に遡ると、Hugging Face ユーザーは 527,244 個の異なるモデルをコミュニティと共有していました。翌年 XNUMX 月には、その台数は XNUMX 台にまで増加しました。わずか XNUMX か月後の現在、その数は XNUMX 人に増加しています。これは、日に日にその範囲が雪だるま式に拡大している問題です。そして、それはソフトウェアサプライチェーンのセキュリティ問題を「さらに強化することになる」とデガンピシェ氏は言う。
A 最近の分析 彼の会社は、Hugging Face で公開共有されている何千ものモデルが、モデルのロードまたは推論時に任意のコードを実行できることを発見しました。 Hugging Face はセキュリティ問題についてリポジトリの基本的なスキャンを行っていますが、その過程で多くのモデルが見逃されています。研究で発見されたリスクの高いモデルの少なくとも半分はプラットフォームによって安全ではないとみなされておらず、Hugging Face はドキュメントでそれを明らかにしています。モデルの安全性を判断するのは最終的にはユーザーの責任です。
AI サプライチェーンへの取り組みのステップ
デガンピシェ氏は、AI 時代のサイバーセキュリティの要は、まず AI の系譜を構造的に理解することから始まると考えています。これには、モデル リネージとデータ リネージが含まれます。これらは基本的に、これらのアセットの起源と履歴、アセットがどのように変更されたか、およびアセットに関連付けられたメタデータです。
「そこが最初のスタート地点だ。見えないもの、わからないもの、定義できないものは修正できないですよね?」彼は言います。
一方、日常の運用レベルでは、組織はモデルをスキャンして、システムの強化だけでなく出力の整合性に影響を与える可能性のある欠陥を探す機能を構築する必要があると、デガンピシェ氏は考えています。これには、たとえば自動運転車が歩行者に衝突することによって現実世界で身体的危害を引き起こす可能性がある AI のバイアスや誤動作などの問題が含まれます。
「まず最初にスキャンする必要があります」と彼は言います。 「2 番目に、これらのスキャンを理解する必要があります。 3 つ目は、フラグが立てられたものを見つけたら、基本的にそのモデルのアクティブ化を停止する必要があることです。その主体性を制限する必要がある。」
MLSecOps の推進
MLSecOps は、従来のソフトウェアの世界での DevSecOps の動きを反映した、ベンダー中立の動きです。
「DevOps から DevSecOps への移行と同様に、2 つのことを同時に行う必要があります。まず最初にやるべきことは、セキュリティが課題であり、それが共同の責任であることを実務者に認識させることです」とデガンピシェ氏は言います。 「次にやるべきことは、コンテキストを提供し、データ サイエンティスト、機械学習エンジニア、および AI ビルダーを最先端の状態に保ち、常に革新し続ける一方で、セキュリティ上の懸念が背景に消えるようにするツールにセキュリティを組み込むことです。 」
さらに、組織はガバナンス、リスク、コンプライアンスのポリシーと、セキュリティ上の不安が発見されたときに実行されるアクションとプロセスを管理するのに役立つ施行機能とインシデント対応手順の追加を開始する必要があるだろうと同氏は述べています。これは、堅実な DevSecOps エコシステムと同様に、MLSecOps には経営幹部に至るまでのビジネス関係者の強力な関与が必要であることを意味します。
良いニュースは、AI/ML セキュリティが、他の急速な技術革新が最初から実現できなかった恩恵、つまり、最初から規制による恩恵を受けていることです。
「他のテクノロジーの移行について考えてみましょう」とデガンピシェ氏は言います。 「連邦規制当局やさらには州規制当局が、早い段階でこう言ったのを一度だけ挙げてください。『おいおい、その内容をすべて私に話せ』。そのシステムについての知識を優先する必要があります。部品表を優先する必要があります。何もないよ。」
これは、多くのセキュリティ リーダーが、イノベーション ライフ サイクルのかなり早い段階で AI セキュリティ機能を構築することに賛同を得られる可能性が高いことを意味します。この支援の最も明白な兆候の 1 つは、組織の新しい職務のスポンサーへの急速な移行です。
「規制の考え方がもたらした最大の違いは、2023 年 XNUMX 月の時点では AI セキュリティ担当ディレクターという概念が斬新で、存在していなかったということです。でもXNUMX月になると、そういう役柄が見え始めたんです」とデガンピシェさんは言う。 「今では彼らはどこにでも存在し、資金も提供されています。」
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :持っている
- :は
- :not
- :どこ
- ][p
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- 能力
- 私たちについて
- アカデミック
- アクセス
- 越えて
- 行動
- 活性化する
- 加えます
- 追加
- 添加
- 住所
- 採択
- 養子縁組
- 進歩
- 代理店
- 先んじて
- AI
- AIモデル
- AIシステム
- AI / ML
- すべて
- 許可
- 沿って
- 既に
- また
- 量
- an
- および
- 別の
- どれか
- 申し込み
- アプリケーションセキュリティ
- 任意
- 設計された
- 建築家
- です
- 周りに
- 到着
- 人工の
- 人工知能
- 人工知能(AI)
- AS
- 資産
- 資産
- 関連する
- At
- 攻撃
- 認証
- 承認
- 自律的
- 知って
- AWS
- バック
- 背景
- 基本
- の基礎
- 戦い
- BE
- になる
- き
- 背後に
- さ
- と考えています
- 恩恵を受ける
- バイアス
- ビッグ
- 最大の
- ビル
- 出血
- だまされた
- 違反
- た
- バックル
- ビルド
- ビルダー
- 建物
- 内蔵
- ビジネス
- 事業開発
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- Cスイート
- 呼ばれます
- コール
- 缶
- 機能
- 捕捉した
- 自動車
- キャッチ
- 原因となる
- 一定
- チェーン
- 挑戦する
- 変更
- クリア
- はっきりと
- クラウド
- クラウドインフラ
- 共同創設者
- 共同創設者
- コード
- 組み合わせ
- 来ます
- 到来
- コマーシャル
- コミュニティ
- 複雑な
- コンプライアンス
- コンポーネント
- コンセプト
- コンセプト
- 懸念事項
- 議会
- 見なさ
- 定数
- 絶えず
- 含む
- コンテンツ
- コンテキスト
- 可能性
- 結合しました
- 墜落
- 作ります
- 作成
- Customers
- サイバーセキュリティ
- サイクル
- daily
- データ
- 中
- 日
- 決定
- 考える
- 定義します
- 依存関係
- 設計
- 決定
- 開発
- しなかった
- 違い
- 異なります
- 異なって
- 難しい
- 取締役
- 姿を消す
- 発見
- 配布
- do
- ドキュメント
- ありません
- doesnの
- ドン
- ダウン
- 運転
- 間に
- 前
- 早い
- エコシステム
- エッジ(Edge)
- 効果
- 要素は
- ほかに
- 埋め込まれた
- エンドレス
- 執行
- エンジニア
- 十分な
- Enterprise
- エンティティ
- 環境
- 時代
- 本質的に
- さらに
- あらゆる
- 誰も
- すべてのもの
- 例
- 実行します
- エグゼクティブ
- 存在する
- 既存の
- 拡大
- 専門家
- 説明
- 説明
- 爆発
- 指数関数的に
- 広く
- 顔
- ファッション
- スピーディー
- 連邦政府の
- File
- 会社
- 企業
- 名
- 直接
- 修正する
- フラグが立てられた
- 欠陥
- 欠陥
- フォロー中
- フォーム
- 発見
- Foundation
- 創設者
- フレームワーク
- から
- 燃料補給
- 機能
- 積立
- 未来
- 獲得
- ゲート
- 生々しい
- 生成AI
- 取得する
- 受け
- GitHubの
- 与える
- 垣間見ます
- グローバル
- 行く
- 良い
- だ
- 支配する
- ガバナンス
- 助成金
- 大いに
- 成長性
- 持っていました
- 半分
- もっと強く
- 害
- 持ってる
- he
- 助けます
- 隠されました
- 最高
- 非常に
- 彼に
- 彼の
- history
- 認定条件
- How To
- しかしながら
- HTTPS
- 巨大な
- i
- 識別する
- if
- 影響
- 意義
- in
- 事件
- インシデント対応
- 含ま
- 含めて
- 増加
- 信じられない
- 信じられないほど
- 流入
- インフラ関連事業
- 固有の
- 革新的
- 革新的手法
- 安全でない
- 整合性
- インテリジェンス
- に
- 関与
- ISN
- 問題
- 問題
- IT
- ITS
- 自体
- 1月
- ジョブ
- JPG
- 六月
- ただ
- キープ
- 保管
- 続けて
- 種類
- 知っている
- 知識
- 欠如
- はしご
- 後で
- 発射
- リーダー
- リーダー
- 学習
- 最低
- 左
- レベル
- 生活
- ような
- 可能性が高い
- 系統
- 負荷
- 長い
- 探して
- 迫り来る
- たくさん
- 機械
- 機械学習
- 製
- 主要な
- 大多数
- make
- 作る
- 管理します
- 管理
- 委任
- 多くの
- 材料
- 問題
- me
- 手段
- 心
- 考え方
- 逃した
- 行方不明
- ミックス
- ML
- モデル
- モダン
- 弾み
- ヶ月
- 他には?
- 最も
- 運動
- ずっと
- 名
- すなわち
- ナビゲート
- 必要
- ネットワーク
- 決して
- 新作
- 新しい会社
- ニュース
- いいえ
- 小説
- 11月
- 今
- 数
- 観察
- 明白
- of
- 頻繁に
- on
- かつて
- ONE
- もの
- オンライン
- の
- 開いた
- オープンソース
- 公然と
- オペレーショナル
- or
- 組織
- 起源
- その他
- でる
- 出力
- 外側
- が
- 監督する
- 平和
- パターン
- 許可
- パーミッション
- 物理的な
- ピックアップ
- ピース
- ピース
- 場所
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポリシー
- 人気
- 予測
- 前に
- 優先順位をつける
- 問題
- 問題
- 手続き
- ラボレーション
- 専門家
- 所有権
- PROS
- 守る
- 提供します
- プッシュ
- 置きます
- すぐに
- 範囲
- 急速な
- RE
- 読む
- 現実の世界
- 実現する
- 実現
- 本当に
- 認識する
- レギュレーター
- レギュレータ
- レギュレータ
- 頼る
- 倉庫
- 研究
- 応答
- 責任
- REST
- 制限する
- 結果
- 右
- リスク
- リスクモデル
- 役割
- s
- 安全性
- 前記
- 同じ
- 見ました
- 言う
- 言う
- スキャン
- スキャニング
- スキャン
- 科学者たち
- スコープ
- 二番
- セキュリティ
- 見ること
- と思われる
- 真剣に
- セッションに
- Shadow
- shared
- シフト
- すべき
- サイン
- 同様の
- 状況
- So
- ソフトウェア
- ソフトウェアコンポーネント
- ソフトウェア開発
- ソフトウェアサプライチェーン
- 固体
- 溶液
- ソリューション
- 一部
- 誰か
- 何か
- 音
- ソース
- 費やした
- スポンサー
- スポンサー
- ステークホルダー
- スタンド
- start
- 開始
- 都道府県
- ステップ
- Force Stop
- 強い
- 構造化された
- 苦労して
- 供給
- サプライチェーン
- サポート
- 表面
- 疑わしい
- システム
- テーブル
- タックル
- 取る
- テクノロジー
- 技術革新
- 言う
- より
- それ
- 基礎
- 未来
- アプリ環境に合わせて
- それら
- その後
- そこ。
- ボーマン
- 彼ら
- もの
- 物事
- 考える
- 三番
- この
- それらの
- 考え
- 数千
- 三
- 介して
- 時間
- 〜へ
- 今日
- 一緒に
- 言われ
- あまりに
- 豊富なツール群
- 追跡する
- 伝統的な
- トレーニング
- 訓練された
- トレーニング
- 遷移
- トリガー
- 真実
- しよう
- 2
- 最終的に
- わかる
- 理解する
- ユニーク
- us
- つかいます
- 中古
- 便利
- users
- 変数
- 多様
- Ve
- 非常に
- ウイルス
- 視認性
- 脆弱性
- 脆弱な
- 欲しいです
- ました
- 仕方..
- we
- WELL
- went
- した
- ウェン
- この試験は
- いつ
- かどうか
- which
- while
- 誰
- その
- 広く
- 意志
- 仕事
- 働いていました
- 世界
- もっと悪い
- でしょう
- 書きます
- 年
- You
- あなたの
- ゼファーネット