あらゆる規模と業界の顧客が、自社の製品やサービスに機械学習 (ML) を導入することで AWS で革新を進めています。 生成 AI モデルの最近の発展により、業界全体で ML 導入の必要性がさらに高まっています。 ただし、セキュリティ、データ プライバシー、ガバナンス制御の実装は、ML ワークロードを大規模に実装する際に顧客が直面する重要な課題となっています。 これらの課題に対処することで、リスクを軽減し、ML 主導の製品を責任を持って使用するためのフレームワークと基盤が構築されます。 生成 AI には、毒性の除去や脱獄や幻覚の防止など、追加の制御が必要な場合がありますが、セキュリティとガバナンスの基本コンポーネントは従来の ML と同じです。
お客様からは、カスタマイズされた製品を構築するには専門知識と最大 12 か月の投資が必要であると聞いています。 アマゾンセージメーカー ML プラットフォームの実装により、基幹業務 (LOB) または ML チーム向けに、スケーラブルで信頼性が高く、安全で管理された ML 環境を確保します。 大規模な ML ライフサイクルを管理するためのフレームワークが不足している場合、チームレベルのリソースの分離、実験リソースのスケーリング、ML ワークフローの運用化、モデル ガバナンスのスケーリング、ML ワークロードのセキュリティとコンプライアンスの管理などの課題に遭遇する可能性があります。
大規模な ML ライフサイクルの管理は、業界のベスト プラクティスとエンタープライズ標準に基づいたセキュリティとガバナンス制御が組み込まれた ML プラットフォームの構築を支援するフレームワークです。 このフレームワークは、モジュール式フレームワーク アプローチを通じて規範的なガイダンスを提供することで課題に対処し、 AWS Control Tower マルチアカウント AWS 環境とこの投稿で説明したアプローチ 安全で適切に管理された機械学習環境を AWS にセットアップする.
これは、次の ML プラットフォーム機能に関する規範的なガイダンスを提供します。
- マルチアカウント、セキュリティ、ネットワーク基盤 – この機能は AWS Control Tower を使用し、 よく設計された原則 マルチアカウント環境、セキュリティ、ネットワーク サービスのセットアップと運用に使用します。
- データとガバナンスの基盤 – この機能は データメッシュアーキテクチャ データ レイク、中央機能ストア、およびデータ ガバナンス基盤を設定および運用して、きめ細かいデータ アクセスを可能にします。
- ML プラットフォームの共有およびガバナンス サービス – CI/CDなどの共通サービスの設定・運用を可能にする機能です。 AWSサービスカタログ 環境のプロビジョニング用と、モデルのプロモーションとリネージ用の中央モデル レジストリです。
- ML チーム環境 – この機能により、セキュリティとガバナンス制御を組み込むためのモデルの開発、テスト、ユースケースの展開のための ML チームの環境のセットアップと運用が可能になります。
- ML プラットフォームの可観測性 – この機能は、ログの一元化とログ分析の視覚化ツールの提供を通じて、ML モデルの問題のトラブルシューティングと根本原因の特定に役立ちます。 また、ML ユースケースのコストと使用状況レポートを生成するためのガイダンスも提供します。
このフレームワークはすべての顧客にメリットをもたらしますが、組織全体で管理され、コンプライアンスに準拠し、調整されたアプローチで ML 戦略を拡張したいと考えている大規模、成熟した、規制された企業、またはグローバル企業の顧客にとって最も有益です。 リスクを軽減しながら ML の導入を可能にするのに役立ちます。 このフレームワークは次のお客様に役立ちます。
- ML の使用に関心のある多くの LOB または部門を抱える大企業の顧客。 このフレームワークにより、中央のガバナンスを提供しながら、さまざまなチームが ML モデルを個別に構築およびデプロイできるようになります。
- ML において中程度から高度な成熟度を持つ企業顧客。 彼らはすでに初期の ML モデルをいくつかデプロイしており、ML の取り組みを拡大することを検討しています。 このフレームワークは、組織全体での ML 導入の加速に役立ちます。 これらの企業は、アクセス制御、データ使用、モデルのパフォーマンス、不当なバイアスなどを管理するガバナンスの必要性も認識しています。
- 金融サービス、ヘルスケア、化学、民間部門などの規制対象業界の企業。 これらの企業は、ビジネス プロセスで使用される ML モデルに対する強力なガバナンスと可聴性を必要としています。 このフレームワークを採用すると、ローカル モデルの開発を可能にしながら、コンプライアンスを促進できます。
- 集中管理とローカル管理のバランスを取る必要があるグローバル組織。 このフレームワークのフェデレーション アプローチにより、中央のプラットフォーム エンジニアリング チームがいくつかの高レベルのポリシーと標準を設定できるようになりますが、LOB チームがローカルのニーズに基づいて適応できる柔軟性も得られます。
このシリーズの最初の部分では、ML プラットフォームをセットアップするためのリファレンス アーキテクチャについて説明します。 後の投稿では、組織内のリファレンス アーキテクチャのさまざまなモジュールを実装する方法についての規範的なガイダンスを提供する予定です。
次の図に示すように、ML プラットフォームの機能は XNUMX つのカテゴリに分類されます。 これらの機能は、この投稿で後述するリファレンス アーキテクチャの基礎を形成します。
- ML 基盤の構築
- ML 運用のスケールアップ
- 観測可能な ML
- セキュアなML
ソリューションの概要
大規模な ML ライフサイクルを管理するためのフレームワークにより、組織は ML ライフサイクル全体にセキュリティとガバナンスの制御を組み込むことができ、これにより組織はリスクを軽減し、製品やサービスへの ML の導入を促進できます。 このフレームワークは、増加するモデルやプロジェクトをサポートするために拡張できる、安全でスケーラブルで信頼性の高い ML 環境のセットアップとガバナンスを最適化するのに役立ちます。 このフレームワークにより、次の機能が有効になります。
- 組織のポリシーに準拠したインフラストラクチャ リソースを使用したアカウントとインフラストラクチャのプロビジョニング
- データ サイエンス環境と ML ユースケース向けのエンドツーエンド ML オペレーション (MLOps) テンプレートのセルフサービス展開
- セキュリティとプライバシーのコンプライアンスのためのリソースの LOB レベルまたはチームレベルの分離
- 実験および実稼働準備が整ったワークフローのための実稼働グレードのデータへの管理されたアクセス
- コード リポジトリ、コード パイプライン、デプロイされたモデル、データ機能の管理とガバナンス
- ガバナンスを向上させるためのモデル レジストリと機能ストア (ローカルおよび中央コンポーネント)
- エンドツーエンドのモデル開発および展開プロセスのセキュリティとガバナンス制御
このセクションでは、セキュリティとガバナンス制御が組み込まれたこの ML プラットフォームを AWS 上に構築するのに役立つ規範的なガイダンスの概要を提供します。
ML プラットフォームに関連する機能アーキテクチャを次の図に示します。 このアーキテクチャは、ML プラットフォームのさまざまな機能を AWS アカウントにマッピングします。
さまざまな機能を備えた機能アーキテクチャは、以下を含む多数の AWS サービスを使用して実装されます。 AWS組織、SageMaker、AWS DevOps サービス、およびデータレイク。 さまざまな AWS サービスを備えた ML プラットフォームのリファレンス アーキテクチャを次の図に示します。
このフレームワークでは、複数のペルソナとサービスを考慮して、大規模な ML ライフサイクルを管理します。 チームとサービスを組織するには、次の手順をお勧めします。
- クラウド管理者は、AWS Control Tower と自動化ツールを使用して、組織や組織などのマルチアカウント基盤をセットアップします。 AWS IAM アイデンティティ センター (AWS Single Sign-On の後継) および次のようなセキュリティおよびガバナンス サービス AWSキー管理サービス (AWS KMS) とサービスカタログ。 さらに、管理者は、ML と分析のワークフローをサポートするために、さまざまな組織単位 (OU) と初期アカウントを設定します。
- データ レイク管理者は、データ レイクとデータ カタログを設定し、ML プラットフォーム管理者と連携して中央機能ストアを設定します。
- ML プラットフォーム管理者は、次のような ML 共有サービスをプロビジョニングします。 AWS コードコミット, AWS コードパイプライン, Amazon エラスティック コンテナ レジストリ (Amazon ECR)、中央モデルレジストリ、 SageMaker モデルカード, SageMaker モデルダッシュボード、ML チーム向けのサービス カタログ製品。
- ML チームのリーダーは、IAM Identity Center を介してフェデレーションを行い、Service Catalog 製品を使用して、ML チームの開発環境にリソースをプロビジョニングします。
- さまざまなビジネス ユニットの ML チームのデータ サイエンティストがチームの開発環境に連携して、モデル パイプラインを構築します。
- データ サイエンティストは、中央の機能ストア カタログから機能を検索して取得し、実験を通じてモデルを構築し、プロモーションに最適なモデルを選択します。
- データ サイエンティストは、新しい機能を作成して中央の機能ストア カタログに共有し、再利用します。
- ML エンジニアは、共有サービス CI/CD プロセスを使用して、モデル パイプラインを ML チームのテスト環境にデプロイします。
- 関係者の検証後、ML モデルはチームの実稼働環境にデプロイされます。
- セキュリティとガバナンスの制御は、次のようなサービスを使用して、このアーキテクチャのすべての層に組み込まれています。 AWSセキュリティハブ, アマゾンガードデューティ, アマゾンメイシー、 もっと。
- セキュリティ制御は、Security Hub を使用してセキュリティ ツール アカウントから一元管理されます。
- SageMaker モデル カードや SageMaker モデル ダッシュボードなどの ML プラットフォーム ガバナンス機能は、ガバナンス サービス アカウントから一元管理されます。
- アマゾンクラウドウォッチ および AWS クラウドトレイル 各メンバー アカウントのログには、AWS ネイティブ サービスを使用して可観測性アカウントから一元的にアクセスできるようになります。
次に、このフレームワークのリファレンス アーキテクチャのモジュールを詳しく見ていきます。
リファレンスアーキテクチャモジュール
リファレンス アーキテクチャは XNUMX つのモジュールで構成され、それぞれが特定の問題セットを解決するように設計されています。 これらのモジュールは集合的に、インフラストラクチャ、データ、モデル、コストなどのさまざまな側面にわたるガバナンスに対応します。 各モジュールは個別の機能セットを提供し、他のモジュールと相互運用して、セキュリティとガバナンス制御が組み込まれた統合されたエンドツーエンド ML プラットフォームを提供します。 このセクションでは、各モジュールの機能の簡単な概要を示します。
マルチアカウント基盤
このモジュールは、クラウド管理者が AWS Control Tower ランディング ゾーン 基本的なフレームワークとして。 これには、マルチアカウント構造の構築、IAM ID センターによる認証と認可、ネットワークのハブアンドスポーク設計、一元化されたロギング サービス、標準化されたセキュリティとガバナンスのベースラインを備えた新しい AWS メンバー アカウントの構築が含まれます。
さらに、このモジュールでは、ML および分析ワークフローのサポートに適した OU およびアカウント構造に関するベスト プラクティス ガイダンスを提供します。 クラウド管理者は、必要なアカウントと OU の目的、それらの展開方法、ML と分析のワークロードを一元管理するために使用する必要がある主要なセキュリティ サービスとコンプライアンス サービスを理解します。
新しいアカウントを販売するためのフレームワークについても説明します。これは、新しいアカウントをプロビジョニングするときに自動化を使用してベースラインを設定します。 自動アカウント プロビジョニング プロセスをセットアップすることで、クラウド管理者は、ガバナンスの強力な基盤を犠牲にすることなく、ML チームと分析チームに作業をより迅速に実行するために必要なアカウントを提供できます。
データレイクの基盤
このモジュールは、データ レイク管理者がデータを取り込み、データセットをキュレートし、 AWSレイクフォーメーション 一元化されたデータ カタログ、データ アクセス ポリシー、タグベースのアクセス制御を使用して、アカウントとユーザー全体でのきめ細かいデータ アクセスを管理するためのガバナンス モデル。 概念実証またはいくつかの小規模なワークロードのために、データ プラットフォーム基盤用の XNUMX つのアカウントから小規模に始めることができます。 中規模から大規模な運用ワークロードの実装の場合は、マルチアカウント戦略を採用することをお勧めします。 このような設定では、LOB は異なる AWS アカウントを使用してデータ プロデューサーとデータ コンシューマーの役割を引き受けることができ、データ レイク ガバナンスは中央の共有 AWS アカウントから運用されます。 データ作成者は、データ資産の品質を監視および保証することに加えて、データ ドメインからデータを収集、処理、保存します。 データ コンシューマーは、一元化されたカタログが Lake Formation を使用してデータを共有した後、データ プロデューサーからのデータを消費します。 集中カタログは、データ プロデューサー アカウントの共有データ カタログを保存および管理します。
ML プラットフォーム サービス
このモジュールは、ML プラットフォーム エンジニアリング チームが、データ サイエンス チームがチーム アカウントで使用する共有サービスをセットアップするのに役立ちます。 このサービスには、次の製品を含むサービス カタログ ポートフォリオが含まれます。 SageMakerドメイン 展開、 SageMaker ドメイン ユーザー プロファイル 導入、モデルの構築と導入のためのデータ サイエンス モデル テンプレート。 このモジュールには、一元化されたモデル レジストリ、モデル カード、モデル ダッシュボード、およびモデル開発とデプロイのワークフローを調整および自動化するために使用される CI/CD パイプラインの機能があります。
さらに、このモジュールでは、ペルソナベースのセルフサービス機能を有効にするために必要な制御とガバナンスを実装する方法について詳しく説明し、データ サイエンス チームが必要なクラウド インフラストラクチャと ML テンプレートを独自にデプロイできるようにします。
ML ユースケースの開発
このモジュールは、LOB とデータ サイエンティストが開発環境でチームの SageMaker ドメインにアクセスし、モデル構築テンプレートをインスタンス化してモデルを開発するのに役立ちます。 このモジュールでは、データ サイエンティストがテンプレートの開発アカウント インスタンスで作業し、一元化されたデータ レイクで利用可能なデータを操作し、中央機能ストアの機能を再利用して共有し、ML 実験を作成して実行し、ML ワークフローを構築してテストします。そして、開発環境の開発アカウント モデル レジストリにモデルを登録します。
実験追跡、モデル説明可能性レポート、データとモデルのバイアス監視、モデル レジストリなどの機能もテンプレートに実装されており、データ サイエンティストが開発したモデルにソリューションを迅速に適応させることができます。
ML オペレーション
このモジュールは、LOB と ML エンジニアがモデル デプロイメント テンプレートの開発インスタンスで作業するのに役立ちます。 候補モデルが登録および承認されると、チームのテスト環境で CI/CD パイプラインを設定し、ML ワークフローを実行します。これにより、プラットフォーム共有サービス アカウントで実行されている中央モデル レジストリにモデルが登録されます。 モデルが中央モデル レジストリで承認されると、CI/CD パイプラインがトリガーされ、モデルがチームの実稼働環境にデプロイされます。
一元化された機能ストア
最初のモデルが運用環境にデプロイされ、複数のユース ケースが同じデータから作成された機能を共有し始めた後は、ユース ケース間のコラボレーションを確保し、重複作業を減らすために機能ストアが不可欠になります。 このモジュールは、ML プラットフォーム エンジニアリング チームが集中化された機能ストアをセットアップして、ML ユースケースによって作成された ML 機能のストレージとガバナンスを提供し、プロジェクト全体で機能を再利用できるようにするのに役立ちます。
ロギングと可観測性
このモジュールは、LOB と ML 実務者が、CloudTrail、CloudWatch、VPC フロー ログ、ML ワークロード ログなどのログ アクティビティを一元化することで、ML 環境全体の ML ワークロードの状態を可視化するのに役立ちます。 チームはログをフィルタリング、クエリ、視覚化して分析できるため、セキュリティ体制の強化にも役立ちます。
コストとレポート作成
このモジュールは、さまざまな関係者 (クラウド管理者、プラットフォーム管理者、クラウド ビジネス オフィス) がレポートとダッシュボードを生成して、ML ユーザー、ML チーム、および ML 製品レベルでコストを分類し、ユーザー数、インスタンス タイプ、インスタンス タイプなどの使用状況を追跡するのに役立ちます。エンドポイント。
お客様からは、作成するアカウントの数とそれらのアカウントの構成方法についてのガイダンスを提供してほしいとの要望がありました。 次のセクションでは、エンタープライズ ガバナンスの要件に応じてニーズに合わせて変更できる、そのアカウント構造に関するガイダンスを参考として提供します。
このセクションでは、アカウント構造を整理するための推奨事項について説明します。 私たちはベースラインの参照口座構造を共有しています。 ただし、ML 管理者とデータ管理者はクラウド管理者と緊密に連携して、組織の管理に基づいてこのアカウント構造をカスタマイズすることをお勧めします。
セキュリティ、インフラストラクチャ、ワークロード、展開のために OU ごとにアカウントを整理することをお勧めします。 さらに、各 OU 内では、非実稼働 OU と実稼働 OU ごとに整理します。これは、それらの下にデプロイされたアカウントとワークロードの制御が異なるためです。 次に、これらの OU について簡単に説明します。
セキュリティOU
この OU のアカウントは、セキュリティ イベントの監視、識別、保護、検出、および対応を目的として、組織のクラウド管理者またはセキュリティ チームによって管理されます。
インフラストラクチャOU
この OU のアカウントは、エンタープライズ レベルのインフラストラクチャ共有リソースとネットワークを管理するために、組織のクラウド管理者またはネットワーク チームによって管理されます。
インフラストラクチャ OU の下に次のアカウントを作成することをお勧めします。
- ネットワーク – 次のような集中ネットワークインフラストラクチャをセットアップします。 AWSトランジットゲートウェイ
- 共有サービス – 一元化された AD サービスと VPC エンドポイントをセットアップする
ワークロードOU
この OU のアカウントは、組織のプラットフォーム チーム管理者によって管理されます。 プラットフォーム チームごとに異なる制御を実装する必要がある場合は、その目的のために、ML ワークロード OU、データ ワークロード OU など、他のレベルの OU をネストできます。
ワークロード OU の下に次のアカウントをお勧めします。
- チームレベルの ML 開発、テスト、本番アカウント – ワークロード分離要件に基づいてこれを設定します
- データレイクアカウント – データドメインごとにアカウントを分割する
- 中央データ ガバナンス アカウント – データアクセスポリシーを一元化する
- 中央機能ストア アカウント – チーム間で共有できる機能を一元化
展開 OU
この OU のアカウントは、ワークロードと可観測性のデプロイのために組織のプラットフォーム チーム管理者によって管理されます。
ML プラットフォーム チームは、この OU レベルでさまざまな制御セットを設定してデプロイメントを管理および制御できるため、デプロイメント OU の下に次のアカウントを使用することをお勧めします。
- テスト用と本番用の ML 共有サービス アカウント – プラットフォーム共有サービス CI/CD およびモデル レジストリをホストします
- ML 可観測性はテストと本番環境を考慮します – 必要に応じて、CloudWatch ログ、CloudTrail ログ、その他のログをホストします
次に、インフラストラクチャ リソースを監視するためにメンバー アカウントに組み込むために考慮する必要がある組織制御について簡単に説明します。
AWS環境制御
コントロールは、AWS 環境全体に継続的なガバナンスを提供する高レベルのルールです。 平易な言葉で表現されています。 このフレームワークでは、AWS Control Tower を使用して、リソースを管理し、AWS アカウントのグループ全体でコンプライアンスを監視するのに役立つ次の制御を実装します。
- 予防管理 – 予防制御は、ポリシー違反につながるアクションを禁止し、サービス コントロール ポリシー (SCP) を使用して実装されるため、アカウントのコンプライアンスを確実に維持します。 たとえば、AWS アカウントまたはリージョンで CloudTrail が削除または停止されないように予防制御を設定できます。
- 探偵コントロール – 検出コントロールは、アカウント内のリソースの不遵守 (ポリシー違反など) を検出し、ダッシュボードを通じてアラートを提供し、以下を使用して実装されます。 AWSConfig ルール。 たとえば、パブリック読み取りアクセスが有効になっているかどうかを検出する検出コントロールを作成できます。 Amazon シンプル ストレージ サービス (Amazon S3) ログアーカイブ共有アカウントのバケット。
- プロアクティブな制御 – プロアクティブな制御は、プロビジョニングされる前にリソースをスキャンし、リソースがその制御に準拠していること、および次を使用して実装されていることを確認します。 AWS CloudFormation フック。 準拠していないリソースはプロビジョニングされません。 たとえば、SageMaker ノートブック インスタンスに対して直接インターネット アクセスが許可されていないことを確認するプロアクティブな制御を設定できます。
ML プラットフォーム サービス、ML ユースケース、ML オペレーション間の相互作用
データ サイエンスの責任者 (リード データ サイエンティスト)、データ サイエンティスト、ML エンジニアなどのさまざまな担当者が、次の図に示すように、ML プラットフォーム サービス、ML ユースケース開発、ML 運用のさまざまな段階でモジュール 2 ~ 6 を操作します。データ レイク基盤と中央機能ストアも同様です。
次の表は、さまざまなペルソナの運用フロー アクティビティとセットアップ フローのステップをまとめたものです。 ペルソナが運用フローの一部として ML アクティビティを開始すると、セットアップ フローの手順で説明したようにサービスが実行されます。
Persona | Ops Flow アクティビティ – 番号 | Ops フロー アクティビティ – 説明 | セットアップ フロー ステップ – 番号 | セットアップ フローのステップ – 説明 |
データ サイエンスのリードまたは ML チームのリード |
1 |
ML プラットフォーム サービス アカウントでサービス カタログを使用し、以下をデプロイします。
|
1- |
|
1-B |
|
|||
データサイエンティスト |
2 |
SageMaker ノートブックで ML 実験を実施および追跡します |
2- |
|
3 |
SageMaker プロジェクトとパイプラインを使用して成功した ML 実験を自動化します。 |
3- |
|
|
3-B |
SageMaker パイプラインの実行後、モデルをローカル (開発) モデル レジストリに保存します。 | |||
リード データ サイエンティストまたは ML チーム リード |
4 |
ローカル (開発) モデル レジストリ内のモデルを承認します。 |
4- |
モデルのメタデータとモデル パッケージは、ローカル (開発) モデル レジストリから中央モデル レジストリに書き込みます。 |
5 |
中央モデル レジストリ内のモデルを承認します。 |
5- |
デプロイメント CI/CD プロセスを開始して、テスト環境で SageMaker エンドポイントを作成します。 | |
5-B |
ローカル (開発) アカウントから ML プラットフォーム サービス アカウントの ML ガバナンス モジュール (モデル カード、モデル ダッシュボード) にモデル情報とメタデータを書き込みます。 | |||
MLエンジニア |
6 |
CI/CD 後のテスト環境で SageMaker エンドポイントをテストおよび監視します。 | . | |
7 |
本番環境での SageMaker エンドポイントのデプロイメントを承認します。 |
7- |
デプロイメント CI/CD プロセスを開始して、本番環境で SageMaker エンドポイントを作成します。 | |
8 |
CI/CD 後のテスト環境で SageMaker エンドポイントをテストおよび監視します。 | . |
ペルソナと ML プラットフォームのさまざまなモジュールとの対話
各モジュールは、モジュールを最も頻繁に利用する特定の部門内の特定の対象人物に対応し、主要なアクセスを許可します。 その後、モジュールを時折使用する必要がある他の部門に二次アクセスが許可されます。 モジュールは、機能を最適化するために、特定の職務やペルソナのニーズに合わせて調整されています。
次のチームについて説明します。
- 中央クラウドエンジニアリング – このチームは、エンタープライズ レベルのネットワーキング、ID、権限、アカウント管理の設定など、共通のクラウド インフラストラクチャ サービスを設定するために、すべてのワークロードにわたってエンタープライズ クラウド レベルで活動します。
- データプラットフォームエンジニアリング – このチームは、エンタープライズ データ レイク、データ収集、データ キュレーション、データ ガバナンスを管理します。
- ML プラットフォーム エンジニアリング – このチームは、LOB 全体にわたる ML プラットフォーム レベルで活動し、ML インフラストラクチャのプロビジョニング、実験追跡、モデル ガバナンス、デプロイメント、オブザーバビリティなどの共有 ML インフラストラクチャ サービスを提供します。
次の表は、モジュールの対象人物に応じて、各モジュールに対してどの部門がプライマリおよびセカンダリ アクセス権を持っているかを詳しく示しています。
モジュール番号 | モジュール | プライマリアクセス | 二次アクセス | 対象人物 | アカウント数 |
1 |
マルチアカウント基盤 | 中央クラウドエンジニアリング | 個々の LOB |
|
少数の |
2 |
データレイクの基盤 | 中央クラウドまたはデータ プラットフォーム エンジニアリング | 個々の LOB |
|
複数 |
3 |
ML プラットフォーム サービス | 中央クラウドまたは ML プラットフォーム エンジニアリング | 個々の LOB |
|
1 |
4 |
ML ユースケースの開発 | 個々の LOB | 中央クラウドまたは ML プラットフォーム エンジニアリング |
|
複数 |
5 |
ML オペレーション | 中央クラウドまたは ML エンジニアリング | 個々の LOB |
|
複数 |
6 |
一元化された機能ストア | 中央クラウドまたはデータ エンジニアリング | 個々の LOB |
|
1 |
7 |
ロギングと可観測性 | 中央クラウドエンジニアリング | 個々の LOB |
|
1 |
8 |
コストとレポート作成 | 個々の LOB | 中央プラットフォームエンジニアリング |
|
1 |
まとめ
この投稿では、セキュリティとガバナンスの制御を組み込んだ、適切に設計された ML ワークロードの実装に役立つ、ML ライフサイクルを大規模に管理するためのフレームワークを紹介しました。 データ ガバナンス、モデル ガバナンス、エンタープライズ レベルの制御を考慮した ML プラットフォームを構築するために、このフレームワークがどのように総合的なアプローチを採用しているかについて説明しました。 この投稿で紹介したフレームワークと概念を試して、フィードバックを共有することをお勧めします。
著者について
ラムヴィタル AWS のプリンシパル ML ソリューション アーキテクトです。 彼は、分散、ハイブリッド、クラウド アプリケーションの設計と構築に 3 年以上の経験があります。 彼は、安全でスケーラブルで信頼性の高い AI/ML およびビッグ データ ソリューションを構築し、企業顧客のクラウド導入と最適化の取り組みを支援してビジネス成果を向上させることに情熱を注いでいます。 暇なときは、オートバイに乗ったり、XNUMX 歳のシープ・ア・ドゥードゥルと一緒に散歩したりしています。
ソビック・クマール・ナス AWS の AI/ML ソリューション アーキテクトです。 彼は、財務、運用、マーケティング、ヘルスケア、サプライ チェーン管理、IoT におけるエンドツーエンドの機械学習およびビジネス分析ソリューションの設計に豊富な経験を持っています。 Sovik は、ML モデルのモニタリングに関する論文を発表し、特許を取得しています。 彼は南フロリダ大学、スイスのフリブール大学で二重の修士号を取得し、インド工科大学カラグプール校で学士号を取得しています。 仕事以外では、Sovik は旅行、フェリーの乗車、映画鑑賞を楽しんでいます。
マイラ・ラデイラ・タンケ AWS のシニア データ スペシャリストです。 彼女は技術リーダーとして、新しいテクノロジーと革新的なソリューションを通じて顧客がビジネス価値の達成を加速できるよう支援します。 Maira は 2020 年 XNUMX 月から AWS に勤務しています。それ以前は、データからビジネス価値を実現することに重点を置いて複数の業界でデータサイエンティストとして働いていました。 自由時間には、マイラは旅行をしたり、暖かい場所で家族と時間を過ごしたりすることを楽しんでいます。
ライアン・レンプカ 彼はアマゾン ウェブ サービスのシニア ソリューション アーキテクトであり、顧客がビジネス目標から逆算して AWS でソリューションを開発できるよう支援しています。 ビジネス戦略、IT システム管理、データ サイエンスに深い経験を持っています。 ライアンは生涯学習者であることに専念しており、何か新しいことを学ぶために毎日挑戦することを楽しんでいます。
スリハーシュアダリ アマゾンウェブサービス(AWS)のシニアソリューションアーキテクトであり、お客様がビジネスの成果からさかのぼってAWSで革新的なソリューションを開発するのを支援しています。 長年にわたり、彼は業界全体にわたるデータプラットフォームの変革について複数の顧客を支援してきました。 彼の専門分野には、テクノロジー戦略、データ分析、データサイエンスが含まれます。 余暇には、スポーツをしたり、一気見をしたり、タブラを楽しんだりしています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 10
- 100
- 12
- 12か月間
- 2020
- 28
- 7
- 8
- 971
- a
- 私たちについて
- 加速する
- アクセス
- アクセス可能な
- 従った
- アカウント
- 達成
- 達成する
- 越えて
- 行動
- アクティビティ
- Ad
- 適応する
- 適応
- 添加
- NEW
- 住所
- アドレス
- アドレッシング
- 管理人
- 管理者
- 採用
- 養子縁組
- 後
- AI
- AIモデル
- AI / ML
- アラート
- すべて
- 許可されて
- 許可
- ことができます
- 沿って
- 既に
- また
- しかし
- Amazon
- アマゾンセージメーカー
- Amazon Webサービス
- Amazon Webサービス(AWS)
- an
- 分析
- 分析論
- および
- とインフラ
- どれか
- アプローチ
- 適切な
- 承認された
- 建築
- Archive
- です
- AREA
- 物品
- AS
- 資産
- 関連する
- 引き受けます
- At
- 認証
- 承認
- 自動化する
- 自動化
- オートメーション
- 利用できます
- AWS
- ベース
- ベースライン
- BE
- なぜなら
- になる
- き
- さ
- 有益な
- 利点
- BEST
- ベストプラクティス
- の間に
- バイアス
- ビッグ
- ビッグデータ
- ブレーク
- 簡潔に
- ビルド
- 建物
- 構築します
- ビジネス
- 事業戦略
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 缶
- 候補者
- 機能
- カード
- カード
- 場合
- 例
- カタログ
- カテゴリ
- ケータリング
- 原因となる
- センター
- 中央の
- 中央集権
- 集中型の
- チェーン
- 課題
- 挑戦
- 小切手
- 化学
- 密接に
- クラウド
- クラウドの採用
- クラウドインフラ
- コード
- 環境、テクノロジーを推奨
- コレクション
- 集合的に
- コマンドと
- 企業
- コンプライアンス
- 準拠した
- コンポーネント
- 含む
- コンセプト
- コンセプト
- 見なさ
- 考えると
- 考慮する
- 消費する
- 消費者
- コンテナ
- コントロール
- 管制塔
- 制御
- controls
- コーディネート
- 基本
- 費用
- コスト
- カバー
- 作ります
- 作成した
- キュレーション
- Customers
- カスタマイズ
- カスタマイズ
- ダッシュボード
- ダッシュボード
- データ
- データアクセス
- データ分析
- データレイク
- データプライバシー
- データサイエンス
- データサイエンティスト
- データセット
- 中
- 数十年
- 専用の
- 深いです
- 度
- 部署
- 展開します
- 展開
- 展開する
- 展開
- 配備
- 配備する
- 設計
- 設計
- 設計
- 細部
- デベロッパー
- 開発する
- 発展した
- 開発
- 進展
- 異なります
- 大きさ
- 直接
- 話し合います
- 議論する
- 明確な
- 配布
- ダイビング
- ドメイン
- ダウン
- 各
- 努力
- 埋め込みます
- 埋め込まれた
- 埋め込み
- 新興の
- 新興テクノロジー
- enable
- 使用可能
- 可能
- 有効にする
- 奨励する
- 端から端まで
- エンドポイント
- エンジニア
- エンジニアリング
- エンジニア
- 高めます
- 確保
- 確実に
- 確保する
- Enterprise
- 企業レベル
- 企業
- 環境
- 環境
- 本質的な
- 評価する
- イベント
- あらゆる
- 毎日
- 例
- 体験
- 実験
- 実験
- 専門知識
- 表現
- 延伸
- 広範囲
- 豊富な経験
- 直面して
- 容易にする
- 家族
- 特徴
- 特徴
- フィードバック
- 少数の
- フィギュア
- filter
- ファイナンス
- ファイナンシャル
- 金融業務
- 名
- 柔軟性
- フロリダ
- フロー
- 焦点
- フォロー中
- フォーム
- 形成
- Foundation
- 財団
- 4
- フレームワーク
- 無料版
- から
- function
- 機能的な
- 機能性
- 機能性
- 機能
- さらに
- さらに
- 利得
- 生成する
- 生成
- 生々しい
- 生成AI
- 与える
- グローバル
- ガバナンス
- ガバナンスモデル
- ガバナンスモジュール
- 支配
- 統治
- 付与
- グループの
- ガイダンス
- 持ってる
- 持って
- he
- ヘルスケア
- 聞く
- 助けます
- 助けました
- ことができます
- 彼女の
- ハイ
- ハイレベル
- 彼の
- 保持している
- 包括的な
- フック
- ホスト
- 認定条件
- How To
- しかしながら
- HTML
- HTTP
- HTTPS
- ハブ
- ハイブリッド
- 識別
- アイデンティティ
- if
- 実装する
- 実装
- 実装
- 実装
- 改善します
- 改善
- in
- include
- 含ま
- 含めて
- の増加
- 単独で
- インディアン
- 産業
- 産業を変えます
- 情報
- インフラ
- 初期
- 開始する
- 革新的
- 革新的な
- 機関
- 統合された
- 対話
- 相互作用
- 興味がある
- インターネット
- インターネット・アクセス
- に
- 導入
- 投資
- IOT
- 分離
- IT
- 1月
- ジョブ
- 旅
- JPG
- キー
- 知識
- クマー
- 欠如
- 湖
- 湖
- 着陸
- 言語
- 大
- 後で
- 層
- つながる
- LEARN
- 学習
- レベル
- レベル
- wifecycwe
- ような
- 系統
- ライン
- ローカル
- ログ
- ロギング
- 探して
- 機械
- 機械学習
- 製
- 維持する
- 作る
- 管理します
- マネージド
- 管理
- 管理する
- 管理する
- 多くの
- ゲレンデマップ
- マーケティング
- 成熟した
- 満期
- 五月..
- メンバー
- 言及した
- メッシュ
- 緩和する
- リスクの軽減
- ML
- MLOps
- モデル
- 修正する
- モジュラー
- モジュール
- モジュール
- モニター
- モニタリング
- モニター
- ヶ月
- 他には?
- 最も
- オートバイ
- 動画
- の試合に
- ネイティブ
- 必要
- ニーズ
- Nest
- ネットワーク
- ネットワーキング
- ネットワーク
- 新作
- 新しい特徴
- 次の
- ノート
- 数
- 目的
- 時折
- of
- オファー
- Office
- 頻繁に
- 古い
- on
- かつて
- ONE
- 継続
- 操作する
- 運営
- 動作
- オペレーティング
- 業務執行統括
- 最適化
- 最適化
- or
- 組織
- 組織
- 整理する
- その他
- 私たちの
- でる
- 成果
- 外側
- が
- 全体
- 概要
- パッケージ
- 部
- 特定の
- 情熱的な
- 特許
- 実行する
- パフォーマンス
- パーミッション
- パイプライン
- 場所
- シンプルスタイル
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 再生
- ポリシー
- 方針
- ポートフォリオ
- ポスト
- 練習
- プラクティス
- 現在
- 予防
- 主要な
- 校長
- 事前の
- プライバシー
- プライベート
- 民間企業
- 先を見越した
- 問題
- プロセス
- ラボレーション
- プロデューサー
- 生産者
- プロダクト
- 生産
- 製品
- プロジェクト(実績作品)
- プロモーション
- 証明
- 概念実証
- 保護
- 提供します
- は、大阪で
- 提供
- 公共
- 公表
- 目的
- 品質
- すぐに
- 急速な
- 読む
- 最近
- 認識する
- 推奨する
- おすすめ
- 減らします
- 参照
- 地域
- 登録
- 登録された
- レジスタ
- レジストリ
- 規制
- 規制産業
- 信頼性のある
- 除去
- レポート
- 必要とする
- の提出が必要です
- 要件
- リソースを追加する。
- リソース
- 応答
- 責任
- 再利用
- 乗り物
- リスク
- リスク
- 職種
- 役割
- ルート
- ルール
- ルール
- ラン
- ランニング
- Ryan Tan
- 犠牲にする
- セージメーカー
- SageMakerパイプライン
- 同じ
- ド電源のデ
- 規模
- スケーリング
- 科学
- 科学者
- 科学者たち
- を検索
- 二次
- セクション
- セクター
- 安全に
- セキュリティ
- セキュリティイベント
- セルフサービス
- シニア
- シリーズ
- サービス
- サービス
- セッションに
- セット
- 設定
- シェアする
- shared
- 株式
- シェアリング
- 彼女
- ショート
- すべき
- 示す
- 作品
- 簡単な拡張で
- から
- サイズ
- 小さい
- So
- 溶液
- ソリューション
- 解決する
- 一部
- 何か
- サウス
- 南フロリダ
- 専門家
- 専門の
- 特定の
- 支出
- スポーツ
- ステージ
- 利害関係者
- ステークホルダー
- 規格
- start
- 都道府県
- 手順
- ステップ
- まだ
- 停止
- ストレージ利用料
- 店舗
- 店舗
- 作戦
- 戦略
- 強い
- 構造
- 構造
- 研究
- 成功した
- そのような
- スーツ
- 概要
- 供給
- サプライチェーン
- サプライチェーンマネジメント
- サポート
- 支援する
- 確か
- スイス
- システム
- テーブル
- テーラード
- 取り
- 取得
- ターゲット
- チーム
- チーム
- 技術的
- テクノロジー
- 技術戦略
- template
- テンプレート
- test
- テスト
- それ
- ステート
- アプリ環境に合わせて
- それら
- その後
- ボーマン
- 彼ら
- 物事
- この
- それらの
- 介して
- 全体
- 時間
- 〜へ
- 豊富なツール群
- に向かって
- タワー
- 追跡する
- 追跡
- 伝統的な
- トレーニング
- 変換
- トランジット
- 旅行
- 順番
- tv
- 下
- わかる
- 不公平
- ユニット
- 大学
- us
- 使用法
- つかいます
- 使用事例
- 中古
- ユーザー
- users
- 使用されます
- 活用する
- 値
- 多様
- さまざまな
- 垂直
- 、
- 違反
- 視認性
- 可視化
- 視覚化する
- 歩く
- 欲しいです
- 暖かいです
- 見ている
- we
- ウェブ
- Webサービス
- WELL
- いつ
- かどうか
- which
- while
- 意志
- 以内
- 無し
- 仕事
- 働いていました
- ワークフロー
- ワーキング
- 年
- You
- あなたの
- ゼファーネット