これは、PwC の Vik Pant および Kyle Bassett と共同執筆したゲスト ブログ投稿です。
組織が機械学習 (ML) への投資を増やすにつれ、ML の導入はビジネス変革戦略に不可欠な部分となっています。 最近のPwC CEO 調査 カナダの CEO の 84% が、人工知能 (AI) が今後 5 年以内にビジネスを大きく変え、このテクノロジーがこれまで以上に重要になることに同意していることを発表しました。 ただし、ML を本番環境に実装するには、さまざまな考慮事項が伴います。特に、AI の世界を安全に、戦略的に、責任を持ってナビゲートできるかどうかが重要です。 AI を活用するための最初のステップの XNUMX つであり、特に大きな課題となるのは、クラウド内で持続的に拡張できる ML パイプラインを効果的に開発することです。 モデル自体ではなく、モデルを生成および維持するパイプラインの観点から ML を考えると、時間の経過に伴う関連データの意味のある変化に耐えられる、多用途で復元力のある予測システムを構築するのに役立ちます。
多くの組織は、モデル中心の視点から ML の世界への旅を始めます。 ML 実践構築の初期段階では、教師あり ML モデルのトレーニングに重点が置かれます。教師あり ML モデルは、データ (通常は履歴データ) から学習される入力 (独立変数) と出力 (従属変数) の間の関係を数学的に表現したものです。 モデルは、入力データを受け取り、それらに対して計算や計算を実行し、予測や推論を生成する数学的成果物です。
このアプローチは合理的で比較的単純な開始点ではありますが、モデルのトレーニング、チューニング、テスト、およびトライアルのアクティビティは手動でその場限りの性質があるため、本質的にスケーラブルでも本質的に持続可能でもありません。 ML ドメインの成熟度が高い組織は、継続的インテグレーション、継続的デリバリー、継続的デプロイ、継続的トレーニングを組み込んだ ML オペレーション (MLOps) パラダイムを採用しています。 このパラダイムの中心となるのは、業界向けに強力な ML システムを開発および運用するためのパイプライン中心の視点です。
この投稿では、MLOps の概要とその利点から始め、実装を簡素化するソリューションについて説明し、アーキテクチャの詳細を説明します。 最後に、このソリューションを導入した AWS と PwC の大規模顧客が実現したメリットを強調するケーススタディを紹介します。
経歴
MLOps パイプラインは、実稼働環境で XNUMX つ以上の ML モデルを構築、デプロイ、操作、管理するために使用される、相互に関連する一連のステップです。 このようなパイプラインには、ML モデルの構築、テスト、チューニング、デプロイに関連する段階が含まれます。これには、データ準備、特徴量エンジニアリング、モデル トレーニング、評価、デプロイ、モニタリングが含まれますが、これらに限定されません。 したがって、ML モデルは MLOps パイプラインの製品であり、パイプラインは XNUMX つ以上の ML モデルを作成するためのワークフローです。 このようなパイプラインは、ML モデルの構築、調整、評価、実装のための構造化された系統的なプロセスをサポートし、モデル自体が予測と推論を生成します。 パイプラインの各ステージの開発と運用化を自動化することで、組織はモデルの配信までの時間を短縮し、本番環境でのモデルの安定性を高め、データ サイエンティスト、ソフトウェア エンジニア、IT 管理者のチーム間のコラボレーションを向上させることができます。
ソリューションの概要
AWS は、スケーラブルかつ持続可能な方法で MLOps パイプラインを開発および実行するためのクラウドネイティブ サービスの包括的なポートフォリオを提供します。 アマゾンセージメーカー は、開発者がクラウドで ML モデルを作成、トレーニング、デプロイ、運用、管理できるようにする、フルマネージド MLOps サービスとしての機能の包括的なポートフォリオで構成されています。 SageMaker は、組み込みの高性能アルゴリズムと高度な自動 ML (AutoML) 実験によるデータの収集から準備、トレーニングに至るまで、MLOps ワークフロー全体をカバーしているため、企業はビジネスの優先順位や好みに合った特定のモデルを選択できます。 SageMaker を使用すると、組織は MLOps ライフサイクルの大部分を共同で自動化できるため、プロジェクトの遅延やコストの増大のリスクを冒さずにビジネスの成果に集中できます。 このように、SageMaker を使用すると、企業は業界で強力な予測サービスの強化に関連するインフラストラクチャ、開発、メンテナンスを心配することなく、結果に集中できます。
SageMaker に含まれるもの Amazon SageMaker ジャンプスタートは、MLOps の取り組みを加速させたい組織に、すぐに使えるソリューション パターンを提供します。 組織は、再トレーニングと転移学習を通じて特定のニーズを満たすように微調整できる、事前トレーニングされたオープンソース モデルから始めることができます。 さらに、JumpStart は、一般的なユースケースに取り組むために設計されたソリューション テンプレートと、事前に作成されたスターター コードを含むサンプル Jupyter ノートブックを提供します。 これらのリソースには、次の JumpStart ランディング ページにアクセスするだけでアクセスできます。 Amazon SageMakerスタジオ.
PwC は、SageMaker を使用する組織の価値実現までの時間をさらに短縮し、投資収益率を向上させる、事前にパッケージ化された MLOps アクセラレータを構築しました。 この MLOps アクセラレータは、補完的な AWS サービスを統合することにより、JumpStart のネイティブ機能を強化します。 PwC の MLOps アクセラレータは、コードとしてのインフラストラクチャ (IaC) スクリプト、データ処理ワークフロー、サービス統合コード、パイプライン構成テンプレートなどの包括的な技術成果物スイートを備えており、実稼働クラスの予測システムの開発と運用のプロセスを簡素化します。
アーキテクチャの概要
AWS のクラウドネイティブ サーバーレス サービスの組み込みは、PwC MLOps アクセラレータのアーキテクチャに優先的に組み込まれています。 このアクセラレータへのエントリ ポイントは、データ サイエンティストやデータ エンジニアが MLOps 用の AWS 環境をリクエストするために使用できる Slack などのコラボレーション ツールです。 このようなリクエストは解析され、コラボレーション ツールのワークフロー機能を使用して完全または半自動的に承認されます。 リクエストが承認されると、その詳細は IaC テンプレートのパラメータ化に使用されます。 これらの IaC テンプレートのソース コードは、次の場所で管理されます。 AWS コードコミット。 これらのパラメーター化された IaC テンプレートは、 AWS CloudFormation AWS およびサードパーティのリソースのスタックのモデリング、プロビジョニング、管理に使用します。
次の図は、ワークフローを示しています。
AWS CloudFormation が AWS 上で MLOps 用の環境をプロビジョニングすると、データ サイエンティスト、データ エンジニア、およびその共同作業者がその環境を使用できるようになります。 PWC アクセラレータには、事前定義されたロールが含まれています AWS IDおよびアクセス管理 (IAM) MLOps アクティビティおよびタスクに関連するもの。 これらのロールは、ジョブ プロファイルに基づいてさまざまなユーザーがアクセスできる MLOps 環境内のサービスとリソースを指定します。 MLOps 環境にアクセスした後、ユーザーは SageMaker 上の任意のモダリティにアクセスして職務を実行できます。 これらには、SageMaker ノートブック インスタンスが含まれます。 Amazon SageMakerオートパイロット 実験とスタジオ。 モデルのトレーニング、チューニング、評価、デプロイメント、モニタリングを含む、SageMaker のすべての機能を活用できます。
アクセラレータには、次の接続も含まれます。 アマゾンデータゾーン 組織の境界を越えて大規模にデータを共有、検索、検出し、モデルを生成して強化します。 同様に、モデルのドリフトをトレーニング、テスト、検証、検出するためのデータは、次のようなさまざまなサービスを提供できます。 Amazonレッドシフト, Amazon リレーショナル データベース サービス (Amazon RDS)、 AmazonElasticファイルシステム (Amazon EFS)、および Amazon シンプル ストレージ サービス (アマゾンS3)。 予測システムは、SageMaker エンドポイントとして直接展開したり、SageMaker エンドポイントをラップしたりするなど、さまざまな方法でデプロイできます。 AWSラムダ 関数、およびカスタム コードを通じて呼び出される SageMaker エンドポイント Amazon Elastic Kubernetesサービス (Amazon EKS)または アマゾン エラスティック コンピューティング クラウド (Amazon EC2)。 アマゾンクラウドウォッチ は、AWS 上の MLOps 環境を包括的な方法で監視し、完全なスタック (アプリケーション、インフラストラクチャ、ネットワーク、サービス) 全体からアラーム、ログ、イベント データを観察するために使用されます。
次の図は、このアーキテクチャを示しています。
ケーススタディ
このセクションでは、カナダの大手保険会社の事例研究を紹介します。 PwC Canada の MLOps アクセラレータと JumpStart テンプレートの実装がもたらす変革的な影響に焦点を当てています。
このクライアントは、PwC Canada および AWS と提携して、非効率なモデル開発と非効率な導入プロセス、一貫性とコラボレーションの欠如、ML モデルのスケーリングの難しさといった課題に対処しました。 この MLOps アクセラレータを JumpStart テンプレートと連携して実装すると、次のことが達成されました。
- エンドツーエンドの自動化 – 自動化により、データの前処理、モデルのトレーニング、ハイパーパラメーターの調整、モデルのデプロイメントとモニタリングにかかる時間がほぼ半分になりました。
- コラボレーションと標準化 – 組織全体の一貫性を促進する標準化されたツールとフレームワークにより、モデルのイノベーションの速度がほぼ XNUMX 倍になりました
- モデルガバナンスとコンプライアンス – モデル ガバナンス フレームワークを実装して、すべての ML モデルが規制要件を満たし、会社の倫理ガイドラインに準拠していることを確認し、リスク管理コストを 40% 削減しました。
- スケーラブルなクラウド インフラストラクチャ – 大量のデータを効果的に管理し、複数の ML モデルを同時にデプロイするためにスケーラブルなインフラストラクチャに投資し、インフラストラクチャとプラットフォームのコストを 50% 削減しました
- 迅速な展開 – プレパッケージされたソリューションにより、生産までの時間が 70% 短縮されました
迅速な導入パッケージを通じて MLOps のベスト プラクティスを提供することで、当社のクライアントは MLOps 実装のリスクを軽減し、リスク予測や資産価格設定などのさまざまなビジネス機能で ML の可能性を最大限に引き出すことができました。 全体として、PwC MLOps アクセラレータと JumpStart の相乗効果により、クライアントはデータ サイエンスとデータ エンジニアリングの活動を合理化し、拡張し、保護し、維持することができました。
PwC と AWS のソリューションは業界固有のものではなく、業界やセクター全体に関連していることに注意してください。
まとめ
SageMaker とそのアクセラレータを使用すると、組織は ML プログラムの生産性を向上できます。 以下のような多くの利点がありますが、これらに限定されません。
- IaC、MLOps、AutoML のユースケースを共同で作成して、標準化によるビジネス上のメリットを実現します
- コードの有無にかかわらず効率的な実験プロトタイピングを可能にし、IaC、MLOps、AutoML を使用して開発からデプロイまで AI を加速します。
- AutoML を使用して、特徴量エンジニアリングやハイパーパラメータ調整などの退屈で時間のかかるタスクを自動化します。
- 継続的なモデル監視パラダイムを採用して、ML モデル使用のリスクを企業のリスク選好と調整します。
この投稿の著者に連絡してください。 AWS アドバイザリー・カナダまたは PwC カナダ Jumpstart と PwC の MLOps アクセラレータの詳細については、こちらをご覧ください。
著者について
ビーク PwC Canada のクラウドおよびデータ業務のパートナーです。トロント大学で情報科学の博士号を取得しています。 彼は、自分の生物学的ニューラル ネットワークと、SageMaker でトレーニングしている人工ニューラル ネットワークの間にはテレパシー的な接続があると確信しています。 で彼とつながりましょう LinkedIn.
カイル は、PwC カナダのクラウドおよびデータ業務のパートナーであり、技術錬金術師の優秀なチームとともに、加速されたビジネス価値でクライアントを魅了する魅力的な MLOP ソリューションを編み出しています。 人工知能の力と魔法の要素を駆使して、カイルは複雑な課題をデジタルおとぎ話に変え、不可能を可能にします。 で彼とつながりましょう LinkedIn.
フランソワ AWS プロフェッショナル サービス カナダの主席アドバイザリー コンサルタントであり、データおよびイノベーション アドバイザリーのカナダのプラクティス リーダーです。 彼は、ビジョン、戦略、ビジネス推進力、ガバナンス、ターゲットのオペレーティング モデル、ロードマップに重点を置き、全体的なクラウド ジャーニーとデータ プログラムを確立して実装できるようにお客様をガイドします。 で彼とつながりましょう LinkedIn.
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- プラトアイストリーム。 Web3 データ インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- 未来を鋳造する w エイドリエン・アシュリー。 こちらからアクセスしてください。
- PREIPO® を使用して PRE-IPO 企業の株式を売買します。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :持っている
- :は
- :not
- $UP
- 100
- 7
- a
- できる
- 私たちについて
- 加速する
- 加速された
- 加速器
- 加速器
- アクセス
- アクセス
- アクセス
- 達成
- 越えて
- 活動
- Ad
- さらに
- 住所
- 管理者
- 採用
- 養子縁組
- アドバイザリー
- 後
- AI
- アルゴリズム
- 整列する
- すべて
- 許す
- ことができます
- 沿って
- また
- Amazon
- Amazon EC2
- アマゾンRDS
- アマゾンセージメーカー
- Amazon SageMaker ジャンプスタート
- Amazon Webサービス
- 量
- an
- および
- どれか
- アプローチ
- 承認された
- 建築
- です
- 武装した
- 人工の
- 人工知能
- 人工知能(AI)
- AS
- 評価中
- 資産
- 関連する
- At
- 著者
- 自動化する
- 自動化
- 自動化する
- オートメーション
- AutoML
- AWS
- AWS CloudFormation
- AWSプロフェッショナルサービス
- ベース
- BE
- になる
- になる
- さ
- 恩恵
- 利点
- BEST
- ベストプラクティス
- より良いです
- の間に
- ブログ
- 境界
- ビルド
- 建物
- 内蔵
- 内蔵
- ビジネス
- ビジネス機能
- ビジネス変革
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 計算
- 缶
- カナダ
- 機能
- 場合
- ケーススタディ
- 例
- 中央の
- 最高経営責任者(CEO)
- 最高経営責任者(CEO)
- 挑戦する
- 課題
- 変化する
- 変更
- 選択する
- クライアント
- クライアント
- クラウド
- クラウドインフラ
- コード
- 環境、テクノロジーを推奨
- 収集
- COM
- comes
- コマンドと
- 企業
- 会社
- 会社の
- 補完的
- コンプリート
- 複雑な
- 包括的な
- 含む
- 計算
- 計算
- コンサート
- お問合せ
- 接続
- Connections
- 検討事項
- コンサルタント
- 接触
- 連続的な
- コスト
- カバー
- クラック
- 作ります
- 作成
- 重大な
- カスタム
- 顧客
- Customers
- データ
- データの準備
- データ処理
- データサイエンス
- データサイエンティスト
- データベース
- 遅延
- 配信する
- 配達
- 依存
- 展開します
- 展開
- 展開する
- 展開
- 説明する
- 設計
- 細部
- 開発者
- 開発
- 開発
- 難しさ
- デジタル
- 直接に
- 発見する
- ドメイン
- 倍増
- ドライバー
- 原因
- 早い
- 獲得
- 効果的に
- 効率的な
- enable
- 使用可能
- 可能
- 包含する
- エンジニア
- エンジニアリング
- エンジニア
- 高めます
- 強化
- 豊かにする
- 確保
- Enterprise
- 全体
- エントリ
- 環境
- 確立する
- 倫理的な
- 評価
- イベント
- EVER
- 例
- 実験
- 特徴
- 特徴
- File
- 仕上げ
- 名
- 最初のステップ
- フィット
- フォーカス
- 焦点を当てて
- 焦点
- フォロー中
- フレームワーク
- フレームワーク
- から
- フル
- 完全に
- 機能
- さらに
- 生成する
- ガバナンス
- 素晴らしい
- 大きい
- ゲスト
- ガイドライン
- ガイド
- 半分
- he
- ことができます
- ハイパフォーマンス
- 強調表示
- 彼に
- 彼の
- 歴史的
- しかしながら
- HTML
- HTTP
- HTTPS
- ハイパーパラメータ調整
- アイデンティティ
- 説明する
- 影響
- 実装する
- 実装
- 実装
- 実装
- 不可能
- 改善します
- in
- include
- 含ま
- 含めて
- 包含
- 増える
- 増加
- ますます
- 独立しました
- 産業
- 産業を変えます
- 非効率的な
- info
- 情報
- インフラ
- 革新的手法
- 入力
- 保険
- インテグラル
- 統合
- 統合
- インテリジェンス
- に
- 本質的に
- 投資
- 投資
- 投資
- 呼び出された
- 関係する
- IT
- ITS
- ジョブ
- 旅
- JPG
- 欠如
- 着陸
- 大
- つながる
- LEARN
- 学んだ
- 学習
- wifecycwe
- 限定的
- 機械
- 機械学習
- 維持する
- メンテナンス
- 大多数
- 作成
- 管理します
- マネージド
- 管理
- 管理する
- 方法
- マニュアル
- 多くの
- 大規模な
- 数学的
- 満期
- 意味のある
- 大会
- ML
- MLOps
- モデル
- モニター
- モニタリング
- 他には?
- の試合に
- ネイティブ
- 自然
- ナビゲート
- ほぼ
- ニーズ
- ネットワーク
- ネットワーク
- ニューラルネットワーク
- ニューラルネットワーク
- 次の
- 特に
- ノート
- 注意
- 観察する
- of
- オファー
- on
- ONE
- オープンソース
- 操作する
- オペレーティング
- 業務執行統括
- or
- 組織
- 組織の
- 組織
- 私たちの
- が
- 全体
- 概要
- パッケージ
- ページ
- パラダイム
- 部
- パートナー
- 提携
- パターン
- 実行する
- パイプライン
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- ポートフォリオ
- 可能
- ポスト
- 潜在的な
- 電力
- パワード
- 電源
- 練習
- プラクティス
- 予測
- 予測
- プ
- 準備中
- 価格設定
- 校長
- 優先順位付けされた
- プロセス
- ラボレーション
- 処理
- プロダクト
- 生産
- 生産性
- プロ
- 対応プロファイル
- 演奏曲目
- プログラム
- プロジェクト
- 推進する
- プロトタイピング
- 提供します
- は、大阪で
- PWC
- 範囲
- 急速な
- レート
- むしろ
- 準備
- 実現する
- 合理的な
- 最近
- 減らします
- 電話代などの費用を削減
- 縮小
- レギュレータ
- 関連する
- の関係
- 相対的に
- 関連した
- 要求
- 要件
- 弾力性のあります
- リソース
- 結果
- return
- リスク
- リスク管理
- 危険
- ロードマップ
- 役割
- ランニング
- 安全に
- セージメーカー
- ド電源のデ
- 規模
- スケーリング
- 科学
- 科学者
- 科学者たち
- スクリプト
- 検索
- セクション
- セクター
- 安全に
- を求める
- サーバレス
- サービス
- サービス
- セッションに
- シェアする
- シェアリング
- すべき
- 著しく
- 同様に
- 簡単な拡張で
- 簡素化する
- 単に
- 同時に
- スラック
- So
- ソフトウェア
- 溶液
- ソリューション
- 洗練された
- ソース
- ソースコード
- 特定の
- 速度
- 安定性
- スタック
- スタック
- ステージ
- start
- 起動
- ステップ
- ストレージ利用料
- 戦略的に
- 作戦
- 戦略
- 流線
- 構造化された
- 研究
- 勉強
- 提出された
- そのような
- スイート
- サポート
- 持続可能な
- 相乗効果
- システム
- タックル
- 取る
- ターゲット
- タスク
- チーム
- チーム
- テク
- 技術的
- テクノロジー
- テンプレート
- 条件
- テスト
- より
- それ
- ソース
- 世界
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- そこ。
- ボーマン
- 彼ら
- 考え
- サードパーティ
- この
- 介して
- 時間
- 時間がかかる
- 〜へ
- ツール
- 豊富なツール群
- トロント
- トレーニング
- トレーニング
- 列車
- 転送
- 変換
- 変形させる
- ターン
- 一般的に
- 大学
- アンロック
- 発表
- 使用法
- つかいます
- 中古
- users
- 値
- 多様
- さまざまな
- 多才な
- ビジョン
- ボリューム
- ました
- 仕方..
- 方法
- we
- 織り方
- ウェブ
- Webサービス
- WELL
- which
- 誰
- 意志
- 以内
- 無し
- ワークフロー
- 世界
- 包まれました
- 年
- You
- ゼファーネット