MongoDB 時系列コレクションと Amazon SageMaker Canvas で洞察までの時間を短縮 |アマゾン ウェブ サービス

これは、MongoDB の Babu Srinivasan との共同執筆によるゲスト投稿です。

今日のペースの速いビジネス環境で業界が進化するにつれて、リアルタイムの予測ができないことは、正確でタイムリーな洞察に大きく依存している業界にとって大きな課題となっています。さまざまな業界でリアルタイムの予測が存在しないことは、意思決定や業務効率に大きな影響を与える可能性のある差し迫ったビジネス課題を引き起こしています。リアルタイムの洞察がなければ、企業は動的な市場状況に適応し、顧客の需要を正確に予測し、在庫レベルを最適化し、プロアクティブな戦略的意思決定を行うのに苦労します。金融、小売、サプライチェーン管理、物流などの業界は、機会の逸失、コストの増加、非効率なリソース割り当て、顧客の期待に応えられないというリスクに直面しています。これらの課題を検討することで、組織はリアルタイム予測の重要性を認識し、これらのハードルを克服するための革新的なソリューションを模索することができ、競争力を維持し、情報に基づいた意思決定を行い、今日のペースの速いビジネス環境で成功できるようになります。

MongoDB のネイティブの変革の可能性を活用することにより、 時系列 データ機能とそれを力と統合する Amazon SageMaker キャンバス、組織はこれらの課題を克服し、新たなレベルの俊敏性を実現できます。 MongoDB の堅牢な時系列データ管理により、大量の時系列データのリアルタイムの保存と取得が可能になり、高度な機械学習アルゴリズムと予測機能により、SageMaker Canvas で正確で動的な予測モデルが提供されます。

この投稿では、MongoDB の時系列データと SageMaker Canvas を包括的なソリューションとして使用する可能性を探ります。

MongoDBアトラス

MongoDBアトラス は、クラウドでの MongoDB データベースの展開とスケーリングを簡素化する、フルマネージドの開発者データ プラットフォームです。これは、フルテキストとベクターが組み込まれたフルマネージド データベースを提供するドキュメント ベースのストレージです。 を検索、 へのサポート 地理空間の クエリ、 チャート 効率的なネイティブサポート 時系列 ストレージ機能とクエリ機能。 MongoDB Atlas は、大量のデータ取り込みのための自動シャーディング、水平スケーラビリティ、および柔軟なインデックス作成を提供します。中でも、ネイティブ時系列機能は傑出した機能であり、ビジネス クリティカルなアプリケーション データ、テレメトリ、サーバー ログなどの大量の時系列データの管理に最適です。効率的なクエリ、集計、分析により、企業はタイムスタンプ付きのデータから貴重な洞察を抽出できます。これらの機能を使用することで、企業は時系列データを効率的に保存、管理、分析できるため、データに基づいた意思決定が可能になり、競争力を高めることができます。

Amazon SageMaker キャンバス

Amazon SageMaker キャンバス は、ビジネス アナリストやデータ サイエンティストが、ML の経験を必要とせず、またコードを 1 行も記述することなく、カスタム ML モデルを構築および展開できるようにするビジュアル機械学習 (ML) サービスです。 SageMaker Canvas は、次のような多くのユースケースをサポートしています。 時系列予測これにより、企業は将来の需要、売上、リソース要件、その他の時系列データを正確に予測できるようになります。このサービスは、深層学習技術を使用して複雑なデータ パターンを処理し、企業が最小限の履歴データでも正確な予測を生成できるようにします。 Amazon SageMaker Canvas の機能を使用することで、企業は情報に基づいた意思決定を行い、在庫レベルを最適化し、業務効率を向上させ、顧客満足度を向上させることができます。

SageMaker Canvas UI を使用すると、クラウドまたはオンプレミスからのデータ ソースをシームレスに統合し、データセットを簡単に結合し、正確なモデルをトレーニングし、新たなデータを使用して予測を行うことができます。これらはすべてコーディングなしで実行できます。自動化されたワークフローまたは ML モデルをアプリに直接統合する必要がある場合は、次の方法で Canvas 予測機能にアクセスできます。 API.

ソリューションの概要

ユーザーはトランザクション時系列データを MongoDB Atlas に保持します。 Atlas Data Federation を通じて、データは Amazon S3 バケットに抽出されます。 Amazon SageMaker Canvas はデータにアクセスしてモデルを構築し、予測を作成します。予測の結果は S3 バケットに保存されます。 MongoDB Data Federation サービスを使用すると、予測は MongoDB チャートを通じて視覚的に表示されます。

次の図は、提案されたソリューション アーキテクチャの概要を示しています。

前提条件

このソリューションでは、MongoDB Atlas を使用して時系列データを保存し、Amazon SageMaker Canvas を使用してモデルをトレーニングして予測を生成し、Amazon S3 を使用して MongoDB Atlas から抽出したデータを保存します。

次の前提条件を満たしていることを確認してください。

MongoDB Atlas クラスターを構成する

次の手順に従って、無料の MongoDB Atlas クラスターを作成します。 クラスターを作成する。セットアップ データベースアクセス および ネットワークアクセス.

MongoDB Atlas で時系列コレクションを作成する

このデモでは、次のサンプル データ セットを使用できます。 Kaggle そして、同じものを MongoDB を使用して MongoDB Atlas にアップロードします 豊富なツール群 好ましく MongoDBコンパス.

次のコードは、時系列コレクションのサンプル データ セットを示しています。

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

次のスクリーンショットは、MongoDB Atlas のサンプル時系列データを示しています。

S3 バケットを作成する

創造する AWS の S3 バケット。時系列データを保存して分析する必要があります。フォルダーが XNUMX つあることに注意してください。 sales-train-data MongoDB Atlas から抽出されたデータを保存するために使用されます。 sales-forecast-output Canvas からの予測が含まれています。

データフェデレーションを作成する

セットアップ データフェデレーション Atlas で、以前に作成した S3 バケットをデータ ソースの一部として登録します。 Atlas クラスター用のデータ フェデレーション、MongoDB Atlas データ用の S3 バケット、Canvas の結果を保存するための S3 バケットに XNUMX つの異なるデータベース/コレクションが作成されていることに注目してください。

次のスクリーンショットは、データ フェデレーションのセットアップを示しています。

Atlas アプリケーション サービスをセットアップする

作ります MongoDB アプリケーション サービス を使用して MongoDB Atlas クラスターから S3 バケットにデータを転送する機能をデプロイします。 $ out 集約。

データソース構成を確認する

アプリケーション サービスは、次の関数でデータ サービスとして参照する必要がある新しい Altas サービス名を作成します。 Atlas サービス名が作成されたことを確認し、将来の参照のために書き留めておきます。

関数を作成する

Atlas アプリケーション サービスをセットアップして、 トリガーと機能。トリガーは、モデルをトレーニングするためのビジネス ニーズに基づいた周期で S3 にデータを書き込むようにスケジュールする必要があります。

次のスクリプトは、S3 バケットに書き込む関数を示しています。

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

サンプル関数

この関数は [実行] タブから実行でき、アプリケーション サービスのログ機能を使用してエラーをデバッグできます。さらに、左側のペインの [ログ] メニューを使用してエラーをデバッグできます。

次のスクリーンショットは、関数の実行と出力を示しています。

Amazon SageMaker Canvas でデータセットを作成する

次の手順は、SageMaker ドメインとユーザー プロファイルが作成されていることを前提としています。まだ設定していない場合は、必ず設定してください。 SageMaker ドメインとユーザー プロファイル。ユーザー プロファイルで、S3 バケットをカスタムになるように更新し、バケット名を指定します。

完了したら、SageMaker Canvas に移動し、ドメインとプロファイルを選択して、Canvas を選択します。

データ ソースを提供するデータセットを作成します。

データセットソースを S3 として選択します

S3 バケットからデータの場所を選択し、[データセットの作成] を選択します。

スキーマを確認し、「データセットの作成」をクリックします。

インポートが成功すると、次のスクリーンショットに示すように、データセットがリストに表示されます。

モデルを訓練する

次に、Canvas を使用してモデルをトレーニングするための設定を行います。データセットを選択し、「作成」をクリックします。

モデル名を作成し、予測分析を選択して、作成を選択します。

対象列を選択してください

次に、[時系列モデルの構成] をクリックし、項目 ID 列として item_id を選択します。

選択 tm タイムスタンプ列の場合

予測する期間を指定するには、8 週間を選択します。

これで、モデルをプレビューしたり、ビルド プロセスを開始したりする準備が整いました。

モデルをプレビューするかビルドを開始すると、モデルが作成されます。これには最大 4 時間かかる場合があります。画面を離れて戻って、モデルのトレーニング ステータスを確認することができます。

モデルの準備ができたら、モデルを選択し、最新バージョンをクリックします。

モデルのメトリックと列の影響を確認し、モデルのパフォーマンスに満足している場合は、「予測」をクリックします。

次に、[バッチ予測] を選択し、[データセットの選択] をクリックします。

データセットを選択し、[データセットの選択] をクリックします。

次に、「予測の開始」をクリックします。

作成されたジョブを観察するか、SageMaker の [推論]、[バッチ変換ジョブ] でジョブの進行状況を観察します。

ジョブが完了したら、ジョブを選択し、Canvas が予測を保存した S3 パスをメモします。

Atlas Chartsで予測データを視覚化する

予測データを視覚化するには、 MongoDB アトラス チャート 次のグラフに示すように、P10、P50、および P90 予測のフェデレーション データ (amazon-forecast-data) に基づいています。

クリーンアップ

• MongoDB Atlas クラスターを削除する
• Atlas Data Federation構成の削除
• Atlas Application Service アプリの削除
• S3バケットを削除する
• Amazon SageMaker Canvas データセットとモデルを削除する
• アトラス チャートを削除する
• Amazon SageMaker Canvas からログアウトする

まとめ

この投稿では、MongoDB 時系列コレクションから時系列データを抽出しました。これは、時系列データのストレージとクエリ速度に最適化された特別なコレクションです。 Amazon SageMaker Canvas を使用してモデルをトレーニングし、予測を生成し、予測を Atlas チャートで視覚化しました。

詳細については、次のリソースを参照してください。

---

著者について

イゴール・アレクゼーフ AWS のデータおよび分析ドメインのシニア パートナー ソリューション アーキテクトです。 彼の役割では、Igor は戦略的パートナーと協力して、AWS に最適化された複雑なアーキテクチャの構築を支援しています。 AWS に入社する前は、データ/ソリューション アーキテクトとして、Hadoop エコシステムのいくつかのデータ レイクを含む、ビッグ データ ドメインで多くのプロジェクトを実装しました。 データ エンジニアとして、AI/ML を不正検出やオフィス オートメーションに適用することに携わっていました。

バブスリニバサン MongoDB のシニア パートナー ソリューション アーキテクトです。 現在の役割では、AWS と協力して、AWS および MongoDB ソリューションの技術的統合と参照アーキテクチャを構築しています。 彼は、データベースおよびクラウド テクノロジで XNUMX 年以上の経験を持っています。 彼は、複数の地域にまたがる複数のグローバル システム インテグレータ (GSI) と連携する顧客に技術ソリューションを提供することに情熱を注いでいます。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/