Getir が Amazon SageMaker と AWS Batch を使用してモデルのトレーニング時間を 90% 削減した方法 | アマゾン ウェブ サービス

これは、Getir の Nafi Ahmet Turgut、Hasan Burak Yel、Damla Şentürk が共同執筆したゲスト投稿です。

2015に設立され、 もたらしました は、超高速食料品配達の分野における先駆者としての地位を確立しました。 この革新的なテクノロジー企業は、「数分で食料品を」という魅力的なサービスで、ラスト マイルの配達セグメントに革命をもたらしました。 トルコ、英国、オランダ、ドイツ、米国に拠点を置くゲティルは、数え切れないほどの多国籍勢力となっています。 現在、Getir ブランドは XNUMX つの異なる業種を網羅する多角的な複合企業体を表しており、すべてが単一の傘下で相乗的に機能しています。

この投稿では、以下を使用して商業チームを支援するエンドツーエンドの製品カテゴリ予測パイプラインをどのように構築したかについて説明します。 アマゾンセージメーカー および AWSバッチ、モデルのトレーニング時間を 90% 短縮します。

当社の既存の製品品揃えを詳細に理解することは、今日のペースが速く競争の激しい市場において、多くの企業と同様に当社が直面する重要な課題です。 この問題に対する効果的な解決策は、製品カテゴリの予測です。 包括的なカテゴリ ツリーを生成するモデルにより、当社の営業チームは既存の製品ポートフォリオを競合他社の製品ポートフォリオと比較してベンチマークすることができ、戦略的優位性が得られます。 したがって、私たちの中心的な課題は、正確な製品カテゴリ予測モデルの作成と実装です。

私たちは AWS が提供する強力なツールを活用してこの課題に取り組み、機械学習 (ML) と予測分析の複雑な分野を効果的にナビゲートしました。 私たちの取り組みの結果、SageMaker と AWS Batch の長所を組み合わせた、エンドツーエンドの製品カテゴリ予測パイプラインの作成に成功しました。

この予測分析の機能、特に製品カテゴリの正確な予測は、非常に貴重であることが証明されています。 これにより、在庫管理を最適化し、顧客とのやり取りを強化し、市場での存在感を強化する重要なデータ主導の洞察が当社のチームに提供されました。

この投稿で説明する方法論は、特徴セット収集の初期段階から予測パイプラインの最終実装まで多岐にわたります。 私たちの戦略の重要な側面は、SageMaker と AWS Batch を使用して、事前トレーニングされた BERT モデルを XNUMX つの異なる言語に合わせて改良することです。 さらに、AWS のオブジェクト ストレージ サービスとのシームレスな統合 Amazon シンプル ストレージ サービス (Amazon S3) は、これらの洗練されたモデルを効率的に保存し、アクセスするための鍵となってきました。

SageMaker はフルマネージド ML サービスです。 SageMaker を使用すると、データ サイエンティストと開発者は、ML モデルを迅速かつ簡単に構築およびトレーニングし、本番環境に対応したホスト環境に直接デプロイできます。

フルマネージドサービスである AWS Batch は、あらゆる規模のバッチコンピューティングワークロードの実行に役立ちます。 AWS Batch は、コンピューティング リソースを自動的にプロビジョニングし、ワークロードの量と規模に基づいてワークロードの分散を最適化します。 AWS Batch を使用すると、バッチ コンピューティング ソフトウェアのインストールや管理が必要ないため、結果の分析と問題の解決に時間を集中できます。 インスタンスの GPU を使用するジョブの実行に役立つ GPU ジョブを使用しました。

ソリューションの概要

Getir のデータ サイエンス チームとインフラストラクチャ チームの XNUMX 人がこのプロジェクトに協力しました。 プロジェクトは XNUMX か月で完了し、XNUMX 週間のテスト後に実稼働環境にデプロイされました。

次の図は、ソリューションのアーキテクチャを示しています。

モデル パイプラインは国ごとに個別に実行されます。 このアーキテクチャには、定義されたスケジュールで実行される、国ごとに XNUMX つの AWS Batch GPU cron ジョブが含まれています。

私たちは、SageMaker と AWS Batch GPU リソースを戦略的にデプロイすることで、いくつかの課題を克服しました。 それぞれの困難に対処するために使用されるプロセスについては、次のセクションで詳しく説明します。

AWS Batch GPU ジョブを使用して多言語 BERT モデルを微調整する

私たちは、多様なユーザー ベースに合わせて複数の言語をサポートするソリューションを模索しました。 BERT モデルは、複雑な自然言語タスクを効果的に処理する能力が確立されているため、当然の選択でした。 これらのモデルをニーズに合わせて調整するために、シングルノード GPU インスタンス ジョブを使用して AWS の力を活用しました。 これにより、サポートが必要な XNUMX つの言語ごとに、事前トレーニングされた BERT モデルを微調整することができました。 この方法により、潜在的な言語の壁を克服し、製品カテゴリーを高精度で予測できるようになりました。

Amazon S3 を使用した効率的なモデルのストレージ

次のステップは、モデルの保存と管理に取り組むことでした。 このために、スケーラビリティとセキュリティで知られる Amazon S3 を選択しました。 微調整された BERT モデルを Amazon S3 に保存することで、組織内のさまざまなチームに簡単にアクセスできるようになり、導入プロセスが大幅に合理化されました。 これは、業務の俊敏性と ML の取り組みのシームレスな統合を実現する上で重要な側面でした。

エンドツーエンドの予測パイプラインの作成

事前トレーニングされたモデルを最大限に活用するには、効率的なパイプラインが必要でした。 私たちは最初にこれらのモデルを SageMaker にデプロイしました。これにより、低遅延でのリアルタイム予測が可能になり、それによってユーザー エクスペリエンスが向上しました。 当社の運用にとって同様に重要な大規模なバッチ予測には、AWS Batch GPU ジョブを利用しました。 これにより、リソースが最適に使用され、パフォーマンスと効率の完璧なバランスが実現されました。

SageMaker MME で将来の可能性を探る

ML パイプラインの進化と効率化を追求し続ける中で、私たちが熱心に検討している手段の XNUMX つは、微調整されたモデルをデプロイするために SageMaker マルチモデル エンドポイント (MME) を使用することです。 MME を使用すると、さまざまな微調整されたモデルのデプロイメントを潜在的に合理化し、効率的なモデル管理を確保しながら、シャドウ バリアント、自動スケーリング、 アマゾンクラウドウォッチ 統合。 この探求は、予測分析機能を強化し、お客様に優れたエクスペリエンスを提供するという当社の継続的な追求と一致しています。

まとめ

SageMaker と AWS Batch の統合に成功したことで、当社特有の課題に対処しただけでなく、運用効率も大幅に向上しました。 洗練された製品カテゴリ予測パイプラインの実装を通じて、当社はデータに基づいた洞察を商業チームに提供することができ、それによってより効果的な意思決定を促進します。

私たちの結果は、私たちのアプローチの有効性を雄弁に物語っています。 当社は、カテゴリー粒度の 80 つのレベルすべてにわたって XNUMX% の予測精度を達成しました。これは、当社がサービスを提供する各国の製品の品揃えを形成する上で重要な役割を果たしています。 このレベルの精度により、言語の壁を超えて当社の対応範囲が広がり、多様なユーザー ベースに最大限の精度で対応できるようになります。

さらに、スケジュールされた AWS Batch GPU ジョブを戦略的に使用することで、モデルのトレーニング時間を 90% 短縮することができました。 この効率化により、プロセスがさらに合理化され、運用の機敏性が強化されました。 Amazon S3 を使用した効率的なモデルストレージは、リアルタイム予測とバッチ予測の両方のバランスをとり、この達成において重要な役割を果たしました。

SageMaker を使用して独自の ML パイプラインの構築を開始する方法の詳細については、以下を参照してください。 AmazonSageMakerリソース。 AWS Batch は、低い運用オーバーヘッドでバッチジョブを実行するための、低コストでスケーラブルなソリューションをお探しの場合に最適なオプションです。 開始するには、を参照してください。 AWS Batch の使用開始.

---

著者について

ナフィ・アフメット・トゥルグト 電気電子工学の修士号を取得し、大学院研究員として働いていました。 彼の焦点は、神経ネットワークの異常をシミュレートする機械学習アルゴリズムの構築でした。 彼は 2019 年に Getir に入社し、現在はシニア データ サイエンス & アナリティクス マネージャーとして働いています。 彼のチームは、Getir のエンドツーエンドの機械学習アルゴリズムとデータ駆動型ソリューションの設計、実装、保守を担当しています。

ハサン・ブラク・イェル ボアジチ大学で電気電子工学の学士号を取得しました。 彼は Turkcell で勤務し、主に時系列予測、データ視覚化、ネットワーク自動化に重点を置いていました。 彼は 2021 年に Getir に入社し、現在、検索、レコメンデーション、成長ドメインを担当するデータ サイエンス & 分析マネージャーとして働いています。

ダムラ・シェンテュルク ガラタサライ大学でコンピューター工学の学士号を取得しました。 彼女はボアジチ大学でコンピュータ エンジニアリングの修士号を取得し続けています。 彼女は 2022 年に Getir に入社し、データ サイエンティストとして働いています。 彼女は商業、サプライ チェーン、ディスカバリー関連のプロジェクトに取り組んできました。

エスラ・カヤバリ AWS のシニア ソリューション アーキテクトであり、データ ウェアハウジング、データ レイク、ビッグ データ分析、バッチおよびリアルタイムのデータ ストリーミング、データ統合などの分析ドメインを専門としています。 彼女はソフトウェア開発とアーキテクチャに 12 年の経験があります。 彼女はクラウド テクノロジーの学習と教育に情熱を注いでいます。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/