これは、XNUMX部構成のシリーズのXNUMX番目の投稿です。 ナットウェストグループ、大手金融サービス機関と提携 AWSプロフェッショナルサービス 新しい機械学習操作(MLOps)プラットフォームを構築します。 この投稿では、NatWestグループがAWSを利用して、標準化された安全で準拠したMLOpsプラットフォームのセルフサービス展開を可能にする方法を共有します。 AWSサービスカタログ & アマゾンセージメーカー。 これにより、新しい環境のプロビジョニングにかかる時間が数日からわずか数時間に短縮されました。
私たちは、意思決定者がこのコンテンツから利益を得ることができると信じています。 CTO、CDAO、シニアデータサイエンティスト、およびシニアクラウドエンジニアは、このパターンに従って、データサイエンスおよびエンジニアリングチームに革新的なソリューションを提供できます。
シリーズ全体を読む:
|
ナットウエストグループのテクノロジー
NatWest Groupは、英国全土の19万人を超える顧客に金融サービスを提供するデジタル世界向けのリレーションシップバンクです。 グループには多様な技術ポートフォリオがあり、ビジネス上の課題に対するソリューションは、多くの場合、特注の設計を使用して、長いタイムラインで提供されます。
最近、NatWest Groupはクラウドファースト戦略を採用しました。これにより、同社はマネージドサービスを使用してオンデマンドのコンピューティングおよびストレージリソースをプロビジョニングできるようになりました。 この動きにより、ビジネスソリューションの全体的な安定性、スケーラビリティ、およびパフォーマンスが向上すると同時に、コストが削減され、配信のリズムが加速されます。 さらに、クラウドに移行することで、NatWest Groupは、規制要件を満たし、制御された方法で動作するように、一貫性があり、繰り返し可能で、事前に承認されたソリューション設計のセットを適用することにより、テクノロジースタックを簡素化できます。
課題
クラウドファーストアプローチを採用するパイロット段階では、さまざまな実験と評価フェーズを利用しました。 分析サービス AWSで。 データサイエンスワークロード向けのNatWestGroupのクラウドプラットフォームの最初のイテレーションは、一貫性があり、安全で、準拠したクラウド環境をプロビジョニングするという課題に直面しました。 新しい環境を作成するプロセスには、数日から数週間、さらには数か月かかりました。 インフラストラクチャとデータソースの構築、プロビジョニング、保護、展開、および管理を中央のプラットフォームチームに依存しているため、新しいチームをオンボーディングしてクラウドで作業することは困難でした。
AWSアカウント間でインフラストラクチャの構成が異なるため、ワークロードをクラウドに移行することを決定したチームは、複雑なコンプライアンスプロセスを経る必要がありました。 各インフラストラクチャコンポーネントを個別に分析する必要があったため、セキュリティ監査のタイムラインが長くなりました。
AWSでの開発を開始するには、プラットフォームチームによって作成された一連のドキュメントガイドを読む必要がありました。 初期環境設定手順には、認証用の公開鍵と秘密鍵の管理、を使用したリモートサービスへの接続の構成が含まれます。 AWSコマンドラインインターフェイス (AWS CLI)またはローカル開発環境のSDK、およびローカルIDEをクラウドサービスにリンクするためのカスタムスクリプトの実行。 技術的な課題により、新しいチームメンバーの採用が困難になることがよくありました。 開発環境が構成された後、本番環境でソフトウェアをリリースするためのルートも同様に複雑で時間がかかりました。
このシリーズのパート1で説明したように、共同プロジェクトチームは、新しいデータサイエンスとMLOpsプラットフォームを構築する前に、NatWestグループ全体のチームからユーザーエクスペリエンスと要件に関する大量のフィードバックを収集しました。 このフィードバックの共通のテーマは、AWSでの迅速かつ効率的なプロジェクト提供の前兆としての自動化と標準化の必要性でした。 新しいプラットフォームは、AWSマネージドサービスを使用して、コストを最適化し、プラットフォーム構成の労力を削減し、不必要に大きなコンピューティングジョブを実行することによる二酸化炭素排出量を削減します。 標準化はプラットフォームの中心に組み込まれており、事前に承認され、完全に構成され、安全で、準拠し、再利用可能なインフラストラクチャコンポーネントがあり、データチームと分析チーム間で共有できます。
なぜSageMakerStudioなのか?
チームが選んだ Amazon SageMakerスタジオ MLパイプラインを構築および展開するためのメインツールとして。 Studioは、モデルの構築、トレーニング、および展開に必要な各ステップへの完全なアクセス、制御、および可視性をユーザーに提供する単一のWebベースのインターフェースを提供します。 モデル開発、メタデータトラッキング、アーティファクト管理、および展開のためのStudio IDE(統合開発環境)の成熟度は、NatWestグループチームに強くアピールした機能のXNUMXつでした。
NatWest Groupのデータサイエンティストは、モデル開発の初期段階でStudio内のSageMakerノートブックを使用して、データ分析、データラングリング、および特徴エンジニアリングを実行します。 ユーザーがこの最初の作業の結果に満足した後、コードはデータ変換、モデルトレーニング、推論、ロギング、および単体テスト用の構成可能な関数に簡単に変換され、本番環境に対応した状態になります。
モデル開発ライフサイクルの後の段階では、 AmazonSageMakerパイプライン、Studioで視覚的に検査および監視できます。 パイプラインはDAG(Directed Acyclic Graph)で視覚化され、パイプラインの実行中の状態に基づいてステップを色分けします。 さらに、 Amazon CloudWatchログ 失敗したステップのデバッグを容易にするために、DAGの横にが表示されます。 データサイエンティストには、SageMakerパイプラインのすべての基本的なステップで構成されるコードテンプレートが提供されます。 これにより、標準化されたフレームワーク(コラボレーションと知識の共有を容易にするためにプラットフォームのすべてのユーザー間で一貫性があります)が提供され、開発者は、解決しようとしているビジネス上の課題に固有の特注のロジックとアプリケーションコードを追加できます。
開発者はStudioIDE内でパイプラインを実行して、コードの変更が他のパイプラインステップと正しく統合されるようにします。 コードの変更が確認および承認された後、これらのパイプラインは、メインのGitリポジトリブランチトリガーに基づいて自動的に構築および実行されます。 モデルのトレーニング中、モデルの評価指標はSageMaker Experimentsに保存および追跡され、ハイパーパラメーターの調整に使用できます。 モデルがトレーニングされた後、モデルアーティファクトは SageMakerモデルレジストリ、モデルコンテナに関連するメタデータ、トレーニング中に使用されるデータ、モデル機能、およびモデルコード。 モデルレジストリは、すべてのモデル情報をパッケージ化し、本番環境へのモデルプロモーションの自動化を可能にするため、モデル展開プロセスで重要な役割を果たします。
MLOpsエンジニアはマネージドを展開します SageMakerバッチ変換ジョブ、ワークロードの要求を満たすように拡張します。 オフラインバッチ推論ジョブとエンドポイントを介して提供されるオンラインモデルはどちらも、SageMakerのマネージド推論機能を使用します。 これにより、プラットフォームエンジニアはモデル推論用のインフラストラクチャコンポーネントの構成に時間を費やすことがなくなり、ビジネスアプリケーションチームはコンピューティングインスタンスをセットアップして操作するための追加の定型コードを記述しないため、プラットフォームチームとビジネスアプリケーションチームの両方にメリットがあります。
なぜAWSサービスカタログなのか?
チームはAWSサービスカタログを選択して、安全で、準拠し、事前に承認されたインフラストラクチャテンプレートのカタログを作成しました。 AWS Service Catalog製品のインフラストラクチャコンポーネントは、NatWestGroupのセキュリティ要件を満たすように事前構成されています。 ロールアクセス管理、リソースポリシー、ネットワーク構成、および中央制御ポリシーは、AWSServiceCatalog製品にパッケージ化されたリソースごとに構成されます。 製品はバージョン管理され、AWSアカウントへのアクセスを取得した直後にデータサイエンスおよびエンジニアリングチームがインフラストラクチャをセルフサービスおよびデプロイできるようにする標準プロセスに従って、アプリケーションチームと共有されます。
プラットフォーム開発チームは、AWS Service Catalog製品を時間の経過とともに簡単に進化させ、ビジネス要件に基づいた新機能の実装を可能にします。 製品への反復的な変更は、AWSServiceCatalog製品のバージョン管理を利用して行われます。 新しい製品バージョンがリリースされると、プラットフォームチームはコードの変更をメインのGitブランチにマージし、AWSサービスカタログ製品のバージョンをインクリメントします。 ビジネスアプリケーションアカウントは、最新バージョンに移行する前に以前のバージョンの製品を使用できるため、インフラストラクチャの更新にはある程度の自律性と柔軟性があります。
ソリューションの概要
次の高レベルのアーキテクチャ図は、典型的なビジネスアプリケーションのユースケースがAWSにどのようにデプロイされるかを示しています。 次のセクションでは、アカウントアーキテクチャ、インフラストラクチャのデプロイ方法、ユーザーアクセス管理、およびさまざまなAWSサービスを使用してMLソリューションを構築する方法について詳しく説明します。
アーキテクチャ図に示されているように、アカウントはハブアンドスポークモデルに従います。 共有プラットフォームアカウントはハブアカウントとして機能し、ビジネスアプリケーションチーム(スポーク)アカウントに必要なリソースはプラットフォームチームによってホストされます。 これらのリソースには、次のものが含まれます。
- AWS Service Catalogによってホストされる、セルフサービスインフラストラクチャのデプロイに使用される安全で標準化されたインフラストラクチャ製品のライブラリ
- Dockerイメージ、に保存 Amazon エラスティック コンテナ レジストリ (Amazon ECR)、SageMakerパイプラインステップおよびモデル推論の実行中に使用されます
- AWS コードアーティファクト 事前承認されたPythonパッケージをホストするリポジトリ
これらのリソースは、AWS Service Catalogポートフォリオの共有およびインポート機能を介して、スポークアカウントと自動的に共有されます。 AWS IDおよびアクセス管理 (IAM)AmazonECRとCodeArtifactの両方の場合の信頼ポリシー。
各ビジネスアプリケーションチームには、NatWest Groupインフラストラクチャ環境でXNUMXつのAWSアカウント(開発、実稼働前、実稼働)がプロビジョニングされます。 環境名は、データサイエンス開発ライフサイクルにおけるアカウントの意図された役割を示しています。 開発アカウントは、データ分析とラングリングの実行、モデルとモデルパイプラインコードの記述、モデルのトレーニング、SageMakerStudioを介した本番環境と本番環境へのモデル展開のトリガーに使用されます。 実稼働前のアカウントは実稼働アカウントの設定を反映しており、モデルの展開とバッチ変換ジョブを本番環境にリリースする前にテストするために使用されます。 本番アカウントはモデルをホストし、本番推論ワークロードを実行します。
ユーザー管理
NatWest Groupには、ユーザーの役割の分離を実施するための厳格なガバナンスプロセスがあります。 ユーザーペルソナごとにXNUMXつの個別のIAMロールが作成されています。
プラットフォームチームは次の役割を使用します。
- プラットフォームサポートエンジニア –この役割には、通常どおりのタスクのアクセス許可と、プラットフォームを監視およびデバッグするための残りの環境の読み取り専用ビューが含まれます。
- プラットフォーム修正エンジニア –この役割は、昇格された権限で作成されています。 手動による介入が必要なプラットフォームに問題がある場合に使用されます。 この役割は、承認された期間限定の方法でのみ引き受けられます。
ビジネスアプリケーション開発チームには、次のXNUMXつの異なる役割があります。
- テクニカルリード –この役割は、アプリケーションチームのリーダー、多くの場合、シニアデータサイエンティストに割り当てられます。 このユーザーには、AWS Service Catalog製品のデプロイと管理、本番環境へのリリースのトリガー、および次のような環境のステータスの確認を行う権限があります。 AWS コードパイプライン ステータスとログ。 このロールには、SageMakerモデルレジストリでモデルを承認する権限がありません。
- Developer –この役割は、エンジニア、データサイエンティスト、および多くの場合チームリーダーを含む、SageMakerStudioで作業するすべてのチームメンバーに割り当てられます。 このロールには、Studioを開き、コードを記述し、SageMakerパイプラインを実行およびデプロイする権限があります。 テクニカルリードと同様に、この役割にはモデルレジストリでモデルを承認する権限がありません。
- モデル承認者 –この役割には、モデルレジストリ内のモデルの表示、承認、および拒否に関連する制限付きの権限があります。 この分離の理由は、モデルを構築およびトレーニングできるユーザーが、自分のモデルを承認してエスカレートされた環境にリリースすることを防ぐためです。
開発者とモデル承認者のために、個別のStudioユーザープロファイルが作成されます。 このソリューションでは、IAMポリシーステートメントとSageMakerユーザープロファイルタグの組み合わせを使用して、ユーザーが自分のユーザータイプに一致するユーザープロファイルのみを開くことができるようにします。 これにより、ユーザーがStudio IDEを開いたときに、正しいSageMaker実行IAMロール(したがってアクセス許可)が確実に割り当てられます。
AWSサービスカタログを使用したセルフサービスのデプロイ
エンドユーザーは、AWS Service Catalogを利用して、次のようなデータサイエンスインフラストラクチャ製品をデプロイします。
- スタジオ環境
- Studioユーザープロファイル
- モデル展開パイプライン
- トレーニングパイプライン
- 推論パイプライン
- 監視および警告のためのシステム
エンドユーザーは、AWSサービスカタログUIを介してこれらの製品を直接デプロイします。つまり、環境をプロビジョニングするための中央プラットフォームチームへの依存度が低くなります。 これにより、ユーザーが新しいクラウド環境にアクセスするのにかかる時間が数日からわずか数時間に大幅に短縮され、最終的には価値実現までの時間が大幅に短縮されました。 AWSサービスカタログ製品の共通セットを使用すると、企業全体のプロジェクト内の一貫性がサポートされ、コラボレーションと再利用の障壁が低くなります。
現在、すべてのデータサイエンスインフラストラクチャは、一元的に開発されたインフラストラクチャ製品のカタログを介して展開されているため、セキュリティを念頭に置いてこれらの各製品を構築するように注意が払われています。 サービスは、内で通信するように構成されています アマゾン バーチャル プライベート クラウド (Amazon VPC)トラフィックがパブリックインターネットを通過しないようにします。 データは、転送中および保存時に次を使用して暗号化されます AWSキー管理サービス (AWS KMS)キー。 IAMの役割も、最小特権の原則に従うように設定されています。
最後に、AWS Service Catalogを使用すると、プラットフォームチームは、ビジネスアプリケーションチームが利用可能または必要になったときに、新しい製品やサービスを継続的にリリースすることが簡単になります。 これらは、新しいインフラストラクチャ製品の形をとることができます。たとえば、エンドユーザーが独自のインフラストラクチャ製品を展開する機能を提供します。 アマゾンEMR クラスター、または既存のインフラストラクチャ製品の更新。 AWS Service Catalogは製品のバージョン管理をサポートし、 AWS CloudFormation 舞台裏では、既存の製品の新しいバージョンがリリースされたときに、インプレースアップグレードを使用できます。 これにより、プラットフォームチームは、複雑なアップグレードプロセスを開発するのではなく、製品の構築と改善に集中できます。
NatWestの既存のIaCソフトウェアとの統合
AWS Service Catalogは、セルフサービスのデータサイエンスインフラストラクチャのデプロイに使用されます。 さらに、NatWestのコードとしての標準インフラストラクチャ(IaC)ツールであるTerraformは、AWSアカウントでインフラストラクチャを構築するために使用されます。 Terraformは、アカウントの初期設定プロセス中にプラットフォームチームによって使用され、VPC、セキュリティグループ、 AWS システム マネージャー パラメータ、KMSキー、および標準のセキュリティ制御。 AWSサービスカタログポートフォリオやDockerイメージの構築に使用されるリソースなど、ハブアカウントのインフラストラクチャも、Terraformを使用して定義されます。 ただし、AWS Service Catalog製品自体は、標準のCloudFormationテンプレートを使用して構築されています。
SageMakerプロジェクトによる開発者の生産性とコード品質の向上
SageMakerプロジェクト 開発者とデータサイエンティストに、SageMakerStudioを離れることなくクイックスタートプロジェクトへのアクセスを提供します。 これらのクイックスタートプロジェクトを使用すると、数回クリックするだけで複数のインフラストラクチャリソースを同時に展開できます。 これらには、選択したモデルタイプの標準化されたプロジェクトテンプレートを含むGitリポジトリが含まれます。 Amazon シンプル ストレージ サービス (Amazon S3)データ、シリアル化されたモデルとアーティファクト、モデルのトレーニングと推論のCodePipelineパイプラインを保存するためのバケット。
標準化されたコードベースアーキテクチャとツールの導入により、データサイエンティストとエンジニアはプロジェクト間を簡単に移動でき、コードの品質を高いままに保つことができます。 たとえば、リンティングとフォーマットチェック(自動チェックとプリコミットフックの両方として実行)、単体テスト、カバレッジレポートなどのソフトウェアエンジニアリングのベストプラクティスは、トレーニングパイプラインの一部として自動化され、すべてのプロジェクトで標準化されています。 これにより、MLプロジェクトの保守性が向上し、これらのプロジェクトを本番環境に移行しやすくなります。
モデル展開の自動化
モデルトレーニングプロセスは、SageMakerパイプラインを使用して調整されます。 モデルがトレーニングされると、SageMakerモデルレジストリに保存されます。 モデル承認者の役割が割り当てられたユーザーは、モデルレジストリを開いて、モデルのトレーニング時期、ハイパーパラメータ値、評価指標など、トレーニングプロセスに関連する情報を見つけることができます。 この情報は、ユーザーがモデルを承認するか拒否するかを決定するのに役立ちます。 モデルを拒否すると、モデルがエスカレートされた環境にデプロイされなくなります。一方、モデルを承認すると、CodePipelineを介してモデルプロモーションパイプラインがトリガーされ、モデルが本番前のAWSアカウントに自動的にコピーされ、推論ワークロードテストの準備が整います。 チームがモデルが本番前で正しく機能することを確認した後、同じパイプラインの手動ステップが承認され、モデルが本番アカウントに自動的にコピーされ、本番推論ワークロードの準備が整います。
成果
NatWestとAWSの間のこの共同プロジェクトの主な目的のXNUMXつは、データサイエンスクラウド環境とMLモデルのプロビジョニングと本番環境へのデプロイにかかる時間を短縮することでした。 これが達成されました。NatWestは、数日または数週間と比較して、数時間で新しいスケーラブルで安全なAWS環境をプロビジョニングできるようになりました。 データサイエンティストとエンジニアは、AWS Service Catalogを使用して、データサイエンスインフラストラクチャを自分でデプロイおよび管理できるようになり、一元化されたプラットフォームチームへの依存を減らすことができます。 さらに、SageMakerプロジェクトを使用すると、ユーザーは数分以内にモデルのコーディングとトレーニングを開始できると同時に、標準化されたプロジェクト構造とツールを提供できます。
AWS Service Catalogは、データサイエンスインフラストラクチャをデプロイするための中心的な方法として機能するため、プラットフォームは将来簡単に拡張およびアップグレードできます。 新しいAWSサービスは、必要に応じてエンドユーザーに迅速に提供でき、既存のAWSサービスカタログ製品は、新しい機能を利用するために適切にアップグレードできます。
最後に、AWSでのマネージドサービスへの移行は、コンピューティングリソースがプロビジョニングされ、オンデマンドでシャットダウンされることを意味します。 これにより、コスト削減と柔軟性が提供されると同時に、 2050年までにネットゼロになるというNatWestの野心 COの推定75%削減による2 排出量。
まとめ
NatWest Groupでクラウドファースト戦略を採用したことで、組織全体の多数のビジネスアプリケーションチームをサポートできる堅牢なAWSソリューションが作成されました。 AWS Service Catalogを使用してインフラストラクチャを管理すると、簡単に拡張できるインフラストラクチャの安全で準拠した事前承認済みのビルディングブロックを使用することで、クラウドのオンボーディングプロセスが大幅に改善されました。 マネージドSageMakerインフラストラクチャコンポーネントは、モデル開発プロセスを改善し、MLプロジェクトの提供を加速しました。
NatWest Groupで本番環境に対応したMLモデルを構築するプロセスの詳細については、NatWestGroupとAWSProfessionalServices間の戦略的コラボレーションに関するこのXNUMX部構成のシリーズの残りの部分をご覧ください。
- 第1部 NatWestGroupがAWSProfessionalServicesと提携して、スケーラブルで安全かつ持続可能なMLOpsプラットフォームを構築する方法について説明します
- 第3部 NatWest GroupがSageMakerサービスを使用して、監査可能、再現可能、説明可能なMLモデルを構築する方法の概要を説明します
- 第4部 NatWestデータサイエンスチームが既存のモデルをSageMakerアーキテクチャに移行する方法の詳細
著者について
ジュナイドババ のDevOpsコンサルタントです AWSプロフェッショナルサービス 彼は、Kubernetes、分散コンピューティング、AI / MLOpsでの経験を活用して、英国の金融サービス業界の顧客のクラウド採用を加速しています。 Junaidは2018年XNUMX月からAWSに参加しています。それ以前は、JunaidはDevOpsプラクティスを推進する多くの金融新興企業と協力していました。 仕事以外では、トレッキング、現代美術、静止画に興味を持っています。
ヨルダンカ・イワノワ ナットウエストグループのデータエンジニアです。 彼女は、金融サービス業界の企業向けのデータソリューションの構築と提供の経験があります。 NatWestに入社する前は、技術コンサルタントとして、さまざまなクラウドサービスとオープンソーステクノロジーを活用して複数のクラウドプラットフォームにビジネス成果をもたらす経験を積みました。 余暇には、ヨルダンカはワークアウト、旅行、ギター演奏を楽しんでいます。
マイケルイングランド ナットウエストグループのデータサイエンスおよびイノベーションチームのソフトウェアエンジニアです。 彼は、クラウドで大規模な機械学習ワークロードを実行するためのソリューションの開発に情熱を注いでいます。 ナットウエストグループに参加する前は、マイケルはソフトウェアエンジニアリングチームで働き、金融サービスや旅行業界で重要なアプリケーションを開発していました。 余暇には、ギターを弾いたり、旅行したり、自転車で田舎を探索したりしています。
- "
- 100
- 私たちについて
- 加速された
- 加速している
- アクセス
- 越えて
- 添加
- NEW
- 養子縁組
- 利点
- すべて
- Amazon
- 間で
- 量
- 金額
- 分析
- 分析論
- 申し込み
- アプローチ
- 承認する
- 建築
- 宝品
- 割り当てられた
- 監査
- 認証
- 自動化
- オートメーション
- 自動化と標準化
- 利用できます
- AWS
- 銀行
- になる
- 舞台裏で
- さ
- 恩恵
- 利点
- BEST
- ベストプラクティス
- ビルド
- 建物
- ビジネス
- カーボン
- これ
- 集中型の
- 挑戦する
- 課題
- 小切手
- クラウド
- クラウドプラットフォーム
- クラウドサービス
- コード
- コーディング
- 環境、テクノロジーを推奨
- 組み合わせ
- コマンドと
- 企業
- 会社
- 比べ
- 複雑な
- コンプライアンス
- 準拠した
- コンポーネント
- 計算
- コンピューティング
- Connections
- コンサルタント
- コンテナ
- コンテナ
- 含まれています
- コンテンツ
- 継続的に
- コントロール
- 作成した
- 作成
- 創造
- 重大な
- カスタム
- Customers
- データ
- データ分析
- データサイエンス
- データサイエンティスト
- 配信
- 配信する
- 配達
- 需要
- 需要
- 展開します
- 展開
- 展開する
- 展開
- 配備
- 記載された
- デザイン
- 詳細
- 細部
- 発展した
- Developer
- 開発者
- 開発
- 開発
- 異なります
- 難しい
- デジタル
- 直接に
- 配布
- 分散コンピューティング
- デッカー
- そうではありません
- ダウン
- 運転
- 簡単に
- 効率的な
- 努力
- 手の込んだ
- enable
- エンドポイント
- エンジニア
- エンジニアリング
- エンジニア
- Enterprise
- 環境
- 推定
- 評価
- 進化
- 例
- 実行
- 既存の
- 体験
- 特徴
- 特徴
- フィードバック
- ファイナンシャル
- 金融業務
- 名
- 修正する
- 柔軟性
- フォーカス
- フォロー中
- フットプリント
- フォーム
- フレームワーク
- 機能性
- 未来
- Gitの
- ガバナンス
- グループ
- グループの
- ガイド
- ハッピー
- 助けます
- ことができます
- ハイ
- 認定条件
- HTTPS
- アイデンティティ
- 実装
- 改善されました
- include
- 含まれました
- 含ま
- 増加した
- 産業
- 産業を変えます
- 情報
- インフラ
- 革新的手法
- 革新的な
- 機関
- 統合する
- 統合された
- 利益
- インタフェース
- インターネット
- 関係する
- 問題
- IT
- Jobs > Create New Job
- キー
- キー
- 知識
- 大
- 最新の
- つながる
- LEARN
- 学習
- ツェッペリン
- レバレッジ
- 活用
- 図書館
- 限定的
- LINE
- 連結
- ローカル
- 機械
- 機械学習
- 製
- 主要な
- 作る
- 管理します
- マネージド
- 管理
- 管理する
- 方法
- マニュアル
- 問題
- 満期
- 意味
- メンバー
- メトリック
- 百万
- マインド
- ML
- モデル
- モニタリング
- ヶ月
- 他には?
- 移動する
- の試合に
- 名
- ネットワーキング
- 新しい特徴
- 新しいプラットフォーム
- 新製品
- 新製品
- 数
- 提供
- オンライン
- 新人研修
- オンライン
- 開いた
- 業務執行統括
- 最適化
- 組織
- その他
- 全体
- 自分の
- 特定の
- 提携
- 情熱的な
- パターン
- パフォーマンス
- 写真撮影
- パイロット
- プラットフォーム
- プラットフォーム
- 再生
- ポリシー
- 方針
- ポートフォリオ
- ポートフォリオ
- 原則
- プライベート
- 秘密鍵
- プロセス
- ラボレーション
- プロダクト
- 生産
- 生産性
- 製品
- プロ
- プロフィール
- 対応プロファイル
- プロジェクト
- プロジェクト(実績作品)
- プロモーション
- 提供します
- は、大阪で
- 提供
- 公共
- 品質
- クイック
- すぐに
- リーディング
- 減らします
- 縮小
- レギュレータ
- 関係
- リリース
- リリース
- リリース
- 依存
- レポート
- 倉庫
- 必要とする
- の提出が必要です
- 要件
- リソースを追加する。
- リソース
- REST
- 結果
- レビュー
- ルート
- ラン
- ランニング
- スケーラビリティ
- ド電源のデ
- 規模
- シーン
- 科学
- 科学者
- 科学者たち
- SDDK
- 安全に
- セキュリティ
- 選択
- シリーズ
- サービス
- サービス
- セッションに
- シェアする
- shared
- 重要
- 同様に
- 簡単な拡張で
- So
- ソフトウェア
- ソフトウェアエンジニア
- ソフトウェア工学
- 溶液
- ソリューション
- 過ごす
- 安定性
- スタック
- 標準
- ベンチャー
- 開始
- 都道府県
- 文
- Status:
- ストレージ利用料
- 戦略的
- 戦略
- 研究
- サポート
- サポート
- 持続可能な
- システム
- タスク
- チーム
- 技術的
- テクノロジー
- テクノロジー
- テンプレート
- test
- テスト
- テスト
- ジョイント
- テーマ
- したがって、
- 介して
- 時間
- ツール
- に向かって
- 追跡
- トラフィック
- トレーニング
- 最適化の適用
- 変換
- トランジット
- 旅行
- 旅行
- 信頼
- ui
- Uk
- 更新版
- つかいます
- users
- 活用する
- 活用
- 多様
- 詳しく見る
- バーチャル
- 視認性
- ウェブベースの
- かどうか
- while
- 誰
- 以内
- 無し
- 仕事
- 働いていました
- ワーキング
- 働く
- 作品
- 世界