大規模言語モデル (LLM) エージェントは、1) 外部ツール (API、関数、Webhook、プラグインなど) へのアクセス、および 2) セルフでタスクを計画および実行する機能により、スタンドアロン LLM の機能を拡張するプログラムです。 -ファッションを演出します。 多くの場合、LLM は、複雑なタスクを実行するために、他のソフトウェア、データベース、または API と対話する必要があります。 たとえば、会議をスケジュールする管理用チャットボットには、従業員のカレンダーと電子メールへのアクセスが必要です。 ツールにアクセスすると、LLM エージェントはさらに強力になりますが、その代わりに複雑さが増します。
この投稿では、LLM エージェントを紹介し、次を使用して e コマース LLM エージェントを構築および展開する方法を示します。 Amazon SageMaker ジャンプスタート および AWS ラムダ。 エージェントはツールを使用して、返品に関する質問に答えるなどの新しい機能を提供します (「返品はありますか?」 rtn001
「処理されましたか?」)、注文に関する最新情報を提供します (「注文が完了したら教えてください)」 123456
出荷しました?")。 これらの新機能では、LLM が複数のデータ ソースからデータをフェッチする必要があります (orders
, returns
) 検索拡張生成 (RAG) を実行します。
LLM エージェントを強化するには、 Flan-UL2
として展開されたモデル SageMakerエンドポイント AWS Lambda で構築されたデータ取得ツールを使用します。 エージェントはその後、次のものと統合できます。 Amazon Lex ウェブサイト内でチャットボットとして使用されたり、 AWS コネクト。 この記事の最後では、LLM エージェントを実稼働環境にデプロイする前に考慮すべき事項について説明します。 LLM エージェントを構築するためのフルマネージド エクスペリエンスのために、AWS は次のサービスも提供します。 Amazon Bedrock 機能のエージェント (プレビュー中).
LLM エージェント アーキテクチャの概要
LLM エージェントは、LLM を使用して、複雑なタスクを完了するために必要に応じてツールをいつどのように使用するかを決定するプログラムです。 ツールとタスク計画機能を使用すると、LLM エージェントは外部システムと対話し、知識の遮断、幻覚、不正確な計算などの LLM の従来の制限を克服できます。 ツールは、API 呼び出し、Python 関数、Webhook ベースのプラグインなど、さまざまな形式を取ることができます。 たとえば、LLM は「取得プラグイン」を使用して、関連するコンテキストを取得し、RAG を実行できます。
では、LLM がツールを選択し、タスクを計画することは何を意味するのでしょうか? さまざまなアプローチがあります(たとえば、 反応します, MRKL, ツールフォーマー、 ハグGPT, トランスフォーマーエージェントs) ツールでの LLM の使用まで、急速に進歩しています。 しかし、簡単な方法の 1 つは、LLM にツールのリストを要求し、2) ユーザーのクエリを満たすためにツールが必要かどうか、必要な場合は XNUMX) 適切なツールを選択することを決定するように依頼することです。 このようなプロンプトは通常、次の例のようになり、適切なツールを選択する際の LLM の信頼性を向上させるために、いくつかのショットの例が含まれる場合があります。
より複雑なアプローチには、「API 呼び出し」または「ツールの使用」を直接デコードできる特殊な LLM の使用が含まれます。 ゴリラLLM。 このような微調整された LLM は、API 仕様データセットでトレーニングされ、命令に基づいて API 呼び出しを認識および予測します。 多くの場合、これらの LLM は、ツール呼び出しを出力するために、使用可能なツールに関するメタデータ (入力パラメーターの説明、yaml、または JSON スキーマ) を必要とします。 このアプローチを採用しているのは、 Amazon Bedrock のエージェント および OpenAI 関数呼び出し。 一般に、ツール選択機能を示すためには、LLM が十分に大きく複雑である必要があることに注意してください。
タスク計画とツール選択メカニズムが選択されていると仮定すると、一般的な LLM エージェント プログラムは次の順序で動作します。
- ユーザーリクエスト – プログラムは、「注文したものはどこですか」などのユーザー入力を受け取ります。
123456
?」 一部のクライアント アプリケーションから。 - 次のアクションを計画し、使用するツールを選択します – 次に、プログラムはプロンプトを使用して、LLM に次のアクションを生成させます。たとえば、「次のコマンドを使用して注文テーブルを検索します。」
OrdersAPI
」 LLM は、次のようなツール名を提案するように求められます。OrdersAPI
利用可能なツールとその説明の事前定義されたリストから選択します。 あるいは、次のような入力パラメータを使用して API 呼び出しを直接生成するように LLM に指示することもできます。OrdersAPI(12345)
.- 次のアクションには、ツールまたは API の使用が含まれる場合と含まれない場合があることに注意してください。 そうでない場合、LLM はツールから追加のコンテキストを組み込むことなくユーザー入力に応答するか、単に「この質問には答えることができません」などの定型応答を返します。
- 解析ツールのリクエスト – 次に、LLM によって提案されたツール/アクションの予測を解析して検証する必要があります。 ツール名、API、およびリクエスト パラメーターが幻覚を受けていないこと、およびツールが仕様に従って適切に呼び出されていることを確認するには、検証が必要です。 この解析には、別の LLM 呼び出しが必要になる場合があります。
- ツールの呼び出し – 有効なツール名とパラメータが確認されたら、ツールを呼び出します。 これは、HTTP リクエスト、関数呼び出しなどです。
- 出力を解析する – ツールからの応答には追加の処理が必要な場合があります。 たとえば、API 呼び出しの結果、フィールドのサブセットのみが LLM に関係する場合、長い JSON 応答が生成される場合があります。 クリーンな標準化された形式で情報を抽出すると、LLM が結果をより確実に解釈するのに役立ちます。
- 出力を解釈する – ツールからの出力が与えられると、LLM はそれを理解して、最終的な回答を生成してユーザーに返すことができるかどうか、または追加のアクションが必要かどうかを判断するよう再度求められます。
- 終了するか、ステップ 2 に進みます – エラーまたはタイムアウトの場合は、最終的な回答またはデフォルトの回答を返します。
エージェント フレームワークが異なれば、前述のプログラム フローの実行方法も異なります。 例えば、 反応します ツールの選択と最終的な回答の生成に個別のプロンプトを使用するのではなく、ツールの選択と最終的な回答の生成を XNUMX つのプロンプトに結合します。 また、このロジックは単一パスで実行することも、while ステートメント (「エージェント ループ」) で実行することもでき、最終的な回答が生成されるか、例外がスローされるか、タイムアウトが発生すると終了します。 変わらないのは、エージェントが LLM を中心として使用して、タスクが終了するまで計画とツールの呼び出しを調整することです。 次に、AWS のサービスを使用して単純なエージェント ループを実装する方法を示します。
ソリューションの概要
このブログ投稿では、ツールを活用した XNUMX つの機能を提供する e-コマース サポート LLM エージェントを実装します。
- 返品状況取得ツール – 「返品はどうなっているの?」など、返品のステータスに関する質問に答えます。
rtn001
? " - 注文状況取得ツール – 「注文のステータスは何ですか」など、注文のステータスを追跡します。
123456
? "
エージェントは、LLM をクエリ ルーターとして効果的に使用します。 クエリが与えられました (「注文のステータスは何ですか?」 123456
?”)、複数のデータ ソース (つまり、返品と注文) にわたってクエリを実行する適切な取得ツールを選択します。 データ ソースと対話してコンテキストを取得する役割を担う複数の取得ツールの中から LLM に選択させることで、クエリ ルーティングを実現します。 これは、単一のデータ ソースを前提とする単純な RAG パターンを拡張します。
どちらの取得ツールも、ID (orderId
or returnId
) を入力として使用し、データ ソースから JSON オブジェクトを取得し、その JSON を LLM での使用に適した人間に優しい表現文字列に変換します。 現実のシナリオにおけるデータ ソースは、次のようなスケーラビリティの高い NoSQL データベースである可能性があります。 DynamoDBただし、このソリューションでは単純な Python を使用します。 Dict
デモ用のサンプルデータ付き。
取得ツールを追加し、それに応じてプロンプトを変更することで、エージェントに追加の機能を追加できます。 このエージェントは、HTTP 経由で任意の UI と統合されるスタンドアロン サービスをテストできます。これは、次のコマンドで簡単に実行できます。 Amazon Lex.
主要なコンポーネントに関する追加の詳細を次に示します。
- LLM 推論エンドポイント – エージェント プログラムの中核は LLM です。 SageMaker JumpStart 基盤モデル ハブを使用して、
Flan-UL2
モデル。 SageMaker JumpStart を使用すると、LLM 推論エンドポイントを専用のエンドポイントに簡単にデプロイできます セージメーカー インスタンス。 - エージェント オーケストレーター – エージェント オーケストレーターは、LLM、ツール、クライアント アプリ間の対話を調整します。 このソリューションでは、AWS Lambda 関数を使用してこのフローを推進し、ヘルパー関数として次の関数を使用します。
- タスク (ツール) プランナー – タスク プランナーは LLM を使用して、1) 返品の問い合わせ、2) 注文の問い合わせ、または 3) ツールなしのいずれかを提案します。 当社は迅速なエンジニアリングのみを使用しており、
Flan-UL2
微調整なしでそのままのモデル。 - ツールパーサー – ツール パーサーは、タスク プランナーからのツールの提案が有効であることを確認します。 特に、単一の
orderId
orreturnId
解析できる。 それ以外の場合は、デフォルトのメッセージで応答します。 - ツールディスパッチャー – ツール ディスパッチャーは、有効なパラメータを使用してツール (Lambda 関数) を呼び出します。
- 出力パーサー – 出力パーサーは、JSON から関連項目をクリーンアップして人間が判読できる文字列に抽出します。 このタスクは、各取得ツールとオーケストレーター内の両方で実行されます。
- 出力インタープリタ – 出力インタープリターの役割は、1) ツール呼び出しからの出力を解釈し、2) ユーザーの要求を満たすことができるか、または追加の手順が必要かを判断することです。 後者の場合、最終応答が別途生成され、ユーザーに返されます。
- タスク (ツール) プランナー – タスク プランナーは LLM を使用して、1) 返品の問い合わせ、2) 注文の問い合わせ、または 3) ツールなしのいずれかを提案します。 当社は迅速なエンジニアリングのみを使用しており、
ここで、主要なコンポーネントであるエージェント オーケストレーター、タスク プランナー、ツール ディスパッチャーについてもう少し詳しく見てみましょう。
エージェント オーケストレーター
以下は、エージェント オーケストレーター Lambda 関数内のエージェント ループの短縮版です。 ループは次のようなヘルパー関数を使用します。 task_planner
or tool_parser
、タスクをモジュール化します。 ここでのループは、LLM が不必要に長くループ内に留まらないように、最大 XNUMX 回実行されるように設計されています。
タスクプランナー(ツール予測)
エージェント オーケストレーターが使用するのは、 task planner
ユーザー入力に基づいて検索ツールを予測します。 LLM エージェントの場合は、プロンプト エンジニアリングと少数のプロンプトを使用して、コンテキストに沿って LLM にこのタスクを教えるだけです。 より高度なエージェントは、ツール予測に微調整された LLM を使用できますが、これについてはこの投稿の範囲を超えています。 プロンプトは次のとおりです。
ツールディスパッチャ
ツールディスパッチメカニズムは次のように機能します。 if/else
ツールの名前に応じて適切な Lambda 関数を呼び出すロジック。 以下は tool_dispatch
ヘルパー関数の実装。 内部で使用されています agent
ループし、ツールの Lambda 関数から生の応答を返します。これはその後、 output_parser
機能。
ソリューションを展開する
重要な前提条件 – 導入を開始するには、次の前提条件を満たす必要があります。
- のアクセス AWSマネジメントコンソール 起動できるユーザー経由 AWS CloudFormation スタック
- ナビゲーションに精通していること AWSラムダ および Amazon Lex コンソール
Flan-UL2
単一のものが必要ですml.g5.12xlarge
導入には、リソース制限を増やす必要がある場合があります。 サポートチケット。 この例では、次のように使用します。us-east-1
リージョンとしてサービス クォータを増やすようにしてください (必要に応じて)。us-east-1
.
CloudFormation を使用してデプロイする – ソリューションをデプロイできるのは、 us-east-1
下のボタンをクリックして:
ソリューションの展開には約 20 分かかり、 LLMAgentStack
スタック、これは次のとおりです。
- を使用して SageMaker エンドポイントをデプロイします
Flan-UL2
SageMaker JumpStart のモデル。 - XNUMX つの Lambda 関数をデプロイします。
LLMAgentOrchestrator
,LLMAgentReturnsTool
,LLMAgentOrdersTool
、および - を展開します AWSLex エージェントのテストに使用できるボット:
Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
.
ソリューションをテストする
スタックは、次の名前の Amazon Lex ボットをデプロイします。 Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
。 ボットを使用して、エージェントをエンドツーエンドでテストできます。 ここでは、Lambda 統合を使用して AWS Amazon Lex ボットをテストするための追加の包括的なガイドと、統合が高レベルでどのように機能するかについて説明します。 しかし、簡単に言うと、Amazon Lex ボットは、私たちが構築した Lambda 関数内で実行されている LLM エージェントとチャットするための簡単な UI を提供するリソースです (LLMAgentOrchestrator
).
考慮すべきサンプル テスト ケースは次のとおりです。
- 有効な注文の問い合わせ (例:「どの商品が注文されましたか?」
123456
?」)- 注文「123456」は有効な注文であるため、妥当な回答が期待できるはずです (例: 「Herbal Handsoap」)
- 有効な返品問い合わせ 返品の場合 (例: 「いつ返品しますか?」
rtn003
処理されましたか?」)- 返品のステータスについては合理的な回答を期待する必要があります。
- 返品または注文には関係ありません (例:「スコットランドの今の天気はどうですか?」)
- 返品や注文とは無関係な質問であるため、デフォルトの回答 (「申し訳ありませんが、その質問にはお答えできません。」) を返す必要があります。
- 無効な注文の問い合わせ (例:「どの商品が注文されましたか?」
383833
?」)- ID 383832 は注文データセットに存在しないため、正常に失敗する必要があります (たとえば、「注文が見つかりません。注文 ID を確認してください。」)。
- 無効な返品問い合わせ (例:「いつ帰りますか?」
rtn123
処理されましたか?」)- 同様に、id
rtn123
は返されるデータセットには存在しないため、正常に失敗するはずです。
- 同様に、id
- 無関係な返品問い合わせ (例:「返品の影響は何か」
rtn001
世界平和について?」)- この質問は、有効な注文に関係しているように見えますが、無関係です。 LLM は、無関係なコンテキストを含む質問をフィルタリングするために使用されます。
これらのテストを自分で実行するには、次の手順を参照してください。
- Amazon Lex コンソール (AWS コンソール > Amazon Lex)、というタイトルのボットに移動します。
Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot
。 このボットはすでに、LLMAgentOrchestrator
Lambda 関数は、FallbackIntent
トリガーされます。 - ナビゲーションペインで、 意図.
- 選択する 完成に向けてあなたの背中を押してくれる、執筆のための持続可能で本物のモーメンタムを作り出す。 右上隅に
- 4. ビルドプロセスが完了するまで待ちます。 完了すると、次のスクリーンショットに示すように、成功メッセージが表示されます。
- テスト ケースを入力してボットをテストします。
掃除
追加料金を回避するには、次の手順に従って、ソリューションによって作成されたリソースを削除します。
- ソフトウェア設定ページで、下図のように AWS CloudFormation コンソールで、という名前のスタックを選択します
LLMAgentStack
(または選択したカスタム名)。 - 選択する 削除
- CloudFormation コンソールからスタックが削除されたことを確認します。
重要: スタックが正常に削除されたことを再確認します。 Flan-UL2
推論エンドポイントが削除されます。
- 確認するには、次の場所に移動してください AWS コンソール > Sagemaker > エンドポイント > 推論 ページで見やすくするために変数を解析したりすることができます。
- このページには、すべてのアクティブなエンドポイントがリストされます。
- ことを確認してください
sm-jumpstart-flan-bot-endpoint
以下のスクリーンショットのように存在しません。
生産上の考慮事項
LLM エージェントを実稼働環境に導入するには、信頼性、パフォーマンス、保守性を確保するために追加の手順を実行する必要があります。 実稼働環境にエージェントを展開する前に考慮すべき事項がいくつかあります。
- エージェント ループに電力を供給するための LLM モデルの選択: この投稿で説明したソリューションでは、
Flan-UL2
タスク計画やツール選択を実行するための微調整を行わずにモデルを作成できます。 実際には、ツールまたは API リクエストを直接出力するように微調整された LLM を使用すると、信頼性とパフォーマンスが向上し、開発が簡素化されます。 ツール選択タスクで LLM を微調整したり、Toolformer のようなツール トークンを直接デコードするモデルを使用したりできます。- 微調整されたモデルを使用すると、エージェントが使用できるツールの追加、削除、更新も簡素化できます。 プロンプトのみベースのアプローチでは、ツールを更新するには、タスクの計画、ツールの解析、ツールのディスパッチなど、エージェント オーケストレーター内のすべてのプロンプトを変更する必要があります。 これは面倒な場合があり、LLM のコンテキストで提供されるツールが多すぎるとパフォーマンスが低下する可能性があります。
- 信頼性とパフォーマンス: LLM エージェントは、特に数回のループ内で完了できない複雑なタスクの場合、信頼性が低い場合があります。 出力検証、再試行を追加し、LLM から JSON または yaml への出力を構造化し、タイムアウトを強制してループに陥った LLM にエスケープ ハッチを提供することで、信頼性を向上させることができます。
まとめ
この投稿では、低レベルのプロンプトエンジニアリング、AWS Lambda 関数、および SageMaker JumpStart を構成要素として使用して、複数のツールを活用できる LLM エージェントを構築する方法を最初から検討しました。 LLM エージェントのアーキテクチャとエージェント ループについて詳しく説明しました。 このブログ投稿で紹介されている概念とソリューション アーキテクチャは、少数の事前定義されたツール セットを使用するエージェントに適している可能性があります。 また、運用環境でエージェントを使用するためのいくつかの戦略についても説明しました。 Agents for Bedrock はプレビュー段階ですが、 また、エージェント ツール呼び出しのネイティブ サポートを備えたエージェントを構築するためのマネージド エクスペリエンスも提供します。
著者について
ジョン・ファン AWS のジェネレーティブ AI アーキテクトであり、ラージ言語モデル (LLM) アプリケーション、ベクトル データベース、ジェネレーティブ AI 製品戦略に特に重点を置いています。 彼は、企業の AI/ML 製品開発と、LLM エージェントと副操縦士の将来を支援することに情熱を注いでいます。 AWS に入社する前は、Alexa でプロダクト マネージャーを務め、モバイル デバイスへの会話型 AI の導入を支援したほか、モルガン スタンレーでデリバティブ トレーダーも務めました。 彼はスタンフォード大学でコンピューター サイエンスの理学士号を取得しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- チャートプライム。 ChartPrime でトレーディング ゲームをレベルアップしましょう。 こちらからアクセスしてください。
- ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/learn-how-to-build-and-deploy-tool-using-llm-agents-using-aws-sagemaker-jumpstart-foundation-models/
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 100
- 視聴者の38%が
- 19
- 20
- 200
- 24
- 27
- 500
- 7
- 9
- a
- 能力
- 能力
- 私たちについて
- アクセス
- こちらからお申し込みください。
- 従った
- それに応じて
- 越えて
- Action
- 行動
- アクティブ
- 追加されました
- 追加
- NEW
- 行政の
- 進歩
- 後
- 再び
- エージェント
- エージェント
- AI
- AI / ML
- アレクサ
- すべて
- 既に
- また
- Amazon
- Amazon Lex
- Amazon Webサービス
- 間で
- 量
- an
- および
- 回答
- どれか
- API
- API
- アプリ
- 申し込み
- アプローチ
- アプローチ
- 適切な
- 建築
- です
- AS
- 頼む
- と仮定する
- At
- 増強された
- 利用できます
- 避ける
- AWS
- AWSラムダ
- バック
- ベース
- BE
- になる
- き
- さ
- 以下
- バークリー
- 越えて
- ビット
- ブロック
- ブログ
- ボディ
- ロボット
- 両言語で
- ボット
- 持って来る
- ビルド
- 建物
- 内蔵
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- (Comma Separated Values) ボタンをクリックして、各々のジョブ実行の詳細(開始/停止時間、変数値など)のCSVファイルをダウンロードします。
- by
- 計算
- カレンダー
- コール
- コール
- 缶
- 機能
- 場合
- 例
- 課金
- チャットボット
- チェック
- 選択する
- 選ばれた
- クライアント
- 組み合わせ
- 企業
- コンプリート
- 記入済みの
- 複雑な
- 複雑さ
- コンポーネント
- 包括的な
- コンピュータ
- コンピュータサイエンス
- コンセプト
- 結論
- 設定された
- 検討
- 検討事項
- 領事
- 定数
- コンテキスト
- 続ける
- 会話
- 会話型AI
- 基本
- 費用
- 可能性
- 作ります
- 作成した
- 面倒
- カスタム
- データ
- データベース
- データベースを追加しました
- データセット
- 日
- 決めます
- 専用の
- より深い
- デフォルト
- 定義
- デモ
- 実証します
- によっては
- 展開します
- 展開
- 展開する
- 展開
- 配備する
- デリバティブ
- 設計
- 詳細
- 細部
- 決定する
- 開発
- Devices
- 直接に
- 議論する
- ダイビング
- do
- ありません
- 行われ
- ドライブ
- e
- eコマース
- 各
- 簡単に
- 簡単に
- 効果的に
- どちら
- ほかに
- 従業員
- 端から端まで
- エンドポイント
- 施行
- エンジニアリング
- 高めます
- 確保
- 確実
- 確実に
- 確保する
- 入る
- と題する
- エラー
- エラー
- 脱出
- 特に
- 等
- イベント
- あらゆる
- 例
- 例
- 除く
- 例外
- 実行します
- 存在する
- 期待する
- 体験
- 調査済み
- 伸ばす
- 拡張する
- 外部
- 余分な
- 抽出物
- フェイル
- false
- ファッション
- 特徴
- 少数の
- フィールズ
- filter
- ファイナル
- フロー
- フォーカス
- フォロー中
- 次
- 形式でアーカイブしたプロジェクトを保存します.
- フォーム
- 発見
- Foundation
- フレームワーク
- 優しい
- から
- 満たす
- 完全に
- function
- 機能性
- 機能
- 未来
- 一般に
- 生成する
- 生成された
- 世代
- 生々しい
- 生成AI
- 取得する
- 与えられた
- Go
- 陸上
- ガイド
- 出来事
- ハッチ
- 持ってる
- 持って
- he
- 助けます
- 助けました
- 助け
- それゆえ
- こちら
- hi
- ハイ
- 非常に
- 保持している
- HOURS
- 認定条件
- How To
- HTML
- HTTP
- HTTPS
- ハブ
- 人間
- 人間が読める
- i
- ID
- if
- 影響
- 実装する
- 実装
- 輸入
- 改善します
- in
- include
- 組み込む
- 増える
- の増加
- 情報
- お問い合わせ
- 内部
- 説明書
- 統合された
- 統合する
- 統合
- 意図
- 対話
- 相互作用
- 相互作用
- 関心
- に
- 紹介する
- 導入
- 呼び出された
- 呼び出す
- 巻き込む
- IT
- リーディングシート
- 繰り返し
- 参加
- JPG
- JSON
- キー
- 知識
- 言語
- 大
- 起動する
- LEARN
- レベル
- ような
- 制限
- 制限
- リスト
- LLM
- ロジック
- 長い
- LOOKS
- make
- 作る
- マネージド
- 管理
- マネージャー
- 多くの
- 五月..
- me
- 意味する
- メカニズム
- メカニズム
- ミーティング
- メッセージ
- 分
- モバイル
- モバイルデバイス
- モデル
- 他には?
- モーガン
- モルガン·スタンレー
- 最も
- の試合に
- my
- 名
- 名前付き
- 名
- ネイティブ
- ナビゲート
- ナビゲート
- ナビゲーション
- 必要
- 必要
- 必要とされる
- 新作
- 次の
- いいえ
- なし
- 特に
- 今
- 数
- 多数の
- オブジェクト
- of
- 頻繁に
- on
- かつて
- ONE
- の
- 反対した
- or
- 注文
- 受注
- その他
- さもないと
- 私たちの
- でる
- 出力
- 外側
- が
- 克服する
- 概要
- ページ
- ペイン
- パラメータ
- パス
- 情熱的な
- パターン
- 平和
- ペンディング
- 実行する
- パフォーマンス
- 選ぶ
- ピックアップ
- 計画
- 計画
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- お願いします
- プラグイン
- 方針
- ポスト
- 電力
- パワード
- 練習
- 予測する
- 予測
- 前提条件
- 防ぐ
- プレビュー
- 前
- 事前の
- プロセス
- 処理済み
- 処理
- プロダクト
- 製品開発
- プロダクトマネージャー
- 生産
- 演奏曲目
- プログラム
- 正しく
- 提供します
- 提供
- は、大阪で
- 提供
- 目的
- Python
- 質問
- 質問
- クイック
- 上げる
- 急速に
- Raw
- 現実の世界
- 合理的な
- 認識する
- 払い戻し
- 地域
- 関連した
- 信頼性
- 残っている
- 削除済み
- 除去
- 表現
- 要求
- リクエスト
- 必要とする
- の提出が必要です
- 必要
- リソースを追加する。
- リソース
- 反応します
- 応答
- 責任
- 責任
- 結果
- return
- 返す
- 収益
- 右
- ルータ
- ルーティング
- ラン
- ランニング
- s
- セージメーカー
- 満足
- ド電源のデ
- シナリオ
- 科学
- スコープ
- を検索
- と思われる
- 選択
- 選択
- 自主的
- センス
- 別
- シーケンス
- サービス
- サービス
- セッションに
- いくつかの
- 出荷
- 発送
- ショート
- ショット
- すべき
- 表示する
- 示す
- 簡単な拡張で
- 簡素化する
- 単に
- 小さい
- So
- ソフトウェア
- 溶液
- 一部
- 洗練された
- ソース
- ソース
- 特別
- 専門の
- 特定の
- 仕様
- スタック
- スタンドアロン
- スタンフォード
- スタンフォード大学
- スタンレー
- start
- 開始
- ステートメント
- Status:
- 手順
- ステップ
- Force Stop
- 店舗
- 作戦
- 戦略
- 文字列
- 構造化
- 続いて
- 成功
- 首尾よく
- そのような
- 示唆する
- 適当
- サポート
- 確か
- システム
- テーブル
- 取る
- 撮影
- 取り
- 取得
- 仕事
- タスク
- 言う
- test
- テスト
- テスト
- テスト
- それ
- 未来
- アプリ環境に合わせて
- その後
- そこ。
- ボーマン
- この
- それらの
- 三
- 従って
- <font style="vertical-align: inherit;">回数</font>
- 〜へ
- トークン
- あまりに
- ツール
- 豊富なツール群
- top
- トータル
- 追跡する
- トレーダー
- 伝統的な
- 訓練された
- トリガ
- 試します
- 2
- 典型的な
- 一般的に
- ui
- 大学
- 不必要に
- まで
- 更新版
- 更新
- つかいます
- 中古
- ユーザー
- 使用されます
- 活用する
- 検証
- 多様
- バージョン
- 、
- wait
- ました
- 仕方..
- we
- 天気
- ウェブ
- Webサービス
- ウェブサイト
- WELL
- この試験は
- 何ですか
- いつ
- たびに
- かどうか
- which
- while
- 誰
- 意志
- 以内
- 無し
- 作品
- 世界
- でしょう
- ヤムル
- You
- あなたの
- あなた自身
- ゼファーネット