検索拡張生成 (RAG) を使用すると、大規模言語モデル (LLM) に、リポジトリ、データベース、API などの外部知識ソースからのデータへのアクセスを、微調整することなく提供できます。 質問応答に生成 AI を使用する場合、RAG を使用すると、LLM は最も関連性の高い最新の情報を使用して質問に回答し、オプションで検証のためにデータ ソースを引用できるようになります。
ドキュメントからナレッジを取得するための一般的な RAG ソリューションは、エンベディング モデルを使用してデータ ソースからのデータをエンベディングに変換し、これらのエンベディングをベクトル データベースに保存します。 ユーザーが質問すると、ベクトル データベースを検索し、ユーザーのクエリに最も類似したドキュメントを取得します。 次に、取得したドキュメントとユーザーのクエリを拡張プロンプトに結合し、テキスト生成のために LLM に送信されます。 この実装には、埋め込みモデルと最終応答を生成する LLM という XNUMX つのモデルがあります。
この投稿では、使用方法を示します Amazon SageMakerスタジオ RAG 質問応答ソリューションを構築します。
RAG ベースの質問応答にノートブックを使用する
RAG を実装するには、通常、さまざまな埋め込みモデル、ベクトル データベース、テキスト生成モデル、プロンプトを実験すると同時に、機能するプロトタイプが完成するまでコードをデバッグする必要があります。 アマゾンセージメーカー は、GPU インスタンスを備えたマネージド Jupyter ノートブックを提供しており、追加のインフラストラクチャを起動することなく、この初期段階で迅速に実験できるようになります。 SageMaker でノートブックを使用するには XNUMX つのオプションがあります。 最初のオプションは高速起動です ノートPC SageMaker Studio から入手できます。 ML 専用の統合開発環境 (IDE) である SageMaker Studio では、さまざまなインスタンス タイプおよびさまざまな構成で実行されるノートブックを起動したり、同僚と共同作業したり、機械学習 (ML) 専用の追加機能にアクセスしたりできます。 XNUMX 番目のオプションは、 SageMakerノートブックインスタンスこれは、Jupyter Notebook アプリを実行するフルマネージド ML コンピューティング インスタンスです。
この投稿では、外部知識ソースからの追加データでモデルの知識を強化し、カスタム ドメインに固有のより正確な応答を提供する RAG ソリューションを紹介します。 私たちは XNUMX つの SageMaker Studio ノートブックを使用します。 ml.g5.2xlarge
インスタンス (1 A10G GPU) と ラマ 2 7b チャット HF、Llama 2 7b の微調整バージョンで、Hugging Face Hub のダイアログのユースケース向けに最適化されています。 XNUMX つの AWS メディア & エンターテイメント ブログ投稿をサンプル外部データとして使用し、これを BAAI/bge-small-en-v1.5 埋め込み。 埋め込みを保存します 松毬は、高性能の検索と類似性照合を提供するベクトルベースのデータベースです。 また、プロトタイピングの完了時に、ノートブックでの実験からモデルを SageMaker エンドポイントにデプロイしてリアルタイム推論に移行する方法についても説明します。 同じアプローチをさまざまなモデルやベクトル データベースで使用できます。
ソリューションの概要
次の図は、ソリューションのアーキテクチャを示しています。
ソリューションの実装は、SageMaker Studio ノートブックを使用したソリューションの開発と、推論用のモデルのデプロイという XNUMX つの高レベルの手順で構成されます。
SageMaker Studio ノートブックを使用してソリューションを開発する
ソリューションの開発を開始するには、次の手順を実行します。
- ノートブックの Hugging Face Hub から Llama-2 7b チャット モデルをロードします。
- PromptTemplate を作成する ラングチェーン それを使用して、ユースケースに応じたプロンプトを作成します。
- 1 ~ 2 個のプロンプトの例では、外部ドキュメントから関連する静的テキストをプロンプト コンテキストとして追加し、応答の品質が向上するかどうかを評価します。
- 品質が向上すると仮定して、RAG 質問応答ワークフローを実装します。
- モデルがユースケースの質問にうまく答えるのに役立つ外部ドキュメントを収集します。
- BGE 埋め込みモデルをロードし、それを使用してこれらのドキュメントの埋め込みを生成します。
- これらの埋め込みを Pinecone インデックスに保存します。
- ユーザーが質問すると、Pinecone で類似性検索を実行し、最も類似したドキュメントのコンテンツをプロンプトのコンテキストに追加します。
大規模な推論のためにモデルを SageMaker にデプロイする
パフォーマンス目標を達成したら、生成 AI アプリケーションで使用できるモデルを SageMaker にデプロイできます。
- Llama-2 7b チャット モデルを SageMaker リアルタイム エンドポイントにデプロイします。
- を展開します BAAI/bge-small-en-v1.5 埋め込みモデルを SageMaker リアルタイム エンドポイントに送信します。
- デプロイされたモデルを質問応答生成 AI アプリケーションで使用します。
次のセクションでは、このソリューションを SageMaker Studio ノートブックに実装する手順を説明します。
前提条件
この投稿の手順に従うには、AWS アカウントと AWS IDおよびアクセス管理 ソリューション リソースを作成してアクセスする権限を持つ (IAM) ロール。 AWS を初めて使用する場合は、次を参照してください。 スタンドアロンの AWS アカウントを作成する.
AWS アカウントで SageMaker Studio ノートブックを使用するには、 SageMakerドメイン SageMaker Studio アプリを起動する権限を持つユーザー プロファイルを使用します。 SageMaker Studio を初めて使用する場合は、 スタジオのクイックセットアップ を始めるのが最も早い方法です。 シングルクリックで、SageMaker はユーザープロファイル、IAM ロール、IAM 認証、パブリックインターネットアクセスの設定を含むデフォルトのプリセットを使用して SageMaker ドメインをプロビジョニングします。 この投稿のノートブックは、 ml.g5.2xlarge
インスタンスタイプ。 クォータを確認または増やすには、AWS サービス クォータ コンソールを開き、 AWSサービス ナビゲーション ペインで、 アマゾンセージメーカーで実行されている Studio KernelGateway アプリの値を参照します。 ml.g5.2xlarge
インスタンス。
クォータ制限を確認したら、Llama 2 7b チャットを使用するための依存関係を完了する必要があります。
Llama 2 7b チャットは次の場所で利用できます。 ラマ2ライセンス。 ハグフェイスのラマ 2 にアクセスするには、最初にいくつかの手順を完了する必要があります。
- Hugging Face アカウントをまだお持ちでない場合は、作成してください。
- メタページで「Llama の次のバージョンへのアクセスをリクエスト」フォームに記入します。 ウェブサイト.
- アクセスをリクエストする ラマ 2 7b チャット ハグフェイスについて。
アクセスが許可されたら、モデルにアクセスするための新しいアクセス トークンを作成できます。 アクセス トークンを作成するには、次の場所に移動します。 設定 ハグフェイスウェブサイトのページ。
Pinecone をベクトル データベースとして使用するには、Pinecone のアカウントが必要です。 Pinecone は、AWS で次の方法で入手できます。 AWS Marketplace。 Pinecone の Web サイトでは、 無料アカウント これには単一のインデックスを作成する権限が付属しており、この投稿の目的にはこれで十分です。 松ぼっくりキーを取得するには、 松ぼっくりコンソール 選択して APIキー.
ノートブックと環境をセットアップする
この投稿のコードに従うには、SageMaker Studio を開いて次のコードのクローンを作成します。 GitHubリポジトリ。 次にノートブックを開きます studio-local-gen-ai/rag/RAG-with-Llama-2-on-Studio.ipynb PyTorch 2.0.0 Python 3.10 GPU 最適化イメージ、Python 3 カーネルを選択し、 ml.g5.2xlarge
インスタンスタイプとして。 SageMaker Studio ノートブックを初めて使用する場合は、以下を参照してください。 Amazon SageMaker Studio ノートブックを作成または開く.
開発環境をセットアップするには、次のコードに示すように、必要な Python ライブラリをインストールする必要があります。
%%writefile requirements.txt
sagemaker>=2.175.0
transformers==4.33.0
accelerate==0.21.0
datasets==2.13.0
langchain==0.0.297
pypdf>=3.16.3
pinecone-client
sentence_transformers
safetensors>=0.3.3
!pip install -U -r requirements.txt
事前トレーニングされたモデルとトークナイザーをロードする
必要なライブラリをインポートした後、 ラマ-2 7b チャット Hugging Face の対応するトークナイザーとともにモデルを作成します。 これらのロードされたモデル アーティファクトは、SageMaker Studio 内のローカル ディレクトリに保存されます。 これにより、別の時間に作業を再開する必要があるときはいつでも、それらをメモリにすばやく再ロードできます。
import torch from transformers import ( AutoTokenizer, LlamaTokenizer, LlamaForCausalLM, GenerationConfig, AutoModelForCausalLM
)
import transformers tg_model_id = "meta-llama/Llama-2-7b-chat-hf" #the model id in Hugging Face
tg_model_path = f"./tg_model/{tg_model_id}" #the local directory where the model will be saved tg_model = AutoModelForCausalLM.from_pretrained(tg_model_id, token=hf_access_token,do_sample=True, use_safetensors=True, device_map="auto", torch_dtype=torch.float16
tg_tokenizer = AutoTokenizer.from_pretrained(tg_model_id, token=hf_access_token) tg_model.save_pretrained(save_directory=tg_model_path, from_pt=True)
tg_tokenizer.save_pretrained(save_directory=tg_model_path, from_pt=True)
最新の情報が必要な質問をする
これで、モデルの使用を開始して質問できるようになります。 Llama-2 チャット モデルは、プロンプトが次の形式に従うことを期待します。
<s>[INST] <<SYS>>
system_prompt
<<SYS>>
{{ user_message }} [/INST]
あなたが使用することができます プロンプトテンプレート LangChain からプロンプト形式に基づいてレシピを作成し、今後プロンプトを簡単に作成できるようにします。
from langchain import PromptTemplate template = """<s>[INST] <<SYS>>nYou are an assistant for question-answering tasks. You are helpful and friendly. Use the following pieces of retrieved context to answer the query. If you don't know the answer, you just say I don't know. Use three sentences maximum and keep the answer concise.
<<SYS>>n
{context}n
{question} [/INST] """
prompt_template = PromptTemplate( template=template, input_variables=['context','question'] )
モデルに 2023 年の最新情報が必要な質問をしてみましょう。LangChain を使用できます。 LLMチェーン チェーンのタイプを指定し、パラメータとして LLM、前に作成したプロンプト テンプレート、および質問を渡します。
question = "When can I visit the AWS M&E Customer Experience Center in New York City?" tg_tokenizer.add_special_tokens( {"pad_token": "[PAD]"} )
tg_tokenizer.padding_side = "left" tg_pipe = transformers.pipeline(task='text-generation', model=tg_model, tokenizer=tg_tokenizer, num_return_sequences=1, eos_token_id=tg_tokenizer.eos_token_id, pad_token_id=tg_tokenizer.eos_token_id, max_new_tokens=400, temperature=0.7) from langchain.chains import LLMChain
from langchain.llms import HuggingFacePipeline llm=HuggingFacePipeline(pipeline=tg_pipe, model_kwargs={'temperature':0.7})
llm_chain = LLMChain(llm=llm, prompt=prompt_template)
no_context_response = llm_chain.predict(context="", question=question)
print(no_context_response)
次のような生成された回答が得られます。
ご連絡いただきありがとうございます。 ニューヨーク市にある AWS M&E カスタマー エクスペリエンス センターは、新型コロナウイルス感染症 (COVID-19) のパンデミックのため、現在訪問を停止しています。 ただし、センターの再開時期に関する最新情報については、公式ウェブサイトまたはソーシャルメディアアカウントをチェックしてください。 それまでの間、オンラインで利用できるバーチャル ツアーやリソースを探索してください。
プロンプトにコンテキストを追加して回答を改善する
私たちが導き出した答えは完全に真実ではありません。 コンテキストを提供して改善できるかどうかを見てみましょう。 投稿からの抜粋を追加できます AWS、ニューヨークに新しい M&E カスタマーエクスペリエンスセンターを発表これには、2023 年からのトピックに関する最新情報が含まれています。
context = """Media and entertainment (M&E) customers continue to face challenges in creating more content, more quickly, and distributing it to more endpoints than ever before in their quest to delight viewers globally. Amazon Web Services (AWS), along with AWS Partners, have showcased the rapid evolution of M&E solutions for years at industry events like the National Association of Broadcasters (NAB) Show and the International Broadcast Convention (IBC). Until now, AWS for M&E technology demonstrations were accessible in this way just a few weeks out of the year. Customers are more engaged than ever before; they want to have higher quality conversations regarding user experience and media tooling. These conversations are best supported by having an interconnected solution architecture for reference. Scheduling a visit of the M&E Customer Experience Center will be available starting November 13th, please send an email to AWS-MediaEnt-CXC@amazon.com."""
LLMChain を再度使用し、前のテキストをコンテキストとして渡します。
context_response = llm_chain.predict(context=context, question=question)
print(context_response)
新しい応答は、最新情報を含む質問に答えます。
13 月 XNUMX 日から、ニューヨーク市の AWS M&E カスタマー エクスペリエンス センターにアクセスできるようになります。 訪問をスケジュールするには、AWS-MediaEnt-CXC@amazon.com にメールを送信してください。
適切なコンテキストを追加することでモデルのパフォーマンスが向上することを確認しました。 これで、質問に対する適切なコンテキストを見つけて追加することに集中できるようになります。 つまり、RAG を実装します。
BGE 埋め込みと Pinecone を使用して RAG 質問応答を実装する
この時点で、モデルの知識を強化するための情報ソースを決定する必要があります。 これらのソースは、組織内の内部 Web ページやドキュメント、または公的に利用可能なデータ ソースである可能性があります。 この投稿の目的と簡素化のために、2023 年に公開された XNUMX つの AWS ブログ投稿を選択しました。
これらの投稿は、SageMaker Studio のデータ プロジェクト ディレクトリに PDF ドキュメントとしてすでに用意されており、すぐにアクセスできます。 ドキュメントを管理しやすいチャンクに分割するには、 RecursiveCharacterTextSplitter LangChain からのメソッド:
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import PyPDFDirectoryLoader loader = PyPDFDirectoryLoader("./data/") documents = loader.load() text_splitter=RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=5
)
docs = text_splitter.split_documents(documents)
次に、BGE 埋め込みモデルを使用します。 bge-small-en によって作成されました 北京人工知能アカデミー (BAAI) これらのチャンクの埋め込みを生成するために、Hugging Face で利用できます。 モデルをダウンロードして、Studio のローカル ディレクトリに保存します。 インスタンスの CPU で実行できるように fp32 を使用します。
em_model_name = "BAAI/bge-small-en"
em_model_path = f"./em-model" from transformers import AutoModel
# Load model from HuggingFace Hub
em_model = AutoModel.from_pretrained(em_model_name,torch_dtype=torch.float32)
em_tokenizer = AutoTokenizer.from_pretrained(em_model_name,device="cuda") # save model to disk
em_tokenizer.save_pretrained(save_directory=f"{em_model_path}/model",from_pt=True)
em_model.save_pretrained(save_directory=f"{em_model_path}/model",from_pt=True)
em_model.eval()
次のコードを使用して、embedding_generator 関数を作成します。この関数は、ドキュメント チャンクを入力として受け取り、BGE モデルを使用して埋め込みを生成します。
# Tokenize sentences
def tokenize_text(_input, device): return em_tokenizer( [_input], padding=True, truncation=True, return_tensors='pt' ).to(device) # Run embedding task as a function with model and text sentences as input
def embedding_generator(_input, normalize=True): # Compute token embeddings with torch.no_grad(): embedded_output = em_model( **tokenize_text( _input, em_model.device ) ) sentence_embeddings = embedded_output[0][:, 0] # normalize embeddings if normalize: sentence_embeddings = torch.nn.functional.normalize( sentence_embeddings, p=2, dim=1 ) return sentence_embeddings[0, :].tolist() sample_sentence_embedding = embedding_generator(docs[0].page_content)
print(f"Embedding size of the document --->", len(sample_sentence_embedding))
この投稿では、マネージド型のクラウドネイティブな Pinecone を使用した RAG ワークフローを示します。 ベクトルデータベース また、 API 類似検索用。 次のコードを自由に書き換えて、好みのベクトル データベースを使用できます。
を初期化します 松ぼっくり Python クライアント そして、埋め込みモデルの出力長を使用して新しいベクトル検索インデックスを作成します。 LangChain の組み込みの Pinecone クラスを使用して、前のステップで作成した埋め込みを取り込みます。 取り込むドキュメント、埋め込みジェネレーター関数、Pinecone インデックスの名前という XNUMX つのパラメーターが必要です。
import pinecone
pinecone.init( api_key = os.environ["PINECONE_API_KEY"], environment = os.environ["PINECONE_ENV"]
)
#check if index already exists, if not we create it
index_name = "rag-index"
if index_name not in pinecone.list_indexes(): pinecone.create_index( name=index_name, dimension=len(sample_sentence_embedding), ## 384 for bge-small-en metric='cosine' ) #insert the embeddings
from langchain.vectorstores import Pinecone
vector_store = Pinecone.from_documents( docs, embedding_generator, index_name=index_name
)
Llama-2 7B チャット モデルがメモリにロードされ、埋め込みが Pinecone インデックスに統合されたため、これらの要素を組み合わせて、質問応答のユースケースに対する Llama 2 の応答を強化できるようになりました。 これを実現するには、LangChain を使用できます。 検索QAこれにより、ベクター ストアから最も類似したドキュメントが最初のプロンプトに追加されます。 設定することにより return_source_documents=True
を使用すると、回答の一部として回答を生成するために使用された正確なドキュメントを確認できるため、回答の正確さを検証できます。
from langchain.chains import RetrievalQA
import textwrap #helper method to improve the readability of the response
def print_response(llm_response): temp = [textwrap.fill(line, width=100) for line in llm_response['result'].split('n')] response = 'n'.join(temp) print(f"{llm_response['query']}n n{response}'n n Source Documents:") for source in llm_response["source_documents"]: print(source.metadata) llm_qa_chain = RetrievalQA.from_chain_type( llm=llm, #the Llama-2 7b chat model chain_type='stuff', retriever=vector_store.as_retriever(search_kwargs={"k": 2}), # perform similarity search in Pinecone return_source_documents=True, #show the documents that were used to answer the question chain_type_kwargs={"prompt": prompt_template}
)
print_response(llm_qa_chain(question))
次のような答えが得られます。
Q: ニューヨーク市の AWS M&E カスタマーエクスペリエンスセンターにはいつアクセスできますか?
A: 喜んでお手伝いさせていただきます! 状況によると、ニューヨーク市の AWS M&E カスタマー エクスペリエンス センターは 13 月 XNUMX 日から訪問可能になります。 AWS-MediaEnt-CXC@amazon.com に電子メールを送信して、訪問をスケジュールできます。
ソースドキュメント:
{'page': 4.0, 'source': 'data/AWS、ニューヨーク市に新しい M&E カスタマー エクスペリエンス センターを発表 _ AWS for M&E Blog.pdf'}
{'page': 2.0, 'source': 'data/AWS、ニューヨーク市に新しい M&E カスタマー エクスペリエンス センターを発表 _ AWS for M&E Blog.pdf'}
別の質問を試してみましょう。
question2=" How many awards have AWS Media Services won in 2023?"
print_response(llm_qa_chain(question2))
次のような答えが得られます。
Q: AWS Media Services は 2023 年にいくつの賞を受賞しましたか?
A: ブログ投稿によると、AWS Media Services は 2023 年に XNUMX つの業界賞を受賞しました。
ソースドキュメント:
{'page': 0.0, 'source': 'データ/AWS メディアサービスが業界の栄誉を獲得 _ AWS for M&E Blog.pdf'}
{'page': 1.0, 'source': 'データ/AWS メディアサービスが業界の栄誉を獲得 _ AWS for M&E Blog.pdf'}
十分なレベルの信頼を確立したら、モデルを次の場所にデプロイできます。 リアルタイム推論のための SageMaker エンドポイント。 これらのエンドポイントは完全に管理されており、自動スケーリングのサポートを提供します。
SageMaker は、モデルのデプロイに利用できる大規模モデル推論コンテナ (LMI) を使用した大規模モデル推論を提供します。 これらのコンテナには、DeepSpeed などのオープン ソース ライブラリがプリインストールされており、推論中のテンソル並列処理などのパフォーマンス向上技術の実装が容易になります。 さらに、事前に構築された統合モデル サーバーとして DJLServing を使用します。 DJLサービング は、動的バッチ処理とワーカーの自動スケーリングのサポートを提供し、それによってスループットを向上させる、高性能のユニバーサル モデル提供ソリューションです。
私たちのアプローチでは、SageMaker LMI と DJLServing および DeepSpeed Inference を使用して、Llama-2-chat 7b および BGE モデルを、上で実行されている SageMaker エンドポイントにデプロイします。 ml.g5.2xlarge
インスタンスを使用して、リアルタイム推論を可能にします。 これらの手順を自分で実行する場合は、付属のマニュアルを参照してください。 ノート 詳細な手順については、
XNUMX つ必要になります ml.g5.2xlarge
デプロイメント用のインスタンス。 クォータを確認または増やすには、AWS サービス クォータ コンソールを開き、 AWSサービス ナビゲーション ペインで、 アマゾンセージメーカーの値を参照してください。 ml.g5.2xlarge
エンドポイントの使用のため。
次の手順は、RAG ワークフローのカスタム モデルを SageMaker エンドポイントにデプロイするプロセスの概要を示しています。
- を展開します ラマ-2 7b 上で実行されている SageMaker リアルタイム エンドポイントへのチャット モデル
ml.g5.2xlarge
高速テキスト生成用のインスタンス。 - を展開します BAAI/bge-small-en-v1.5 上で実行されている SageMaker リアルタイム エンドポイントへの埋め込みモデル
ml.g5.2xlarge
実例。 あるいは、独自の埋め込みモデルをデプロイすることもできます。 - 質問してLangChainを使用してください 検索QA Pinecone からの最も類似したドキュメントでプロンプトを拡張するには、今回は SageMaker リアルタイム エンドポイントにデプロイされたモデルを使用します。
# convert your local LLM into SageMaker endpoint LLM
llm_sm_ep = SagemakerEndpoint( endpoint_name=tg_sm_model.endpoint_name, # <--- Your text-gen model endpoint name region_name=region, model_kwargs={ "temperature": 0.05, "max_new_tokens": 512 }, content_handler=content_handler,
) llm_qa_smep_chain = RetrievalQA.from_chain_type( llm=llm_sm_ep, # <--- This uses SageMaker Endpoint model for inference chain_type='stuff', retriever=vector_store.as_retriever(search_kwargs={"k": 2}), return_source_documents=True, chain_type_kwargs={"prompt": prompt_template}
)
- LangChain を使用して、埋め込みモデルを備えた SageMaker エンドポイントが期待どおりに動作し、今後のドキュメントの取り込みに使用できることを確認します。
response_model = smr_client.invoke_endpoint( EndpointName=em_sm_model.endpoint_name, <--- Your embedding model endpoint name Body=json.dumps({ "text": "This is a sample text" }), ContentType="application/json",
) outputs = json.loads(response_model["Body"].read().decode("utf8"))['outputs']
クリーンアップ
リソースをクリーンアップするには、次の手順を実行します。
- SageMaker Studio ノートブックでの作業が終了したら、必ずシャットダウンしてください。
ml.g5.2xlarge
停止アイコンを選択すると、料金が発生しないようにインスタンスを停止できます。 セットアップすることもできます ライフサイクル構成スクリプト リソースが使用されていないときに自動的にシャットダウンします。
- モデルを SageMaker エンドポイントにデプロイした場合は、ノートブックの最後で次のコードを実行してエンドポイントを削除します。
#delete your text generation endpoint
sm_client.delete_endpoint( EndpointName=tg_sm_model.endpoint_name
)
# delete your text embedding endpoint
sm_client.delete_endpoint( EndpointName=em_sm_model.endpoint_name
)
- 最後に、次の行を実行して、Pinecone インデックスを削除します。
pinecone.delete_index(index_name)
まとめ
SageMaker ノートブックは、Retrieval Augmented Generation への取り組みを開始するための簡単な方法を提供します。 これらを使用すると、追加のインフラストラクチャを起動することなく、さまざまなモデル、構成、質問を対話的に実験できます。 この投稿では、LangChain、BGE 埋め込みモデル、および Pinecone を使用して、質問応答のユースケースで Llama 2 7b チャットのパフォーマンスを向上させる方法を示しました。 開始するには、SageMaker Studio を起動し、 ノート 以下で入手可能 GitHubレポ。 コメントセクションであなたの考えを共有してください!
著者について
アナスタシア・ツェベレカ AWS の機械学習および AI スペシャリスト ソリューション アーキテクトです。 彼女は EMEA の顧客と協力し、AWS のサービスを使用して大規模な機械学習ソリューションを設計するのを支援しています。 彼女は、自然言語処理 (NLP)、MLOps、Low Code No Code ツールなど、さまざまな分野のプロジェクトに取り組んできました。
プラナフ・ムルティ AWS の AI/ML スペシャリスト ソリューション アーキテクトです。 彼は、顧客が機械学習 (ML) ワークロードを構築、トレーニング、デプロイし、SageMaker に移行できるよう支援することに重点を置いています。 以前は半導体業界で、半導体プロセスを改善するための大規模なコンピューター ビジョン (CV) および自然言語処理 (NLP) モデルの開発に従事していました。 自由時間には、チェスをしたり、旅行を楽しんでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-studio-to-build-a-rag-question-answering-solution-with-llama-2-langchain-and-pinecone-for-fast-experimentation/
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 10
- 100
- 13
- 16
- 2023
- 33
- 500
- 7
- a
- AC
- アカデミー
- アクセス
- データへのアクセス
- アクセス可能な
- 従った
- アカウント
- 精度
- 正確な
- 達成する
- 加えます
- 追加
- NEW
- さらに
- 付着します
- 再び
- AI
- AI / ML
- 許す
- 許可
- ことができます
- 沿って
- 既に
- また
- Amazon
- アマゾンセージメーカー
- Amazon SageMakerスタジオ
- Amazon Webサービス
- Amazon Webサービス(AWS)
- an
- および
- 発表
- 回答
- 回答
- どれか
- API
- アプリ
- アプローチ
- アプリ
- 建築
- です
- 人工の
- 人工知能
- AS
- 頼む
- 評価する
- アシスタント
- 協会
- と仮定する
- At
- 増強
- 増強された
- 補強します
- 認証
- オート
- 自動的に
- 利用できます
- 避ける
- 受賞
- 賞を受賞
- AWS
- ベース
- BE
- き
- BEST
- より良いです
- ブログ
- ブログの投稿
- ボディ
- 放送
- ビルド
- 内蔵
- by
- 缶
- 場合
- 例
- センター
- チェーン
- チェーン
- 課題
- 課金
- チェック
- チェス
- 選択する
- 選択する
- 選ばれた
- 市町村
- class
- クリック
- 閉まっている
- コード
- 協力します
- 同僚
- COM
- 組み合わせる
- 組み合わせ
- 来ます
- comes
- 注釈
- コンプリート
- 計算
- コンピュータ
- Computer Vision
- 特徴
- 信頼
- 確認済み
- からなる
- 領事
- コンテナ
- コンテンツ
- コンテキスト
- 続ける
- 大会
- 会話
- 変換
- 対応する
- 可能性
- コロナ
- COVID-19パンデミック
- 作ります
- 作成した
- 作成
- 現在
- カスタム
- 顧客
- 顧客満足体験
- Customers
- データ
- データベース
- データベースを追加しました
- 決めます
- デフォルト
- 喜び
- 実証します
- 実証
- 依存関係
- 展開します
- 展開
- 展開する
- 展開
- 詳細な
- 開発
- 開発
- デバイス
- 対話
- 異なります
- 話し合います
- 配布する
- 分割
- ドキュメント
- ドキュメント
- ドメイン
- ドメイン
- ドン
- ドント
- ダウン
- ダウンロード
- 原因
- 間に
- ダイナミック
- e
- 前
- 簡単に
- 努力
- 要素は
- 埋め込み
- EMEA
- 可能
- 有効にする
- end
- エンドポイント
- 従事して
- 高めます
- エンターテインメント
- 完全に
- 環境
- 装備
- 設立
- イベント
- EVER
- 進化
- 例
- 存在
- 期待する
- 予想される
- 体験
- 実験
- 探る
- 外部
- エキス
- 顔
- 容易化する
- スピーディー
- 最速
- 特徴
- 少数の
- ファイナル
- 発見
- 名
- 初回
- 五
- フォーカス
- 焦点を当てて
- フォロー中
- フォーム
- 形式でアーカイブしたプロジェクトを保存します.
- フォワード
- 無料版
- 優しい
- から
- 完全に
- function
- 機能的な
- 未来
- 利得
- 生成する
- 生成された
- 生成
- 世代
- 生々しい
- 生成AI
- ジェネレータ
- 取得する
- グローバルに
- 目標
- 行く
- GPU
- 付与された
- ハッピー
- 持ってる
- 持って
- he
- 助けます
- 役立つ
- 助け
- ことができます
- ハイレベル
- ハイパフォーマンス
- より高い
- 彼の
- ヒット
- 認定条件
- How To
- しかしながら
- HTML
- HTTPS
- ハブ
- 抱き合う顔
- i
- IBC
- ICON
- ID
- アイデンティティ
- if
- 説明する
- 画像
- 実装する
- 実装
- 実装
- import
- 改善します
- 改善されました
- 向上させる
- in
- その他の
- 含ま
- 含めて
- 増える
- の増加
- index
- 産業を変えます
- 業界イベント
- 情報
- インフラ
- 初期
- install
- 説明書
- 統合された
- インテリジェンス
- 相互接続
- 内部
- 世界全体
- インターネット
- インターネット・アクセス
- に
- IT
- ITS
- 旅
- JPG
- JSON
- ただ
- キープ
- キー
- 知っている
- 知識
- 言語
- 大
- 起動する
- 学習
- 左
- 長さ
- レベル
- ライブラリ
- ような
- LIMIT
- LINE
- ラマ
- LLM
- 負荷
- ローダ
- ローカル
- ロー
- 機械
- 機械学習
- make
- 扱いやすいです
- マネージド
- 多くの
- マッチング
- その間
- メディア
- メモリ
- Meta
- 方法
- 移動します
- ML
- MLOps
- モデル
- 他には?
- 最も
- しなければなりません
- NAB
- 名
- 国民
- ナチュラル
- 自然言語処理
- ナビゲート
- ナビゲーション
- 必要
- 必要
- ニーズ
- 新作
- 新しいアクセス
- ニューヨーク
- ニューヨーク市
- 次の
- NLP
- いいえ
- ノート
- 11月
- 今
- of
- 提供
- オファー
- 公式
- 公式ウェブサイト
- on
- ONE
- オンライン
- 開いた
- オープンソース
- 最適化
- オプション
- オプション
- or
- 組織
- OS
- その他
- 私たちの
- でる
- アウトライン
- 出力
- outputs
- 自分の
- パッド
- ページ
- パンデミック
- ペイン
- パラメータ
- 部
- パートナー
- パス
- 実行する
- パフォーマンス
- パーミッション
- 相
- ピース
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 再生
- お願いします
- ポスト
- 投稿
- 優先
- 現在
- 前
- 前に
- プロセス
- ラボレーション
- 処理
- プロフィール
- プロジェクト
- プロジェクト(実績作品)
- プロトタイプ
- プロトタイピング
- 提供します
- 提供
- 公共
- 公然と
- 公表
- 目的
- Python
- パイトーチ
- 品質
- クエスト
- 質問
- 質問
- クイック
- すぐに
- 急速な
- 急速に
- 到達
- への
- 最近
- レシピ
- 参照する
- 参照
- に対する
- 関連した
- 再び開きます
- 必要とする
- の提出が必要です
- 要件
- 必要
- リソース
- 応答
- 回答
- 結果
- 履歴書
- return
- レビュー
- 右
- 職種
- ラン
- ランニング
- セージメーカー
- 酒
- 同じ
- Save
- 保存されました
- 言う
- 規模
- スケーリング
- スケジュール
- スケジューリング
- を検索
- 検索
- 二番
- セクション
- 半導体
- 送信
- 送信
- サービス
- サービス
- セッションに
- 設定
- シェアする
- 彼女
- 表示する
- ショーケース
- 示されました
- シャット
- シャットダウン
- 同様の
- 単純
- サイズ
- So
- 社会
- ソーシャルメディア
- 溶液
- ソリューション
- 一部
- ソース
- ソース
- 専門家
- 特定の
- 特に
- スタンドアロン
- start
- 開始
- 起動
- 静的な
- 手順
- ステップ
- Force Stop
- 店舗
- 保存され
- 店舗
- 簡単な
- 研究
- そのような
- 十分な
- サポート
- サポート
- 確か
- 素早く
- 取り
- 仕事
- タスク
- テクニック
- テクノロジー
- template
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- アプリ環境に合わせて
- それら
- そこ。
- それによって
- ボーマン
- 彼ら
- この
- 三
- 介して
- スループット
- 時間
- 〜へ
- トークン
- トークン化する
- 豊富なツール群
- トピック
- トーチ
- ツアー
- トレーニング
- トランスフォーマー
- 遷移
- 旅行
- true
- 試します
- 2
- type
- 典型的な
- 一般的に
- 下
- ユニバーサル
- まで
- 最新
- 更新版
- 使用法
- つかいます
- 使用事例
- 中古
- ユーザー
- 操作方法
- 使用されます
- 活用する
- 値
- さまざまな
- Verification
- 確認する
- バージョン
- 、
- 視聴者
- バーチャル
- バーチャルツアー
- 視認性
- ビジョン
- 訪問
- 訪問
- 歩く
- 欲しいです
- 仕方..
- we
- ウェブ
- Webサービス
- ウェブサイト
- ウィークス
- した
- いつ
- たびに
- which
- while
- 意志
- 以内
- 無し
- 勝った
- 言葉
- 仕事
- 働いていました
- ワーカー
- ワークフロー
- ワーキング
- 作品
- 年
- 年
- ヨーク
- You
- あなたの
- あなた自身
- ゼファーネット