Amazon SageMaker JumpStart でテキスト生成用に Llama 2 を微調整する | アマゾン ウェブ サービス

本日、Meta を使用して Llama 2 モデルを微調整する機能を発表できることを嬉しく思います。 Amazon SageMaker ジャンプスタート。 Llama 2 ファミリーの大規模言語モデル (LLM) は、7 億から 70 億のパラメーターの規模にわたる、事前トレーニングされ、微調整された生成テキスト モデルのコレクションです。 Llama-2-chat と呼ばれる微調整された LLM は、対話のユースケース向けに最適化されています。 これらのモデルは簡単に試したり、SageMaker JumpStart で使用したりできます。SageMaker JumpStart は、アルゴリズム、モデル、ML ソリューションへのアクセスを提供する機械学習 (ML) ハブであり、ML をすぐに始めることができます。 SageMaker JumpStart で、7 億、13 億、70 億のパラメータ Llama 2 テキスト生成モデルを微調整できるようになりました。 Amazon SageMakerスタジオ 数回クリックするか、SageMaker Python SDK を使用するだけの UI。

生成 AI 基盤モデルは、XNUMX 年以上にわたり、ML および人工知能の研究とユースケースのほとんどで注目されてきました。 これらの基礎モデルは、サイズが大きいことと、いくつかの大規模なデータセットと数百のタスクでトレーニングされているため、テキスト生成、要約、質問応答、画像とビデオの生成などの生成タスクで非常にうまく機能します。 これらのモデルの優れた一般化機能にもかかわらず、非常に特殊なドメイン データ (ヘルスケアや金融サービスなど) を含むユース ケースがよくあります。そのため、これらのモデルはこれらのユース ケースに対して良好な結果を提供できない可能性があります。 そのため、ユースケース固有およびドメイン固有のデータに対して、これらの生成 AI モデルをさらに微調整する必要があります。

この投稿では、SageMaker JumpStart を介して Llama 2 の事前トレーニング済みテキスト生成モデルを微調整する方法を説明します。

ラマ2とは

Llama 2 は、最適化されたトランスフォーマー アーキテクチャを使用する自動回帰言語モデルです。 Llama 2 は、英語での商用および研究での使用を目的としています。 これには、7 億、13 億、70 億といったさまざまなパラメーター サイズがあり、事前トレーニングおよび微調整されたバリエーションも用意されています。 Meta 氏によると、調整されたバージョンでは、教師あり微調整 (SFT) とヒューマン フィードバックを伴う強化学習 (RLHF) が使用され、有用性と安全性に対する人間の好みに合わせられます。 Llama 2 は、公的に入手可能なソースからの 2 兆トークンのデータで事前トレーニングされました。 調整されたモデルはアシスタントのようなチャットを目的としていますが、事前トレーニングされたモデルはさまざまな自然言語生成タスクに適応できます。 開発者が使用するモデルのバージョンに関係なく、 メタからの責任ある使用ガイド 適切な安全性を緩和してモデルをカスタマイズおよび最適化するために必要となる可能性のある追加の微調整をガイドするのに役立ちます。

現在、Llama 2 は次の地域で利用できます。

• 利用可能な事前トレーニング済みモデルをデプロイします。 "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• 微調整されたモデルを微調整してデプロイします。 “us-east-1”, “us-west-2”,“eu-west-1”

SageMaker JumpStart とは

SageMaker JumpStart を使用すると、ML 実践者は、公開されている基盤モデルの幅広い選択肢から選択できます。 ML 実践者は基礎モデルを専用のモデルにデプロイできます。 アマゾンセージメーカー ネットワーク分離環境からインスタンスを抽出し、モデルのトレーニングとデプロイメントに SageMaker を使用してモデルをカスタマイズします。 SageMaker Studio で数回クリックするだけで、または SageMaker Python SDK を介してプログラム的に Llama 2 を検出してデプロイできるようになりました。これにより、次のような SageMaker 機能を使用してモデルのパフォーマンスと MLOps コントロールを導出できるようになります。 AmazonSageMakerパイプライン, Amazon SageMakerデバッガ、またはコンテナーのログ。 モデルは AWS の安全な環境にデプロイされ、VPC の制御下に置かれるため、データのセキュリティが確保されます。 さらに、SageMaker JumpStart を介して、Llama2 7B、13B、および 70B の事前トレーニング済みテキスト生成モデルを微調整できます。

Llama2 モデルを微調整する

SageMaker Studio UI または SageMaker Python SDK を使用してモデルを微調整できます。 このセクションでは両方の方法について説明します。

SageMaker Studio UI を介したノーコード微調整

SageMaker Studio では、SageMaker JumpStart 経由で Llama 2 モデルにアクセスできます。 モデル、ノートブック、およびソリューション、次のスクリーンショットに示すように。

Llama 2 モデルが表示されない場合は、シャットダウンして再起動して、SageMaker Studio のバージョンを更新してください。 バージョンアップデートの詳細については、以下を参照してください。 Studio アプリをシャットダウンして更新する.

を選択すると、他の XNUMX つのモデル バリエーションを見つけることもできます。 すべてのテキスト生成モデルを調べる または検索ボックスで「ラマ」を検索します。

このページでは、 Amazon シンプル ストレージ サービス (Amazon S3) 微調整用のトレーニングおよび検証データセットを含むバケット。 さらに、展開構成、ハイパーパラメータ、セキュリティ設定を構成して微調整することができます。 その後、選択できます トレーニング SageMaker ML インスタンスでトレーニング ジョブを開始します。 上のスクリーンショットは、Llama-2 7B モデルの微調整ページを示しています。 ただし、13B および 70B Llama 2 テキスト生成モデルは、それぞれのモデル ページを同様に使用して微調整できます。 Llama 2 モデルを使用するには、エンド ユーザー使用許諾契約 (EULA) に同意する必要があります。 選択すると表示されます トレーニング、次のスクリーンショットに示すように。 選ぶ EULA と AUP を読んで同意します 微調整ジョブを開始します。

モデルを展開する

モデルを微調整したら、SageMaker JumpStart のモデル ページを使用してモデルをデプロイできます。 次のスクリーンショットに示すように、微調整が完了すると、微調整されたモデルをデプロイするオプションが表示されます。

SageMaker Python SDK を介して微調整する

SageMaker Python SDK を使用して Llama 2 モデルを微調整することもできます。 以下は、データセット上で Llama 2 7B を微調整するためのサンプル コードです。

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

微調整されたモデルを推定ツールから直接デプロイできます。

finetuned_predictor = estimator.deploy()

コードは次の場所にもあります SageMaker JumpStart で LLaMA 2 モデルを微調整する。 これには、データセットの準備、カスタム データセットでのトレーニング、微調整されたモデルのデプロイが含まれます。 要約タスクの例を使用して、Dolly データセットのサブセットの微調整を示します。 以下は、微調整された応答と微調整されていない応答、およびグラウンド トゥルース応答を含む入力例です。

モデルへの入力:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

グラウンドトゥルースの応答:

Felix Luna died on November 5th, 2009

微調整されていないモデルからの応答:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

微調整されたモデルからの応答:

Félix Luna died on November 5th, 2009.nn

Dolly および Dialogsum データセット上のさまざまなモデルのパフォーマンス ベンチマークについては、以下を参照してください。 パフォーマンスのベンチマーク この投稿の最後にある付録のセクションを参照してください。

微調整テクニック

Llama などの言語モデルのサイズは 10 GB、さらには 100 GB を超えます。 このような大規模なモデルを微調整するには、非常に多くの CUDA メモリを備えたインスタンスが必要です。 さらに、これらのモデルのトレーニングは、モデルのサイズが原因で非常に時間がかかる可能性があります。 したがって、効率的な微調整を行うために、次の最適化を使用します。

• 低ランク適応 (LoRA) – これは、大規模モデルを効率的に微調整するためのパラメータ効率的微調整 (PEFT) の一種です。 ここでは、モデル全体をフリーズし、調整可能なパラメーターまたはレイヤーの小さなセットのみをモデルに追加します。 たとえば、Llama 7 2B の 7 億個のパラメータすべてをトレーニングする代わりに、パラメータの 1% 未満を微調整できます。 これにより、勾配、オプティマイザーの状態、その他のトレーニング関連情報をパラメーターの 1% のみ保存するだけで済むため、メモリ要件が大幅に削減されます。 さらに、これはトレーニング時間とコストの削減にも役立ちます。 この方法の詳細については、以下を参照してください。 LoRA: 大規模言語モデルの低ランク適応.
• Int8 量子化 – LoRA などの最適化を行ったとしても、Llama 70B などのモデルは依然としてトレーニングするには大きすぎます。 トレーニング中のメモリ使用量を減らすために、トレーニング中に Int8 量子化を使用できます。 通常、量子化により浮動小数点データ型の精度が低下します。 これにより、モデルの重みを保存するために必要なメモリは減少しますが、情報が失われるためパフォーマンスが低下します。 Int8 量子化では 8 分の XNUMX 精度のみが使用されますが、単にビットを削除するわけではないため、パフォーマンスの低下は生じません。 データをあるタイプから別のタイプに丸めます。 IntXNUMX 量子化について詳しくは、を参照してください。 LLM.int8(): 大規模なトランスフォーマーのための 8 ビット行列乗算.
• 完全にシャードされたデータ並列 (FSDP) – これはデータ並列トレーニング アルゴリズムの一種で、データ並列ワーカー間でモデルのパラメーターをシャード化し、オプションでトレーニング計算の一部を CPU にオフロードできます。 パラメーターは異なる GPU 間でシャーディングされますが、各マイクロバッチの計算は GPU ワーカーに対してローカルです。 パラメーターをより均一にシャーディングし、トレーニング中に通信と計算をオーバーラップさせることで最適化されたパフォーマンスを実現します。

次の表では、2 つの Llama XNUMX モデルでのさまざまな方法を比較しています。

Llama モデルの微調整は、次のスクリプトによって提供されることに注意してください。 GitHubレポ.

トレーニング データセットの形式

SageMaker JumpStart は現在、ドメイン アダプテーション形式と命令チューニング形式の両方のデータセットをサポートしています。 このセクションでは、両方の形式でサンプル データセットを指定します。 詳細については、を参照してください。 データセットのフォーマット 付録のセクション。

ドメイン適応フォーマット

テキスト生成 Llama 2 モデルは、ドメイン固有のデータセットで微調整できます。 ドメイン固有のデータセットで微調整された後、モデルはドメイン固有のテキストを生成し、数回のプロンプトでその特定のドメイン内のさまざまな NLP タスクを解決することが期待されます。 このデータセットでは、入力は CSV、JSON、または TXT ファイルで構成されます。 たとえば、入力データはテキスト ファイルとしての Amazon の SEC 申告である可能性があります。

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

命令チューニング形式

命令の微調整では、命令を使用して記述された一連の自然言語処理 (NLP) タスクに合わせてモデルが微調整されます。 これは、ゼロショット プロンプトを含む目に見えないタスクに対するモデルのパフォーマンスを向上させるのに役立ちます。 命令チューニング データセット形式では、 template.json 入力形式と出力形式を記述したファイル。 たとえば、ファイル内の各行は、 train.jsonl 次のようになります。

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

追加ファイル template.json 次のようになります。

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

トレーニング用にサポートされているハイパーパラメータ

Llama 2 の微調整では、多数のハイパーパラメーターがサポートされており、それぞれが微調整されたモデルのメモリ要件、トレーニング速度、パフォーマンスに影響を与える可能性があります。

• 時代 – 微調整アルゴリズムがトレーニング データセットを通過するパスの数。 1 より大きい整数である必要があります。デフォルトは 5 です。
• Learning_rate – トレーニング例の各バッチを処理した後にモデルの重みが更新される速度。 0 より大きい正の浮動小数点数でなければなりません。デフォルトは 1e-4 です。
• 命令調整済み – モデルを命令トレーニングするかどうか。 でなければなりません 'True'または'False'。 デフォルトは「」ですFalse'。
• per_device_train_batch_size – トレーニングの GPU コア/CPU ごとのバッチ サイズ。 正の整数である必要があります。 デフォルトは 4 です。
• per_device_eval_batch_size – 評価用の GPU コア/CPU ごとのバッチ サイズ。 正の整数である必要があります。 デフォルトは 1 です。
• max_train_samples – デバッグ目的またはより迅速なトレーニングの場合は、トレーニング サンプルの数をこの値に切り捨てます。 値 -1 は、すべてのトレーニング サンプルを使用することを意味します。 正の整数または -1 である必要があります。 デフォルトは -1 です。
• max_val_samples – デバッグ目的または迅速なトレーニングのために、検証サンプルの数をこの値に切り捨てます。 値 -1 は、すべての検証サンプルを使用することを意味します。 正の整数または -1 である必要があります。 デフォルトは -1 です。
• max_input_length – トークン化後の入力シーケンスの最大合計長。 これより長いシーケンスは切り捨てられます。 -1 の場合、 max_input_length 最小値の 1024 とトークナイザーによって定義された最大モデル長に設定されます。 正の値に設定すると、 max_input_length は指定された値の最小値に設定され、 model_max_length トークナイザーによって定義されます。 正の整数または -1 である必要があります。 デフォルトは -1 です。
• validation_split_ratio – 検証チャネルが none、トレイン データから分割されたトレイン検証の比率は 0 ～ 1 でなければなりません。 デフォルトは 0.2 です。
• train_data_split_seed – 検証データが存在しない場合、入力トレーニング データがアルゴリズムで使用されるトレーニング データと検証データにランダムに分割されることが修正されます。 整数である必要があります。 デフォルトは 0 です。
• preprocessing_num_workers – 前処理に使用するプロセスの数。 もし None、メインプロセスは前処理に使用されます。 デフォルトは None.
• ロラ_r – Lora R. 正の整数である必要があります。 デフォルトは 8 です。
• lora_alpha – ローラ・アルファ。 正の整数である必要があります。 デフォルトは32です
• lora_dropout – ローラ・ドロップアウト。 0 から 1 までの正の浮動小数点数でなければなりません。デフォルトは 0.05 です。
• int8_quantization - もし True、モデルはトレーニングのために 8 ビット精度でロードされます。 7B と 13B のデフォルトは次のとおりです。 False。 70Bのデフォルトは True.
• イネーブル_fsdp - もし True、トレーニングでは FSDP を使用します。 7B と 13B のデフォルトは次のとおりです。 True。 70Bのデフォルトは False。 ご了承ください int8_quantization FSDP ではサポートされていません。

インスタンスタイプと互換性のあるハイパーパラメータ

微調整中のメモリ要件は、いくつかの要因によって異なる場合があります。

• モデルタイプ – 7B モデルの GPU メモリ要件は最も少なく、70B のメモリ要件は最も大きくなります
• 最大入力長 – 入力長の値が大きいほど、一度に処理するトークンの数が増えるため、より多くの CUDA メモリが必要になります
• バッチサイズ – バッチ サイズが大きくなると、より大きな CUDA メモリが必要になるため、より大きなインスタンス タイプが必要になります
• Int8 量子化 – Int8 量子化を使用する場合、モデルは低精度でロードされるため、必要な CUDA メモリが少なくなります

簡単に開始できるように、微調整できるさまざまなインスタンス タイプ、ハイパーパラメータ、モデル タイプの組み合わせのセットが提供されています。 要件とインスタンス タイプの可用性に応じて構成を選択できます。 要約サンプルを使用して、Dolly データセットのサブセット上の XNUMX つのエポックを使用して、さまざまな設定で XNUMX つのモデルすべてを微調整します。

7Bモデル

次の表は、7B モデルの微調整オプションをまとめたものです。

13B

次の表は、13B モデルの微調整オプションをまとめたものです。

70B

次の表は、70B モデルの微調整オプションをまとめたものです。

インスタンスタイプとハイパーパラメータに関する推奨事項

モデルの精度を微調整するときは、次の点に注意してください。

• 70B などの大型モデルは 7B よりも優れたパフォーマンスを提供します
• Int8 量子化を使用しない場合のパフォーマンスは、INT8 量子化を使用する場合のパフォーマンスよりも優れています

次のトレーニング時間と CUDA メモリ要件に注意してください。

• 設定 int8_quantization=True メモリ要件が軽減され、トレーニングの高速化につながります。
• 減少 per_device_train_batch_size および max_input_length メモリ要件が軽減されるため、より小さなインスタンスで実行できます。 ただし、非常に低い値を設定すると、トレーニング時間が長くなる可能性があります。
• Int8 量子化を使用していない場合 (int8_quantization=False)、FSDP を使用します (enable_fsdp=True) より迅速かつ効率的なトレーニングを実現します。

インスタンス タイプを選択するときは、次の点を考慮してください。

• G5 インスタンスは、サポートされているインスタンス タイプの中で最も効率的なトレーニングを提供します。 したがって、利用可能な G5 インスタンスがある場合は、それを使用する必要があります。
• トレーニング時間は、GPU の数と利用可能な CUDA メモリの量に大きく依存します。 したがって、同じ数の GPU を持つインスタンス (ml.g5.2xlarge と ml.g5.4xlarge など) でのトレーニングはほぼ同じになります。 したがって、トレーニングには安価なインスタンス (ml.g5.2xlarge) を使用できます。
• p3 インスタンスを使用する場合、これらのインスタンスでは bfloat32 がサポートされていないため、トレーニングは 16 ビット精度で実行されます。 したがって、p3 インスタンスでトレーニングする場合、トレーニング ジョブは g5 インスタンスと比較して XNUMX 倍の CUDA メモリを消費します。

インスタンスごとのトレーニングのコストについては、以下を参照してください。 Amazon EC2 G5インスタンス.

データセットが命令チューニング形式であり、入力 + 完了シーケンスが小さい場合 (50 ～ 100 ワードなど)、高い値 max_input_length パフォーマンスが非常に低下します。 このパラメータのデフォルト値は -1 で、これは max_input_length ラマモデルの場合は 2048 年。 したがって、データセットに小さなサンプルが含まれている場合は、小さな値を使用することをお勧めします。 max_input_length (200 ～ 400 など)。

最後に、G5 インスタンスの需要が高いため、お住まいの地域では次のエラーが発生してこれらのインスタンスが利用できない場合があります。 “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” このエラーが発生した場合は、トレーニング ジョブを再試行するか、別のリージョンを試してください。

非常に大規模なモデルを微調整する場合の問題

このセクションでは、非常に大規模なモデルを微調整する際の XNUMX つの問題について説明します。

出力圧縮を無効にする

デフォルトでは、トレーニングジョブの出力は、Amazon S3 にアップロードされる前に .tar.gz 形式で圧縮されるトレーニング済みモデルです。 ただし、モデルのサイズが大きいため、この手順には時間がかかる場合があります。 たとえば、70B モデルの圧縮とアップロードには 4 時間以上かかる場合があります。 この問題を回避するには、SageMaker トレーニング プラットフォームでサポートされている出力圧縮機能を無効にすることができます。 この場合、モデルは圧縮なしでアップロードされ、さらにデプロイメントに使用されます。

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

SageMaker Studio カーネルのタイムアウトの問題

Llama 70B モデルのサイズにより、トレーニング ジョブには数時間かかる場合があり、トレーニング フェーズ中に SageMaker Studio カーネルが停止する可能性があります。 ただし、この間もトレーニングは SageMaker で実行され続けます。 このような場合でも、次のコードを使用してトレーニング ジョブ名を使用してエンドポイントをデプロイできます。

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

トレーニング ジョブ名を見つけるには、SageMaker コンソールに移動し、 トレーニング ナビゲーション ペインで、 トレーニングの仕事。 トレーニング ジョブ名を特定し、それを前述のコードに置き換えます。

まとめ

この投稿では、SageMaker JumpStart を使用した Meta の Llama 2 モデルの微調整について説明しました。 SageMaker Studio の SageMaker JumpStart コンソールまたは SageMaker Python SDK を使用して、これらのモデルを微調整してデプロイできることを示しました。 また、微調整手法、インスタンス タイプ、サポートされているハイパーパラメータについても説明しました。 さらに、実施したさまざまなテストに基づいて、トレーニングを最適化するための推奨事項について概説しました。 XNUMX つのデータセットに対して XNUMX つのモデルを微調整した結果は、この投稿の最後にある付録に示されています。 これらの結果からわかるように、微調整を行うと、微調整を行わないモデルと比較して要約が向上します。 次のステップとして、GitHub リポジトリで提供されているコードを使用して独自のデータセットでこれらのモデルを微調整して、ユースケースの結果をテストおよびベンチマークすることができます。

著者は、Christopher Whitten、Xin Huang、Kyle Ulrich、Sifei Li、Amy You、Adam Kozdrowicz、Evan Kravitz、Benjamin Crabtree、Haotian An、Manan Shah、Tony Cruz、Ernev Sharma、Jonathan Guinegagne、および June の技術的貢献に感謝します。勝利した。

著者について

ヴィヴェック・マダン博士 Amazon SageMaker JumpStart チームの応用科学者です。 イリノイ大学アーバナ シャンペーン校で博士号を取得し、ジョージア工科大学で博士研究員を務めました。 彼は機械学習とアルゴリズム設計の活発な研究者であり、EMNLP、ICLR、COLT、FOCS、および SODA カンファレンスで論文を発表しています。

ファルーク・サビル博士 AWS のシニア人工知能および機械学習スペシャリスト ソリューション アーキテクトです。 テキサス大学オースティン校で電気工学の博士号と修士号を取得し、ジョージア工科大学でコンピューター サイエンスの修士号を取得しています。 彼は15年以上の実務経験があり、大学生を教えたり指導したりすることも好きです. AWS では、データ サイエンス、機械学習、コンピューター ビジョン、人工知能、数値最適化、および関連分野におけるビジネス上の問題を顧客が定式化して解決するのを支援しています。 テキサス州ダラスを拠点とする彼と彼の家族は、旅行が大好きで、長いドライブ旅行に出かけます。

アシッシュ・ケタン博士 Amazon SageMaker JumpStart の上級応用科学者であり、機械学習アルゴリズムの開発を支援しています。 イリノイ大学アーバナ・シャンペーン校で博士号を取得しました。 彼は機械学習と統計的推論の積極的な研究者であり、NeurIPS、ICML、ICLR、JMLR、ACL、および EMNLP カンファレンスで多くの論文を発表しています。

付録

この付録では、パフォーマンス ベンチマークとデータセットのフォーマットに関する追加情報を提供します。

パフォーマンスのベンチマーク

このセクションでは、2 つの異なるデータセットで 7 つの Llama 13 モデル (70B、XNUMXB、および XNUMXB) を微調整した結果を示します。 ドリー および ダイアログサム。 Dolly データセットの場合、私たちのタスクはテキストの段落を要約することですが、Dialogsum の場合は、2 人の間のディスカッションを要約するためにモデルを微調整しています。 次の表では、2 つのラマごとに、モデルへの入力 (プロンプトと指示)、グラウンド トゥルース (概要)、事前トレーニングされた Llama 2 モデルからの応答、および微調整された Llama XNUMX モデルからの応答を示します。 XNUMXモデル。 XNUMX つのデータ ポイントの推論結果を示します。 次の表から、モデルを微調整すると両方のデータセットの要約が改善されることがわかります。

• Dolly データセットで Llama 2 7B テキスト生成モデルを微調整した結果:

• Dolly データセットで Llama 2 13B テキスト生成モデルを微調整した結果:

• Dolly データセットで Llama 2 70B テキスト生成モデルを微調整した結果:

• Dialogsum データセットで Llama 2 7B テキスト生成モデルを微調整した結果:

• Dialogsum データセットで Llama-2 13B モデルを微調整した結果:

• Dialogsum データセットで Llama 2 70B モデルを微調整した結果:

データセットのフォーマット

現在、命令微調整とドメイン適応微調整の XNUMX 種類の微調整を提供しています。 パラメータを指定することで、いずれかのトレーニング方法に簡単に切り替えることができます instruction_tuned 'とTrue'または'False'。

ドメイン適応形式

テキスト生成モデルは、ドメイン固有のデータセットで微調整することもできます。 ドメイン固有のデータセットで微調整された後、モデルはドメイン固有のテキストを生成し、数回のプロンプトでその特定のドメイン内のさまざまな NLP タスクを解決することが期待されます。

モデルへの入力には、トレーニングおよびオプションの検証ディレクトリを使用します。 各ディレクトリには、CSV、JSON、または TXT ファイルが含まれています。 CSV および JSON ファイルの場合、トレーニング データまたは検証データは text という列から使用されるか、または という列がない場合は最初の列から使用されます。 text 見つかった。 トレーニング中のファイルの数と検証中のファイルの数 (指定されている場合) は、それぞれ 1 に等しい必要があります。

出力は、推論のためにデプロイできるトレーニング済みモデルです。

以下は、テキスト生成モデルを微調整するための TXT ファイルの例です。 TXT ファイルは、2021 年から 2022 年までの Amazon の SEC 提出書類です。

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

命令の微調整

テキスト生成モデルは、データが予期された形式であれば、任意のテキスト データに対して命令を調整できます。 命令調整モデルは、推論のためにさらに展開できます。

入力には、トレーニング ディレクトリとオプションの検証ディレクトリを使用します。 トレーニング ディレクトリと検証ディレクトリには、XNUMX つまたは複数の JSON 行 (.jsonl) 形式のファイルが含まれている必要があります。 特に、train ディレクトリには、入力および出力形式を記述したオプションの *.json ファイルを含めることもできます。

各エポックの終了時に計算された検証損失に応じて、最適なモデルが選択されます。 検証セットが指定されていない場合、トレーニング データの (調整可能な) 割合が自動的に分割され、検証に使用されます。

トレーニング データは JSON 行 (.jsonl) 形式でフォーマットする必要があります。各行は単一のデータ サンプルを表す辞書です。 すべてのトレーニング データは XNUMX つのフォルダーに存在する必要があります。 ただし、複数の .jsonl ファイルに保存できます。 .jsonl ファイル拡張子は必須です。 トレーニング フォルダーには、 template.json 入力形式と出力形式を記述したファイル。 テンプレート ファイルが指定されていない場合は、次のテンプレートが使用されます。

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

この場合、JSON 行エントリ内のデータには次のものが含まれている必要があります。 prompt および completion 田畑。 カスタム テンプレートが提供されている場合は、それも使用する必要があります prompt および completion キーを使用して入力テンプレートと出力テンプレートを定義します。 以下はカスタム テンプレートのサンプルです。

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

ここで、JSON 行エントリのデータには、 question, context, answer フィールド。

出力は、推論のためにデプロイできるトレーニング済みモデルです。

Amazon の SEC 申請データのサブセットを提供します。 公開されているサイトからダウンロードされます EDGAR。 データにアクセスする手順については、を参照してください。 EDGARデータへのアクセス.

ライセンス： クリエイティブ・コモンズ表示継承ライセンス (CC BY-SA 4.0)

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• チャートプライム。 ChartPrime でトレーディング ゲームをレベルアップしましょう。 こちらからアクセスしてください。
• ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
• 情報源： https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/