Optimieren Sie Llama 2 für die Textgenerierung auf Amazon SageMaker JumpStart | Amazon Web Services

Wir freuen uns, heute die Möglichkeit bekannt zu geben, Llama 2-Modelle mithilfe von Meta zu optimieren Amazon SageMaker-JumpStart. Die Llama 2-Familie großer Sprachmodelle (LLMs) ist eine Sammlung vorab trainierter und fein abgestimmter generativer Textmodelle mit einer Größenordnung von 7 bis 70 Milliarden Parametern. Fein abgestimmte LLMs, Llama-2-Chat genannt, sind für Dialog-Anwendungsfälle optimiert. Sie können diese Modelle ganz einfach ausprobieren und mit SageMaker JumpStart verwenden, einem Hub für maschinelles Lernen (ML), der Zugriff auf Algorithmen, Modelle und ML-Lösungen bietet, sodass Sie schnell mit ML beginnen können. Jetzt können Sie auch die 7-Milliarden-, 13-Milliarden- und 70-Milliarden-Parameter-Llama-2-Textgenerierungsmodelle auf SageMaker JumpStart mit dem verfeinern Amazon SageMaker-Studio Benutzeroberfläche mit wenigen Klicks oder mit dem SageMaker Python SDK.

Generative KI-Grundlagenmodelle stehen seit über einem Jahr im Mittelpunkt der meisten Forschungs- und Anwendungsfälle zu ML und künstlicher Intelligenz. Diese Basismodelle eignen sich sehr gut für generative Aufgaben wie Textgenerierung, Zusammenfassung, Beantwortung von Fragen, Bild- und Videogenerierung und mehr, da sie groß sind und auch auf mehreren großen Datensätzen und Hunderten von Aufgaben trainiert werden. Trotz der großen Verallgemeinerungsmöglichkeiten dieser Modelle gibt es häufig Anwendungsfälle mit sehr spezifischen Domänendaten (z. B. Gesundheitswesen oder Finanzdienstleistungen), weshalb diese Modelle für diese Anwendungsfälle möglicherweise keine guten Ergebnisse liefern können. Daraus ergibt sich die Notwendigkeit einer weiteren Feinabstimmung dieser generativen KI-Modelle anhand der anwendungsfallspezifischen und domänenspezifischen Daten.

In diesem Beitrag erfahren Sie, wie Sie die vorab trainierten Textgenerierungsmodelle von Llama 2 über SageMaker JumpStart optimieren.

Was ist Lama 2?

Llama 2 ist ein autoregressives Sprachmodell, das eine optimierte Transformatorarchitektur verwendet. Llama 2 ist für kommerzielle und Forschungszwecke in englischer Sprache gedacht. Es gibt ihn in verschiedenen Parametergrößen – 7 Milliarden, 13 Milliarden und 70 Milliarden – sowie in vorab trainierten und fein abgestimmten Variationen. Laut Meta nutzen die optimierten Versionen Supervised Fine Tuning (SFT) und Reinforcement Learning with Human Feedback (RLHF), um sich an den menschlichen Präferenzen für Hilfsbereitschaft und Sicherheit auszurichten. Llama 2 wurde mit 2 Billionen Daten-Tokens aus öffentlich zugänglichen Quellen vorab trainiert. Die abgestimmten Modelle sind für assistentenähnlichen Chat gedacht, während vorab trainierte Modelle für eine Vielzahl von Aufgaben zur Erzeugung natürlicher Sprache angepasst werden können. Unabhängig davon, welche Version des Modells ein Entwickler verwendet, ist die Leitfaden zur verantwortungsvollen Nutzung von Meta kann bei der Steuerung zusätzlicher Feinabstimmungen behilflich sein, die möglicherweise erforderlich sind, um die Modelle mit geeigneten Sicherheitsminderungen anzupassen und zu optimieren.

Derzeit ist Llama 2 in den folgenden Regionen erhältlich:

• Bereitstellen des verfügbaren vorab trainierten Modells: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Feinabstimmung und Bereitstellung des fein abgestimmten Modells: “us-east-1”, “us-west-2”,“eu-west-1”

Was ist SageMaker JumpStart?

Mit SageMaker JumpStart können ML-Praktiker aus einer breiten Auswahl öffentlich verfügbarer Grundlagenmodelle wählen. ML-Praktiker können Basismodelle für dedizierte Personen bereitstellen Amazon Sage Maker Erstellen Sie Instanzen aus einer netzwerkisolierten Umgebung und passen Sie Modelle mithilfe von SageMaker für die Modellschulung und -bereitstellung an. Sie können Llama 2 jetzt mit wenigen Klicks in SageMaker Studio oder programmgesteuert über das SageMaker Python SDK entdecken und bereitstellen und so die Modellleistung und MLOps-Steuerelemente mit SageMaker-Funktionen ableiten, z Amazon SageMaker-Pipelines, Amazon SageMaker-Debuggeroder Containerprotokolle. Das Modell wird in einer sicheren AWS-Umgebung und unter Ihrer VPC-Kontrolle bereitgestellt, um die Datensicherheit zu gewährleisten. Darüber hinaus können Sie die vorab trainierten Textgenerierungsmodelle Llama2 7B, 13B und 70B über SageMaker JumpStart optimieren.

Optimieren Sie Llama2-Modelle

Sie können die Modelle entweder mit der SageMaker Studio-Benutzeroberfläche oder dem SageMaker Python SDK verfeinern. Wir besprechen beide Methoden in diesem Abschnitt.

Feinabstimmung ohne Code über die Benutzeroberfläche von SageMaker Studio

In SageMaker Studio können Sie über SageMaker JumpStart unten auf Llama 2-Modelle zugreifen Modelle, Notizbücher und Lösungen, wie im folgenden Screenshot gezeigt.

Wenn Sie keine Llama 2-Modelle sehen, aktualisieren Sie Ihre SageMaker Studio-Version, indem Sie sie herunterfahren und neu starten. Weitere Informationen zu Versionsaktualisierungen finden Sie unter Fahren Sie Studio Apps herunter und aktualisieren Sie sie.

Weitere vier Modellvarianten finden Sie auch unter der Auswahl Entdecken Sie alle Modelle zur Textgenerierung oder im Suchfeld nach „Lama“ suchen.

Auf dieser Seite können Sie auf die verweisen Amazon Simple Storage-Service (Amazon S3)-Bucket, der die Trainings- und Validierungsdatensätze zur Feinabstimmung enthält. Darüber hinaus können Sie die Bereitstellungskonfiguration, Hyperparameter und Sicherheitseinstellungen zur Feinabstimmung konfigurieren. Sie können dann wählen Training um den Trainingsjob auf einer SageMaker ML-Instanz zu starten. Der vorherige Screenshot zeigt die Feinabstimmungsseite für das Modell Llama-2 7B; Sie können jedoch die Textgenerierungsmodelle 13B und 70B Llama 2 mithilfe der jeweiligen Modellseiten auf ähnliche Weise verfeinern. Um Llama 2-Modelle verwenden zu können, müssen Sie die Endbenutzer-Lizenzvereinbarung (EULA) akzeptieren. Es wird angezeigt, wenn Sie eine Auswahl treffen Training, wie im folgenden Screenshot gezeigt. Wählen Ich habe EULA und AUP gelesen und akzeptiere sie um mit der Feinabstimmung zu beginnen.

Stellen Sie das Modell bereit

Nachdem das Modell fein abgestimmt wurde, können Sie es über die Modellseite in SageMaker JumpStart bereitstellen. Die Option zum Bereitstellen des feinabgestimmten Modells wird angezeigt, wenn die Feinabstimmung abgeschlossen ist, wie im folgenden Screenshot gezeigt.

Feinabstimmung über das SageMaker Python SDK

Sie können Llama 2-Modelle auch mit dem SageMaker Python SDK optimieren. Im Folgenden finden Sie einen Beispielcode zur Feinabstimmung von Llama 2 7B in Ihrem Datensatz:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Sie können das fein abgestimmte Modell direkt aus dem Schätzer bereitstellen:

finetuned_predictor = estimator.deploy()

Den Code finden Sie auch in Optimieren Sie LLaMA 2-Modelle auf SageMaker JumpStart. Es umfasst die Vorbereitung des Datensatzes, die Schulung Ihres benutzerdefinierten Datensatzes und die Bereitstellung des fein abgestimmten Modells. Es demonstriert die Feinabstimmung einer Teilmenge des Dolly-Datensatzes anhand von Beispielen aus der Zusammenfassungsaufgabe. Das Folgende ist die Beispieleingabe mit Antworten von fein abgestimmten und nicht fein abgestimmten zusammen mit der Ground-Truth-Antwort:

Eingabe in das Modell:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Antwort von Ground Truth:

Felix Luna died on November 5th, 2009

Antwort des nicht feinabgestimmten Modells:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Antwort des fein abgestimmten Modells:

Félix Luna died on November 5th, 2009.nn

Informationen zum Leistungsbenchmarking verschiedener Modelle im Dolly- und Dialogsum-Datensatz finden Sie im Leistungsbenchmarking Abschnitt im Anhang am Ende dieses Beitrags.

Feinabstimmungstechnik

Sprachmodelle wie Llama sind mehr als 10 GB oder sogar 100 GB groß. Die Feinabstimmung solch großer Modelle erfordert Instanzen mit deutlich hohem CUDA-Speicher. Darüber hinaus kann das Training dieser Modelle aufgrund der Größe des Modells sehr langsam sein. Für eine effiziente Feinabstimmung nutzen wir daher folgende Optimierungen:

• Low-Rank-Anpassung (LoRA) – Hierbei handelt es sich um eine Art der Parametereffizienten Feinabstimmung (PEFT) zur effizienten Feinabstimmung großer Modelle. Dabei frieren wir das gesamte Modell ein und fügen dem Modell nur einen kleinen Satz anpassbarer Parameter oder Ebenen hinzu. Anstatt beispielsweise alle 7 Milliarden Parameter für Llama 2 7B zu trainieren, können wir weniger als 1 % der Parameter feinabstimmen. Dies trägt zu einer erheblichen Reduzierung des Speicherbedarfs bei, da wir nur für 1 % der Parameter Farbverläufe, Optimiererzustände und andere trainingsbezogene Informationen speichern müssen. Darüber hinaus trägt dies zur Reduzierung der Schulungszeit und der Kosten bei. Weitere Einzelheiten zu dieser Methode finden Sie unter LoRA: Low-Rank-Anpassung großer Sprachmodelle.
• Int8-Quantisierung – Selbst mit Optimierungen wie LoRA sind Modelle wie Llama 70B immer noch zu groß zum Trainieren. Um den Speicherbedarf während des Trainings zu verringern, können wir während des Trainings die Int8-Quantisierung verwenden. Die Quantisierung verringert typischerweise die Präzision der Gleitkomma-Datentypen. Dadurch wird zwar der zum Speichern von Modellgewichten erforderliche Speicher verringert, jedoch wird die Leistung aufgrund von Informationsverlusten beeinträchtigt. Die Int8-Quantisierung verwendet nur eine viertel Genauigkeit, führt jedoch nicht zu Leistungseinbußen, da die Bits nicht einfach gelöscht werden. Es rundet die Daten von einem Typ zum anderen. Weitere Informationen zur Int8-Quantisierung finden Sie unter LLM.int8(): 8-Bit-Matrixmultiplikation für Transformers at Scale.
• Vollständig geteilte Datenparallelität (FSDP) – Dies ist eine Art datenparalleler Trainingsalgorithmus, der die Parameter des Modells auf datenparallele Worker aufteilt und optional einen Teil der Trainingsberechnung auf die CPUs verlagern kann. Obwohl die Parameter auf verschiedene GPUs verteilt sind, erfolgt die Berechnung jedes Mikrobatchs lokal für den GPU-Worker. Es teilt Parameter gleichmäßiger auf und erzielt eine optimierte Leistung durch Überlappung von Kommunikation und Berechnungen während des Trainings.

Die folgende Tabelle vergleicht verschiedene Methoden mit den drei Llama 2-Modellen.

Beachten Sie, dass die Feinabstimmung von Llama-Modellen auf den im Folgenden bereitgestellten Skripten basiert GitHub Repo.

Trainingsdatensatzformat

SageMaker JumpStart unterstützt derzeit Datensätze sowohl im Domänenanpassungsformat als auch im Befehlsoptimierungsformat. In diesem Abschnitt geben wir einen Beispieldatensatz in beiden Formaten an. Weitere Einzelheiten finden Sie im Datensatzformatierung Abschnitt im Anhang.

Domänenanpassungsformat

Das Textgenerierungsmodell Llama 2 kann auf jeden domänenspezifischen Datensatz abgestimmt werden. Nach der Feinabstimmung des domänenspezifischen Datensatzes wird erwartet, dass das Modell domänenspezifischen Text generiert und verschiedene NLP-Aufgaben in dieser spezifischen Domäne mit wenigen Eingabeaufforderungen löst. Bei diesem Datensatz besteht die Eingabe aus einer CSV-, JSON- oder TXT-Datei. Eingabedaten können beispielsweise SEC-Einreichungen von Amazon als Textdatei sein:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Anweisungs-Tuning-Format

Bei der Feinabstimmung von Anweisungen wird das Modell auf eine Reihe von NLP-Aufgaben (Natural Language Processing) abgestimmt, die mithilfe von Anweisungen beschrieben werden. Dies trägt dazu bei, die Leistung des Modells für unsichtbare Aufgaben mit Zero-Shot-Eingabeaufforderungen zu verbessern. Im Anweisungsoptimierungsdatensatzformat geben Sie an template.json Datei, die die Eingabe- und Ausgabeformate beschreibt. Zum Beispiel jede Zeile in der Datei train.jsonl sieht wie folgt aus:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Die zusätzliche Datei template.json sieht wie folgt aus:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Unterstützte Hyperparameter für das Training

Die Feinabstimmung von Llama 2 unterstützt eine Reihe von Hyperparametern, von denen sich jeder auf den Speicherbedarf, die Trainingsgeschwindigkeit und die Leistung des feinabgestimmten Modells auswirken kann:

• Epoche – Die Anzahl der Durchgänge, die der Feinabstimmungsalgorithmus durch den Trainingsdatensatz durchführt. Muss eine ganze Zahl größer als 1 sein. Der Standardwert ist 5.
• Lernrate – Die Rate, mit der die Modellgewichte nach dem Durcharbeiten jedes Stapels von Trainingsbeispielen aktualisiert werden. Muss ein positiver Gleitkommawert größer als 0 sein. Der Standardwert ist 1e-4.
• Anweisung_tuned – Ob das Modell einer Schulung unterzogen werden soll oder nicht. Muss sein 'True' oder 'False'. Standard ist 'False'.
• pro_device_train_batch_size – Die Batchgröße pro GPU-Kern/CPU für das Training. Muss eine positive ganze Zahl sein. Der Standardwert ist 4.
• pro_device_eval_batch_size – Die Batchgröße pro GPU-Kern/CPU zur Auswertung. Muss eine positive ganze Zahl sein. Der Standardwert ist 1.
• max_train_samples – Für Debugging-Zwecke oder schnelleres Training kürzen Sie die Anzahl der Trainingsbeispiele auf diesen Wert. Der Wert -1 bedeutet, dass alle Trainingsbeispiele verwendet werden. Muss eine positive Ganzzahl oder -1 sein. Der Standardwert ist -1.
• max_val_samples – Für Debugging-Zwecke oder eine schnellere Schulung kürzen Sie die Anzahl der Validierungsbeispiele auf diesen Wert. Der Wert -1 bedeutet, dass alle Validierungsproben verwendet werden. Muss eine positive Ganzzahl oder -1 sein. Der Standardwert ist -1.
• max_input_length – Maximale Gesamtlänge der Eingabesequenz nach der Tokenisierung. Längere Sequenzen werden abgeschnitten. Wenn -1, max_input_length wird auf das Minimum von 1024 und die maximale Modelllänge festgelegt, die vom Tokenizer definiert wird. Wenn auf einen positiven Wert eingestellt, max_input_length wird auf das Minimum des angegebenen Werts gesetzt und der model_max_length vom Tokenizer definiert. Muss eine positive Ganzzahl oder -1 sein. Der Standardwert ist -1.
• validation_split_ratio – Wenn der Validierungskanal vorhanden ist noneDas Verhältnis der Zugvalidierungsaufteilung aus den Zugdaten muss zwischen 0 und 1 liegen. Der Standardwert ist 0.2.
• train_data_split_seed – Wenn keine Validierungsdaten vorhanden sind, wird dadurch die zufällige Aufteilung der eingegebenen Trainingsdaten in Trainings- und Validierungsdaten behoben, die vom Algorithmus verwendet werden. Muss eine ganze Zahl sein. Der Standardwert ist 0.
• preprocessing_num_workers – Die Anzahl der Prozesse, die für die Vorverarbeitung verwendet werden sollen. Wenn None, der Hauptprozess dient der Vorverarbeitung. Standard ist None.
• lora_r – Lora R. Muss eine positive ganze Zahl sein. Der Standardwert ist 8.
• lora_alpha – Lora Alpha. Muss eine positive ganze Zahl sein. Der Standardwert ist 32
• lora_dropout – Lora Dropout. muss ein positiver Gleitkommawert zwischen 0 und 1 sein. Der Standardwert ist 0.05.
• int8_quantisierung - Falls True, wird das Modell für das Training mit 8-Bit-Präzision geladen. Die Standardeinstellung für 7B und 13B ist False. Der Standardwert für 70B ist True.
• enable_fsdp - Falls TrueBeim Training wird FSDP verwendet. Die Standardeinstellung für 7B und 13B ist True. Der Standardwert für 70B ist False. Beachten Sie, dass int8_quantization wird mit FSDP nicht unterstützt.

Instanztypen und kompatible Hyperparameter

Der Speicherbedarf während der Feinabstimmung kann aufgrund mehrerer Faktoren variieren:

• Modelltyp – Das 7B-Modell hat den geringsten GPU-Speicherbedarf und das 70B-Modell den größten Speicherbedarf
• Maximale Eingabelänge – Ein höherer Wert der Eingabelänge führt dazu, dass mehr Token gleichzeitig verarbeitet werden und erfordert daher mehr CUDA-Speicher
• Chargengröße – Eine größere Batchgröße erfordert größeren CUDA-Speicher und erfordert daher größere Instanztypen
• Int8-Quantisierung – Bei Verwendung der Int8-Quantisierung wird das Modell mit geringer Genauigkeit geladen und benötigt daher weniger CUDA-Speicher

Um Ihnen den Einstieg zu erleichtern, stellen wir eine Reihe von Kombinationen verschiedener Instanztypen, Hyperparameter und Modelltypen bereit, die erfolgreich optimiert werden können. Sie können eine Konfiguration entsprechend Ihren Anforderungen und der Verfügbarkeit von Instanztypen auswählen. Wir optimieren alle drei Modelle anhand verschiedener Einstellungen mit drei Epochen anhand einer Teilmenge des Dolly-Datensatzes mit Zusammenfassungsbeispielen.

7B-Modell

Die folgende Tabelle fasst die Feinabstimmungsoptionen des 7B-Modells zusammen.

13 Mrd

Die folgende Tabelle fasst die Feinabstimmungsoptionen des 13B-Modells zusammen.

70 Mrd

Die folgende Tabelle fasst die Feinabstimmungsoptionen des 70B-Modells zusammen.

Empfehlungen zu Instanztypen und Hyperparametern

Beachten Sie bei der Feinabstimmung der Modellgenauigkeit Folgendes:

• Größere Modelle wie 70B bieten eine bessere Leistung als 7B
• Die Leistung ohne Int8-Quantisierung ist besser als die Leistung mit INT8-Quantisierung

Beachten Sie die folgenden Trainingszeit- und CUDA-Speicheranforderungen:

• Rahmen int8_quantization=True verringert den Gedächtnisbedarf und führt zu einem schnelleren Training.
• Abnehmend per_device_train_batch_size und max_input_length reduziert den Speicherbedarf und kann daher auf kleineren Instanzen ausgeführt werden. Allerdings kann die Einstellung sehr niedriger Werte die Trainingszeit verlängern.
• Wenn Sie die Int8-Quantisierung nicht verwenden (int8_quantization=False), verwenden Sie FSDP (enable_fsdp=True) für schnelleres und effizienteres Training.

Berücksichtigen Sie bei der Auswahl des Instanztyps Folgendes:

• G5-Instanzen bieten das effizienteste Training unter den unterstützten Instanztypen. Wenn Sie also G5-Instanzen zur Verfügung haben, sollten Sie diese verwenden.
• Die Trainingszeit hängt weitgehend von der Anzahl der GPUs und dem verfügbaren CUDA-Speicher ab. Daher ist das Training auf Instanzen mit der gleichen Anzahl an GPUs (z. B. ml.g5.2xlarge und ml.g5.4xlarge) ungefähr gleich. Daher können Sie für das Training die günstigere Instanz verwenden (ml.g5.2xlarge).
• Bei Verwendung von p3-Instanzen erfolgt das Training mit 32-Bit-Präzision, da bfloat16 auf diesen Instanzen nicht unterstützt wird. Daher verbraucht der Trainingsjob beim Training auf p3-Instanzen doppelt so viel CUDA-Speicher wie auf g5-Instanzen.

Informationen zu den Schulungskosten pro Instanz finden Sie unter Amazon EC2 G5-Instanzen.

Wenn der Datensatz im Befehlsoptimierungsformat vorliegt und die Eingabe- und Abschlusssequenzen klein sind (z. B. 50–100 Wörter), dann ist ein hoher Wert von max_input_length führt zu einer sehr schlechten Leistung. Der Standardwert dieses Parameters ist -1, was dem entspricht max_input_length von 2048 für Llama-Modelle. Wenn Ihr Datensatz kleine Stichproben enthält, empfehlen wir daher, einen kleinen Wert für zu verwenden max_input_length (z. B. 200–400).

Schließlich kann es aufgrund der hohen Nachfrage nach G5-Instanzen dazu kommen, dass diese Instanzen in Ihrer Region aufgrund des Fehlers nicht verfügbar sind “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Wenn dieser Fehler auftritt, wiederholen Sie den Trainingsjob oder versuchen Sie es in einer anderen Region.

Probleme bei der Feinabstimmung sehr großer Modelle

In diesem Abschnitt diskutieren wir zwei Probleme bei der Feinabstimmung sehr großer Modelle.

Deaktivieren Sie die Ausgabekomprimierung

Standardmäßig ist die Ausgabe eines Trainingsauftrags ein trainiertes Modell, das im .tar.gz-Format komprimiert wird, bevor es in Amazon S3 hochgeladen wird. Aufgrund der Größe des Modells kann dieser Schritt jedoch lange dauern. Beispielsweise kann das Komprimieren und Hochladen des 70B-Modells mehr als 4 Stunden dauern. Um dieses Problem zu vermeiden, können Sie die von der SageMaker-Schulungsplattform unterstützte Funktion zum Deaktivieren der Ausgabekomprimierung verwenden. In diesem Fall wird das Modell ohne jegliche Komprimierung hochgeladen, die weiter für die Bereitstellung verwendet wird:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problem mit der Kernel-Zeitüberschreitung von SageMaker Studio

Aufgrund der Größe des Llama 70B-Modells kann der Trainingsvorgang mehrere Stunden dauern und der SageMaker Studio-Kernel kann während der Trainingsphase abstürzen. Während dieser Zeit läuft jedoch weiterhin die Schulung in SageMaker. In diesem Fall können Sie den Endpunkt weiterhin mit dem Namen des Trainingsjobs und dem folgenden Code bereitstellen:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Um den Namen des Schulungsauftrags zu finden, navigieren Sie zur SageMaker-Konsole und darunter Ausbildung Wählen Sie im Navigationsbereich Ausbildungsjobs. Identifizieren Sie den Namen des Schulungsauftrags und ersetzen Sie ihn im vorangehenden Code.

Zusammenfassung

In diesem Beitrag haben wir die Feinabstimmung der Llama 2-Modelle von Meta mit SageMaker JumpStart besprochen. Wir haben gezeigt, dass Sie die SageMaker JumpStart-Konsole in SageMaker Studio oder das SageMaker Python SDK verwenden können, um diese Modelle zu optimieren und bereitzustellen. Wir haben auch die Feinabstimmungstechnik, Instanztypen und unterstützte Hyperparameter besprochen. Darüber hinaus haben wir anhand verschiedener von uns durchgeführter Tests Empfehlungen für ein optimiertes Training gegeben. Die Ergebnisse der Feinabstimmung der drei Modelle über zwei Datensätze sind im Anhang am Ende dieses Beitrags dargestellt. Wie wir aus diesen Ergebnissen ersehen können, verbessert die Feinabstimmung die Zusammenfassung im Vergleich zu nicht feinabgestimmten Modellen. Als nächsten Schritt können Sie versuchen, diese Modelle mithilfe des im GitHub-Repository bereitgestellten Codes an Ihrem eigenen Datensatz zu optimieren, um die Ergebnisse für Ihre Anwendungsfälle zu testen und zu vergleichen.

Die Autoren möchten die technischen Beiträge von Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne und June würdigen Gewonnen.

Über die Autoren

Vivek Madan ist ein angewandter Wissenschaftler im Amazon SageMaker JumpStart-Team. Er promovierte an der University of Illinois at Urbana-Champaign und war Postdoktorand an der Georgia Tech. Er ist ein aktiver Forscher in den Bereichen maschinelles Lernen und Algorithmendesign und hat Artikel auf Konferenzen von EMNLP, ICLR, COLT, FOCS und SODA veröffentlicht.

Dr. Farooq Sabir ist ein leitender Lösungsarchitekt für künstliche Intelligenz und maschinelles Lernen bei AWS. Er hat einen PhD- und MS-Abschluss in Elektrotechnik von der University of Texas at Austin und einen MS in Informatik vom Georgia Institute of Technology. Er hat über 15 Jahre Berufserfahrung und unterrichtet und betreut auch gerne College-Studenten. Bei AWS hilft er Kunden bei der Formulierung und Lösung ihrer Geschäftsprobleme in den Bereichen Datenwissenschaft, maschinelles Lernen, Computer Vision, künstliche Intelligenz, numerische Optimierung und verwandte Bereiche. Er lebt in Dallas, Texas, und seine Familie liebt es zu reisen und lange Autofahrten zu unternehmen.

Dr. Ashish Khetan ist Senior Applied Scientist bei Amazon SageMaker JumpStart und hilft bei der Entwicklung von Algorithmen für maschinelles Lernen. Er promovierte an der University of Illinois Urbana-Champaign. Er ist ein aktiver Forscher im Bereich maschinelles Lernen und statistische Inferenz und hat zahlreiche Artikel auf NeurIPS-, ICML-, ICLR-, JMLR-, ACL- und EMNLP-Konferenzen veröffentlicht.

Anhang

Dieser Anhang enthält zusätzliche Informationen zum Leistungsbenchmarking und zur Datensatzformatierung.

Leistungsbenchmarking

In diesem Abschnitt stellen wir Ergebnisse zur Feinabstimmung der drei Llama 2-Modelle (7B, 13B und 70B) anhand von zwei verschiedenen Datensätzen bereit: Puppe und Dialogsumme. Für den Dolly-Datensatz besteht unsere Aufgabe darin, einen Textabschnitt zusammenzufassen, während wir für Dialogsum das Modell so optimieren, dass es eine Diskussion zwischen zwei Personen zusammenfasst. In den folgenden Tabellen zeigen wir die Eingaben für das Modell (Eingabeaufforderung und Anweisungen), die Grundwahrheit (Zusammenfassung), die Reaktion des vorab trainierten Llama 2-Modells und die Reaktion des fein abgestimmten Llama 2-Modells für jedes der drei Llama 2 Modelle. Wir zeigen Inferenzergebnisse für fünf Datenpunkte. Den folgenden Tabellen können Sie entnehmen, dass sich die Zusammenfassungen für beide Datensätze verbessern, wenn wir die Modelle optimieren.

• Ergebnisse zur Feinabstimmung des Llama 2 7B-Textgenerierungsmodells für den Dolly-Datensatz:

• Ergebnisse zur Feinabstimmung des Llama 2 13B-Textgenerierungsmodells für den Dolly-Datensatz:

• Ergebnisse zur Feinabstimmung des Llama 2 70B-Textgenerierungsmodells für den Dolly-Datensatz:

• Ergebnisse zur Feinabstimmung des Llama 2 7B-Textgenerierungsmodells für den Dialogsum-Datensatz:

• Ergebnisse zur Feinabstimmung des Llama-2 13B-Modells im Dialogsum-Datensatz:

• Ergebnisse zur Feinabstimmung des Llama 2 70B-Modells im Dialogsum-Datensatz:

Datensatzformatierung

Wir bieten derzeit zwei Arten der Feinabstimmung an: Befehls-Feinabstimmung und Domänenanpassungs-Feinabstimmung. Durch Angabe des Parameters können Sie ganz einfach zu einer der Trainingsmethoden wechseln instruction_tuned wie 'True' oder 'False'.

Domain-Anpassungsformat

Das Textgenerierungsmodell kann auch auf jeden domänenspezifischen Datensatz abgestimmt werden. Nach der Feinabstimmung des domänenspezifischen Datensatzes wird erwartet, dass das Modell domänenspezifischen Text generiert und verschiedene NLP-Aufgaben in dieser spezifischen Domäne mit wenigen Eingabeaufforderungen löst.

Verwenden Sie für die Eingabe in das Modell ein Trainings- und optionales Validierungsverzeichnis. Jedes Verzeichnis enthält eine CSV-, JSON- oder TXT-Datei. Bei CSV- und JSON-Dateien werden die Zug- oder Validierungsdaten aus der Spalte mit dem Namen „text“ oder der ersten Spalte, wenn keine Spalte aufgerufen wird, verwendet text gefunden. Die Anzahl der trainierten und validierten Dateien (falls angegeben) sollte jeweils 1 betragen.

Die Ausgabe ist ein trainiertes Modell, das für Inferenzen eingesetzt werden kann.

Im Folgenden finden Sie ein Beispiel für eine TXT-Datei zur Feinabstimmung des Textgenerierungsmodells. Bei der TXT-Datei handelt es sich um SEC-Einreichungen von Amazon aus den Jahren 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Feinabstimmung der Anleitung

Das Textgenerierungsmodell kann auf beliebige Textdaten abgestimmt werden, sofern die Daten im erwarteten Format vorliegen. Das anweisungsabgestimmte Modell kann weiter zur Inferenz eingesetzt werden.

Verwenden Sie für die Eingabe ein Trainings- und optionales Validierungsverzeichnis. Die Trainings- und Validierungsverzeichnisse sollten eine oder mehrere Dateien im JSON-Zeilenformat (.jsonl) enthalten. Insbesondere kann das Zugverzeichnis auch eine optionale *.json-Datei enthalten, die die Ein- und Ausgabeformate beschreibt.

Das beste Modell wird entsprechend dem Validierungsverlust ausgewählt, der am Ende jeder Epoche berechnet wird. Wenn kein Validierungssatz angegeben ist, wird ein (einstellbarer) Prozentsatz der Trainingsdaten automatisch aufgeteilt und zur Validierung verwendet.

Die Trainingsdaten müssen im JSON-Zeilenformat (.jsonl) formatiert sein, wobei jede Zeile ein Wörterbuch ist, das ein einzelnes Datenbeispiel darstellt. Alle Trainingsdaten müssen sich in einem einzigen Ordner befinden; Es kann jedoch in mehreren .jsonl-Dateien gespeichert werden. Die Dateierweiterung .jsonl ist obligatorisch. Der Schulungsordner kann auch Folgendes enthalten: template.json Datei, die die Eingabe- und Ausgabeformate beschreibt. Wenn keine Vorlagendatei angegeben ist, wird die folgende Vorlage verwendet:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

In diesem Fall müssen die Daten in den JSON-Zeileneinträgen enthalten prompt und completion Felder. Wenn eine benutzerdefinierte Vorlage bereitgestellt wird, muss diese ebenfalls verwendet werden prompt und completion Tasten zum Definieren der Eingabe- und Ausgabevorlagen. Das Folgende ist ein Beispiel für eine benutzerdefinierte Vorlage:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Hier müssen die Daten in den JSON-Zeileneinträgen Folgendes enthalten: question, context und answer Felder.

Die Ausgabe ist ein trainiertes Modell, das für Inferenzen eingesetzt werden kann.

Wir stellen eine Teilmenge der SEC-Einreichungsdaten von Amazon bereit. Es wird öffentlich heruntergeladen EDGAR. Anweisungen zum Zugriff auf die Daten finden Sie unter Zugriff auf EDGAR-Daten.

Lizenz: Creative Commons Attribution-ShareAlike-Lizenz (CC BY-SA 4.0)

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• ChartPrime. Verbessern Sie Ihr Handelsspiel mit ChartPrime. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/