Finjuster Llama 2 til tekstgenerering på Amazon SageMaker JumpStart | Amazon Web Services

I dag er vi glade for at kunne annoncere muligheden for at finjustere Llama 2-modeller af Meta vha. Amazon SageMaker JumpStart. Llama 2-familien af ​​store sprogmodeller (LLM'er) er en samling af fortrænede og finjusterede generative tekstmodeller i en skala fra 7 milliarder til 70 milliarder parametre. Finjusterede LLM'er, kaldet Llama-2-chat, er optimeret til dialogbrug. Du kan nemt afprøve disse modeller og bruge dem med SageMaker JumpStart, som er en maskinlæringshub (ML), der giver adgang til algoritmer, modeller og ML-løsninger, så du hurtigt kan komme i gang med ML. Nu kan du også finjustere 7 milliarder, 13 milliarder og 70 milliarder parametre Llama 2-tekstgenereringsmodeller på SageMaker JumpStart ved hjælp af Amazon SageMaker Studio UI med et par klik eller ved at bruge SageMaker Python SDK.

Generative AI-fundamentmodeller har været i fokus for det meste af ML og kunstig intelligens-forskning og -brug i over et år nu. Disse grundmodeller klarer sig meget godt med generative opgaver, såsom tekstgenerering, opsummering, besvarelse af spørgsmål, billed- og videogenerering med mere, på grund af deres store størrelse og også fordi de er trænet i flere store datasæt og hundredvis af opgaver. På trods af disse modellers store generaliseringskapacitet er der ofte use cases, der har meget specifikke domænedata (såsom sundhedspleje eller finansielle tjenester), hvorfor disse modeller muligvis ikke er i stand til at give gode resultater for disse use cases. Dette resulterer i et behov for yderligere finjustering af disse generative AI-modeller i forhold til brugscasespecifikke og domænespecifikke data.

I dette indlæg gennemgår vi, hvordan man finjusterer Llama 2-trænede tekstgenereringsmodeller via SageMaker JumpStart.

Hvad er Llama 2

Llama 2 er en auto-regressiv sprogmodel, der bruger en optimeret transformerarkitektur. Llama 2 er beregnet til kommerciel og forskningsmæssig brug på engelsk. Den kommer i en række parameterstørrelser – 7 milliarder, 13 milliarder og 70 milliarder – såvel som forudtrænede og finjusterede variationer. Ifølge Meta bruger de tunede versioner overvåget finjustering (SFT) og forstærkningslæring med menneskelig feedback (RLHF) for at tilpasse sig menneskelige præferencer for hjælpsomhed og sikkerhed. Llama 2 blev fortrænet på 2 billioner tokens af data fra offentligt tilgængelige kilder. De indstillede modeller er beregnet til assistent-lignende chat, hvorimod præ-trænede modeller kan tilpasses til en række forskellige naturlige sproggenereringsopgaver. Uanset hvilken version af modellen en udvikler bruger, vil ansvarlig brugsvejledning fra Meta kan hjælpe med at vejlede yderligere finjusteringer, der kan være nødvendige for at tilpasse og optimere modellerne med passende sikkerhedsbegrænsninger.

I øjeblikket er Llama 2 tilgængelig i følgende regioner:

• Implementer forudtrænet model tilgængelig: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Finjuster og implementer den finjusterede model: “us-east-1”, “us-west-2”,“eu-west-1”

Hvad er SageMaker JumpStart

Med SageMaker JumpStart kan ML-praktikere vælge mellem et bredt udvalg af offentligt tilgængelige foundation-modeller. ML praktikere kan implementere fundamentmodeller til dedikerede Amazon SageMaker forekomster fra et netværksisoleret miljø og tilpasse modeller ved hjælp af SageMaker til modeltræning og implementering. Du kan nu opdage og implementere Llama 2 med nogle få klik i SageMaker Studio eller programmatisk gennem SageMaker Python SDK, så du kan udlede modelydeevne og MLOps-kontroller med SageMaker-funktioner som f.eks. Amazon SageMaker Pipelines, Amazon SageMaker Debuggereller containerlogfiler. Modellen er implementeret i et AWS-sikkert miljø og under din VPC-kontrol, hvilket hjælper med at sikre datasikkerhed. Derudover kan du finjustere Llama2 7B, 13B og 70B fortrænede tekstgenereringsmodeller via SageMaker JumpStart.

Finjuster Llama2-modeller

Du kan finjustere modellerne ved at bruge enten SageMaker Studio UI eller SageMaker Python SDK. Vi diskuterer begge metoder i dette afsnit.

Kodefri finjustering via SageMaker Studio UI

I SageMaker Studio kan du få adgang til Llama 2-modeller via SageMaker JumpStart under Modeller, notesbøger og løsninger, som vist i følgende skærmbillede.

Hvis du ikke kan se Llama 2-modeller, skal du opdatere din SageMaker Studio-version ved at lukke ned og genstarte. For mere information om versionsopdateringer, se Luk ned og opdater Studio-apps.

Du kan også finde andre fire modelvarianter ved at vælge Udforsk alle tekstgenereringsmodeller eller søger efter lama i søgefeltet.

På denne side kan du pege på Amazon Simple Storage Service (Amazon S3) spand, der indeholder trænings- og valideringsdatasæt til finjustering. Derudover kan du konfigurere implementeringskonfiguration, hyperparametre og sikkerhedsindstillinger til finjustering. Så kan du vælge Tog at starte træningsjobbet på en SageMaker ML-instans. Det foregående skærmbillede viser finjusteringssiden for Llama-2 7B-modellen; du kan dog finjustere 13B og 70B Llama 2 tekstgenereringsmodellerne ved at bruge deres respektive modelsider på samme måde. For at bruge Llama 2-modeller skal du acceptere slutbrugerlicensaftalen (EULA). Det vil dukke op, når du vælger Tog, som vist på det følgende skærmbillede. Vælge Jeg har læst og accepterer EULA og AUP for at starte finjusteringsjobbet.

Implementer modellen

Efter at modellen er finjusteret, kan du implementere den ved hjælp af modelsiden på SageMaker JumpStart. Muligheden for at implementere den finjusterede model vises, når finjusteringen er færdig, som vist på det følgende skærmbillede.

Finjuster via SageMaker Python SDK

Du kan også finjustere Llama 2-modeller ved hjælp af SageMaker Python SDK. Følgende er en prøvekode til at finjustere Llama 2 7B på dit datasæt:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Du kan implementere den finjusterede model direkte fra estimatoren:

finetuned_predictor = estimator.deploy()

Du kan også finde koden i Finjuster LLaMA 2-modeller på SageMaker JumpStart. Det inkluderer forberedelse af datasæt, træning i dit brugerdefinerede datasæt og implementering af den finjusterede model. Det demonstrerer finjustering på en delmængde af Dolly-datasættet med eksempler fra opsummeringsopgaven. Følgende er eksempelinputtet med svar fra finjusterede og ikke-finjusterede sammen med jordsandhedssvaret:

Input til modellen:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Ground Truth-svar:

Felix Luna died on November 5th, 2009

Svar fra den ikke finjusterede model:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Svar fra den finjusterede model:

Félix Luna died on November 5th, 2009.nn

For performance benchmarking af forskellige modeller på Dolly og Dialogsum datasættet, se Performance benchmarking afsnit i bilaget sidst i dette indlæg.

Finjusteringsteknik

Sprogmodeller som Llama er mere end 10 GB eller endda 100 GB i størrelse. Finjustering af så store modeller kræver instanser med betydelig høj CUDA-hukommelse. Desuden kan træningen af ​​disse modeller være meget langsom på grund af modellens størrelse. Derfor bruger vi følgende optimeringer til effektiv finjustering:

• Low-Rank Adaptation (LoRA) – Dette er en type parameter effektiv finjustering (PEFT) til effektiv finjustering af store modeller. I dette fryser vi hele modellen og tilføjer kun et lille sæt justerbare parametre eller lag i modellen. For eksempel, i stedet for at træne alle 7 milliarder parametre til Llama 2 7B, kan vi finjustere mindre end 1 % af parametrene. Dette hjælper med en betydelig reduktion af hukommelseskravet, fordi vi kun behøver at gemme gradienter, optimeringstilstande og anden træningsrelateret information for kun 1% af parametrene. Desuden hjælper dette med at reducere træningstiden såvel som omkostningerne. For flere detaljer om denne metode, se LoRA: Low-Rank Adaptation of Large Language Models.
• Int8 kvantisering – Selv med optimeringer som LoRA er modeller som Llama 70B stadig for store til at træne. For at mindske hukommelsesfodaftrykket under træning, kan vi bruge Int8 kvantisering under træning. Kvantisering reducerer typisk præcisionen af ​​datatyperne med flydende komma. Selvom dette reducerer den nødvendige hukommelse til at lagre modelvægte, forringer det ydeevnen på grund af tab af information. Int8 kvantisering bruger kun en kvart præcision, men medfører ikke forringelse af ydeevnen, fordi den ikke bare taber bits. Det runder dataene fra den ene type til den anden. For at lære om Int8 kvantisering, se LLM.int8(): 8-bit matrix multiplikation for transformere i skala.
• Fuldt delte data parallelt (FSDP) – Dette er en type data-parallel træningsalgoritme, der sønderdeler modellens parametre på tværs af dataparallelle arbejdere og eventuelt kan overføre en del af træningsberegningen til CPU'erne. Selvom parametrene er fordelt på tværs af forskellige GPU'er, er beregningen af ​​hver mikrobatch lokal for GPU-arbejderen. Det skærer parametre mere ensartet og opnår optimeret ydeevne via kommunikation og beregningsoverlapning under træning.

Følgende tabel sammenligner forskellige metoder med de tre Llama 2-modeller.

Bemærk, at finjustering af Llama-modeller er baseret på scripts leveret af følgende GitHub repo.

Træningsdatasætformat

SageMaker JumpStart understøtter i øjeblikket datasæt i både domænetilpasningsformat og instruktionsjusteringsformat. I dette afsnit specificerer vi et eksempeldatasæt i begge formater. For flere detaljer henvises til Datasæt formatering afsnit i bilaget.

Domænetilpasningsformat

Tekstgenereringsmodellen Llama 2 kan finjusteres på ethvert domænespecifikt datasæt. Efter at den er finjusteret på det domænespecifikke datasæt, forventes modellen at generere domænespecifik tekst og løse forskellige NLP-opgaver i det specifikke domæne med få-shot prompting. Med dette datasæt består input af en CSV-, JSON- eller TXT-fil. For eksempel kan inputdata være SEC-arkiveringer fra Amazon som en tekstfil:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Instruktion tuning format

Ved instruktionsfinjustering er modellen finjusteret til et sæt af NLP-opgaver (natural language processing) beskrevet ved hjælp af instruktioner. Dette hjælper med at forbedre modellens ydeevne til usete opgaver med nul-skud-prompter. I instruktionsindstillingsdatasætformatet angiver du template.json fil, der beskriver input- og outputformaterne. For eksempel hver linje i filen train.jsonl ser ud som følgende:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Den ekstra fil template.json ser ud som følgende:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Understøttede hyperparametre til træning

Llama 2 finjustering understøtter en række hyperparametre, som hver kan påvirke hukommelseskravet, træningshastigheden og ydeevnen af ​​den finjusterede model:

• epoke – Antallet af gennemløb, som finjusteringsalgoritmen tager gennem træningsdatasættet. Skal være et heltal større end 1. Standard er 5.
• learning_rate – Den hastighed, hvormed modelvægtene opdateres efter at have gennemgået hver gruppe træningseksempler. Skal være en positiv float større end 0. Standard er 1e-4.
• instruktion_tunet – Om man skal instruktionstræne modellen eller ej. Må være 'True'eller'False'. Standard er 'False«.
• pr_device_train_batch_size – Batchstørrelsen pr. GPU-kerne/CPU til træning. Skal være et positivt heltal. Standard er 4.
• per_device_eval_batch_size – Batchstørrelsen pr. GPU-kerne/CPU til evaluering. Skal være et positivt heltal. Standard er 1.
• max_train_samples – Afkort antallet af træningseksempler til denne værdi til fejlfindingsformål eller hurtigere træning. Værdi -1 betyder at bruge alle træningseksemplerne. Skal være et positivt heltal eller -1. Standard er -1.
• max_val_samples – Afkort antallet af valideringseksempler til denne værdi til fejlfindingsformål eller hurtigere træning. Værdi -1 betyder at bruge alle valideringseksemplerne. Skal være et positivt heltal eller -1. Standard er -1.
• max_input_length – Maksimal samlet inputsekvenslængde efter tokenisering. Sekvenser længere end dette vil blive afkortet. Hvis -1, max_input_length er indstillet til minimum 1024 og den maksimale modellængde defineret af tokenizeren. Hvis indstillet til en positiv værdi, max_input_length er indstillet til minimum af den angivne værdi og model_max_length defineret af tokenizeren. Skal være et positivt heltal eller -1. Standard er -1.
• validation_split_ratio – Hvis valideringskanal er none, skal forholdet mellem togvalideringsopdeling fra togdata være mellem 0–1. Standard er 0.2.
• train_data_split_seed – Hvis valideringsdata ikke er til stede, fikserer dette den tilfældige opdeling af inputtræningsdataene til trænings- og valideringsdata, der bruges af algoritmen. Skal være et heltal. Standard er 0.
• forbehandling_antal_arbejdere – Antallet af processer, der skal bruges til forbehandling. Hvis None, bruges hovedprocessen til forbehandling. Standard er None.
• lora_r – Lora R. Skal være et positivt heltal. Standard er 8.
• lora_alpha – Lora Alpha. Skal være et positivt heltal. Standard er 32
• lora_frafald – Lora Dropout. skal være en positiv float mellem 0 og 1. Standard er 0.05.
• int8_kvantisering - Hvis True, modellen er fyldt med 8-bit præcision til træning. Standard for 7B og 13B er False. Standard for 70B er True.
• enable_fsdp - Hvis True, træning bruger FSDP. Standard for 7B og 13B er True. Standard for 70B er False. Bemærk, at int8_quantization er ikke understøttet med FSDP.

Forekomsttyper og kompatible hyperparametre

Hukommelseskravet under finjustering kan variere baseret på flere faktorer:

• Model type – 7B-modellen har det mindste GPU-hukommelseskrav, og 70B har det største hukommelsesbehov
• Max input længde – En højere værdi af inputlængde fører til behandling af flere tokens ad gangen og kræver som sådan mere CUDA-hukommelse
• Batch størrelse – En større batchstørrelse kræver større CUDA-hukommelse og kræver derfor større instanstyper
• Int8 kvantisering – Hvis du bruger Int8-kvantisering, indlæses modellen med lav præcision og kræver derfor mindre CUDA-hukommelse

For at hjælpe dig i gang tilbyder vi et sæt kombinationer af forskellige instanstyper, hyperparametre og modeltyper, som med succes kan finjusteres. Du kan vælge en konfiguration i henhold til dine krav og tilgængelighed af instanstyper. Vi finjusterer alle tre modeller på en række forskellige indstillinger med tre epoker på en delmængde af Dolly-datasættet med opsummeringseksempler.

7B model

Følgende tabel opsummerer finjusteringsmulighederne på 7B-modellen.

13B

Følgende tabel opsummerer finjusteringsmulighederne på 13B-modellen.

70B

Følgende tabel opsummerer finjusteringsmulighederne på 70B-modellen.

Anbefalinger om instanstyper og hyperparametre

Når du finjusterer modellens nøjagtighed, skal du huske på følgende:

• Større modeller som 70B giver bedre ydeevne end 7B
• Ydeevne uden Int8-kvantisering er bedre end ydeevne med INT8-kvantisering

Bemærk følgende krav til træningstid og CUDA-hukommelse:

• Lokal område int8_quantization=True mindsker hukommelsesbehovet og fører til hurtigere træning.
• Faldende per_device_train_batch_size , max_input_length reducerer hukommelseskravet og kan derfor køres på mindre instanser. Indstilling af meget lave værdier kan dog øge træningstiden.
• Hvis du ikke bruger Int8 kvantisering (int8_quantization=False), brug FSDP (enable_fsdp=True) for hurtigere og effektiv træning.

Når du vælger instanstypen, skal du overveje følgende:

• G5-instanser giver den mest effektive træning blandt de understøttede instanstyper. Derfor, hvis du har G5-instanser til rådighed, bør du bruge dem.
• Træningstiden afhænger i høj grad af mængden af ​​antallet af GPU'er og den tilgængelige CUDA-hukommelse. Derfor er træning på instanser med det samme antal GPU'er (f.eks. ml.g5.2xlarge og ml.g5.4xlarge) nogenlunde det samme. Derfor kan du bruge den billigere instans til træning (ml.g5.2xlarge).
• Når du bruger p3-instanser, vil træningen blive udført med 32-bit præcision, fordi bfloat16 ikke understøttes på disse instanser. Derfor vil træningsjobbet forbruge den dobbelte mængde CUDA-hukommelse, når der trænes på p3-instanser sammenlignet med g5-instanser.

For at lære om omkostningerne ved uddannelse pr. instans, se Amazon EC2 G5-forekomster.

Hvis datasættet er i instruktionsindstillingsformat og input+fuldførelsessekvenserne er små (såsom 50–100 ord), så er en høj værdi af max_input_length fører til meget dårlig præstation. Standardværdien for denne parameter er -1, hvilket svarer til max_input_length af 2048 for Lama-modeller. Derfor anbefaler vi, at hvis dit datasæt indeholder små prøver, skal du bruge en lille værdi for max_input_length (såsom 200-400).

På grund af stor efterspørgsel af G5-forekomsterne kan du til sidst opleve utilgængelighed af disse forekomster i din region med fejlen “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Hvis du oplever denne fejl, skal du prøve træningsjobbet igen eller prøve en anden region.

Problemer ved finjustering af meget store modeller

I dette afsnit diskuterer vi to spørgsmål, når du finjusterer meget store modeller.

Deaktiver outputkomprimering

Som standard er outputtet af et træningsjob en trænet model, der er komprimeret i et .tar.gz-format, før det uploades til Amazon S3. På grund af modellens store størrelse kan dette trin dog tage lang tid. For eksempel kan komprimering og upload af 70B-modellen tage mere end 4 timer. For at undgå dette problem kan du bruge funktionen til deaktivering af outputkomprimering, der understøttes af SageMaker-træningsplatformen. I dette tilfælde uploades modellen uden nogen komprimering, som yderligere bruges til implementering:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

SageMaker Studio kerne timeout problem

På grund af størrelsen af ​​Llama 70B-modellen kan træningsjobbet tage flere timer, og SageMaker Studio-kernen kan dø under træningsfasen. Men i denne tid kører der stadig træning i SageMaker. Hvis dette sker, kan du stadig implementere slutpunktet ved hjælp af træningsjobnavnet med følgende kode:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

For at finde træningsjobnavnet skal du navigere til SageMaker-konsollen og under Kurser i navigationsruden skal du vælge Træningsjob. Identificer uddannelsesjobnavnet og erstat det i den foregående kode.

Konklusion

I dette indlæg diskuterede vi finjustering af Metas Llama 2-modeller ved hjælp af SageMaker JumpStart. Vi viste, at du kan bruge SageMaker JumpStart-konsollen i SageMaker Studio eller SageMaker Python SDK til at finjustere og implementere disse modeller. Vi diskuterede også finjusteringsteknikken, instanstyper og understøttede hyperparametre. Derudover skitserede vi anbefalinger til optimeret træning baseret på forskellige tests, vi gennemførte. Resultaterne for finjustering af de tre modeller over to datasæt er vist i appendiks sidst i dette indlæg. Som vi kan se fra disse resultater, forbedrer finjustering opsummeringen sammenlignet med ikke-finjusterede modeller. Som et næste trin kan du prøve at finjustere disse modeller på dit eget datasæt ved hjælp af koden, der er angivet i GitHub-lageret for at teste og benchmarke resultaterne for dine use cases.

Forfatterne vil gerne anerkende de tekniske bidrag fra Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne og June Vandt.

Om forfatterne

Dr. Vivek Madan er en anvendt videnskabsmand hos Amazon SageMaker JumpStart-teamet. Han fik sin ph.d. fra University of Illinois i Urbana-Champaign og var postdoktor ved Georgia Tech. Han er en aktiv forsker i maskinlæring og algoritmedesign og har publiceret artikler i EMNLP, ICLR, COLT, FOCS og SODA konferencer.

Dr. Farooq Sabir er senior specialist i kunstig intelligens og maskinlæringsløsninger hos AWS. Han har ph.d.- og MS-grader i elektroteknik fra University of Texas i Austin og en MS i datalogi fra Georgia Institute of Technology. Han har over 15 års erhvervserfaring og kan også lide at undervise og vejlede universitetsstuderende. Hos AWS hjælper han kunder med at formulere og løse deres forretningsproblemer inden for datavidenskab, maskinlæring, computersyn, kunstig intelligens, numerisk optimering og relaterede domæner. Baseret i Dallas, Texas, elsker han og hans familie at rejse og tage på lange roadtrips.

Dr. Ashish Khetan er en Senior Applied Scientist hos Amazon SageMaker JumpStart og hjælper med at udvikle maskinlæringsalgoritmer. Han fik sin ph.d. fra University of Illinois Urbana-Champaign. Han er en aktiv forsker i maskinlæring og statistisk inferens og har publiceret mange artikler i NeurIPS, ICML, ICLR, JMLR, ACL og EMNLP konferencer.

Tillæg

Dette appendiks indeholder yderligere oplysninger om performance benchmarking og datasætformatering.

Performance benchmarking

I dette afsnit giver vi resultater for finjustering af de tre Llama 2-modeller (7B, 13B og 70B) på to forskellige datasæt: dukke , Dialogsum. For Dolly-datasættet er vores opgave at opsummere et tekstafsnit, hvorimod vi for Dialogsum finjusterer modellen for at opsummere en diskussion mellem to personer. I de følgende tabeller viser vi input til modellen (prompt og instruktioner), grundsandhed (resumé), respons fra den fortrænede Llama 2-model og respons fra den finjusterede Llama 2-model for hver af de tre Lamaer 2 modeller. Vi viser slutningsresultater for fem datapunkter. Du kan bemærke fra de følgende tabeller, at oversigterne forbedres for begge datasæt, når vi finjusterer modellerne.

• Resultater for finjustering af Llama 2 7B tekstgenereringsmodellen på Dolly-datasættet:

• Resultater for finjustering af Llama 2 13B tekstgenereringsmodellen på Dolly-datasættet:

• Resultater for finjustering af Llama 2 70B tekstgenereringsmodellen på Dolly-datasættet:

• Resultater for finjustering af Llama 2 7B-tekstgenereringsmodellen på Dialogsum-datasættet:

• Resultater for finjustering af Llama-2 13B-modellen på Dialogsum-datasættet:

• Resultater for finjustering af Llama 2 70B-modellen på Dialogsum-datasættet:

Datasæt formatering

Vi tilbyder i øjeblikket to typer finjustering: finjustering af instruktion og finjustering af domænetilpasning. Du kan nemt skifte til en af ​​træningsmetoderne ved at angive parameteren instruction_tuned som 'True'eller'False«.

Domænetilpasningsformat

Tekstgenereringsmodellen kan også finjusteres på ethvert domænespecifikt datasæt. Efter at den er finjusteret på det domænespecifikke datasæt, forventes modellen at generere domænespecifik tekst og løse forskellige NLP-opgaver i det specifikke domæne med få-shot prompting.

For input til modellen skal du bruge en trænings- og valgfri valideringsmappe. Hver mappe indeholder en CSV-, JSON- eller TXT-fil. For CSV- og JSON-filer bruges tog- eller valideringsdata fra kolonnen kaldet tekst eller den første kolonne, hvis ingen kolonne kaldes text er fundet. Antallet af filer under tog og validering (hvis givet) skal svare til henholdsvis 1.

Outputtet er en trænet model, der kan implementeres til slutninger.

Det følgende er et eksempel på en TXT-fil til finjustering af tekstgenereringsmodellen. TXT-filen er SEC-arkiver fra Amazon fra 2021-2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Finjustering af instruktion

Tekstgenereringsmodellen kan instruktionsjusteres på alle tekstdata, forudsat at dataene er i det forventede format. Den instruktionstunede model kan videreudvikles til slutninger.

Til input skal du bruge en trænings- og valgfri valideringsmappe. Tog- og valideringsmapper bør indeholde en eller flere JSON-linjer (.jsonl) formaterede filer. Især kan togbiblioteket også indeholde en valgfri *.json-fil, der beskriver input- og outputformaterne.

Den bedste model vælges i henhold til valideringstabet, beregnet ved slutningen af ​​hver epoke. Hvis der ikke er givet et valideringssæt, opdeles en (justerbar) procentdel af træningsdataene automatisk og bruges til validering.

Træningsdataene skal formateres i et JSON-linjeformat (.jsonl), hvor hver linje er en ordbog, der repræsenterer et enkelt dataeksempel. Alle træningsdata skal være i en enkelt mappe; den kan dog gemmes i flere .jsonl-filer. Filtypenavnet .jsonl er obligatorisk. Træningsmappen kan også indeholde en template.json fil, der beskriver input- og outputformaterne. Hvis der ikke er angivet en skabelonfil, vil følgende skabelon blive brugt:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

I dette tilfælde skal dataene i JSON-linjeposterne indeholde prompt , completion felter. Hvis der leveres en brugerdefineret skabelon, skal den også bruge prompt , completion taster til at definere input- og outputskabelonerne. Følgende er et eksempel på en tilpasset skabelon:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Her skal dataene i JSON-linjeposterne indeholde question, contextog answer felter.

Outputtet er en trænet model, der kan implementeres til slutninger.

Vi leverer et undersæt af SEC-arkiveringsdata fra Amazon. Den er downloadet fra offentligt tilgængelig EDGAR. For instruktioner om adgang til dataene, se Adgang til EDGAR-data.

Licens: Creative Commons Attribution-ShareAlike-licens (CC BY-SA 4.0)

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• ChartPrime. Løft dit handelsspil med ChartPrime. Adgang her.
• BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/