Finjuster Llama 2 for tekstgenerering på Amazon SageMaker JumpStart | Amazon Web Services

I dag er vi glade for å kunngjøre muligheten til å finjustere Llama 2-modeller av Meta ved å bruke Amazon SageMaker JumpStart. Llama 2-familien av store språkmodeller (LLM) er en samling av forhåndstrente og finjusterte generative tekstmodeller som varierer i skala fra 7 milliarder til 70 milliarder parametere. Finjusterte LLM-er, kalt Llama-2-chat, er optimalisert for brukstilfeller for dialog. Du kan enkelt prøve ut disse modellene og bruke dem med SageMaker JumpStart, som er en maskinlæringshub (ML) som gir tilgang til algoritmer, modeller og ML-løsninger slik at du raskt kan komme i gang med ML. Nå kan du også finjustere 7 milliarder, 13 milliarder og 70 milliarder parametere Llama 2-tekstgenereringsmodeller på SageMaker JumpStart ved å bruke Amazon SageMaker Studio UI med noen få klikk eller ved å bruke SageMaker Python SDK.

Generative AI-fundamentmodeller har vært i fokus for det meste av forskning og bruk av ML og kunstig intelligens i over et år nå. Disse grunnmodellene fungerer veldig bra med generative oppgaver, som tekstgenerering, oppsummering, svar på spørsmål, bilde- og videogenerering med mer, på grunn av sin store størrelse og også fordi de er trent på flere store datasett og hundrevis av oppgaver. Til tross for de store generaliseringsmulighetene til disse modellene, er det ofte brukstilfeller som har veldig spesifikke domenedata (som helsetjenester eller finansielle tjenester), på grunn av disse modellene kan det hende at disse modellene ikke kan gi gode resultater for disse brukstilfellene. Dette resulterer i et behov for ytterligere finjustering av disse generative AI-modellene over brukstilfellespesifikke og domenespesifikke data.

I dette innlegget går vi gjennom hvordan du finjusterer Llama 2 forhåndstrente tekstgenerasjonsmodeller via SageMaker JumpStart.

Hva er Llama 2

Llama 2 er en autoregressiv språkmodell som bruker en optimalisert transformatorarkitektur. Llama 2 er beregnet for kommersiell bruk og forskningsbruk på engelsk. Den kommer i en rekke parameterstørrelser – 7 milliarder, 13 milliarder og 70 milliarder – så vel som forhåndstrente og finjusterte variasjoner. I følge Meta bruker de innstilte versjonene overvåket finjustering (SFT) og forsterkningslæring med menneskelig tilbakemelding (RLHF) for å tilpasse seg menneskelige preferanser for hjelpsomhet og sikkerhet. Llama 2 ble forhåndstrent på 2 billioner tokens med data fra offentlig tilgjengelige kilder. De innstilte modellene er ment for assistent-lignende chat, mens forhåndstrente modeller kan tilpasses for en rekke naturlige språkgenereringsoppgaver. Uavhengig av hvilken versjon av modellen en utvikler bruker, vil ansvarlig bruksveiledning fra Meta kan hjelpe til med å veilede ytterligere finjusteringer som kan være nødvendig for å tilpasse og optimalisere modellene med passende sikkerhetsreduksjoner.

For øyeblikket er Llama 2 tilgjengelig i følgende regioner:

• Distribuer forhåndstrent modell tilgjengelig: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Finjuster og distribuer den finjusterte modellen: “us-east-1”, “us-west-2”,“eu-west-1”

Hva er SageMaker JumpStart

Med SageMaker JumpStart kan ML-utøvere velge fra et bredt utvalg av offentlig tilgjengelige fundamentmodeller. ML-utøvere kan distribuere grunnmodeller til dedikerte Amazon SageMaker forekomster fra et nettverksisolert miljø og tilpasse modeller ved hjelp av SageMaker for modellopplæring og distribusjon. Du kan nå oppdage og distribuere Llama 2 med noen få klikk i SageMaker Studio eller programmatisk gjennom SageMaker Python SDK, slik at du kan utlede modellytelse og MLOps-kontroller med SageMaker-funksjoner som f.eks. Amazon SageMaker-rørledninger, Amazon SageMaker Debugger, eller containerlogger. Modellen er distribuert i et AWS-sikkert miljø og under dine VPC-kontroller, noe som bidrar til å sikre datasikkerhet. I tillegg kan du finjustere Llama2 7B, 13B og 70B forhåndstrente tekstgenereringsmodeller via SageMaker JumpStart.

Finjuster Llama2-modeller

Du kan finjustere modellene ved å bruke enten SageMaker Studio UI eller SageMaker Python SDK. Vi diskuterer begge metodene i denne delen.

Finjustering uten kode via SageMaker Studio UI

I SageMaker Studio kan du få tilgang til Llama 2-modeller via SageMaker JumpStart under Modeller, notatbøker og løsninger, som vist på følgende skjermbilde.

Hvis du ikke ser Llama 2-modeller, oppdater SageMaker Studio-versjonen din ved å slå av og starte på nytt. For mer informasjon om versjonsoppdateringer, se Slå av og oppdater Studio-apper.

Du kan også finne andre fire modellvarianter ved å velge Utforsk alle tekstgenerasjonsmodeller eller søker etter lama i søkefeltet.

På denne siden kan du peke på Amazon enkel lagringstjeneste (Amazon S3) bøtte som inneholder opplærings- og valideringsdatasettene for finjustering. I tillegg kan du konfigurere distribusjonskonfigurasjon, hyperparametre og sikkerhetsinnstillinger for finjustering. Du kan da velge Tog å starte opplæringsjobben på en SageMaker ML-instans. Det foregående skjermbildet viser finjusteringssiden for Llama-2 7B-modellen; Du kan imidlertid finjustere tekstgenerasjonsmodellene 13B og 70B Llama 2 ved å bruke deres respektive modellsider på samme måte. For å bruke Llama 2-modeller må du godta sluttbrukerlisensavtalen (EULA). Det vil dukke opp når du velger Tog, som vist i følgende skjermbilde. Velge Jeg har lest og godtar EULA og AUP for å starte finjusteringsjobben.

Distribuer modellen

Etter at modellen er finjustert, kan du distribuere den ved å bruke modellsiden på SageMaker JumpStart. Alternativet for å distribuere den finjusterte modellen vil vises når finjusteringen er fullført, som vist i følgende skjermbilde.

Finjuster via SageMaker Python SDK

Du kan også finjustere Llama 2-modeller ved å bruke SageMaker Python SDK. Følgende er en eksempelkode for å finjustere Llama 2 7B på datasettet ditt:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Du kan distribuere den finjusterte modellen direkte fra estimatoren:

finetuned_predictor = estimator.deploy()

Du finner også koden i Finjuster LLaMA 2-modeller på SageMaker JumpStart. Det inkluderer forberedelse av datasett, opplæring i det tilpassede datasettet ditt og distribusjon av den finjusterte modellen. Den demonstrerer finjustering på et undersett av Dolly-datasettet med eksempler fra oppsummeringsoppgaven. Følgende er eksempelinngangen med svar fra finjusterte og ikke-finjusterte sammen med grunnsannhetsresponsen:

Inndata til modellen:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Ground Truth-svar:

Felix Luna died on November 5th, 2009

Svar fra den ikke finjusterte modellen:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Svar fra den finjusterte modellen:

Félix Luna died on November 5th, 2009.nn

For ytelsesbenchmarking av forskjellige modeller på Dolly og Dialogsum datasettet, se Ytelsesbenchmarking avsnitt i vedlegget på slutten av dette innlegget.

Finjusteringsteknikk

Språkmodeller som Llama er mer enn 10 GB eller til og med 100 GB i størrelse. Finjustering av slike store modeller krever instanser med betydelig høyt CUDA-minne. Videre kan treningen av disse modellene være veldig treg på grunn av størrelsen på modellen. Derfor, for effektiv finjustering, bruker vi følgende optimaliseringer:

• Low-Rank Adaptation (LoRA) – Dette er en type parameter effektiv finjustering (PEFT) for effektiv finjustering av store modeller. I dette fryser vi hele modellen og legger bare til et lite sett med justerbare parametere eller lag i modellen. For eksempel, i stedet for å trene alle 7 milliarder parametere for Llama 2 7B, kan vi finjustere mindre enn 1 % av parameterne. Dette bidrar til betydelig reduksjon av minnekravet fordi vi bare trenger å lagre gradienter, optimeringstilstander og annen treningsrelatert informasjon for bare 1 % av parameterne. Videre hjelper dette med å redusere treningstiden så vel som kostnadene. For mer informasjon om denne metoden, se LoRA: Lavrangstilpasning av store språkmodeller.
• Int8 kvantisering – Selv med optimaliseringer som LoRA, er modeller som Llama 70B fortsatt for store til å trene. For å redusere minnefotavtrykket under trening, kan vi bruke Int8 kvantisering under trening. Kvantisering reduserer vanligvis presisjonen til flyttallsdatatypene. Selv om dette reduserer minnet som kreves for å lagre modellvekter, forringer det ytelsen på grunn av tap av informasjon. Int8 kvantisering bruker bare en kvart presisjon, men medfører ikke forringelse av ytelsen fordi den ikke bare mister bitene. Den runder dataene fra en type til en annen. For å lære om Int8 kvantisering, se LLM.int8(): 8-biters matrisemultiplikasjon for transformatorer i skala.
• Fullt delte data parallelt (FSDP) – Dette er en type dataparallell treningsalgoritme som sønderdeler modellens parametere på tvers av dataparallelle arbeidere og kan eventuelt overføre deler av treningsberegningen til CPU-ene. Selv om parametrene er delt på tvers av forskjellige GPUer, er beregningen av hver mikrobatch lokal for GPU-arbeideren. Den skjærer parametere mer jevnt og oppnår optimalisert ytelse via kommunikasjon og beregningsoverlapping under trening.

Tabellen nedenfor sammenligner ulike metoder med de tre Llama 2-modellene.

Legg merke til at finjustering av Llama-modeller er basert på skript levert av følgende GitHub repo.

Opplæringsdatasettformat

SageMaker JumpStart støtter for tiden datasett i både domenetilpasningsformat og format for instruksjonsinnstilling. I denne delen spesifiserer vi et eksempeldatasett i begge formatene. For flere detaljer, se Datasettformatering avsnitt i vedlegget.

Domenetilpasningsformat

Tekstgenereringsmodellen Llama 2 kan finjusteres på ethvert domenespesifikt datasett. Etter at den er finjustert på det domenespesifikke datasettet, forventes modellen å generere domenespesifikk tekst og løse ulike NLP-oppgaver i det spesifikke domenet med få-shot-forespørsel. Med dette datasettet består inndata av en CSV-, JSON- eller TXT-fil. For eksempel kan inndata være SEC-arkiver fra Amazon som en tekstfil:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Instruksjonsinnstillingsformat

Ved finjustering av instruksjoner er modellen finjustert for et sett med NLP-oppgaver (natural language processing) beskrevet ved hjelp av instruksjoner. Dette bidrar til å forbedre modellens ytelse for usynlige oppgaver med null-shot-meldinger. I datasettformatet for instruksjonsinnstilling spesifiserer du template.json fil som beskriver inndata- og utdataformatene. For eksempel hver linje i filen train.jsonl ser slik ut:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Tilleggsfilen template.json ser slik ut:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Støttede hyperparametre for trening

Llama 2 finjustering støtter en rekke hyperparametre, som hver kan påvirke minnekravet, treningshastigheten og ytelsen til den finjusterte modellen:

• epoke – Antall passeringer som finjusteringsalgoritmen tar gjennom treningsdatasettet. Må være et heltall større enn 1. Standard er 5.
• learning_rate – Hastigheten som modellvektene oppdateres med etter å ha jobbet gjennom hver gruppe med treningseksempler. Må være en positiv float større enn 0. Standard er 1e-4.
• instruction_tuned – Om man skal instruere-trene modellen eller ikke. Må være 'True'eller'False'. Standard er 'False'.
• per_device_train_batch_size – Batchstørrelsen per GPU-kjerne/CPU for trening. Må være et positivt heltall. Standard er 4.
• per_device_eval_batch_size – Batchstørrelsen per GPU-kjerne/CPU for evaluering. Må være et positivt heltall. Standard er 1.
• max_train_samples – For feilsøkingsformål eller raskere opplæring, avkort antall treningseksempler til denne verdien. Verdi -1 betyr å bruke alle treningsprøvene. Må være et positivt heltall eller -1. Standard er -1.
• max_val_samples – For feilsøkingsformål eller raskere opplæring, avkort antall valideringseksempler til denne verdien. Verdi -1 betyr å bruke alle valideringsprøvene. Må være et positivt heltall eller -1. Standard er -1.
• max_input_length – Maksimal total inndatasekvenslengde etter tokenisering. Sekvenser lengre enn dette vil bli avkortet. Hvis -1, max_input_length er satt til minimum 1024 og maksimal modelllengde definert av tokenizeren. Hvis satt til en positiv verdi, max_input_length er satt til minimum av den angitte verdien og model_max_length definert av tokenizeren. Må være et positivt heltall eller -1. Standard er -1.
• validation_split_ratio – Hvis valideringskanalen er none, forholdet mellom togvalideringsdeling fra togdataene må være mellom 0–1. Standard er 0.2.
• train_data_split_seed – Hvis valideringsdata ikke er tilstede, fikser dette den tilfeldige oppdelingen av inndata treningsdata til trenings- og valideringsdata som brukes av algoritmen. Må være et heltall. Standard er 0.
• forbehandling_antall_arbeidere – Antall prosesser som skal brukes til forbehandling. Hvis None, brukes hovedprosessen til forbehandling. Standard er None.
• lora_r – Lora R. Må være et positivt heltall. Standard er 8.
• lora_alpha – Lora Alpha. Må være et positivt heltall. Standard er 32
• lora_frafall – Lora Dropout. må være en positiv flyte mellom 0 og 1. Standard er 0.05.
• int8_kvantisering - Hvis True, modellen er lastet med 8-bits presisjon for trening. Standard for 7B og 13B er False. Standard for 70B er True.
• aktivere_fsdp - Hvis True, opplæring bruker FSDP. Standard for 7B og 13B er True. Standard for 70B er False. Noter det int8_quantization støttes ikke med FSDP.

Forekomsttyper og kompatible hyperparametre

Minnekravet under finjustering kan variere basert på flere faktorer:

• Modell type – 7B-modellen har minst GPU-minnekrav og 70B har størst minnebehov
• Maks inngangslengde – En høyere verdi på inngangslengden fører til behandling av flere tokens om gangen og krever som sådan mer CUDA-minne
• Partistørrelse, Gruppestørrelse – En større batchstørrelse krever større CUDA-minne og krever derfor større instanstyper
• Int8 kvantisering – Hvis du bruker Int8 kvantisering, blir modellen lastet inn i lav presisjon og krever derfor mindre CUDA-minne

For å hjelpe deg i gang tilbyr vi et sett med kombinasjoner av forskjellige forekomsttyper, hyperparametre og modelltyper som kan finjusteres. Du kan velge en konfigurasjon i henhold til dine krav og tilgjengeligheten av forekomsttyper. Vi finjusterer alle tre modellene på en rekke innstillinger med tre epoker på et undersett av Dolly-datasettet med oppsummeringseksempler.

7B modell

Tabellen nedenfor oppsummerer finjusteringsalternativene på 7B-modellen.

13B

Tabellen nedenfor oppsummerer finjusteringsalternativene på 13B-modellen.

70B

Tabellen nedenfor oppsummerer finjusteringsalternativene på 70B-modellen.

Anbefalinger om instanstyper og hyperparametere

Når du finjusterer modellens nøyaktighet, husk følgende:

• Større modeller som 70B gir bedre ytelse enn 7B
• Ytelse uten Int8-kvantisering er bedre enn ytelse med INT8-kvantisering

Legg merke til følgende krav til treningstid og CUDA-minne:

• Stille int8_quantization=True reduserer hukommelseskravet og fører til raskere trening.
• Avtagende per_device_train_batch_size og max_input_length reduserer minnekravet og kan derfor kjøres på mindre forekomster. Innstilling av svært lave verdier kan imidlertid øke treningstiden.
• Hvis du ikke bruker Int8 kvantisering (int8_quantization=False), bruk FSDP (enable_fsdp=True) for raskere og effektiv trening.

Når du velger forekomsttype, bør du vurdere følgende:

• G5-forekomster gir den mest effektive opplæringen blant forekomsttypene som støttes. Derfor, hvis du har G5-forekomster tilgjengelig, bør du bruke dem.
• Treningstiden avhenger i stor grad av mengden av antall GPUer og CUDA-minnet som er tilgjengelig. Derfor er opplæring på instanser med samme antall GPUer (for eksempel ml.g5.2xlarge og ml.g5.4xlarge) omtrent det samme. Derfor kan du bruke den billigere instansen til trening (ml.g5.2xlarge).
• Når du bruker p3-forekomster, vil trening bli utført med 32-biters presisjon fordi bfloat16 ikke støttes på disse forekomstene. Derfor vil treningsjobben forbruke dobbelt så mye CUDA-minne når man trener på p3-instanser sammenlignet med g5-instanser.

For å lære om kostnadene for opplæring per forekomst, se Amazon EC2 G5-forekomster.

Hvis datasettet er i format for instruksjonsinnstilling og inndata+fullføringssekvensene er små (som 50–100 ord), vil en høy verdi på max_input_length fører til svært dårlig ytelse. Standardverdien for denne parameteren er -1, som tilsvarer max_input_length av 2048 for Llama-modeller. Derfor anbefaler vi at hvis datasettet ditt inneholder små prøver, bruker du en liten verdi for max_input_length (for eksempel 200–400).

Til slutt, på grunn av stor etterspørsel etter G5-forekomstene, kan du oppleve utilgjengelighet for disse forekomstene i din region med feilen “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Hvis du opplever denne feilen, prøv treningsjobben på nytt eller prøv en annen region.

Problemer ved finjustering av veldig store modeller

I denne delen diskuterer vi to forhold ved finjustering av veldig store modeller.

Deaktiver utdatakomprimering

Som standard er utdataene fra en treningsjobb en opplært modell som er komprimert i et .tar.gz-format før den lastes opp til Amazon S3. Men på grunn av modellens store størrelse kan dette trinnet ta lang tid. For eksempel kan komprimering og opplasting av 70B-modellen ta mer enn 4 timer. For å unngå dette problemet kan du bruke funksjonen deaktiver utdatakomprimering som støttes av SageMaker-treningsplattformen. I dette tilfellet blir modellen lastet opp uten komprimering, som brukes videre for distribusjon:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

SageMaker Studio-kjernens tidsavbruddsproblem

På grunn av størrelsen på Llama 70B-modellen kan treningsjobben ta flere timer og SageMaker Studio-kjernen kan dø i løpet av treningsfasen. Men i løpet av denne tiden kjører det fortsatt trening i SageMaker. Hvis dette skjer, kan du fortsatt distribuere endepunktet ved å bruke opplæringsjobbnavnet med følgende kode:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

For å finne treningsjobbnavnet, naviger til SageMaker-konsollen og under Kurs Velg navigasjonsruten Treningsjobber. Identifiser treningsjobbnavnet og bytt det ut i den foregående koden.

konklusjonen

I dette innlegget diskuterte vi finjustering av Metas Llama 2-modeller ved å bruke SageMaker JumpStart. Vi viste at du kan bruke SageMaker JumpStart-konsollen i SageMaker Studio eller SageMaker Python SDK for å finjustere og distribuere disse modellene. Vi diskuterte også finjusteringsteknikken, forekomsttyper og støttede hyperparametre. I tillegg skisserte vi anbefalinger for optimalisert trening basert på ulike tester vi gjennomførte. Resultatene for finjustering av de tre modellene over to datasett er vist i vedlegget på slutten av dette innlegget. Som vi kan se fra disse resultatene, forbedrer finjustering oppsummeringen sammenlignet med ikke-finjusterte modeller. Som et neste trinn kan du prøve å finjustere disse modellene på ditt eget datasett ved å bruke koden gitt i GitHub-depotet for å teste og benchmarke resultatene for brukstilfellene dine.

Forfatterne vil gjerne anerkjenne de tekniske bidragene fra Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne og June Vant.

Om forfatterne

Dr. Vivek Madan er en Applied Scientist med Amazon SageMaker JumpStart-teamet. Han fikk sin doktorgrad fra University of Illinois i Urbana-Champaign og var postdoktor ved Georgia Tech. Han er en aktiv forsker innen maskinlæring og algoritmedesign og har publisert artikler på EMNLP-, ICLR-, COLT-, FOCS- og SODA-konferanser.

Dr. Farooq Sabir er senior spesialistløsningsarkitekt for kunstig intelligens og maskinlæring ved AWS. Han har PhD- og MS-grader i elektroteknikk fra University of Texas i Austin og en MS i informatikk fra Georgia Institute of Technology. Han har over 15 års arbeidserfaring og liker også å undervise og veilede studenter. Hos AWS hjelper han kunder med å formulere og løse forretningsproblemer innen datavitenskap, maskinlæring, datasyn, kunstig intelligens, numerisk optimalisering og relaterte domener. Basert i Dallas, Texas, elsker han og familien å reise og dra på lange bilturer.

Dr. Ashish Khetan er en Senior Applied Scientist med Amazon SageMaker JumpStart og hjelper til med å utvikle maskinlæringsalgoritmer. Han fikk sin doktorgrad fra University of Illinois Urbana-Champaign. Han er en aktiv forsker innen maskinlæring og statistisk inferens, og har publisert mange artikler på NeurIPS, ICML, ICLR, JMLR, ACL og EMNLP-konferanser.

Vedlegg

Dette vedlegget gir tilleggsinformasjon om ytelsesbenchmarking og datasettformatering.

Ytelsesbenchmarking

I denne delen gir vi resultater for finjustering av de tre Llama 2-modellene (7B, 13B og 70B) på to forskjellige datasett: Dolly og Dialogsum. For Dolly-datasettet er vår oppgave å oppsummere et avsnitt med tekst, mens for Dialogsum finjusterer vi modellen for å oppsummere en diskusjon mellom to personer. I de følgende tabellene viser vi input til modellen (spørsmål og instruksjoner), grunnsannhet (oppsummering), respons fra den ferdigtrente Llama 2-modellen og respons fra den finjusterte Llama 2-modellen for hver av de tre Llamaene 2 modeller. Vi viser slutningsresultater for fem datapunkter. Du kan legge merke til fra følgende tabeller at sammendragene forbedres for begge datasettene når vi finjusterer modellene.

• Resultater for finjustering av Llama 2 7B-tekstgenereringsmodellen på Dolly-datasettet:

• Resultater for finjustering av Llama 2 13B-tekstgenereringsmodellen på Dolly-datasettet:

• Resultater for finjustering av Llama 2 70B-tekstgenereringsmodellen på Dolly-datasettet:

• Resultater for finjustering av Llama 2 7B-tekstgenereringsmodellen på Dialogsum-datasettet:

• Resultater for finjustering av Llama-2 13B-modellen på Dialogsum-datasettet:

• Resultater for finjustering av Llama 2 70B-modellen på Dialogsum-datasettet:

Datasettformatering

Vi tilbyr for tiden to typer finjustering: finjustering av instruksjoner og finjustering av domenetilpasning. Du kan enkelt bytte til en av treningsmetodene ved å spesifisere parameteren instruction_tuned som 'True'eller'False'.

Domenetilpasningsformat

Tekstgenereringsmodellen kan også finjusteres på et hvilket som helst domenespesifikt datasett. Etter at den er finjustert på det domenespesifikke datasettet, forventes modellen å generere domenespesifikk tekst og løse ulike NLP-oppgaver i det spesifikke domenet med få-shot-forespørsel.

For input til modellen, bruk en opplærings- og valgfri valideringskatalog. Hver katalog inneholder en CSV-, JSON- eller TXT-fil. For CSV- og JSON-filer brukes tog- eller valideringsdata fra kolonnen kalt tekst eller den første kolonnen hvis ingen kolonne kalles text er funnet. Antall filer under tog og validering (hvis gitt) skal være lik henholdsvis 1.

Utgangen er en trent modell som kan brukes for slutninger.

Følgende er et eksempel på en TXT-fil for finjustering av tekstgenereringsmodellen. TXT-filen er SEC-filer fra Amazon fra 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Finjustering av instruksjonene

Tekstgenereringsmodellen kan instruksjonstilpasses på alle tekstdata forutsatt at dataene er i forventet format. Den instruksjonstilpassede modellen kan distribueres videre for slutninger.

For input, bruk en opplærings- og valgfri valideringskatalog. Tog- og valideringskatalogen bør inneholde én eller flere JSON-linjer (.jsonl) formaterte filer. Spesielt kan togkatalogen også inneholde en valgfri *.json-fil som beskriver inngangs- og utdataformatene.

Den beste modellen velges i henhold til valideringstapet, beregnet ved slutten av hver epoke. Hvis et valideringssett ikke er gitt, blir en (justerbar) prosentandel av treningsdataene automatisk delt og brukt til validering.

Treningsdataene må formateres i et JSON-linjer (.jsonl)-format, der hver linje er en ordbok som representerer et enkelt dataeksempel. Alle treningsdata må være i én enkelt mappe; den kan imidlertid lagres i flere .jsonl-filer. Filtypen .jsonl er obligatorisk. Opplæringsmappen kan også inneholde en template.json fil som beskriver inngangs- og utdataformatene. Hvis ingen malfil er oppgitt, vil følgende mal bli brukt:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

I dette tilfellet må dataene i JSON-linjeoppføringene inkludere prompt og completion Enger. Hvis en egendefinert mal leveres, må den også brukes prompt og completion tastene for å definere inngangs- og utdatamalene. Følgende er et eksempel på en egendefinert mal:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Her må dataene i JSON-linjeoppføringene inkludere question, contextog answer felt.

Utgangen er en trent modell som kan brukes for slutninger.

Vi tilbyr et undersett av SEC-arkiveringsdata fra Amazon. Den er lastet ned fra offentlig tilgjengelig EDGAR. For instruksjoner om tilgang til dataene, se Få tilgang til EDGAR-data.

Tillatelse: Creative Commons Attribution-ShareAlike-lisens (CC BY-SA 4.0)

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• ChartPrime. Hev handelsspillet ditt med ChartPrime. Tilgang her.
• BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/