Reglați fin Llama 2 pentru generarea de text pe Amazon SageMaker JumpStart | Amazon Web Services

Astăzi, suntem încântați să anunțăm capacitatea de a ajusta modelele Llama 2 folosind Meta Amazon SageMaker JumpStart. Familia de modele de limbaj mari (LLM) Llama 2 este o colecție de modele de text generative pre-antrenate și reglate fin, cu o scară cuprinsă între 7 miliarde și 70 de miliarde de parametri. LLM-urile ajustate, numite Llama-2-chat, sunt optimizate pentru cazuri de utilizare a dialogului. Puteți încerca cu ușurință aceste modele și le puteți utiliza cu SageMaker JumpStart, care este un hub de învățare automată (ML) care oferă acces la algoritmi, modele și soluții ML, astfel încât să puteți începe rapid cu ML. Acum puteți, de asemenea, să reglați fin modelele de generare de text Llama 7 pentru 13 miliarde, 70 miliarde și 2 de miliarde de parametri pe SageMaker JumpStart folosind Amazon SageMaker Studio Interfața de utilizare cu câteva clicuri sau folosind SDK-ul SageMaker Python.

Modelele de bază ale AI generative au fost centrul majorității cercetării și cazurilor de utilizare în ML și inteligență artificială de peste un an. Aceste modele de bază funcționează foarte bine cu sarcini generative, cum ar fi generarea de text, rezumatul, răspunsul la întrebări, generarea de imagini și videoclipuri și multe altele, datorită dimensiunii lor mari și, de asemenea, pentru că sunt instruiți pe mai multe seturi mari de date și sute de sarcini. În ciuda capacităților mari de generalizare ale acestor modele, există adesea cazuri de utilizare care au date de domeniu foarte specifice (cum ar fi asistența medicală sau serviciile financiare), din cauza cărora aceste modele ar putea să nu poată oferi rezultate bune pentru aceste cazuri de utilizare. Acest lucru are ca rezultat o nevoie de ajustare suplimentară a acestor modele generative de IA asupra datelor specifice cazului de utilizare și specifice domeniului.

În această postare, vom parcurge modul de ajustare a modelelor de generare de text pre-antrenate Llama 2 prin SageMaker JumpStart.

Ce este Llama 2

Llama 2 este un model de limbaj auto-regresiv care utilizează o arhitectură transformatoare optimizată. Llama 2 este destinat utilizării comerciale și de cercetare în limba engleză. Vine într-o gamă de dimensiuni de parametri — 7 miliarde, 13 miliarde și 70 de miliarde — precum și variații pre-antrenate și reglate fin. Potrivit Meta, versiunile ajustate folosesc reglarea fină supravegheată (SFT) și învățarea prin întărire cu feedback uman (RLHF) pentru a se alinia la preferințele umane pentru utilitate și siguranță. Llama 2 a fost pre-antrenat pe 2 trilioane de date din surse disponibile public. Modelele reglate sunt destinate chatului de tip asistent, în timp ce modelele pre-antrenate pot fi adaptate pentru o varietate de sarcini de generare a limbajului natural. Indiferent de versiunea modelului pe care o folosește un dezvoltator, programul ghid de utilizare responsabilă de la Meta poate ajuta la ghidarea reglajelor suplimentare care ar putea fi necesare pentru personalizarea și optimizarea modelelor cu măsuri de reducere a siguranței adecvate.

În prezent, Llama 2 este disponibil în următoarele regiuni:

• Implementează modelul pre-instruit disponibil: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Reglați fin și implementați modelul reglat fin: “us-east-1”, “us-west-2”,“eu-west-1”

Ce este SageMaker JumpStart

Cu SageMaker JumpStart, practicienii ML pot alege dintr-o selecție largă de modele de fundații disponibile public. Practicienii ML pot implementa modele de fundație pentru dedicate Amazon SageMaker instanțe dintr-un mediu izolat în rețea și personalizați modelele folosind SageMaker pentru instruirea și implementarea modelelor. Acum puteți descoperi și implementa Llama 2 cu câteva clicuri în SageMaker Studio sau în mod programatic prin intermediul SDK-ului SageMaker Python, permițându-vă să obțineți performanța modelului și controalele MLOps cu funcții SageMaker, cum ar fi Pipelines Amazon SageMaker, Debugger Amazon SageMaker, sau jurnalele containerului. Modelul este implementat într-un mediu securizat AWS și sub controalele dvs. VPC, contribuind la asigurarea securității datelor. În plus, puteți regla fin Llama2 7B, 13B și 70B modele de generare de text pre-antrenate prin SageMaker JumpStart.

Ajustați modelele Llama2

Puteți ajusta modelele folosind fie SageMaker Studio UI, fie SageMaker Python SDK. Discutăm ambele metode în această secțiune.

Reglare fină fără cod prin interfața de utilizare SageMaker Studio

În SageMaker Studio, puteți accesa modelele Llama 2 prin SageMaker JumpStart sub Modele, caiete și soluții, așa cum se arată în următoarea captură de ecran.

Dacă nu vedeți modelele Llama 2, actualizați versiunea SageMaker Studio prin închiderea și repornirea. Pentru mai multe informații despre actualizările versiunii, consultați Închideți și actualizați aplicațiile Studio.

Poti gasi si alte patru variante de model alegand Explorați toate modelele de generare de text sau căutând lamă în caseta de căutare.

Pe această pagină, puteți indica Serviciul Amazon de stocare simplă Bucket (Amazon S3) care conține seturile de date de instruire și validare pentru reglare fină. În plus, puteți configura configurația de implementare, hiperparametrii și setările de securitate pentru reglare fină. Apoi puteți alege Tren pentru a începe munca de instruire pe o instanță SageMaker ML. Captura de ecran precedentă arată pagina de reglare fină pentru modelul Llama-2 7B; cu toate acestea, puteți ajusta modelele de generare de text 13B și 70B Llama 2 folosind paginile de model respective în mod similar. Pentru a utiliza modelele Llama 2, trebuie să acceptați Acordul de licență pentru utilizatorul final (EULA). Va apărea când vei alege Tren, așa cum se arată în următoarea captură de ecran. Alege Am citit și accept EULA și AUP pentru a începe lucrarea de reglare fină.

Implementați modelul

După ce modelul este reglat fin, îl puteți implementa folosind pagina de model din SageMaker JumpStart. Opțiunea de a implementa modelul reglat fin va apărea când reglarea fină este terminată, așa cum se arată în următoarea captură de ecran.

Reglați fin prin intermediul SDK-ului SageMaker Python

De asemenea, puteți ajusta modelele Llama 2 folosind SDK-ul SageMaker Python. Următorul este un exemplu de cod pentru a regla fin Llama 2 7B pe setul dvs. de date:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Puteți implementa modelul ajustat direct din estimator:

finetuned_predictor = estimator.deploy()

Puteți găsi și codul în Reglați fin modelele LLaMA 2 pe SageMaker JumpStart. Include pregătirea setului de date, instruirea cu privire la setul de date personalizat și implementarea modelului reglat fin. Demonstrează reglarea fină a unui subset al setului de date Dolly cu exemple din sarcina de rezumare. Următorul este exemplul de intrare cu răspunsuri de la reglat fin și neajustat, împreună cu răspunsul adevărului de bază:

Intrare la model:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Răspunsul adevărului de bază:

Felix Luna died on November 5th, 2009

Răspuns de la modelul neajustat:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Răspunsul modelului reglat fin:

Félix Luna died on November 5th, 2009.nn

Pentru compararea performanței diferitelor modele pe setul de date Dolly și Dialogsum, consultați Benchmarking-ul performanței secțiunea din anexa de la sfârșitul acestui post.

Tehnica de reglare fină

Modelele de limbaj precum Llama au o dimensiune mai mare de 10 GB sau chiar 100 GB. Reglarea fină a modelelor atât de mari necesită instanțe cu memorie CUDA semnificativ mare. Mai mult, antrenarea acestor modele poate fi foarte lent din cauza dimensiunii modelului. Prin urmare, pentru o reglare fină eficientă, folosim următoarele optimizări:

• Adaptare de rang scăzut (LoRA) – Acesta este un tip de reglare fină eficientă a parametrilor (PEFT) pentru reglarea fină eficientă a modelelor mari. În aceasta, înghețăm întregul model și adăugăm doar un set mic de parametri sau straturi reglabile în model. De exemplu, în loc să antrenăm toate cele 7 miliarde de parametri pentru Llama 2 7B, putem regla mai puțin de 1% din parametri. Acest lucru ajută la reducerea semnificativă a necesarului de memorie, deoarece trebuie să stocăm doar gradienți, stări de optimizare și alte informații legate de antrenament pentru doar 1% din parametri. În plus, acest lucru ajută la reducerea timpului de antrenament, precum și a costurilor. Pentru mai multe detalii despre această metodă, consultați LoRA: Low-Rank Adaptation of Large Language Models.
• Cuantizarea Int8 – Chiar și cu optimizări precum LoRA, modelele precum Llama 70B sunt încă prea mari pentru a fi antrenate. Pentru a reduce amprenta memoriei în timpul antrenamentului, putem folosi cuantizarea Int8 în timpul antrenamentului. Cuantificarea reduce de obicei precizia tipurilor de date în virgulă mobilă. Deși acest lucru scade memoria necesară pentru stocarea greutăților modelului, degradează performanța din cauza pierderii de informații. Cuantizarea Int8 folosește doar un sfert de precizie, dar nu implică o degradare a performanței, deoarece nu reduce pur și simplu biții. Rotunjește datele de la un tip la altul. Pentru a afla despre cuantizarea Int8, consultați LLM.int8(): Înmulțirea matricei pe 8 biți pentru transformatoare la scară.
• Paralel de date complet fragmentate (FSDP) – Acesta este un tip de algoritm de antrenament în paralel cu date care împarte parametrii modelului între lucrătorii paraleli de date și poate, opțional, să descarce o parte din calculul antrenamentului către procesoare. Deși parametrii sunt împărțiți în diferite GPU-uri, calculul fiecărui microbatch este local pentru lucrătorul GPU. Se fragmentează parametrii în mod mai uniform și obține performanțe optimizate prin suprapunere de comunicare și calcul în timpul antrenamentului.

Următorul tabel compară diferite metode cu cele trei modele Llama 2.

Rețineți că reglarea fină a modelelor Llama se bazează pe scripturile furnizate de următoarele GitHub repo.

Format de set de date de antrenament

SageMaker JumpStart acceptă în prezent seturi de date atât în ​​format de adaptare a domeniului, cât și în format de reglare a instrucțiunilor. În această secțiune, specificăm un exemplu de set de date în ambele formate. Pentru mai multe detalii, consultați Formatarea setului de date secțiunea din anexă.

Format de adaptare a domeniului

Modelul Llama 2 de generare de text poate fi ajustat pe orice set de date specifice domeniului. După ce este reglat fin pe setul de date specifice domeniului, modelul este de așteptat să genereze text specific domeniului și să rezolve diverse sarcini NLP în acel domeniu specific cu solicitări de câteva fotografii. Cu acest set de date, intrarea constă dintr-un fișier CSV, JSON sau TXT. De exemplu, datele de intrare pot fi fișiere SEC ale Amazon ca fișier text:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Format de reglare a instrucțiunilor

În reglarea fină a instrucțiunilor, modelul este reglat fin pentru un set de sarcini de procesare a limbajului natural (NLP) descrise folosind instrucțiuni. Acest lucru ajută la îmbunătățirea performanței modelului pentru sarcini nevăzute cu solicitări zero-shot. În formatul set de date de reglare a instrucțiunilor, specificați template.json fișier care descrie formatele de intrare și de ieșire. De exemplu, fiecare linie din fișier train.jsonl arata asa:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Fișierul suplimentar template.json arata asa:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Hiperparametri acceptați pentru antrenament

Reglarea fină a Llama 2 acceptă o serie de hiperparametri, fiecare dintre acestea putând afecta necesarul de memorie, viteza de antrenament și performanța modelului reglat fin:

• epocă – Numărul de treceri efectuate de algoritmul de reglare fină prin setul de date de antrenament. Trebuie să fie un număr întreg mai mare decât 1. Implicit este 5.
• rata_de_învățare – Rata cu care greutățile modelului sunt actualizate după ce se lucrează la fiecare lot de exemple de antrenament. Trebuie să fie un float pozitiv mai mare decât 0. Implicit este 1e-4.
• instruction_tuned – Dacă trebuie să instruiți sau nu modelul. Trebuie să fie 'True"sau"False'. Implicit este „False".
• per_device_train_batch_size – Dimensiunea lotului per nucleu GPU/CPU pentru antrenament. Trebuie să fie un număr întreg pozitiv. Implicit este 4.
• per_device_eval_batch_size – Dimensiunea lotului per nucleu GPU/CPU pentru evaluare. Trebuie să fie un număr întreg pozitiv. Implicit este 1.
• max_train_samples – În scopuri de depanare sau de instruire mai rapidă, trunchiați numărul de exemple de antrenament la această valoare. Valoarea -1 înseamnă utilizarea tuturor mostrelor de antrenament. Trebuie să fie un număr întreg pozitiv sau -1. Implicit este -1.
• max_val_samples – În scopuri de depanare sau de instruire mai rapidă, trunchiați numărul de exemple de validare la această valoare. Valoarea -1 înseamnă utilizarea tuturor probelor de validare. Trebuie să fie un număr întreg pozitiv sau -1. Implicit este -1.
• lungime_intrare_max – Lungimea totală maximă a secvenței de intrare după tokenizare. Secvențele mai lungi decât aceasta vor fi trunchiate. Dacă -1, max_input_length este setată la minimul de 1024 și lungimea maximă a modelului definită de tokenizer. Dacă este setată la o valoare pozitivă, max_input_length este setat la minimul valorii furnizate și model_max_length definit de tokenizer. Trebuie să fie un număr întreg pozitiv sau -1. Implicit este -1.
• raportul_diviziunii_validării – Dacă canalul de validare este none, raportul de împărțire a validării trenului din datele trenului trebuie să fie între 0–1. Implicit este 0.2.
• semințe_divizate_date_trenului – Dacă datele de validare nu sunt prezente, acest lucru fixează împărțirea aleatorie a datelor de antrenament de intrare în datele de antrenament și validare utilizate de algoritm. Trebuie să fie un număr întreg. Implicit este 0.
• preprocessing_num_workers – Numărul de procese de utilizat pentru preprocesare. Dacă None, procesul principal este utilizat pentru preprocesare. Implicit este None.
• lora_r – Lora R. Trebuie să fie un număr întreg pozitiv. Implicit este 8.
• lora_alpha – Lora Alpha. Trebuie să fie un număr întreg pozitiv. Implicit este 32
• lora_dropout – Lora Dropout. trebuie să fie un float pozitiv între 0 și 1. Implicit este 0.05.
• int8_quantization - În cazul în care True, modelul este încărcat cu precizie de 8 biți pentru antrenament. Implicit pentru 7B și 13B este False. Implicit pentru 70B este True.
• enable_fsdp - În cazul în care True, instruirea folosește FSDP. Implicit pentru 7B și 13B este True. Implicit pentru 70B este False. Rețineți că int8_quantization nu este acceptat cu FSDP.

Tipuri de instanțe și hiperparametri compatibili

Necesarul de memorie în timpul reglajului fin poate varia în funcție de mai mulți factori:

• Tipul modelului – Modelul 7B are cea mai mică cerință de memorie GPU și 70B are cea mai mare cerință de memorie
• Lungime maximă de intrare – O valoare mai mare a lungimii de intrare duce la procesarea mai multor jetoane simultan și, prin urmare, necesită mai multă memorie CUDA
• Dimensiunea lotului – O dimensiune mai mare a lotului necesită o memorie CUDA mai mare și, prin urmare, necesită tipuri de instanțe mai mari
• Cuantizarea Int8 – Dacă se utilizează cuantizarea Int8, modelul este încărcat cu precizie scăzută și, prin urmare, necesită mai puțină memorie CUDA

Pentru a vă ajuta să începeți, vă oferim un set de combinații de diferite tipuri de instanțe, hiperparametri și tipuri de modele care pot fi ajustate cu succes. Puteți selecta o configurație în funcție de cerințele dvs. și de disponibilitatea tipurilor de instanță. Ajustăm toate cele trei modele pe o varietate de setări cu trei epoci pe un subset al setului de date Dolly cu exemple de rezumat.

modelul 7B

Următorul tabel rezumă opțiunile de reglare fină pe modelul 7B.

13B

Următorul tabel rezumă opțiunile de reglare fină pe modelul 13B.

70B

Următorul tabel rezumă opțiunile de reglare fină pe modelul 70B.

Recomandări privind tipurile de instanțe și hiperparametri

Când reglați precizia modelului, țineți cont de următoarele:

• Modelele mai mari, cum ar fi 70B, oferă performanțe mai bune decât 7B
• Performanța fără cuantizarea Int8 este mai bună decât performanța cu cuantizarea INT8

Rețineți următorul timp de antrenament și cerințele de memorie CUDA:

• reglaj int8_quantization=True scade necesarul de memorie si duce la un antrenament mai rapid.
• In scadere per_device_train_batch_size și max_input_length reduce necesarul de memorie și, prin urmare, poate fi rulat pe instanțe mai mici. Totuși, setarea unor valori foarte scăzute poate crește timpul de antrenament.
• Dacă nu utilizați cuantizarea Int8 (int8_quantization=False), utilizați FSDP (enable_fsdp=True) pentru un antrenament mai rapid și eficient.

Atunci când alegeți tipul de instanță, luați în considerare următoarele:

• Instanțele G5 oferă cea mai eficientă instruire dintre tipurile de instanțe acceptate. Prin urmare, dacă aveți instanțe G5 disponibile, ar trebui să le utilizați.
• Timpul de antrenament depinde în mare măsură de numărul de GPU-uri și de memoria CUDA disponibilă. Prin urmare, antrenamentul pe instanțe cu același număr de GPU (de exemplu, ml.g5.2xlarge și ml.g5.4xlarge) este aproximativ același. Prin urmare, puteți folosi instanța mai ieftină pentru antrenament (ml.g5.2xlarge).
• Când utilizați instanțe p3, antrenamentul se va face cu o precizie de 32 de biți, deoarece bfloat16 nu este acceptat în aceste instanțe. Prin urmare, munca de antrenament va consuma dublul cantității de memorie CUDA atunci când se antrenează pe instanțe p3, comparativ cu instanțele g5.

Pentru a afla despre costul instruirii pe instanță, consultați Instanțe Amazon EC2 G5.

Dacă setul de date este în format de reglare a instrucțiunilor și secvențele de intrare+finalizare sunt mici (cum ar fi 50-100 de cuvinte), atunci o valoare mare a max_input_length duce la performanțe foarte slabe. Valoarea implicită a acestui parametru este -1, care corespunde cu max_input_length din 2048 pentru modelele Llama. Prin urmare, vă recomandăm ca, dacă setul dvs. de date conține mostre mici, să utilizați o valoare mică pentru max_input_length (cum ar fi 200–400).

În cele din urmă, din cauza cererii mari a instanțelor G5, este posibil să întâmpinați indisponibilitatea acestor instanțe în regiunea dvs. cu eroarea “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Dacă întâmpinați această eroare, reîncercați munca de formare sau încercați o altă regiune.

Probleme la reglarea fină a modelelor foarte mari

În această secțiune, discutăm două probleme atunci când reglam modele foarte mari.

Dezactivați compresia de ieșire

În mod implicit, rezultatul unui job de instruire este un model antrenat care este comprimat într-un format .tar.gz înainte de a fi încărcat în Amazon S3. Cu toate acestea, din cauza dimensiunii mari a modelului, acest pas poate dura mult timp. De exemplu, comprimarea și încărcarea modelului 70B poate dura mai mult de 4 ore. Pentru a evita această problemă, puteți utiliza funcția de dezactivare a compresiei ieșirii, acceptată de platforma de antrenament SageMaker. În acest caz, modelul este încărcat fără compresie, care este folosit în continuare pentru implementare:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problemă de expirare a nucleului SageMaker Studio

Datorită dimensiunii modelului Llama 70B, munca de formare poate dura câteva ore, iar nucleul SageMaker Studio poate muri în timpul fazei de antrenament. Cu toate acestea, în acest timp, antrenamentul se desfășoară în continuare în SageMaker. Dacă se întâmplă acest lucru, puteți încă implementa punctul final folosind numele jobului de antrenament cu următorul cod:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Pentru a găsi numele jobului de formare, navigați la consola SageMaker și mai jos Pregătire în panoul de navigare, alegeți Locuri de muncă de formare. Identificați numele postului de formare și înlocuiți-l în codul precedent.

Concluzie

În această postare, am discutat despre reglarea fină a modelelor Meta's Llama 2 folosind SageMaker JumpStart. Am arătat că puteți utiliza consola SageMaker JumpStart în SageMaker Studio sau SDK-ul SageMaker Python pentru a regla și implementa aceste modele. Am discutat, de asemenea, despre tehnica de reglare fină, tipurile de instanțe și hiperparametrii acceptați. În plus, am subliniat recomandări pentru o pregătire optimizată pe baza diferitelor teste pe care le-am efectuat. Rezultatele pentru reglarea fină a celor trei modele pe două seturi de date sunt prezentate în anexa de la sfârșitul acestei postări. După cum putem vedea din aceste rezultate, reglarea fină îmbunătățește rezumarea în comparație cu modelele neajustate. Ca pas următor, puteți încerca să reglați aceste modele pe propriul set de date folosind codul furnizat în depozitul GitHub pentru a testa și compara rezultatele pentru cazurile dvs. de utilizare.

Autorii ar dori să recunoască contribuțiile tehnice ale lui Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne și June. Castigat.

Despre Autori

Dr. Vivek Madan este un om de știință aplicat în echipa Amazon SageMaker JumpStart. Și-a luat doctoratul la Universitatea din Illinois la Urbana-Champaign și a fost cercetător post-doctoral la Georgia Tech. Este un cercetător activ în învățarea automată și proiectarea algoritmilor și a publicat lucrări în cadrul conferințelor EMNLP, ICLR, COLT, FOCS și SODA.

Dr. Farooq Sabir este arhitect senior de soluții specializat în inteligență artificială și învățare automată la AWS. El deține diplome de doctorat și master în inginerie electrică de la Universitatea din Texas din Austin și un master în informatică de la Georgia Institute of Technology. Are peste 15 ani de experiență în muncă și, de asemenea, îi place să predea și să îndrume studenții. La AWS, el îi ajută pe clienți să-și formuleze și să-și rezolve problemele de afaceri în știința datelor, învățarea automată, viziunea computerizată, inteligența artificială, optimizarea numerică și domeniile conexe. Cu sediul în Dallas, Texas, lui și familia lui le place să călătorească și să plece în călătorii lungi.

Dr. Ashish Khetan este cercetător senior aplicat cu Amazon SageMaker JumpStart și ajută la dezvoltarea algoritmilor de învățare automată. Și-a luat doctoratul la Universitatea din Illinois Urbana-Champaign. Este un cercetător activ în învățarea automată și inferența statistică și a publicat multe lucrări în conferințele NeurIPS, ICML, ICLR, JMLR, ACL și EMNLP.

Apendice

Această anexă oferă informații suplimentare despre evaluarea comparativă a performanței și formatarea setului de date.

Benchmarking-ul performanței

În această secțiune, oferim rezultate pentru reglarea fină a celor trei modele Llama 2 (7B, 13B și 70B) pe două seturi de date diferite: păpușică și Dialogsum. Pentru setul de date Dolly, sarcina noastră este de a rezuma un paragraf de text, în timp ce pentru Dialogsum, reglam fin modelul pentru a rezuma o discuție între două persoane. În tabelele următoare, arătăm intrarea în model (prompt și instrucțiuni), adevărul de la sol (rezumat), răspunsul de la modelul Llama 2 pre-antrenat și răspunsul de la modelul Llama 2 reglat pentru fiecare dintre cele trei Llama. 2 modele. Arătăm rezultate de inferență pentru cinci puncte de date. Puteți observa din tabelele următoare că rezumatele se îmbunătățesc pentru ambele seturi de date atunci când reglam modelele.

• Rezultate pentru reglarea fină a modelului de generare de text Llama 2 7B pe setul de date Dolly:

• Rezultate pentru reglarea fină a modelului de generare de text Llama 2 13B pe setul de date Dolly:

• Rezultate pentru reglarea fină a modelului de generare de text Llama 2 70B pe setul de date Dolly:

• Rezultate pentru reglarea fină a modelului de generare de text Llama 2 7B pe setul de date Dialogsum:

• Rezultate pentru reglarea fină a modelului Llama-2 13B pe setul de date Dialogsum:

• Rezultate pentru reglarea fină a modelului Llama 2 70B pe setul de date Dialogsum:

Formatarea setului de date

În prezent oferim două tipuri de reglare fină: reglarea fină a instrucțiunilor și reglarea fină a adaptării domeniului. Puteți comuta cu ușurință la una dintre metodele de antrenament specificând parametrul instruction_tuned la fel de 'True"sau"False".

Format de adaptare a domeniului

Modelul de generare a textului poate fi, de asemenea, ajustat pe orice set de date specifice domeniului. După ce este reglat fin pe setul de date specifice domeniului, modelul este de așteptat să genereze text specific domeniului și să rezolve diverse sarcini NLP în acel domeniu specific cu solicitări de câteva fotografii.

Pentru introducerea în model, utilizați un director de instruire și validare opțional. Fiecare director conține un fișier CSV, JSON sau TXT. Pentru fișierele CSV și JSON, trenul sau datele de validare sunt utilizate din coloana numită text sau din prima coloană dacă nu există nicio coloană numită text e gasit. Numărul de fișiere aflate în tren și validare (dacă sunt furnizate) ar trebui să fie egal cu 1, respectiv.

Rezultatul este un model antrenat care poate fi implementat pentru inferență.

Următorul este un exemplu de fișier TXT pentru reglarea fină a modelului de generare a textului. Fișierul TXT este fișiere SEC ale Amazon din 2021-2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Reglajul fin al instrucțiunilor

Modelul de generare a textului poate fi reglat cu instrucțiuni pe orice date text, cu condiția ca datele să fie în formatul așteptat. Modelul reglat cu instrucțiuni poate fi implementat în continuare pentru inferență.

Pentru introducere, utilizați un director de instruire și validare opțional. Directoarele de tren și de validare ar trebui să conțină unul sau mai multe fișiere formatate cu linii JSON (.jsonl). În special, directorul trenului poate conține și un fișier opțional *.json care descrie formatele de intrare și de ieșire.

Cel mai bun model este selectat în funcție de pierderea de validare, calculată la sfârșitul fiecărei epoci. Dacă nu este dat un set de validare, un procent (reglabil) din datele de antrenament este împărțit automat și utilizat pentru validare.

Datele de antrenament trebuie să fie formatate într-un format de linii JSON (.jsonl), unde fiecare linie este un dicționar care reprezintă un singur eșantion de date. Toate datele de antrenament trebuie să fie într-un singur folder; cu toate acestea, poate fi salvat în mai multe fișiere .jsonl. Extensia de fișier .jsonl este obligatorie. Dosarul de antrenament poate conține și un template.json fișier care descrie formatele de intrare și de ieșire. Dacă nu este furnizat niciun fișier șablon, va fi utilizat următorul șablon:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

În acest caz, datele din intrările liniilor JSON trebuie să includă prompt și completion câmpuri. Dacă este furnizat un șablon personalizat, acesta trebuie, de asemenea, utilizat prompt și completion taste pentru a defini șabloanele de intrare și de ieșire. Următorul este un exemplu de șablon personalizat:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Aici, datele din intrările liniilor JSON trebuie să includă question, context, și answer domenii.

Rezultatul este un model antrenat care poate fi implementat pentru inferență.

Oferim un subset de date de depunere la SEC ale Amazon. Este descărcat de la disponibil public EDGAR. Pentru instrucțiuni despre accesarea datelor, consultați Accesarea datelor EDGAR.

Licență: Licență Creative Commons Attribution-ShareAlike (CC BY-SA 4.0)

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• ChartPrime. Crește-ți jocul de tranzacționare cu ChartPrime. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/