Adaptarea domeniului Reglarea fină a modelelor de fundație în Amazon SageMaker JumpStart pe date financiare

Modelele de limbaj mari (LLM) cu miliarde de parametri sunt în prezent în fruntea procesării limbajului natural (NLP). Aceste modele zguduie domeniul cu abilitățile lor incredibile de a genera text, de a analiza sentimentele, de a traduce limbi și multe altele. Cu acces la cantități masive de date, LLM-urile au potențialul de a revoluționa modul în care interacționăm cu limbajul. Deși LLM-urile sunt capabile să îndeplinească diverse sarcini NLP, ei sunt considerați generaliști și nu specialiști. Pentru a pregăti un LLM pentru a deveni expert într-un anumit domeniu, este de obicei necesară o reglare fină.

Una dintre provocările majore în pregătirea și implementarea LLM-urilor cu miliarde de parametri este dimensiunea lor, ceea ce poate face dificilă încadrarea lor în un singur GPU, hardware-ul utilizat în mod obișnuit pentru învățarea profundă. Amploarea acestor modele necesită resurse de calcul de înaltă performanță, cum ar fi GPU-uri specializate cu cantități mari de memorie. În plus, dimensiunea acestor modele le poate face costisitoare din punct de vedere computațional, ceea ce poate crește semnificativ timpii de antrenament și de inferență.

În această postare, demonstrăm cum putem folosi Amazon SageMaker JumpStart pentru a ajusta cu ușurință un model mare de generare de text în limbaj pe un set de date specific unui domeniu, în același mod în care ați antrena și implementați orice model pe Amazon SageMaker. În special, arătăm cum puteți ajusta modelul de limbă GPT-J 6B pentru generarea de text financiar folosind atât JumpStart SDK, cât și Amazon SageMaker Studio UI pe un set de date disponibil public de dosare SEC.

JumpStart vă ajută să începeți rapid și ușor cu învățarea automată (ML) și oferă un set de soluții pentru cele mai obișnuite cazuri de utilizare care pot fi antrenate și implementate cu ușurință în doar câțiva pași. Toți pașii din această demonstrație sunt disponibili în blocnotesul însoțitor Reglarea fină a modelului GPT-J 6B pentru generarea de text pe un set de date specific domeniului.

Prezentare generală a soluțiilor

În secțiunile următoare, oferim o demonstrație pas cu pas pentru reglarea fină a unui LLM pentru sarcini de generare de text atât prin interfața de utilizare JumpStart Studio, cât și prin SDK-ul Python. În special, discutăm următoarele subiecte:

• O prezentare generală a datelor de depunere la SEC în domeniul financiar pe care modelul este reglat fin
• O prezentare generală a modelului LLM GPT-J 6B pe care am ales să-l perfectionăm
• O demonstrație a două moduri diferite prin care putem ajusta LLM folosind JumpStart:
  • Utilizați JumpStart în mod programatic cu SageMaker Python SDK
  • Accesați JumpStart folosind interfața de utilizare Studio
• O evaluare a modelului reglat fin prin compararea acestuia cu modelul pre-antrenat fără reglaj fin

Reglarea fină se referă la procesul de preluare a unui model lingvistic pre-instruit și de instruire pentru o sarcină diferită, dar înrudită, folosind date specifice. Această abordare este cunoscută și ca transfer de învățare, care presupune transferul cunoștințelor învățate de la o sarcină la alta. LLM-urile precum GPT-J 6B sunt instruite pe cantități masive de date neetichetate și pot fi reglate fin pe seturi de date mai mici, ceea ce face ca modelul să funcționeze mai bine într-un anumit domeniu.

Ca exemplu despre cum se îmbunătățește performanța atunci când modelul este reglat fin, luați în considerare următoarea întrebare:

„Ce motivează creșterea vânzărilor la Amazon?”

Fără reglaj fin, răspunsul ar fi:

„Amazon este cel mai mare retailer online din lume. Este, de asemenea, cea mai mare piață online din lume. Este și lumea”

Cu reglajul fin, răspunsul este:

„Creșterea vânzărilor la Amazon este determinată în primul rând de utilizarea sporită a clienților, inclusiv de selecție sporită, prețuri mai mici și confort sporit și vânzări crescute de către alți vânzători pe site-urile noastre.”

Îmbunătățirea de la reglaj fin este evidentă.

Folosim text financiar din dosarele SEC pentru a ajusta un GPT-J 6B LLM pentru aplicații financiare. În secțiunile următoare, introducem datele și LLM-ul care vor fi ajustate.

Setul de date de depunere a SEC

Depunerile SEC sunt esențiale pentru reglementarea și dezvăluirea în finanțe. Documentele notifică comunitatea de investitori despre condițiile de afaceri ale companiilor și perspectivele de viitor ale companiilor. Textul din dosarele SEC acoperă întreaga gamă de operațiuni și condiții de afaceri ale unei companii. Datorită valorii lor predictive potențiale, aceste dosare sunt surse bune de informații pentru investitori. Deși aceste dosare SEC sunt public pentru oricine, descărcarea fișierelor analizate și construirea unui set de date curat, cu funcții adăugate, este un exercițiu care necesită timp. Facem acest lucru posibil prin câteva apeluri API din JumpStart Industry SDK.

Folosind API-ul SageMaker, am descărcat rapoarte anuale (Pilituri 10-K; vedea Cum să citești un 10-K pentru mai multe informații) pentru un număr mare de companii. Selectăm rapoartele de depunere la SEC ale Amazon pentru anii 2021–2022 ca date de antrenament pentru a regla fin modelul GPT-J 6B. În special, concatenăm rapoartele SEC ale companiei în ani diferiți într-un singur fișier text, cu excepția secțiunii „Discuții și analize de conducere”, care conține declarații prospective ale conducerii companiei și sunt utilizate ca date de validare.

Se așteaptă ca, după reglarea fină a modelului de generare de text GPT-J 6B pe documentele financiare SEC, modelul este capabil să genereze rezultate textuale perspicace legate de financiar și, prin urmare, să poată fi utilizat pentru a rezolva mai multe sarcini NLP specifice domeniului.

Model de limbaj mare GPT-J 6B

GPT-J 6B este un model open-source, cu 6 miliarde de parametri, lansat de Eleuther AI. GPT-J 6B a fost instruit pe un corp mare de date text și este capabil să realizeze diverse sarcini NLP, cum ar fi generarea de text, clasificarea textului și rezumarea textului. Deși acest model este impresionant pentru o serie de sarcini NLP, fără a fi nevoie de nicio reglare fină, în multe cazuri va trebui să ajustați modelul pentru un anumit set de date și sarcini NLP pentru care încercați să le rezolvați. Cazurile de utilizare includ chatbot-uri personalizate, generarea de idei, extragerea entităților, clasificarea și analiza sentimentelor.

Accesați LLM-uri pe SageMaker

Acum că am identificat setul de date și modelul pe care urmează să-l perfectionăm, JumpStart oferă două căi pentru a începe să utilizați reglarea fină a generării de text: SageMaker SDK și Studio.

Utilizați JumpStart în mod programatic cu SDK-ul SageMaker

Trecem acum peste un exemplu despre cum puteți utiliza SDK-ul SageMaker JumpStart pentru a accesa un LLM (GPT-J 6B) și a-l regla fin pe setul de date de depunere a SEC. După finalizarea reglajului fin, vom implementa modelul reglat fin și vom face inferențe împotriva acestuia. Toți pașii din această postare sunt disponibili în caietul însoțitor: Reglarea fină a modelului GPT-J 6B pentru generarea de text pe un set de date specific domeniului.

În acest exemplu, JumpStart utilizează Container de învățare profundă SageMaker Hugging Face (DLC) și DeepSpeed bibliotecă pentru a regla fin modelul. Biblioteca DeepSpeed ​​este concepută pentru a reduce puterea de calcul și utilizarea memoriei și pentru a antrena modele mari distribuite cu un paralelism mai bun pe hardware-ul computerului existent. Suportă antrenament distribuit cu un singur nod, utilizând puncte de control în gradient și paralelism de model pentru a antrena modele mari pe o singură instanță de antrenament SageMaker cu mai multe GPU-uri. Cu JumpStart, integrăm biblioteca DeepSpeed ​​cu DLC-ul SageMaker Hugging Face pentru tine și ne ocupăm de tot ce este sub capotă. Puteți ajusta cu ușurință modelul pe setul de date specific domeniului, fără a-l configura manual.

Ajustați modelul pre-antrenat pe date specifice domeniului

Pentru a regla fin un model selectat, trebuie să obținem URI-ul modelului respectiv, precum și scriptul de antrenament și imaginea containerului folosită pentru antrenament. Pentru a ușura lucrurile, aceste trei intrări depind numai de numele modelului, versiune (pentru o listă a modelelor disponibile, consultați Algoritmi încorporați cu tabel model pre-antrenat), și tipul de instanță pe care doriți să vă antrenați. Acest lucru este demonstrat în următorul fragment de cod:

from sagemaker import image_uris, model_uris, script_uris, hyperparameters model_id, model_version = "huggingface-textgeneration1-gpt-j-6b", "*"
training_instance_type = "ml.g5.12xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
)

Recuperăm model_id corespunzătoare aceluiași model pe care vrem să-l folosim. În acest caz, reglam fin huggingface-textgeneration1-gpt-j-6b.

Definirea hiperparametrilor presupune setarea valorilor pentru diverși parametri utilizați în timpul procesului de antrenament al unui model ML. Acești parametri pot afecta performanța și acuratețea modelului. În pasul următor, stabilim hiperparametrii utilizând setările implicite și specificând valori personalizate pentru parametri precum epochs și learning_rate:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "6" hyperparameters["learning_rate"] = "2e-04"
print(hyperparameters)

JumpStart oferă o listă extinsă de hiperparametri disponibili pentru reglare. Următoarea listă oferă o prezentare generală a unei părți a hiperparametrilor cheie utilizați la reglarea fină a modelului. Pentru o listă completă de hiperparametri, consultați caietul Reglarea fină a modelului GPT-J 6B pentru generarea de text pe un set de date specific domeniului.

• epoci – Specifică cel mult câte epoci ale setului de date original vor fi iterate.
• rata_de_învățare – Controlează dimensiunea pasului sau rata de învățare a algoritmului de optimizare în timpul antrenamentului.
• eval_steps – Specifică câți pași trebuie executați înainte de a evalua modelul pe setul de validare în timpul antrenamentului. Setul de validare este un subset de date care nu este folosit pentru antrenament, ci este folosit pentru a verifica performanța modelului pe date nevăzute.
• decadere_greutate – Controlează puterea de regularizare în timpul antrenamentului de model. Regularizarea este o tehnică care ajută la prevenirea supraadaptarii modelului la datele de antrenament, ceea ce poate duce la o performanță mai bună pe date nevăzute.
• fp16 – Controlează dacă se utilizează antrenamentul de precizie fp16 pe 16 biți (mixt) în loc de antrenament pe 32 de biți.
• strategie_evaluare – Strategia de evaluare utilizată în timpul instruirii.
• pași_de_acumulare_gradient – Numărul de pași de actualizări pentru care să acumulați gradienții înainte de a efectua o trecere înapoi/actualizare.

Pentru mai multe detalii referitoare la hiperparametri, consultați oficialul Documentația Hugging Face Trainer.

Acum puteți ajusta acest model JumpStart pe propriul set de date personalizat folosind SDK-ul SageMaker. Utilizăm datele de depunere a SEC pe care le-am descris mai devreme. Trenul și datele de validare sunt găzduite sub train_dataset_s3_path și validation_dataset_s3_path. Formatul de date acceptat include CSV, JSON și TXT. Pentru datele CSV și JSON, datele text sunt utilizate din coloana numită text sau prima coloană dacă nu este găsită nicio coloană numită text. Deoarece aceasta este pentru reglarea fină a generării de text, nu sunt necesare etichete de adevăr de bază. Următorul cod este un exemplu SDK despre cum să reglați fin modelul:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base
from sagemaker.tuner import HyperparameterTuner
from sagemaker.huggingface import HuggingFace train_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv"
validation_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv" training_job_name = name_from_base(f"jumpstart-example-{model_id}") metric_definitions=[ {'Name': 'train:loss', 'Regex': "'loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:loss', 'Regex': "'eval_loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:runtime', 'Regex': "'eval_runtime': ([0-9]+.[0-9]+)"}, {'Name': 'eval:samples_per_second', 'Regex': "'eval_samples_per_second': ([0-9]+.[0-9]+)"}, {'Name': 'eval:eval_steps_per_second', 'Regex': "'eval_steps_per_second': ([0-9]+.[0-9]+)"},
] # # Create SageMaker Estimator instance
tg_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, hyperparameters=hyperparameters, output_path=s3_output_location, base_job_name=training_job_name, enable_network_isolation=True, metric_definitions=metric_definitions
) # Launch a SageMaker Training job by passing s3 path of the training data
tg_estimator.fit({"train": train_dataset_s3_path, "validation": validation_dataset_s3_path}, logs=True)

După ce am configurat SageMaker Estimator cu hiperparametrii necesari, instanțiem un estimator SageMaker și apelăm .fit metoda de a începe reglarea fină a modelului nostru, trecându-i Serviciul Amazon de stocare simplă (Amazon S3) URI pentru datele noastre de antrenament. După cum puteți vedea, entry_point scriptul furnizat este numit transfer_learning.py (la fel pentru alte sarcini și modele) și canalul de date de intrare transmis .fit trebuie să fie numit tren și validare.

JumpStart acceptă și optimizarea hiperparametrului cu Ajustarea automată a modelului SageMaker. Pentru detalii, vezi exemplul caiet.

Implementați modelul reglat fin

Când antrenamentul este complet, puteți implementa modelul dvs. reglat fin. Pentru a face acest lucru, tot ce trebuie să obținem este URI-ul scriptului de inferență (codul care determină modul în care modelul este utilizat pentru inferență odată implementat) și URI-ul imaginii containerului de inferență, care include un server de model adecvat pentru a găzdui modelul ales. Vezi următorul cod:

from sagemaker.predictor import Predictor
from sagemaker import image_uris
from sagemaker.utils import name_from_base
import boto3 sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name="us-west-2")) #Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
) endpoint_name = name_from_base(f"jumpstart-example-{model_id}") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = tg_estimator.deploy( initial_instance_count=1, instance_type="ml.g5.12xlarge", image_uri=image_uri, endpoint_name=endpoint_name,
)

După câteva minute, modelul nostru este implementat și putem obține predicții din el în timp real!

Accesați JumpStart prin interfața de utilizare Studio

O altă modalitate de a ajusta și de a implementa modelele JumpStart este prin interfața de utilizare Studio. Această interfață de utilizare oferă o soluție low-code/fără cod pentru reglarea fină a LLM-urilor.

Pe consola Studio, alegeți Modele, caiete, solutii în SageMaker JumpStart în panoul de navigare.

În bara de căutare, căutați modelul pe care doriți să îl ajustați și să îl implementați.

În cazul nostru, am ales cardul model GPT-J 6B. Aici putem ajusta direct sau implementa LLM.

Evaluarea modelului

Când evaluăm un LLM, putem folosi perplexitatea (PPL). PPL este o măsură comună a cât de bine este un model de limbaj capabil să prezică următorul cuvânt dintr-o secvență. În termeni mai simpli, este o modalitate de a măsura cât de bine modelul poate înțelege și genera un limbaj asemănător omului.

Un scor de nedumerire mai mic înseamnă că modelul are rezultate mai bune la prezicerea cuvântului următor. În termeni practici, putem folosi nedumerirea pentru a compara diferite modele de limbaj și pentru a determina care dintre ele se descurcă mai bine la o anumită sarcină. De asemenea, îl putem folosi pentru a urmări performanța unui singur model în timp. Pentru mai multe detalii, consultați Perplexitatea modelelor cu lungime fixă.

Evaluăm performanța modelului printr-o comparație a performanței sale pre și post-ajustare fină. PPL este emis în posturile de formare Amazon CloudWatch busteni. În plus, ne uităm la rezultatul generat de model ca răspuns la solicitări specifice de testare.

Performanța îmbunătățită a modelului este demonstrată de două experimente:

• Generarea textului – Arătăm că rezultatul GPT-J reglat generează text care are o asemănare cu setul de date SEC, indicând faptul că a învățat să imite tiparele și convențiile lingvistice ale domeniului de reglementare financiară
• Învățare zero-shot – Demonstrăm că GPT-J reglat fin prezintă performanțe semnificativ mai bune decât GPT-J neajustat la răspunsul la întrebarea zero

Pentru experimentul de generare a textului, folosim următorii parametri de inferență pentru a obține rezultatele noastre: max_length de 400 (număr de jetoane returnate), num_return_sequences din 1 (număr de exemple de text de răspuns), top_k din 250 (alegeți din una dintre primele 250 de continuări posibile), top_p de 0.8 (selectați numai dintre continuările care sunt probabile cel puțin 80%), do_sample is True (eșantionare) și temperature de 1 (temperatura ridicată reprezintă o mai mare aleatorie a răspunsurilor). Pentru mai multe detalii despre parametri, consultați GenerationConfig. Următorul tabel compară GPT-J reglat fin și cel neajustat pe o sarcină de completare a textului.

Pentru cel de-al doilea experiment cu o sarcină de răspuns la întrebare zero, am setat max_length să fie o valoare diferită (40, 200 și, respectiv, 40) în funcție de rezultatul pe care îl așteptăm de la fiecare întrebare. Parametrii de top_k, top_p, do_sample, temperature sunt setate ca 250, 0.8, False, și, respectiv, 0. Setăm temperatura aproape de 0 pentru a controla caracterul aleatoriu al rezultatelor, în timp ce în sarcina de generare a textului o setăm aproape de 1 pentru a face modelul mai creativ. Următorul tabel compară rezultatele. Pentru fiecare întrebare, rezultatul de la GPT-J reglat fin este mai precis decât cel neajustat.

A curăța

Pentru a evita taxele continue, ștergeți punctele finale de inferență SageMaker. Puteți șterge punctele finale prin consola SageMaker sau din notebook folosind următoarele comenzi:

# Delete the SageMaker endpoint and the attached resources
finetuned_predictor.delete_model()
finetuned_predictor.delete_endpoint()

Concluzie

JumpStart este o capacitate din SageMaker care vă permite să începeți rapid cu ML. JumpStart folosește modele open-source, pre-antrenate pentru a rezolva probleme comune ML, cum ar fi clasificarea imaginilor, detectarea obiectelor, clasificarea textului, clasificarea perechilor de propoziții și răspunsul la întrebări.

În această postare, v-am arătat cum să reglați și să implementați un LLM pre-antrenat (GPT-J 6B) pentru generarea de text pe baza setului de date de completare SEC. Am demonstrat cum modelul s-a transformat într-un expert în domeniul financiar, prin procesul de reglare fină pe doar două rapoarte anuale ale companiei. Această reglare fină a permis modelului să genereze conținut cu o înțelegere a subiectelor financiare și o mai mare precizie. Încercați singur soluția și spuneți-ne cum merge în comentarii.

Important: această postare are doar scop demonstrativ. Nu este consiliere financiară și nu ar trebui să fie bazată pe consiliere financiară sau de investiții. Postul a folosit modele pre-instruite pe date obținute din baza de date SEC EDGAR. Sunteți responsabil pentru respectarea termenilor și condițiilor de acces ale EDGAR dacă utilizați datele SEC.

Pentru a afla mai multe despre JumpStart, consultați următoarele postări:

Despre Autori

Dr. Xin Huang este cercetător aplicat senior pentru algoritmii încorporați Amazon SageMaker JumpStart și Amazon SageMaker. El se concentrează pe dezvoltarea de algoritmi scalabili de învățare automată. Interesele sale de cercetare sunt în domeniul prelucrării limbajului natural, al învățării profunde explicabile pe date tabulare și al analizei robuste a grupării non-parametrice spațiu-timp. A publicat multe lucrări în ACL, ICDM, conferințe KDD și Royal Statistical Society: Series A.

Marc Karp este arhitect ML cu echipa Amazon SageMaker Service. El se concentrează pe a ajuta clienții să proiecteze, să implementeze și să gestioneze sarcinile de lucru ML la scară. În timpul liber, îi place să călătorească și să exploreze locuri noi.

Dr. Sanjiv Das este bursier Amazon și profesor Terry de finanțe și știință a datelor la Universitatea Santa Clara. El deține diplome postuniversitare în finanțe (M.Phil și doctorat de la Universitatea din New York) și Computer Science (MS de la UC Berkeley) și un MBA de la Institutul Indian de Management, Ahmedabad. Înainte de a fi cadru universitar, a lucrat în afacerile derivate din regiunea Asia-Pacific ca vicepreședinte la Citibank. Lucrează pe învățarea automată multimodală în domeniul aplicațiilor financiare.

Arun Kumar Lokanatha este arhitect senior de soluții ML cu echipa Amazon SageMaker Service. El se concentrează pe a ajuta clienții să construiască, să antreneze și să migreze sarcinile de lucru de producție ML către SageMaker la scară. Este specializat în deep learning, în special în zona NLP și CV. În afara serviciului, îi place să alerge și să facă drumeții.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Mintând viitorul cu Adryenn Ashley. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/domain-adaptation-fine-tuning-of-foundation-models-in-amazon-sagemaker-jumpstart-on-financial-data/