Adattamento del dominio Ottimizzazione dei modelli di base in Amazon SageMaker JumpStart sui dati finanziari

I modelli di linguaggio di grandi dimensioni (LLM) con miliardi di parametri sono attualmente in prima linea nell'elaborazione del linguaggio naturale (NLP). Questi modelli stanno scuotendo il campo con le loro incredibili capacità di generare testo, analizzare il sentiment, tradurre lingue e molto altro. Con l'accesso a enormi quantità di dati, gli LLM hanno il potenziale per rivoluzionare il modo in cui interagiamo con il linguaggio. Sebbene i LLM siano in grado di svolgere vari compiti di PNL, sono considerati generalisti e non specialisti. Per addestrare un LLM a diventare un esperto in un particolare dominio, di solito è necessaria una messa a punto.

Una delle principali sfide nell'addestramento e nell'implementazione di LLM con miliardi di parametri è la loro dimensione, che può rendere difficile il loro inserimento in singole GPU, l'hardware comunemente utilizzato per il deep learning. La vastità di questi modelli richiede risorse di elaborazione ad alte prestazioni, come GPU specializzate con grandi quantità di memoria. Inoltre, le dimensioni di questi modelli possono renderli computazionalmente costosi, il che può aumentare significativamente i tempi di addestramento e inferenza.

In questo post, dimostriamo come possiamo usare JumpStart di Amazon SageMaker per ottimizzare facilmente un modello di generazione di testo in un linguaggio di grandi dimensioni su un set di dati specifico del dominio nello stesso modo in cui si addestrerebbe e si distribuirebbe qualsiasi modello su Amazon Sage Maker. In particolare, mostriamo come perfezionare il modello linguistico GPT-J 6B per la generazione di testi finanziari utilizzando sia l'SDK JumpStart che Amazon Sage Maker Studio Interfaccia utente su un set di dati pubblicamente disponibile di documenti SEC.

JumpStart ti aiuta a iniziare rapidamente e facilmente con il machine learning (ML) e fornisce una serie di soluzioni per i casi d'uso più comuni che possono essere addestrati e implementati prontamente con pochi passaggi. Tutti i passaggi di questa demo sono disponibili nel taccuino allegato Ottimizzazione del modello GPT-J 6B di generazione del testo su un set di dati specifico del dominio.

Panoramica della soluzione

Nelle sezioni seguenti, forniamo una dimostrazione dettagliata per la messa a punto di un LLM per le attività di generazione di testo tramite l'interfaccia utente di JumpStart Studio e Python SDK. In particolare, trattiamo i seguenti argomenti:

• Una panoramica dei dati di archiviazione SEC nel dominio finanziario su cui il modello è messo a punto
• Una panoramica del modello LLM GPT-J 6B che abbiamo scelto di mettere a punto
• Una dimostrazione di due diversi modi in cui possiamo mettere a punto l'LLM utilizzando JumpStart:
  • Utilizza JumpStart in modo programmatico con SageMaker Python SDK
  • Accedi a JumpStart utilizzando l'interfaccia utente di Studio
• Una valutazione del modello perfezionato confrontandolo con il modello preaddestrato senza perfezionamento

La messa a punto si riferisce al processo di prendere un modello linguistico pre-addestrato e addestrarlo per un'attività diversa ma correlata utilizzando dati specifici. Questo approccio è anche noto come trasferire l'apprendimento, che comporta il trasferimento delle conoscenze apprese da un compito all'altro. Gli LLM come GPT-J 6B vengono addestrati su enormi quantità di dati senza etichetta e possono essere ottimizzati su set di dati più piccoli, migliorando le prestazioni del modello in un dominio specifico.

Come esempio di come le prestazioni migliorano quando il modello viene messo a punto, potresti porre la seguente domanda:

"Cosa guida la crescita delle vendite su Amazon?"

Senza messa a punto, la risposta sarebbe:

“Amazon è il più grande rivenditore online al mondo. È anche il più grande mercato online del mondo. È anche il mondo”

Con la regolazione fine, la risposta è:

"La crescita delle vendite su Amazon è guidata principalmente dall'aumento dell'utilizzo da parte dei clienti, tra cui una maggiore selezione, prezzi più bassi, una maggiore convenienza e un aumento delle vendite da parte di altri venditori sui nostri siti Web".

Il miglioramento dalla messa a punto è evidente.

Utilizziamo il testo finanziario dei documenti SEC per mettere a punto un LLM GPT-J 6B per applicazioni finanziarie. Nelle sezioni successive, introduciamo i dati e il LLM che verranno messi a punto.

Set di dati di archiviazione SEC

I documenti SEC sono fondamentali per la regolamentazione e la divulgazione in ambito finanziario. I documenti notificano alla comunità degli investitori le condizioni commerciali delle società e le prospettive future delle società. Il testo nei documenti SEC copre l'intera gamma delle operazioni e delle condizioni commerciali di una società. A causa del loro potenziale valore predittivo, questi depositi sono buone fonti di informazioni per gli investitori. Sebbene questi documenti SEC lo siano disponibile pubblicamente per chiunque, il download di archivi analizzati e la creazione di un set di dati pulito con funzionalità aggiuntive è un esercizio che richiede tempo. Lo rendiamo possibile in alcune chiamate API nel JumpStart SDK di settore.

Utilizzando l'API SageMaker, abbiamo scaricato i rapporti annuali (Archiviazione 10-K; vedere Come leggere un 10-K per ulteriori informazioni) per un gran numero di aziende. Selezioniamo i rapporti di archiviazione SEC di Amazon per gli anni 2021-2022 come dati di addestramento per mettere a punto il modello GPT-J 6B. In particolare, concateniamo in un unico file di testo i report di archiviazione SEC della società in diversi anni, ad eccezione della sezione "Discussione e analisi della direzione", che contiene dichiarazioni previsionali della direzione della società e viene utilizzata come dati di convalida.

L'aspettativa è che dopo aver messo a punto il modello di generazione del testo GPT-J 6B sui documenti SEC finanziari, il modello sia in grado di generare un output testuale relativo alla finanza e quindi possa essere utilizzato per risolvere più attività NLP specifiche del dominio.

GPT-J 6B modello di linguaggio di grandi dimensioni

GPT-J6B è un modello open source da 6 miliardi di parametri rilasciato da Eleuther AI. GPT-J 6B è stato addestrato su un ampio corpus di dati di testo ed è in grado di eseguire varie attività di PNL come la generazione di testo, la classificazione del testo e il riepilogo del testo. Sebbene questo modello sia impressionante su una serie di attività di PNL senza la necessità di alcuna messa a punto, in molti casi dovrai mettere a punto il modello su un set di dati specifico e attività di PNL che stai cercando di risolvere. I casi d'uso includono chatbot personalizzati, generazione di idee, estrazione di entità, classificazione e analisi del sentiment.

Accedi agli LLM su SageMaker

Ora che abbiamo identificato il set di dati e il modello su cui eseguire la messa a punto, JumpStart offre due strade per iniziare a utilizzare la messa a punto della generazione di testo: SageMaker SDK e Studio.

Usa JumpStart a livello di codice con SageMaker SDK

Esaminiamo ora un esempio di come è possibile utilizzare SageMaker JumpStart SDK per accedere a un LLM (GPT-J 6B) e perfezionarlo sul set di dati di archiviazione SEC. Al termine della messa a punto, distribuiremo il modello ottimizzato e faremo inferenza su di esso. Tutti i passaggi di questo post sono disponibili nel taccuino allegato: Ottimizzazione del modello GPT-J 6B di generazione del testo su un set di dati specifico del dominio.

In questo esempio, JumpStart utilizza il file SageMaker Hugging Face Contenitore per il deep learning (DLC) e deepspeed libreria per mettere a punto il modello. La libreria DeepSpeed ​​è progettata per ridurre la potenza di calcolo e l'utilizzo della memoria e per addestrare modelli distribuiti di grandi dimensioni con un migliore parallelismo sull'hardware del computer esistente. Supporta l'addestramento distribuito a nodo singolo, utilizzando il checkpoint del gradiente e il parallelismo del modello per addestrare modelli di grandi dimensioni su una singola istanza di addestramento SageMaker con più GPU. Con JumpStart, integriamo per te la libreria DeepSpeed ​​con il DLC SageMaker Hugging Face e ci occupiamo di tutto sotto il cofano. Puoi facilmente ottimizzare il modello sul set di dati specifico del tuo dominio senza configurarlo manualmente.

Ottimizza il modello pre-addestrato su dati specifici del dominio

Per mettere a punto un modello selezionato, dobbiamo ottenere l'URI di tale modello, nonché lo script di addestramento e l'immagine del contenitore utilizzati per l'addestramento. Per semplificare le cose, questi tre input dipendono esclusivamente dal nome del modello, versione (per un elenco dei modelli disponibili, vedere Algoritmi incorporati con tabella modello pre-addestrata) e il tipo di istanza su cui desideri eseguire l'addestramento. Ciò è dimostrato nel seguente frammento di codice:

from sagemaker import image_uris, model_uris, script_uris, hyperparameters model_id, model_version = "huggingface-textgeneration1-gpt-j-6b", "*"
training_instance_type = "ml.g5.12xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
)

Recuperiamo il model_id corrispondente allo stesso modello che vogliamo utilizzare. In questo caso, perfezioniamo huggingface-textgeneration1-gpt-j-6b.

La definizione degli iperparametri comporta l'impostazione dei valori per vari parametri utilizzati durante il processo di addestramento di un modello ML. Questi parametri possono influire sulle prestazioni e sulla precisione del modello. Nel passaggio successivo, stabiliamo gli iperparametri utilizzando le impostazioni predefinite e specificando valori personalizzati per parametri come epochs ed learning_rate:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "6" hyperparameters["learning_rate"] = "2e-04"
print(hyperparameters)

JumpStart fornisce un ampio elenco di iperparametri disponibili per l'ottimizzazione. L'elenco seguente fornisce una panoramica di parte degli iperparametri chiave utilizzati per la messa a punto del modello. Per un elenco completo degli iperparametri, vedere il notebook Ottimizzazione del modello GPT-J 6B di generazione del testo su un set di dati specifico del dominio.

• epoche – Specifica al massimo quante epoche del set di dati originale verranno iterate.
• tasso_di_apprendimento – Controlla la dimensione del passo o la velocità di apprendimento dell'algoritmo di ottimizzazione durante l'addestramento.
• eval_passi – Specifica il numero di passaggi da eseguire prima di valutare il modello sul set di convalida durante l'addestramento. Il set di convalida è un sottoinsieme dei dati che non viene utilizzato per l'addestramento, ma viene invece utilizzato per verificare le prestazioni del modello su dati invisibili.
• peso_decadimento – Controlla la forza di regolarizzazione durante l'addestramento del modello. La regolarizzazione è una tecnica che consente di impedire al modello di eseguire l'overfitting dei dati di addestramento, il che può comportare prestazioni migliori sui dati non visualizzati.
• fp16 – Controlla se utilizzare l'addestramento di precisione fp16 a 16 bit (misto) anziché l'addestramento a 32 bit.
• valutazione_strategia – La strategia di valutazione utilizzata durante la formazione.
• gradient_accumulation_steps – Il numero di passaggi di aggiornamento per cui accumulare i gradienti, prima di eseguire un passaggio all'indietro/di aggiornamento.

Per ulteriori dettagli sugli iperparametri, fare riferimento al funzionario Documentazione di Hugging Face Trainer.

Ora puoi perfezionare questo modello JumpStart sul tuo set di dati personalizzato utilizzando SageMaker SDK. Utilizziamo i dati di archiviazione SEC che abbiamo descritto in precedenza. I dati di addestramento e convalida sono ospitati in train_dataset_s3_path ed validation_dataset_s3_path. Il formato supportato dei dati include CSV, JSON e TXT. Per i dati CSV e JSON, i dati di testo vengono utilizzati dalla colonna richiamata text o la prima colonna se non viene trovata alcuna colonna chiamata testo. Poiché questo è per la messa a punto della generazione del testo, non sono richieste etichette di verità di base. Il codice seguente è un esempio SDK di come ottimizzare il modello:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base
from sagemaker.tuner import HyperparameterTuner
from sagemaker.huggingface import HuggingFace train_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv"
validation_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv" training_job_name = name_from_base(f"jumpstart-example-{model_id}") metric_definitions=[ {'Name': 'train:loss', 'Regex': "'loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:loss', 'Regex': "'eval_loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:runtime', 'Regex': "'eval_runtime': ([0-9]+.[0-9]+)"}, {'Name': 'eval:samples_per_second', 'Regex': "'eval_samples_per_second': ([0-9]+.[0-9]+)"}, {'Name': 'eval:eval_steps_per_second', 'Regex': "'eval_steps_per_second': ([0-9]+.[0-9]+)"},
] # # Create SageMaker Estimator instance
tg_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, hyperparameters=hyperparameters, output_path=s3_output_location, base_job_name=training_job_name, enable_network_isolation=True, metric_definitions=metric_definitions
) # Launch a SageMaker Training job by passing s3 path of the training data
tg_estimator.fit({"train": train_dataset_s3_path, "validation": validation_dataset_s3_path}, logs=True)

Dopo aver impostato SageMaker Estimator con gli iperparametri richiesti, istanziamo uno stimatore SageMaker e chiamiamo il .fit metodo per iniziare a mettere a punto il nostro modello, passandogli il Servizio di archiviazione semplice Amazon (Amazon S3) URI per i nostri dati di addestramento. Come puoi vedere, il entry_point lo script fornito è denominato transfer_learning.py (lo stesso per altre attività e modelli) e il canale dati di input a cui è passato .fit deve essere denominato train e validation.

JumpStart supporta anche l'ottimizzazione degli iperparametri con Ottimizzazione automatica del modello di SageMaker. Per i dettagli, vedere l'esempio taccuino.

Distribuire il modello ottimizzato

Al termine dell'addestramento, puoi distribuire il tuo modello ottimizzato. Per fare ciò, tutto ciò che dobbiamo ottenere è l'URI dello script di inferenza (il codice che determina come il modello viene utilizzato per l'inferenza una volta distribuito) e l'URI dell'immagine del contenitore di inferenza, che include un server di modello appropriato per ospitare il modello scelto. Vedere il codice seguente:

from sagemaker.predictor import Predictor
from sagemaker import image_uris
from sagemaker.utils import name_from_base
import boto3 sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name="us-west-2")) #Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
) endpoint_name = name_from_base(f"jumpstart-example-{model_id}") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = tg_estimator.deploy( initial_instance_count=1, instance_type="ml.g5.12xlarge", image_uri=image_uri, endpoint_name=endpoint_name,
)

Dopo pochi minuti, il nostro modello viene distribuito e possiamo ottenere previsioni da esso in tempo reale!

Accedi a JumpStart tramite l'interfaccia utente di Studio

Un altro modo per perfezionare e distribuire i modelli JumpStart è tramite l'interfaccia utente di Studio. Questa interfaccia utente fornisce una soluzione low-code/no-code per ottimizzare gli LLM.

Nella console di Studio, scegli Modelli, taccuini, soluzioni per SageMaker JumpStart nel pannello di navigazione.

Nella barra di ricerca, cerca il modello che desideri ottimizzare e distribuire.

Nel nostro caso, abbiamo scelto la scheda modello GPT-J 6B. Qui possiamo perfezionare o distribuire direttamente l'LLM.

Valutazione del modello

Quando valutiamo un LLM, possiamo usare la perplessità (PPL). PPL è una misura comune di quanto bene un modello linguistico è in grado di prevedere la parola successiva in una sequenza. In termini più semplici, è un modo per misurare quanto bene il modello può comprendere e generare un linguaggio simile a quello umano.

Un punteggio di perplessità inferiore indica che il modello mostra prestazioni migliori nel prevedere la parola successiva. In termini pratici, possiamo usare la perplessità per confrontare diversi modelli linguistici e determinare quale si comporta meglio in un determinato compito. Possiamo anche usarlo per monitorare le prestazioni di un singolo modello nel tempo. Per maggiori dettagli, fare riferimento a Perplessità dei modelli a lunghezza fissa.

Valutiamo le prestazioni del modello attraverso un confronto tra le sue prestazioni prima e dopo l'ottimizzazione. PPL è emesso nel lavoro di formazione Amazon Cloud Watch log. Inoltre, esaminiamo l'output generato dal modello in risposta a specifici prompt di test.

Le migliori prestazioni del modello sono dimostrate da due esperimenti:

• Generazione di testo – Mostriamo che l'output del GPT-J perfezionato genera un testo che ha una somiglianza con il set di dati SEC, indicando che ha imparato a emulare i modelli linguistici e le convenzioni del dominio normativo finanziario
• Apprendimento zero-shot – Dimostriamo che il GPT-J ottimizzato mostra prestazioni significativamente migliori rispetto al GPT-J non ottimizzato nella risposta a domande zero-shot

Per l'esperimento di generazione del testo, utilizziamo i seguenti parametri di inferenza per ottenere i nostri risultati: max_length di 400 (numero di token restituiti), num_return_sequences di 1 (numero di esempi di testo di risposta), top_k di 250 (scegli da una delle prime 250 possibili continuazioni), top_p di 0.8 (selezionare solo da continuazioni che hanno almeno l'80% di probabilità), do_sample is True (campionamento), e temperature di 1 (l'alta temperatura è maggiore casualità nelle risposte). Per maggiori dettagli sui parametri, fare riferimento a GenerazioneConfig. La tabella seguente confronta il GPT-J ottimizzato e quello non ottimizzato in un'attività di completamento del testo.

Per il secondo esperimento con un'attività di risposta a domande zero-shot, impostiamo il max_length essere un valore diverso (rispettivamente 40, 200 e 40) in base all'output che ci aspettiamo da ciascuna domanda. I parametri di top_k, top_p, do_sample, temperature sono impostati come 250, 0.8, False, e 0, rispettivamente. Impostiamo la temperatura vicino a 0 per controllare la casualità dell'output, mentre nell'attività di generazione del testo la impostiamo vicino a 1 per rendere il modello più creativo. La tabella seguente confronta i risultati. Per ogni domanda, l'output di GPT-J ottimizzato è più preciso di quello non ottimizzato.

ripulire

Per evitare addebiti continui, elimina gli endpoint di inferenza SageMaker. Puoi eliminare gli endpoint tramite la console SageMaker o dal notebook utilizzando i seguenti comandi:

# Delete the SageMaker endpoint and the attached resources
finetuned_predictor.delete_model()
finetuned_predictor.delete_endpoint()

Conclusione

JumpStart è una funzionalità di SageMaker che ti consente di iniziare rapidamente con ML. JumpStart utilizza modelli preaddestrati open source per risolvere problemi di ML comuni come la classificazione delle immagini, il rilevamento degli oggetti, la classificazione del testo, la classificazione delle coppie di frasi e la risposta alle domande.

In questo post, ti abbiamo mostrato come mettere a punto e distribuire un LLM preaddestrato (GPT-J 6B) per la generazione di testo basato sul set di dati di riempimento SEC. Abbiamo dimostrato come il modello si sia trasformato in un esperto del dominio finanziario sottoponendosi al processo di messa a punto solo su due report annuali dell'azienda. Questa messa a punto ha consentito al modello di generare contenuti con una comprensione degli argomenti finanziari e una maggiore precisione. Prova tu stesso la soluzione e facci sapere come va nei commenti.

Importante: questo post è solo a scopo dimostrativo. Non è un consiglio finanziario e non dovrebbe essere considerato un consiglio finanziario o di investimento. Il post ha utilizzato modelli pre-addestrati sui dati ottenuti dal database SEC EDGAR. Sei responsabile del rispetto dei termini e delle condizioni di accesso di EDGAR se utilizzi i dati SEC.

Per saperne di più su JumpStart, dai un'occhiata ai seguenti post:

Informazioni sugli autori

Dott. Xin Huang è Senior Applied Scientist per gli algoritmi integrati di Amazon SageMaker JumpStart e Amazon SageMaker. Si concentra sullo sviluppo di algoritmi di apprendimento automatico scalabili. I suoi interessi di ricerca riguardano l'elaborazione del linguaggio naturale, il deep learning spiegabile su dati tabulari e l'analisi solida del clustering spazio-temporale non parametrico. Ha pubblicato molti articoli nelle conferenze ACL, ICDM, KDD e Royal Statistical Society: Series A.

Marc Karp è un ML Architect del team Amazon SageMaker Service. Si concentra sull'aiutare i clienti a progettare, distribuire e gestire i carichi di lavoro ML su larga scala. Nel tempo libero ama viaggiare ed esplorare posti nuovi.

Dott. Sanjiv Das è Amazon Scholar e Terry Professor of Finance and Data Science presso la Santa Clara University. Ha conseguito lauree post-laurea in Finanza (M.Phil e PhD presso la New York University) e Informatica (MS presso UC Berkeley) e un MBA presso l'Indian Institute of Management, Ahmedabad. Prima di diventare accademico, ha lavorato nel settore dei derivati ​​nella regione Asia-Pacifico come Vice President presso Citibank. Si occupa di machine learning multimodale nell'area delle applicazioni finanziarie.

Arun Kumar Lokanatha è un Senior ML Solutions Architect del team di assistenza di Amazon SageMaker. Si concentra sull'aiutare i clienti a creare, addestrare e migrare i carichi di lavoro di produzione ML a SageMaker su larga scala. È specializzato in deep learning, in particolare nell'area della PNL e CV. Al di fuori del lavoro, ama correre e fare escursioni.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
• Coniare il futuro con Adryenn Ashley. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/domain-adaptation-fine-tuning-of-foundation-models-in-amazon-sagemaker-jumpstart-on-financial-data/