Ottimizza Llama 2 per la generazione di testo su Amazon SageMaker JumpStart | Servizi Web di Amazon

Oggi siamo entusiasti di annunciare la possibilità di mettere a punto i modelli Llama 2 tramite Meta utilizzando JumpStart di Amazon SageMaker. La famiglia Llama 2 di modelli linguistici di grandi dimensioni (LLM) è una raccolta di modelli di testo generativi preaddestrati e ottimizzati che vanno da 7 miliardi a 70 miliardi di parametri. Gli LLM ottimizzati, chiamati Llama-2-chat, sono ottimizzati per i casi d'uso del dialogo. Puoi provare facilmente questi modelli e utilizzarli con SageMaker JumpStart, un hub di machine learning (ML) che fornisce accesso ad algoritmi, modelli e soluzioni ML in modo da poter iniziare rapidamente con il ML. Ora puoi anche ottimizzare i modelli di generazione di testo di Llama 7 da 13 miliardi, 70 miliardi e 2 miliardi di parametri su SageMaker JumpStart utilizzando il comando Amazon Sage Maker Studio Interfaccia utente con pochi clic o utilizzando SageMaker Python SDK.

I modelli di base dell’intelligenza artificiale generativa sono al centro della maggior parte della ricerca e dei casi d’uso sul machine learning e sull’intelligenza artificiale ormai da oltre un anno. Questi modelli di base funzionano molto bene con attività generative, come la generazione di testo, il riepilogo, la risposta a domande, la generazione di immagini e video e altro ancora, grazie alle loro grandi dimensioni e anche perché sono addestrati su diversi set di dati di grandi dimensioni e centinaia di attività. Nonostante le grandi capacità di generalizzazione di questi modelli, ci sono spesso casi d'uso che hanno dati di dominio molto specifici (come i servizi sanitari o finanziari), per cui questi modelli potrebbero non essere in grado di fornire buoni risultati per questi casi d'uso. Ciò si traduce nella necessità di un’ulteriore messa a punto di questi modelli di intelligenza artificiale generativa rispetto ai dati specifici del caso d’uso e del dominio.

In questo post, spieghiamo come ottimizzare i modelli di generazione di testo pre-addestrati di Llama 2 tramite SageMaker JumpStart.

Cos'è Lama 2

Llama 2 è un modello linguistico autoregressivo che utilizza un'architettura di trasformatore ottimizzata. Llama 2 è destinato all'uso commerciale e di ricerca in inglese. È disponibile in una gamma di dimensioni dei parametri: 7 miliardi, 13 miliardi e 70 miliardi, nonché in varianti pre-addestrate e ottimizzate. Secondo Meta, le versioni ottimizzate utilizzano la messa a punto supervisionata (SFT) e l’apprendimento di rinforzo con feedback umano (RLHF) per allinearsi alle preferenze umane in termini di disponibilità e sicurezza. Llama 2 è stato pre-addestrato su 2 trilioni di token di dati provenienti da fonti disponibili al pubblico. I modelli ottimizzati sono destinati a chat simili a quelle di un assistente, mentre i modelli preaddestrati possono essere adattati per una varietà di attività di generazione del linguaggio naturale. Indipendentemente dalla versione del modello utilizzata dallo sviluppatore, il file guida all'uso responsabile di Meta può aiutare a guidare ulteriori messe a punto che potrebbero essere necessarie per personalizzare e ottimizzare i modelli con adeguate attenuazioni della sicurezza.

Attualmente, Llama 2 è disponibile nelle seguenti regioni:

• Distribuisci il modello pre-addestrato disponibile: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Ottimizzare e distribuire il modello ottimizzato: “us-east-1”, “us-west-2”,“eu-west-1”

Cos'è SageMaker JumpStart

Con SageMaker JumpStart, i professionisti del machine learning possono scegliere tra un'ampia selezione di modelli di base disponibili pubblicamente. I professionisti del machine learning possono distribuire modelli di base a progetti dedicati Amazon Sage Maker istanze da un ambiente isolato di rete e personalizzare i modelli utilizzando SageMaker per l'addestramento e la distribuzione dei modelli. Ora puoi scoprire e distribuire Llama 2 con pochi clic in SageMaker Studio o a livello di programmazione tramite SageMaker Python SDK, consentendoti di derivare prestazioni del modello e controlli MLOps con funzionalità SageMaker come Pipeline di Amazon SageMaker, Debugger di Amazon SageMakero log del contenitore. Il modello viene distribuito in un ambiente sicuro AWS e sotto i controlli VPC, contribuendo a garantire la sicurezza dei dati. Inoltre, puoi ottimizzare i modelli di generazione di testo pre-addestrati Llama2 7B, 13B e 70B tramite SageMaker JumpStart.

Perfeziona i modelli Llama2

Puoi ottimizzare i modelli utilizzando l'interfaccia utente di SageMaker Studio o l'SDK di SageMaker Python. Discuteremo entrambi i metodi in questa sezione.

Ottimizzazione senza codice tramite l'interfaccia utente di SageMaker Studio

In SageMaker Studio, puoi accedere ai modelli Llama 2 tramite SageMaker JumpStart in Modelli, notebook e soluzioni, come mostrato nella seguente schermata.

Se non vedi i modelli Llama 2, aggiorna la versione di SageMaker Studio spegnendo e riavviando. Per ulteriori informazioni sugli aggiornamenti della versione, fare riferimento a Chiudi e aggiorna le app di Studio.

Puoi trovare anche altre quattro varianti di modello scegliendo Esplora tutti i modelli di generazione di testo o cercando lama nella casella di ricerca.

In questa pagina puoi indicare il Servizio di archiviazione semplice Amazon (Amazon S3) bucket contenente i set di dati di training e convalida per la messa a punto. Inoltre, è possibile configurare la configurazione della distribuzione, gli iperparametri e le impostazioni di sicurezza per l'ottimizzazione. Puoi quindi scegliere Treni per avviare il processo di formazione su un'istanza SageMaker ML. Lo screenshot precedente mostra la pagina di messa a punto per il modello Llama-2 7B; tuttavia, puoi ottimizzare i modelli di generazione del testo 13B e 70B Llama 2 utilizzando le rispettive pagine del modello in modo simile. Per utilizzare i modelli Llama 2, è necessario accettare il Contratto di licenza con l'utente finale (EULA). Verrà visualizzato quando lo sceglierai Treni, come mostrato nello screenshot seguente. Scegliere Ho letto e accetto EULA e AUP per iniziare il lavoro di messa a punto.

Distribuire il modello

Dopo aver ottimizzato il modello, puoi distribuirlo utilizzando la pagina del modello su SageMaker JumpStart. L'opzione per distribuire il modello ottimizzato verrà visualizzata al termine dell'ottimizzazione, come mostrato nello screenshot seguente.

Ottimizza tramite SageMaker Python SDK

Puoi anche ottimizzare i modelli Llama 2 utilizzando SageMaker Python SDK. Quello che segue è un codice di esempio per ottimizzare Llama 2 7B sul tuo set di dati:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

È possibile distribuire il modello ottimizzato direttamente dallo stimatore:

finetuned_predictor = estimator.deploy()

Puoi anche trovare il codice in Perfeziona i modelli LLaMA 2 su SageMaker JumpStart. Include la preparazione del set di dati, la formazione sul set di dati personalizzato e la distribuzione del modello ottimizzato. Dimostra la messa a punto di un sottoinsieme del set di dati Dolly con esempi tratti dall'attività di riepilogo. Di seguito è riportato l'input di esempio con le risposte ottimizzate e non ottimizzate insieme alla risposta fondamentale:

Ingresso al modello:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Risposta alla verità fondamentale:

Felix Luna died on November 5th, 2009

Risposta dal modello non ottimizzato:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Risposta dal modello ottimizzato:

Félix Luna died on November 5th, 2009.nn

Per il benchmarking delle prestazioni di diversi modelli sui set di dati Dolly e Dialogsum, fare riferimento a Analisi comparativa delle prestazioni sezione nell'appendice alla fine di questo post.

Tecnica di messa a punto

I modelli linguistici come Llama hanno dimensioni superiori a 10 GB o addirittura 100 GB. La messa a punto di modelli così grandi richiede istanze con memoria CUDA significativamente elevata. Inoltre, l'addestramento di questi modelli può essere molto lento a causa delle dimensioni del modello. Pertanto, per una messa a punto efficiente, utilizziamo le seguenti ottimizzazioni:

• Adattamento di basso rango (LoRA) – Questo è un tipo di regolazione fine efficiente dei parametri (PEFT) per la regolazione fine efficiente di modelli di grandi dimensioni. In questo caso, congeliamo l'intero modello e aggiungiamo solo un piccolo set di parametri o livelli regolabili nel modello. Ad esempio, invece di addestrare tutti i 7 miliardi di parametri per Llama 2 7B, possiamo ottimizzare meno dell'1% dei parametri. Ciò aiuta a ridurre significativamente il fabbisogno di memoria perché dobbiamo memorizzare solo gradienti, stati dell'ottimizzatore e altre informazioni relative all'allenamento solo per l'1% dei parametri. Inoltre, questo aiuta a ridurre i tempi di formazione e i costi. Per ulteriori dettagli su questo metodo, fare riferimento a LoRA: adattamento di basso rango di modelli linguistici di grandi dimensioni.
• Quantizzazione Int8 – Anche con ottimizzazioni come LoRA, modelli come Llama 70B sono ancora troppo grandi per essere addestrati. Per ridurre l'impronta di memoria durante l'allenamento, possiamo utilizzare la quantizzazione Int8 durante l'allenamento. La quantizzazione in genere riduce la precisione dei tipi di dati a virgola mobile. Sebbene ciò riduca la memoria richiesta per memorizzare i pesi del modello, riduce le prestazioni a causa della perdita di informazioni. La quantizzazione Int8 utilizza solo un quarto di precisione ma non comporta un degrado delle prestazioni perché non elimina semplicemente i bit. Arrotonda i dati da un tipo all'altro. Per ulteriori informazioni sulla quantizzazione Int8, fare riferimento a LLM.int8(): moltiplicazione di matrici a 8 bit per trasformatori su larga scala.
• Parallelo dati completamente condivisi (FSDP) – Si tratta di un tipo di algoritmo di addestramento parallelo ai dati che suddivide i parametri del modello tra i lavoratori paralleli dei dati e può facoltativamente scaricare parte del calcolo di addestramento sulle CPU. Sebbene i parametri siano suddivisi tra diverse GPU, il calcolo di ciascun microbatch è locale per il GPU Worker. Suddivide i parametri in modo più uniforme e raggiunge prestazioni ottimizzate tramite la sovrapposizione di comunicazione e calcolo durante l'addestramento.

La tabella seguente mette a confronto diversi metodi con i tre modelli Llama 2.

Tieni presente che la messa a punto dei modelli Llama si basa sugli script forniti di seguito Repository GitHub.

Formato del set di dati di addestramento

SageMaker JumpStart attualmente supporta i set di dati sia nel formato di adattamento del dominio che nel formato di ottimizzazione delle istruzioni. In questa sezione specifichiamo un set di dati di esempio in entrambi i formati. Per maggiori dettagli fare riferimento al Formattazione del set di dati sezione in appendice.

Formato di adattamento del dominio

Il modello di generazione del testo Llama 2 può essere messo a punto su qualsiasi set di dati specifico del dominio. Dopo essere stato messo a punto sul set di dati specifico del dominio, si prevede che il modello generi testo specifico del dominio e risolva varie attività di PNL in quel dominio specifico con pochi suggerimenti. Con questo set di dati, l'input è costituito da un file CSV, JSON o TXT. Ad esempio, i dati di input possono essere documenti depositati presso la SEC di Amazon come file di testo:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Formato di ottimizzazione delle istruzioni

Nell'ottimizzazione delle istruzioni, il modello viene ottimizzato per una serie di attività di elaborazione del linguaggio naturale (PNL) descritte utilizzando le istruzioni. Ciò aiuta a migliorare le prestazioni del modello per attività invisibili con istruzioni zero-shot. Nel formato del set di dati di ottimizzazione delle istruzioni, si specifica il file template.json file che descrive i formati di input e di output. Ad esempio, ogni riga nel file train.jsonl assomiglia al seguente:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Il fascicolo aggiuntivo template.json assomiglia al seguente:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Iperparametri supportati per l'addestramento

L'ottimizzazione di Llama 2 supporta una serie di iperparametri, ognuno dei quali può influire sui requisiti di memoria, sulla velocità di addestramento e sulle prestazioni del modello ottimizzato:

• epoca – Il numero di passaggi effettuati dall'algoritmo di fine tuning attraverso il set di dati di training. Deve essere un numero intero maggiore di 1. Il valore predefinito è 5.
• tasso_di_apprendimento – La velocità con cui i pesi del modello vengono aggiornati dopo aver elaborato ciascun batch di esempi di training. Deve essere un float positivo maggiore di 0. Il valore predefinito è 1e-4.
• istruzione_sintonizzata – Se addestrare il modello o meno. Deve essere 'True' o 'False'. L'impostazione predefinita è "False'.
• per_dispositivo_treno_dimensione_batch – La dimensione del batch per core GPU/CPU per l'addestramento. Deve essere un numero intero positivo. L'impostazione predefinita è 4.
• per_device_eval_batch_size – La dimensione del batch per core GPU/CPU per la valutazione. Deve essere un numero intero positivo. L'impostazione predefinita è 1.
• max_train_samples – Per scopi di debug o per una formazione più rapida, troncare il numero di esempi di formazione a questo valore. Il valore -1 indica l'utilizzo di tutti i campioni di training. Deve essere un numero intero positivo o -1. L'impostazione predefinita è -1.
• max_val_samples – Per scopi di debug o per una formazione più rapida, troncare il numero di esempi di convalida a questo valore. Il valore -1 indica l'utilizzo di tutti i campioni di convalida. Deve essere un numero intero positivo o -1. L'impostazione predefinita è -1.
• lunghezza_input_massima – Lunghezza massima totale della sequenza di input dopo la tokenizzazione. Le sequenze più lunghe verranno troncate. Se -1, max_input_length è impostato sul minimo di 1024 e sulla lunghezza massima del modello definita dal tokenizzatore. Se impostato su un valore positivo, max_input_length è impostato sul minimo del valore fornito e il model_max_length definito dal tokenizzatore. Deve essere un numero intero positivo o -1. L'impostazione predefinita è -1.
• validation_split_ratio – Se il canale di convalida è none, il rapporto tra la suddivisione della convalida del treno e i dati del treno deve essere compreso tra 0 e 1. L'impostazione predefinita è 0.2.
• train_data_split_seed – Se i dati di convalida non sono presenti, ciò fissa la suddivisione casuale dei dati di training di input nei dati di training e di convalida utilizzati dall'algoritmo. Deve essere un numero intero. L'impostazione predefinita è 0.
• preprocessing_num_workers – Il numero di processi da utilizzare per la preelaborazione. Se None, il processo principale viene utilizzato per la preelaborazione. L'impostazione predefinita è None.
• lora_r – Lora R. Deve essere un numero intero positivo. L'impostazione predefinita è 8.
• lora_alpha – Lora Alfa. Deve essere un numero intero positivo. L'impostazione predefinita è 32
• lora_dropout – Lora abbandona. deve essere un numero mobile positivo compreso tra 0 e 1. Il valore predefinito è 0.05.
• int8_quantizzazione - Se True, il modello viene caricato con precisione a 8 bit per l'addestramento. L'impostazione predefinita per 7B e 13B è False. L'impostazione predefinita per 70B è True.
• abilita_fsdp - Se True, la formazione utilizza FSDP. L'impostazione predefinita per 7B e 13B è True. L'impostazione predefinita per 70B è False. Nota che int8_quantization non è supportato con FSDP.

Tipi di istanza e iperparametri compatibili

Il requisito di memoria durante la regolazione fine può variare in base a diversi fattori:

• Tipo di modello – Il modello 7B ha il requisito di memoria GPU minimo mentre il modello 70B ha il requisito di memoria maggiore
• Lunghezza massima dell'input – Un valore più elevato della lunghezza di input porta all'elaborazione di più token alla volta e come tale richiede più memoria CUDA
• Dimensione del lotto – Una dimensione batch maggiore richiede una memoria CUDA più grande e quindi tipi di istanze più grandi
• Quantizzazione Int8 – Se si utilizza la quantizzazione Int8, il modello viene caricato in bassa precisione e pertanto richiede meno memoria CUDA

Per aiutarti a iniziare, forniamo una serie di combinazioni di diversi tipi di istanza, iperparametri e tipi di modello che possono essere ottimizzati con successo. Puoi selezionare una configurazione in base ai tuoi requisiti e alla disponibilità dei tipi di istanza. Perfezioniamo tutti e tre i modelli su una varietà di impostazioni con tre epoche su un sottoinsieme del set di dati Dolly con esempi di riepilogo.

modello 7B

La tabella seguente riassume le opzioni di regolazione fine sul modello 7B.

13B

La tabella seguente riassume le opzioni di regolazione fine sul modello 13B.

70B

La tabella seguente riassume le opzioni di regolazione fine sul modello 70B.

Raccomandazioni su tipi di istanza e iperparametri

Quando si ottimizza la precisione del modello, tenere presente quanto segue:

• I modelli più grandi come il 70B offrono prestazioni migliori rispetto al 7B
• Le prestazioni senza quantizzazione Int8 sono migliori delle prestazioni con quantizzazione INT8

Tieni presenti i seguenti tempi di addestramento e requisiti di memoria CUDA:

• Configurazione int8_quantization=True diminuisce il fabbisogno di memoria e porta ad un allenamento più veloce.
• Decrescente per_device_train_batch_size ed max_input_length riduce il requisito di memoria e quindi può essere eseguito su istanze più piccole. Tuttavia, l'impostazione di valori molto bassi potrebbe aumentare il tempo di allenamento.
• Se non stai utilizzando la quantizzazione Int8 (int8_quantization=False), utilizzare FSDP (enable_fsdp=True) per un allenamento più rapido ed efficiente.

Quando si sceglie il tipo di istanza, considerare quanto segue:

• Le istanze G5 forniscono la formazione più efficiente tra i tipi di istanza supportati. Pertanto, se disponi di istanze G5, dovresti utilizzarle.
• Il tempo di addestramento dipende in gran parte dalla quantità di GPU e memoria CUDA disponibili. Pertanto, l'addestramento su istanze con lo stesso numero di GPU (ad esempio, ml.g5.2xlarge e ml.g5.4xlarge) è più o meno lo stesso. Pertanto, puoi utilizzare l'istanza più economica per l'addestramento (ml.g5.2xlarge).
• Quando si utilizzano istanze p3, l'addestramento verrà eseguito con precisione a 32 bit perché bfloat16 non è supportato su queste istanze. Pertanto, il processo di training consumerà il doppio della quantità di memoria CUDA durante il training su istanze p3 rispetto alle istanze g5.

Per informazioni sul costo della formazione per istanza, fare riferimento a Istanze Amazon EC2 G5.

Se il set di dati è nel formato di ottimizzazione delle istruzioni e le sequenze di input+completamento sono piccole (come 50–100 parole), allora un valore elevato di max_input_length porta a prestazioni molto scarse. Il valore predefinito di questo parametro è -1, che corrisponde a max_input_length del 2048 per i modelli Llama. Pertanto, se il set di dati contiene campioni di piccole dimensioni, ti consigliamo di utilizzare un valore piccolo per max_input_length (ad esempio 200–400).

Infine, a causa dell'elevata domanda di istanze G5, potresti riscontrare l'indisponibilità di queste istanze nella tua regione con l'errore “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Se si verifica questo errore, riprova il processo di formazione o prova una regione diversa.

Problemi durante la messa a punto di modelli molto grandi

In questa sezione verranno discussi due problemi legati alla messa a punto di modelli molto grandi.

Disabilita la compressione dell'output

Per impostazione predefinita, l'output di un processo di training è un modello addestrato che viene compresso in un formato .tar.gz prima di essere caricato su Amazon S3. Tuttavia, a causa delle grandi dimensioni del modello, questo passaggio può richiedere molto tempo. Ad esempio, la compressione e il caricamento del modello 70B possono richiedere più di 4 ore. Per evitare questo problema, puoi utilizzare la funzione di disabilitazione della compressione dell'output supportata dalla piattaforma di formazione SageMaker. In questo caso, il modello viene caricato senza alcuna compressione, che viene ulteriormente utilizzato per la distribuzione:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problema di timeout del kernel di SageMaker Studio

A causa delle dimensioni del modello Llama 70B, il processo di training potrebbe richiedere diverse ore e il kernel di SageMaker Studio potrebbe morire durante la fase di training. Tuttavia, durante questo periodo, la formazione è ancora in corso in SageMaker. Se ciò accade, puoi comunque distribuire l'endpoint utilizzando il nome del processo di training con il seguente codice:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Per trovare il nome del lavoro di formazione, vai alla console SageMaker e sotto Training nel pannello di navigazione, scegli Lavori di formazione. Identificare il nome del lavoro di formazione e sostituirlo nel codice precedente.

Conclusione

In questo post, abbiamo discusso della messa a punto dei modelli Llama 2 di Meta utilizzando SageMaker JumpStart. Abbiamo dimostrato che è possibile utilizzare la console SageMaker JumpStart in SageMaker Studio o SageMaker Python SDK per ottimizzare e distribuire questi modelli. Abbiamo anche discusso la tecnica di perfezionamento, i tipi di istanza e gli iperparametri supportati. Inoltre, abbiamo delineato raccomandazioni per un allenamento ottimizzato sulla base di vari test che abbiamo effettuato. I risultati della messa a punto dei tre modelli su due set di dati sono mostrati nell'appendice alla fine di questo post. Come possiamo vedere da questi risultati, l'ottimizzazione migliora il riepilogo rispetto ai modelli non ottimizzati. Come passaggio successivo, puoi provare a mettere a punto questi modelli sul tuo set di dati utilizzando il codice fornito nel repository GitHub per testare e confrontare i risultati per i tuoi casi d'uso.

Gli autori desiderano riconoscere i contributi tecnici di Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne e June Vinto.

Informazioni sugli autori

Dott. Vivek Madan è uno scienziato applicato con il team Amazon SageMaker JumpStart. Ha conseguito il dottorato di ricerca presso l'Università dell'Illinois a Urbana-Champaign ed è stato ricercatore post-dottorato presso la Georgia Tech. È un ricercatore attivo nell'apprendimento automatico e nella progettazione di algoritmi e ha pubblicato articoli in conferenze EMNLP, ICLR, COLT, FOCS e SODA.

Dottor Farooq Sabir è Senior Artificial Intelligence and Machine Learning Specialist Solutions Architect presso AWS. Ha conseguito un dottorato di ricerca e un master in ingegneria elettrica presso l'Università del Texas ad Austin e un master in informatica presso il Georgia Institute of Technology. Ha oltre 15 anni di esperienza lavorativa e gli piace anche insegnare e fare da mentore agli studenti universitari. In AWS, aiuta i clienti a formulare e risolvere i loro problemi aziendali in data science, machine learning, visione artificiale, intelligenza artificiale, ottimizzazione numerica e domini correlati. Con sede a Dallas, in Texas, lui e la sua famiglia amano viaggiare e fare lunghi viaggi.

Dottor Ashish Khetan è uno scienziato applicato senior presso Amazon SageMaker JumpStart e aiuta a sviluppare algoritmi di apprendimento automatico. Ha conseguito il dottorato di ricerca presso l'Università dell'Illinois Urbana-Champaign. È un ricercatore attivo nel campo dell'apprendimento automatico e dell'inferenza statistica e ha pubblicato numerosi articoli nelle conferenze NeurIPS, ICML, ICLR, JMLR, ACL e EMNLP.

Appendice

Questa appendice fornisce informazioni aggiuntive sul benchmarking delle prestazioni e sulla formattazione del set di dati.

Analisi comparativa delle prestazioni

In questa sezione forniamo i risultati per la messa a punto dei tre modelli Llama 2 (7B, 13B e 70B) su due diversi set di dati: bambola ed Dialogsum. Per il set di dati Dolly, il nostro compito è riassumere un paragrafo di testo, mentre per Dialogsum stiamo perfezionando il modello per riassumere una discussione tra due persone. Nelle tabelle seguenti, mostriamo l'input del modello (richiesta e istruzioni), la verità di base (riepilogo), la risposta dal modello Llama 2 pre-addestrato e la risposta dal modello Llama 2 ottimizzato per ciascuno dei tre Llama 2 modelli. Mostriamo i risultati dell'inferenza per cinque punti dati. Puoi notare dalle tabelle seguenti che i riepiloghi migliorano per entrambi i set di dati quando perfezioniamo i modelli.

• Risultati per la messa a punto del modello di generazione del testo Llama 2 7B sul set di dati Dolly:

• Risultati per la messa a punto del modello di generazione del testo Llama 2 13B sul set di dati Dolly:

• Risultati per la messa a punto del modello di generazione del testo Llama 2 70B sul set di dati Dolly:

• Risultati per la messa a punto del modello di generazione del testo Llama 2 7B sul set di dati Dialogsum:

• Risultati per la messa a punto del modello Llama-2 13B sul set di dati Dialogsum:

• Risultati per la messa a punto del modello Llama 2 70B sul set di dati Dialogsum:

Formattazione del set di dati

Attualmente offriamo due tipi di messa a punto: messa a punto delle istruzioni e messa a punto dell'adattamento del dominio. Puoi passare facilmente a uno dei metodi di training specificando il parametro instruction_tuned come 'True' o 'False'.

Formato di adattamento del dominio

Il modello di generazione del testo può anche essere messo a punto su qualsiasi set di dati specifico del dominio. Dopo essere stato messo a punto sul set di dati specifico del dominio, si prevede che il modello generi testo specifico del dominio e risolva varie attività di PNL in quel dominio specifico con pochi suggerimenti.

Per l'input al modello, utilizzare una directory di training e di convalida facoltativa. Ogni directory contiene un file CSV, JSON o TXT. Per i file CSV e JSON, i dati di training o di convalida vengono utilizzati dalla colonna denominata text o dalla prima colonna se non esiste alcuna colonna denominata text è stato trovato. Il numero di file in fase di formazione e convalida (se fornito) deve essere pari rispettivamente a 1.

L'output è un modello addestrato che può essere distribuito per l'inferenza.

Di seguito è riportato un esempio di file TXT per la messa a punto del modello di generazione del testo. Il file TXT è la documentazione SEC di Amazon dal 2021 al 2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Messa a punto delle istruzioni

Il modello di generazione del testo può essere ottimizzato con istruzioni su qualsiasi dato di testo purché i dati siano nel formato previsto. Il modello ottimizzato per le istruzioni può essere ulteriormente utilizzato per l'inferenza.

Per l'input, utilizzare una directory di formazione e di convalida opzionale. Le directory train e validation devono contenere uno o più file formattati con righe JSON (.jsonl). In particolare, la directory train può contenere anche un file *.json opzionale che descrive i formati di input e output.

Il modello migliore viene selezionato in base alla perdita di validazione, calcolata alla fine di ogni epoca. Se non viene fornito un set di convalida, una percentuale (modificabile) dei dati di addestramento viene automaticamente divisa e utilizzata per la convalida.

I dati di training devono essere formattati in un formato di righe JSON (.jsonl), in cui ogni riga è un dizionario che rappresenta un singolo campione di dati. Tutti i dati di allenamento devono trovarsi in un'unica cartella; tuttavia, può essere salvato in più file .jsonl. L'estensione del file .jsonl è obbligatoria. La cartella formazione può contenere anche un file template.json file che descrive i formati di input e output. Se non viene fornito alcun file modello, verrà utilizzato il seguente modello:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

In questo caso, i dati nelle voci delle righe JSON devono includere prompt ed completion campi. Se viene fornito un modello personalizzato, è necessario utilizzarlo anche prompt ed completion tasti per definire i modelli di input e output. Di seguito è riportato un modello personalizzato di esempio:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

In questo caso, i dati nelle voci delle righe JSON devono includere il file question, contexte answer campi.

L'output è un modello addestrato che può essere distribuito per l'inferenza.

Forniamo un sottoinsieme di dati depositati presso la SEC di Amazon. Viene scaricato da disponibile al pubblico EDGAR. Per istruzioni su come accedere ai dati, fare riferimento a Accesso ai dati EDGAR.

Licenza: Licenza Creative Commons Attribuzione-Condividi allo stesso modo (CC BY-SA 4.0)

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Grafico Prime. Migliora il tuo gioco di trading con ChartPrime. Accedi qui.
• BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/