Ajuste o Llama 2 para geração de texto no Amazon SageMaker JumpStart | Amazon Web Services

Hoje, temos o prazer de anunciar a capacidade de ajustar os modelos Llama 2 da Meta usando JumpStart do Amazon SageMaker. A família Llama 2 de grandes modelos de linguagem (LLMs) é uma coleção de modelos de texto generativos pré-treinados e ajustados que variam em escala de 7 bilhões a 70 bilhões de parâmetros. LLMs ajustados, chamados Llama-2-chat, são otimizados para casos de uso de diálogo. Você pode experimentar facilmente esses modelos e usá-los com o SageMaker JumpStart, que é um hub de aprendizado de máquina (ML) que fornece acesso a algoritmos, modelos e soluções de ML para que você possa começar a usar o ML rapidamente. Agora você também pode ajustar modelos de geração de texto Llama 7 de 13 bilhões, 70 bilhões e 2 bilhões de parâmetros no SageMaker JumpStart usando o Estúdio Amazon SageMaker UI com apenas alguns cliques ou usando o SageMaker Python SDK.

Os modelos básicos de IA generativa têm sido o foco da maioria das pesquisas e casos de uso de ML e inteligência artificial há mais de um ano. Esses modelos básicos funcionam muito bem com tarefas generativas, como geração de texto, resumo, resposta a perguntas, geração de imagens e vídeos e muito mais, devido ao seu grande tamanho e também porque são treinados em vários conjuntos de dados grandes e centenas de tarefas. Apesar da grande capacidade de generalização destes modelos, muitas vezes existem casos de utilização que possuem dados de domínio muito específicos (como cuidados de saúde ou serviços financeiros), pelo que estes modelos podem não ser capazes de fornecer bons resultados para estes casos de utilização. Isto resulta na necessidade de um maior ajuste desses modelos de IA generativos em relação aos dados específicos do caso de uso e do domínio.

Nesta postagem, explicamos como ajustar os modelos de geração de texto pré-treinados do Llama 2 por meio do SageMaker JumpStart.

O que é Lhama 2

Llama 2 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. Llama 2 destina-se ao uso comercial e de pesquisa em inglês. Ele vem em uma variedade de tamanhos de parâmetros – 7 bilhões, 13 bilhões e 70 bilhões – bem como variações pré-treinadas e ajustadas. De acordo com Meta, as versões ajustadas usam ajuste fino supervisionado (SFT) e aprendizagem por reforço com feedback humano (RLHF) para se alinhar às preferências humanas de utilidade e segurança. O Llama 2 foi pré-treinado em 2 trilhões de tokens de dados de fontes disponíveis publicamente. Os modelos ajustados destinam-se a bate-papo semelhante a um assistente, enquanto os modelos pré-treinados podem ser adaptados para uma variedade de tarefas de geração de linguagem natural. Independentemente de qual versão do modelo um desenvolvedor usa, o guia de uso responsável da Meta pode ajudar a orientar ajustes adicionais que podem ser necessários para personalizar e otimizar os modelos com mitigações de segurança apropriadas.

Atualmente, o Llama 2 está disponível nas seguintes regiões:

• Implantar modelo pré-treinado disponível: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Ajuste e implante o modelo ajustado: “us-east-1”, “us-west-2”,“eu-west-1”

O que é o SageMaker JumpStart

Com o SageMaker JumpStart, os profissionais de ML podem escolher entre uma ampla seleção de modelos básicos disponíveis publicamente. Os profissionais de ML podem implantar modelos básicos para dedicados Amazon Sage Maker instâncias de um ambiente isolado de rede e personalize modelos usando o SageMaker para treinamento e implantação de modelos. Agora você pode descobrir e implantar o Llama 2 com apenas alguns cliques no SageMaker Studio ou programaticamente por meio do SageMaker Python SDK, permitindo derivar o desempenho do modelo e controles MLOps com recursos do SageMaker, como Pipelines Amazon SageMaker, Depurador do Amazon SageMakerou registros de contêiner. O modelo é implantado em um ambiente seguro da AWS e sob seus controles de VPC, ajudando a garantir a segurança dos dados. Além disso, você pode ajustar os modelos de geração de texto pré-treinados do Llama2 7B, 13B e 70B por meio do SageMaker JumpStart.

Ajustar modelos Llama2

Você pode ajustar os modelos usando a UI do SageMaker Studio ou o SageMaker Python SDK. Discutimos ambos os métodos nesta seção.

Ajuste fino sem código por meio da IU do SageMaker Studio

No SageMaker Studio, você pode acessar os modelos Llama 2 via SageMaker JumpStart em Modelos, notebooks e soluções, como mostrado na captura de tela a seguir.

Se você não vir os modelos Llama 2, atualize sua versão do SageMaker Studio desligando e reiniciando. Para obter mais informações sobre atualizações de versão, consulte Desligue e atualize os aplicativos do Studio.

Você também pode encontrar outras quatro variantes de modelo escolhendo Explore todos os modelos de geração de texto ou procurando por lhama na caixa de pesquisa.

Nesta página, você pode apontar para o Serviço de armazenamento simples da Amazon (Amazon S3) que contém os conjuntos de dados de treinamento e validação para ajuste fino. Além disso, você pode definir a configuração de implantação, hiperparâmetros e configurações de segurança para ajuste fino. Você pode então escolher Trem para iniciar o trabalho de treinamento em uma instância do SageMaker ML. A captura de tela anterior mostra a página de ajuste fino do modelo Llama-2 7B; no entanto, você pode ajustar os modelos de geração de texto 13B e 70B Llama 2 usando suas respectivas páginas de modelo de forma semelhante. Para usar os modelos Llama 2, você precisa aceitar o Contrato de Licença de Usuário Final (EULA). Ele aparecerá quando você escolher Trem, conforme mostrado na captura de tela a seguir. Escolher Li e aceito o EULA e AUP para iniciar o trabalho de ajuste fino.

Implantar o modelo

Depois que o modelo for ajustado, você poderá implantá-lo usando a página do modelo no SageMaker JumpStart. A opção de implantar o modelo ajustado aparecerá quando o ajuste fino for concluído, conforme mostrado na captura de tela a seguir.

Ajuste por meio do SageMaker Python SDK

Você também pode ajustar os modelos do Llama 2 usando o SageMaker Python SDK. A seguir está um exemplo de código para ajustar o Llama 2 7B em seu conjunto de dados:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Você pode implantar o modelo ajustado diretamente do estimador:

finetuned_predictor = estimator.deploy()

Você também pode encontrar o código em Ajuste modelos LLaMA 2 no SageMaker JumpStart. Inclui preparação do conjunto de dados, treinamento em seu conjunto de dados personalizado e implantação do modelo ajustado. Ele demonstra o ajuste fino em um subconjunto do conjunto de dados Dolly com exemplos da tarefa de resumo. A seguir está o exemplo de entrada com respostas de ajuste fino e não ajuste fino, juntamente com a resposta da verdade básica:

Entrada para o modelo:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Resposta da verdade fundamental:

Felix Luna died on November 5th, 2009

Resposta do modelo não ajustado:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Resposta do modelo ajustado:

Félix Luna died on November 5th, 2009.nn

Para avaliação comparativa de desempenho de diferentes modelos no conjunto de dados Dolly e Dialogsum, consulte o Comparação de desempenho seção no apêndice no final desta postagem.

Técnica de ajuste fino

Modelos de linguagem como o Llama têm mais de 10 GB ou até 100 GB de tamanho. O ajuste fino de modelos tão grandes requer instâncias com memória CUDA significativamente alta. Além disso, o treinamento desses modelos pode ser muito lento devido ao tamanho do modelo. Portanto, para um ajuste fino eficiente, usamos as seguintes otimizações:

• Adaptação de baixo escalão (LoRA) – Este é um tipo de ajuste fino eficiente de parâmetros (PEFT) para ajuste fino eficiente de modelos grandes. Neste, congelamos todo o modelo e adicionamos apenas um pequeno conjunto de parâmetros ou camadas ajustáveis ​​ao modelo. Por exemplo, em vez de treinar todos os 7 bilhões de parâmetros do Llama 2 7B, podemos ajustar menos de 1% dos parâmetros. Isso ajuda na redução significativa do requisito de memória porque só precisamos armazenar gradientes, estados do otimizador e outras informações relacionadas ao treinamento para apenas 1% dos parâmetros. Além disso, isso auxilia na redução do tempo de treinamento e também dos custos. Para obter mais detalhes sobre este método, consulte LoRA: Adaptação de Baixo Nível de Grandes Modelos de Linguagem.
• Quantização Int8 – Mesmo com otimizações como LoRA, modelos como o Llama 70B ainda são grandes demais para serem treinados. Para diminuir o consumo de memória durante o treinamento, podemos usar a quantização Int8 durante o treinamento. A quantização normalmente reduz a precisão dos tipos de dados de ponto flutuante. Embora isso diminua a memória necessária para armazenar os pesos do modelo, degrada o desempenho devido à perda de informações. A quantização Int8 usa apenas um quarto de precisão, mas não incorre em degradação de desempenho porque não simplesmente elimina os bits. Ele arredonda os dados de um tipo para outro. Para aprender sobre a quantização Int8, consulte LLM.int8(): Multiplicação de matrizes de 8 bits para transformadores em escala.
• Dados totalmente fragmentados paralelos (FSDP) – Este é um tipo de algoritmo de treinamento paralelo de dados que fragmenta os parâmetros do modelo entre trabalhadores paralelos de dados e pode, opcionalmente, descarregar parte da computação de treinamento para as CPUs. Embora os parâmetros sejam fragmentados em diferentes GPUs, o cálculo de cada microlote é local para o trabalhador da GPU. Ele fragmenta os parâmetros de maneira mais uniforme e alcança desempenho otimizado por meio da sobreposição de comunicação e computação durante o treinamento.

A tabela a seguir compara diferentes métodos com os três modelos Llama 2.

Observe que o ajuste fino dos modelos Llama é baseado em scripts fornecidos pelo seguinte GitHub repo.

Formato do conjunto de dados de treinamento

Atualmente, o SageMaker JumpStart oferece suporte a conjuntos de dados em formato de adaptação de domínio e formato de ajuste de instrução. Nesta seção, especificamos um conjunto de dados de exemplo em ambos os formatos. Para mais detalhes, consulte o Formatação do conjunto de dados seção no apêndice.

Formato de adaptação de domínio

O modelo Llama 2 de geração de texto pode ser ajustado em qualquer conjunto de dados específico de domínio. Depois de ajustado no conjunto de dados específico do domínio, espera-se que o modelo gere texto específico do domínio e resolva várias tarefas de PNL nesse domínio específico com solicitações rápidas. Com este conjunto de dados, a entrada consiste em um arquivo CSV, JSON ou TXT. Por exemplo, os dados de entrada podem ser arquivos SEC da Amazon como um arquivo de texto:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Formato de ajuste de instrução

No ajuste fino de instruções, o modelo é ajustado para um conjunto de tarefas de processamento de linguagem natural (PNL) descritas por meio de instruções. Isso ajuda a melhorar o desempenho do modelo para tarefas invisíveis com avisos de disparo zero. No formato de conjunto de dados de ajuste de instrução, você especifica o template.json arquivo que descreve os formatos de entrada e saída. Por exemplo, cada linha do arquivo train.jsonl se parece com o seguinte:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

O arquivo adicional template.json se parece com o seguinte:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Hiperparâmetros compatíveis para treinamento

O ajuste fino do Llama 2 oferece suporte a vários hiperparâmetros, cada um dos quais pode afetar o requisito de memória, a velocidade de treinamento e o desempenho do modelo ajustado:

• época – O número de passagens que o algoritmo de ajuste fino realiza no conjunto de dados de treinamento. Deve ser um número inteiro maior que 1. O padrão é 5.
• taxa de Aprendizagem – A taxa na qual os pesos do modelo são atualizados após trabalhar em cada lote de exemplos de treinamento. Deve ser um valor flutuante positivo maior que 0. O padrão é 1e-4.
• instrução_tuned – Se deve treinar o modelo por instrução ou não. Devemos ser 'True'ou'False'. O padrão é 'False'.
• per_device_train_batch_size – O tamanho do lote por núcleo GPU/CPU para treinamento. Deve ser um número inteiro positivo. O padrão é 4.
• per_device_eval_batch_size – O tamanho do lote por núcleo GPU/CPU para avaliação. Deve ser um número inteiro positivo. O padrão é 1.
• max_train_samples – Para fins de depuração ou treinamento mais rápido, trunque o número de exemplos de treinamento para esse valor. O valor -1 significa usar todas as amostras de treinamento. Deve ser um número inteiro positivo ou -1. O padrão é -1.
• max_val_samples – Para fins de depuração ou treinamento mais rápido, trunque o número de exemplos de validação para esse valor. O valor -1 significa usar todas as amostras de validação. Deve ser um número inteiro positivo ou -1. O padrão é -1.
• max_input_length – Comprimento total máximo da sequência de entrada após tokenização. Sequências maiores que isso serão truncadas. Se -1, max_input_length é definido como o mínimo de 1024 e o comprimento máximo do modelo definido pelo tokenizer. Se definido com um valor positivo, max_input_length é definido para o mínimo do valor fornecido e o model_max_length definido pelo tokenizador. Deve ser um número inteiro positivo ou -1. O padrão é -1.
• validação_split_ratio – Se o canal de validação for none, a proporção da divisão da validação do trem a partir dos dados do trem deve estar entre 0–1. O padrão é 0.2.
• train_data_split_seed – Se os dados de validação não estiverem presentes, isso corrige a divisão aleatória dos dados de treinamento de entrada em dados de treinamento e validação usados ​​pelo algoritmo. Deve ser um número inteiro. O padrão é 0.
• pré-processamento_num_workers – O número de processos a serem usados ​​para pré-processamento. Se None, o processo principal é usado para pré-processamento. O padrão é None.
• lora_r – Lora R. Deve ser um número inteiro positivo. O padrão é 8.
• lora_alpha – Lora Alfa. Deve ser um número inteiro positivo. O padrão é 32
• lora_dropout – Lora Desistente. deve ser um valor flutuante positivo entre 0 e 1. O padrão é 0.05.
• int8_quantização - Se True, o modelo é carregado com precisão de 8 bits para treinamento. O padrão para 7B e 13B é False. O padrão para 70B é True.
• habilitar_fsdp - Se True, o treinamento usa FSDP. O padrão para 7B e 13B é True. O padrão para 70B é False. Observe que int8_quantization não é compatível com FSDP.

Tipos de instância e hiperparâmetros compatíveis

O requisito de memória durante o ajuste fino pode variar com base em vários fatores:

• Tipo de modelo – O modelo 7B tem o menor requisito de memória GPU e o 70B tem o maior requisito de memória
• Comprimento máximo de entrada – Um valor mais alto de comprimento de entrada leva ao processamento de mais tokens por vez e, como tal, requer mais memória CUDA
• Tamanho do batch – Um tamanho de lote maior requer maior memória CUDA e, portanto, requer tipos de instância maiores
• Quantização Int8 – Se estiver usando a quantização Int8, o modelo é carregado com baixa precisão e, portanto, requer menos memória CUDA

Para ajudá-lo a começar, fornecemos um conjunto de combinações de diferentes tipos de instância, hiperparâmetros e tipos de modelo que podem ser ajustados com sucesso. Você pode selecionar uma configuração de acordo com seus requisitos e disponibilidade de tipos de instância. Ajustamos todos os três modelos em uma variedade de configurações com três épocas em um subconjunto do conjunto de dados Dolly com exemplos de resumo.

Modelo 7B

A tabela a seguir resume as opções de ajuste fino no modelo 7B.

13B

A tabela a seguir resume as opções de ajuste fino no modelo 13B.

70B

A tabela a seguir resume as opções de ajuste fino no modelo 70B.

Recomendações sobre tipos de instância e hiperparâmetros

Ao ajustar a precisão do modelo, tenha em mente o seguinte:

• Modelos maiores, como 70B, oferecem melhor desempenho que 7B
• O desempenho sem a quantização Int8 é melhor que o desempenho com a quantização INT8

Observe o seguinte tempo de treinamento e requisitos de memória CUDA:

• Configuração int8_quantization=True diminui a necessidade de memória e leva a um treinamento mais rápido.
• Decrescente per_device_train_batch_size e max_input_length reduz o requisito de memória e, portanto, pode ser executado em instâncias menores. Contudo, definir valores muito baixos pode aumentar o tempo de treino.
• Se você não estiver usando a quantização Int8 (int8_quantization=False), use FSDP (enable_fsdp=True) para um treinamento mais rápido e eficiente.

Ao escolher o tipo de instância, considere o seguinte:

• As instâncias G5 fornecem o treinamento mais eficiente entre os tipos de instância suportados. Portanto, se você tiver instâncias G5 disponíveis, deverá usá-las.
• O tempo de treinamento depende muito da quantidade de GPUs e da memória CUDA disponível. Portanto, o treinamento em instâncias com o mesmo número de GPUs (por exemplo, ml.g5.2xlarge e ml.g5.4xlarge) é praticamente o mesmo. Portanto, você pode usar a instância mais barata para treinamento (ml.g5.2xlarge).
• Ao usar instâncias p3, o treinamento será feito com precisão de 32 bits porque bfloat16 não é compatível com essas instâncias. Portanto, o trabalho de treinamento consumirá o dobro da quantidade de memória CUDA ao treinar em instâncias p3 em comparação com instâncias g5.

Para saber mais sobre o custo do treinamento por instância, consulte Instâncias G2 do Amazon EC5.

Se o conjunto de dados estiver no formato de ajuste de instrução e as sequências de entrada + conclusão forem pequenas (como 50 a 100 palavras), então um valor alto de max_input_length leva a um desempenho muito ruim. O valor padrão deste parâmetro é -1, que corresponde ao max_input_length de 2048 para modelos Llama. Portanto, recomendamos que, se o seu conjunto de dados contiver amostras pequenas, use um valor pequeno para max_input_length (como 200–400).

Por fim, devido à alta demanda das instâncias G5, você poderá enfrentar indisponibilidade dessas instâncias em sua região com o erro “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Se você encontrar esse erro, tente novamente o job de treinamento ou tente uma região diferente.

Problemas ao ajustar modelos muito grandes

Nesta seção, discutimos duas questões ao ajustar modelos muito grandes.

Desativar compactação de saída

Por padrão, a saída de um trabalho de treinamento é um modelo treinado compactado em formato .tar.gz antes de ser carregado no Amazon S3. Porém, devido ao grande tamanho do modelo, essa etapa pode demorar muito. Por exemplo, compactar e carregar o modelo 70B pode levar mais de 4 horas. Para evitar esse problema, você pode usar o recurso de desabilitação de compactação de saída compatível com a plataforma de treinamento SageMaker. Nesse caso, o modelo é carregado sem qualquer compactação, que é posteriormente utilizado para implantação:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problema de tempo limite do kernel do SageMaker Studio

Devido ao tamanho do modelo Llama 70B, o trabalho de treinamento pode levar várias horas e o kernel do SageMaker Studio pode morrer durante a fase de treinamento. No entanto, durante esse período, o treinamento ainda está em execução no SageMaker. Se isso acontecer, você ainda poderá implantar o endpoint usando o nome do trabalho de treinamento com o seguinte código:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Para encontrar o nome do trabalho de treinamento, navegue até o console do SageMaker e em Training no painel de navegação, escolha Trabalhos de treinamento. Identifique o nome do trabalho de treinamento e substitua-o no código anterior.

Conclusão

Nesta postagem, discutimos o ajuste fino dos modelos Llama 2 do Meta usando o SageMaker JumpStart. Mostramos que você pode usar o console SageMaker JumpStart no SageMaker Studio ou o SageMaker Python SDK para ajustar e implantar esses modelos. Também discutimos a técnica de ajuste fino, tipos de instância e hiperparâmetros suportados. Além disso, traçamos recomendações para um treinamento otimizado com base em diversos testes que realizamos. Os resultados do ajuste fino dos três modelos em dois conjuntos de dados são mostrados no apêndice no final desta postagem. Como podemos ver a partir destes resultados, o ajuste fino melhora a sumarização em comparação com modelos não ajustados. Na próxima etapa, você pode tentar ajustar esses modelos em seu próprio conjunto de dados usando o código fornecido no repositório GitHub para testar e comparar os resultados para seus casos de uso.

Os autores gostariam de agradecer as contribuições técnicas de Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne e June Ganho.

Sobre os autores

Vivek Madan é um cientista aplicado da equipe Amazon SageMaker JumpStart. Ele obteve seu doutorado na Universidade de Illinois em Urbana-Champaign e foi pesquisador de pós-doutorado na Georgia Tech. Ele é um pesquisador ativo em aprendizado de máquina e design de algoritmos e publicou artigos em conferências EMNLP, ICLR, COLT, FOCS e SODA.

Dr. Farooq Sabir é arquiteto sênior de soluções de inteligência artificial e aprendizado de máquina da AWS. Ele possui doutorado e mestrado em Engenharia Elétrica pela Universidade do Texas em Austin e mestrado em Ciência da Computação pelo Georgia Institute of Technology. Ele tem mais de 15 anos de experiência profissional e também gosta de ensinar e orientar estudantes universitários. Na AWS, ele ajuda os clientes a formular e resolver seus problemas de negócios em ciência de dados, aprendizado de máquina, visão computacional, inteligência artificial, otimização numérica e domínios relacionados. Com sede em Dallas, Texas, ele e sua família adoram viajar e fazer longas viagens.

Dr. é cientista aplicado sênior do Amazon SageMaker JumpStart e ajuda a desenvolver algoritmos de aprendizado de máquina. Ele obteve seu PhD pela Universidade de Illinois Urbana-Champaign. Ele é um pesquisador ativo em aprendizado de máquina e inferência estatística e publicou muitos artigos em conferências NeurIPS, ICML, ICLR, JMLR, ACL e EMNLP.

Apêndice

Este apêndice fornece informações adicionais sobre benchmarking de desempenho e formatação de conjuntos de dados.

Comparação de desempenho

Nesta seção, fornecemos resultados para o ajuste fino dos três modelos Llama 2 (7B, 13B e 70B) em dois conjuntos de dados diferentes: Boneca e Soma de diálogo. Para o conjunto de dados Dolly, nossa tarefa é resumir um parágrafo de texto, enquanto para Dialogsum estamos ajustando o modelo para resumir uma discussão entre duas pessoas. Nas tabelas a seguir, mostramos a entrada para o modelo (prompt e instruções), a verdade básica (resumo), a resposta do modelo Llama 2 pré-treinado e a resposta do modelo Llama 2 ajustado para cada um dos três Llama 2 modelos. Mostramos resultados de inferência para cinco pontos de dados. Você pode notar nas tabelas a seguir que os resumos melhoram para ambos os conjuntos de dados quando ajustamos os modelos.

• Resultados do ajuste fino do modelo de geração de texto Llama 2 7B no conjunto de dados Dolly:

• Resultados do ajuste fino do modelo de geração de texto Llama 2 13B no conjunto de dados Dolly:

• Resultados do ajuste fino do modelo de geração de texto Llama 2 70B no conjunto de dados Dolly:

• Resultados do ajuste fino do modelo de geração de texto Llama 2 7B no conjunto de dados Dialogsum:

• Resultados do ajuste fino do modelo Llama-2 13B no conjunto de dados Dialogsum:

• Resultados do ajuste fino do modelo Llama 2 70B no conjunto de dados Dialogsum:

Formatação do conjunto de dados

Atualmente oferecemos dois tipos de ajuste fino: ajuste fino de instrução e ajuste fino de adaptação de domínio. Você pode mudar facilmente para um dos métodos de treinamento especificando o parâmetro instruction_tuned Como 'True'ou'False'.

Formato de adaptação de domínio

O modelo de geração de texto também pode ser ajustado em qualquer conjunto de dados específico de domínio. Depois de ajustado no conjunto de dados específico do domínio, espera-se que o modelo gere texto específico do domínio e resolva várias tarefas de PNL nesse domínio específico com solicitações rápidas.

Para entrada no modelo, use um diretório de treinamento e validação opcional. Cada diretório contém um arquivo CSV, JSON ou TXT. Para arquivos CSV e JSON, os dados de treinamento ou validação são usados ​​na coluna chamada texto ou na primeira coluna se nenhuma coluna chamada text seja encontrado. O número de arquivos em treinamento e validação (se fornecido) deve ser igual a 1, respectivamente.

A saída é um modelo treinado que pode ser implantado para inferência.

A seguir está um exemplo de arquivo TXT para ajuste fino do modelo de geração de texto. O arquivo TXT são registros SEC da Amazon de 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Ajuste fino de instrução

O modelo de geração de texto pode ser ajustado por instrução em qualquer dado de texto, desde que os dados estejam no formato esperado. O modelo ajustado por instrução pode ser posteriormente implantado para inferência.

Para entrada, use um diretório de treinamento e validação opcional. Os diretórios de treinamento e validação devem conter um ou vários arquivos formatados em linhas JSON (.jsonl). Em particular, o diretório train também pode conter um arquivo *.json opcional que descreve os formatos de entrada e saída.

O melhor modelo é selecionado de acordo com a perda de validação, calculada ao final de cada época. Se um conjunto de validação não for fornecido, uma porcentagem (ajustável) dos dados de treinamento será automaticamente dividida e usada para validação.

Os dados de treinamento devem ser formatados em formato de linhas JSON (.jsonl), onde cada linha é um dicionário que representa uma única amostra de dados. Todos os dados de treinamento devem estar em uma única pasta; no entanto, ele pode ser salvo em vários arquivos .jsonl. A extensão do arquivo .jsonl é obrigatória. A pasta de treinamento também pode conter um template.json arquivo que descreve os formatos de entrada e saída. Se nenhum arquivo de modelo for fornecido, o seguinte modelo será usado:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

Nesse caso, os dados nas entradas de linhas JSON devem incluir prompt e completion Campos. Se um modelo personalizado for fornecido, ele também deverá usar prompt e completion teclas para definir os modelos de entrada e saída. A seguir está um exemplo de modelo personalizado:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Aqui, os dados nas entradas de linhas JSON devem incluir o question, context e answer campos.

A saída é um modelo treinado que pode ser implantado para inferência.

Fornecemos um subconjunto de dados de registros SEC da Amazon. Ele é baixado de disponível publicamente EDGAR. Para obter instruções sobre como acessar os dados, consulte Acessando Dados EDGAR.

Licença: Licença Creative Commons Atribuição-Compartilhamento pela mesma Licença (CC BY-SA 4.0)

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• ChartPrime. Eleve seu jogo de negociação com ChartPrime. Acesse aqui.
• BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/