Ajuste Llama 2 para la generación de texto en Amazon SageMaker JumpStart | Servicios web de Amazon

Hoy, nos complace anunciar la capacidad de ajustar los modelos Llama 2 mediante Meta usando JumpStart de Amazon SageMaker. La familia Llama 2 de modelos de lenguaje grande (LLM) es una colección de modelos de texto generativo previamente entrenados y ajustados que varían en escala de 7 mil millones a 70 mil millones de parámetros. Los LLM perfeccionados, llamados Llama-2-chat, están optimizados para casos de uso de diálogo. Puede probar fácilmente estos modelos y usarlos con SageMaker JumpStart, que es un centro de aprendizaje automático (ML) que brinda acceso a algoritmos, modelos y soluciones de ML para que pueda comenzar rápidamente con ML. Ahora también puede ajustar los modelos de generación de texto de Llama 7 con 13 mil millones, 70 mil millones y 2 mil millones de parámetros en SageMaker JumpStart usando el Estudio Amazon SageMaker UI con unos pocos clics o usando el SDK de SageMaker Python.

Los modelos básicos de IA generativa han sido el foco de la mayoría de las investigaciones y casos de uso de ML e inteligencia artificial durante más de un año. Estos modelos básicos funcionan muy bien con tareas generativas, como generación de texto, resúmenes, respuesta a preguntas, generación de imágenes y videos, y más, debido a su gran tamaño y también porque están entrenados en varios conjuntos de datos grandes y cientos de tareas. A pesar de las grandes capacidades de generalización de estos modelos, a menudo hay casos de uso que tienen datos de dominio muy específicos (como atención médica o servicios financieros), por lo que es posible que estos modelos no puedan proporcionar buenos resultados para estos casos de uso. Esto resulta en la necesidad de seguir ajustando estos modelos de IA generativa sobre los datos específicos del caso de uso y del dominio.

En esta publicación, explicamos cómo ajustar los modelos de generación de texto previamente entrenados de Llama 2 a través de SageMaker JumpStart.

¿Qué es Llama 2?

Llama 2 es un modelo de lenguaje autorregresivo que utiliza una arquitectura de transformador optimizada. Llama 2 está diseñado para uso comercial y de investigación en inglés. Viene en una variedad de tamaños de parámetros: 7 mil millones, 13 mil millones y 70 mil millones, así como variaciones preentrenadas y ajustadas. Según Meta, las versiones ajustadas utilizan ajuste fino supervisado (SFT) y aprendizaje reforzado con retroalimentación humana (RLHF) para alinearse con las preferencias humanas en cuanto a utilidad y seguridad. Llama 2 fue entrenado previamente en 2 billones de tokens de datos de fuentes disponibles públicamente. Los modelos ajustados están destinados a un chat similar al de un asistente, mientras que los modelos previamente entrenados se pueden adaptar para una variedad de tareas de generación de lenguaje natural. Independientemente de la versión del modelo que utilice un desarrollador, el guía de uso responsable de Meta puede ayudar a guiar los ajustes adicionales que pueden ser necesarios para personalizar y optimizar los modelos con las mitigaciones de seguridad adecuadas.

Actualmente, Llama 2 está disponible en las siguientes regiones:

• Implemente el modelo previamente entrenado disponible: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Ajuste e implemente el modelo ajustado: “us-east-1”, “us-west-2”,“eu-west-1”

¿Qué es SageMaker JumpStart?

Con SageMaker JumpStart, los profesionales del aprendizaje automático pueden elegir entre una amplia selección de modelos básicos disponibles públicamente. Los profesionales del aprendizaje automático pueden implementar modelos básicos en sitios dedicados. Amazon SageMaker instancias desde un entorno aislado de red y personalice modelos utilizando SageMaker para el entrenamiento e implementación de modelos. Ahora puede descubrir e implementar Llama 2 con unos pocos clics en SageMaker Studio o mediante programación a través del SDK de Python de SageMaker, lo que le permite obtener el rendimiento del modelo y controles MLOps con funciones de SageMaker como Canalizaciones de Amazon SageMaker, Depurador de Amazon SageMakero registros de contenedor. El modelo se implementa en un entorno seguro de AWS y bajo los controles de su VPC, lo que ayuda a garantizar la seguridad de los datos. Además, puede ajustar los modelos de generación de texto previamente entrenados de Llama2 7B, 13B y 70B a través de SageMaker JumpStart.

Afinar los modelos Llama2

Puede ajustar los modelos utilizando la interfaz de usuario de SageMaker Studio o el SDK de SageMaker Python. Analizamos ambos métodos en esta sección.

Ajuste fino sin código a través de la interfaz de usuario de SageMaker Studio

En SageMaker Studio, puede acceder a los modelos Llama 2 a través de SageMaker JumpStart en Modelos, cuadernos y soluciones., como se muestra en la siguiente captura de pantalla.

Si no ve los modelos de Llama 2, actualice su versión de SageMaker Studio apagándolo y reiniciándolo. Para obtener más información sobre las actualizaciones de versión, consulte Cierre y actualice las aplicaciones de Studio.

También puede encontrar otras cuatro variantes de modelo eligiendo Explore todos los modelos de generación de texto o buscando llama en el cuadro de búsqueda.

En esta página, puede señalar el Servicio de almacenamiento simple de Amazon (Amazon S3) depósito que contiene los conjuntos de datos de entrenamiento y validación para realizar ajustes. Además, puede configurar la configuración de implementación, los hiperparámetros y la configuración de seguridad para realizar ajustes. Luego puedes elegir Entrenar para iniciar el trabajo de capacitación en una instancia de SageMaker ML. La captura de pantalla anterior muestra la página de ajuste fino del modelo Llama-2 7B; sin embargo, puede ajustar los modelos de generación de texto 13B y 70B Llama 2 utilizando sus respectivas páginas de modelos de manera similar. Para utilizar los modelos Llama 2, debe aceptar el Acuerdo de licencia de usuario final (EULA). Aparecerá cuando tú elijas Entrenar, como se muestra en la siguiente captura de pantalla. Elegir He leído y acepto EULA y AUP para comenzar el trabajo de ajuste.

Implementar el modelo

Una vez que el modelo esté ajustado, puede implementarlo usando la página del modelo en SageMaker JumpStart. La opción para implementar el modelo ajustado aparecerá cuando finalice el ajuste, como se muestra en la siguiente captura de pantalla.

Ajuste a través del SDK de SageMaker Python

También puede ajustar los modelos de Llama 2 utilizando el SDK de SageMaker Python. El siguiente es un código de muestra para ajustar Llama 2 7B en su conjunto de datos:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Puede implementar el modelo ajustado directamente desde el estimador:

finetuned_predictor = estimator.deploy()

También puedes encontrar el código en Ajuste los modelos LLaMA 2 en SageMaker JumpStart. Incluye la preparación del conjunto de datos, la capacitación en su conjunto de datos personalizado y la implementación del modelo ajustado. Demuestra el ajuste de un subconjunto del conjunto de datos de Dolly con ejemplos de la tarea de resumen. La siguiente es la entrada de ejemplo con respuestas de ajuste fino y no ajustado junto con la respuesta de verdad fundamental:

Entrada al modelo:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Respuesta de Ground Truth:

Felix Luna died on November 5th, 2009

Respuesta del modelo no afinado:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Respuesta del modelo ajustado:

Félix Luna died on November 5th, 2009.nn

Para realizar una evaluación comparativa del rendimiento de diferentes modelos en el conjunto de datos Dolly y Dialogsum, consulte la Benchmarking de rendimiento sección en el apéndice al final de esta publicación.

Técnica de ajuste fino

Los modelos de idiomas como Llama tienen un tamaño de más de 10 GB o incluso 100 GB. Para ajustar modelos tan grandes se requieren instancias con una memoria CUDA significativamente alta. Además, el entrenamiento de estos modelos puede resultar muy lento debido al tamaño del modelo. Por lo tanto, para un ajuste fino eficiente, utilizamos las siguientes optimizaciones:

• Adaptación de bajo rango (LoRA) – Este es un tipo de ajuste fino eficiente de parámetros (PEFT) para un ajuste fino eficiente de modelos grandes. En esto, congelamos todo el modelo y solo agregamos un pequeño conjunto de parámetros o capas ajustables al modelo. Por ejemplo, en lugar de entrenar los 7 mil millones de parámetros para Llama 2 7B, podemos ajustar menos del 1% de los parámetros. Esto ayuda a reducir significativamente el requisito de memoria porque solo necesitamos almacenar gradientes, estados del optimizador y otra información relacionada con el entrenamiento para solo el 1% de los parámetros. Además, esto ayuda a reducir el tiempo de formación y el coste. Para obtener más detalles sobre este método, consulte LoRA: Adaptación de bajo rango de modelos de lenguaje grande.
• Cuantización Int8 – Incluso con optimizaciones como LoRA, modelos como Llama 70B siguen siendo demasiado grandes para entrenar. Para disminuir la huella de memoria durante el entrenamiento, podemos usar la cuantificación Int8 durante el entrenamiento. La cuantificación normalmente reduce la precisión de los tipos de datos de punto flotante. Aunque esto reduce la memoria necesaria para almacenar los pesos de los modelos, degrada el rendimiento debido a la pérdida de información. La cuantificación Int8 utiliza sólo un cuarto de precisión, pero no provoca una degradación del rendimiento porque no simplemente elimina los bits. Redondea los datos de un tipo a otro. Para obtener más información sobre la cuantización Int8, consulte LLM.int8(): Multiplicación de matrices de 8 bits para transformadores a escala.
• Datos paralelos completamente fragmentados (FSDP) – Este es un tipo de algoritmo de entrenamiento de datos paralelos que fragmenta los parámetros del modelo entre trabajadores de datos paralelos y, opcionalmente, puede descargar parte del cálculo de entrenamiento a las CPU. Aunque los parámetros están divididos en diferentes GPU, el cálculo de cada microlote es local para el trabajador de la GPU. Fragmenta los parámetros de manera más uniforme y logra un rendimiento optimizado mediante la superposición de la comunicación y el cálculo durante el entrenamiento.

La siguiente tabla compara diferentes métodos con los tres modelos Llama 2.

Tenga en cuenta que el ajuste fino de los modelos Llama se basa en scripts proporcionados por lo siguiente Repositorio GitHub.

Formato del conjunto de datos de entrenamiento

SageMaker JumpStart actualmente admite conjuntos de datos tanto en formato de adaptación de dominio como en formato de ajuste de instrucciones. En esta sección, especificamos un conjunto de datos de ejemplo en ambos formatos. Para obtener más detalles, consulte la Formato del conjunto de datos sección del apéndice.

Formato de adaptación de dominio

El modelo Llama 2 de generación de texto se puede ajustar en cualquier conjunto de datos específico de un dominio. Después de ajustar el conjunto de datos específico del dominio, se espera que el modelo genere texto específico del dominio y resuelva varias tareas de PNL en ese dominio específico con pocas indicaciones. Con este conjunto de datos, la entrada consta de un archivo CSV, JSON o TXT. Por ejemplo, los datos de entrada pueden ser presentaciones ante la SEC de Amazon como un archivo de texto:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Formato de ajuste de instrucciones

En el ajuste de instrucciones, el modelo se ajusta para un conjunto de tareas de procesamiento del lenguaje natural (PNL) descritas mediante instrucciones. Esto ayuda a mejorar el rendimiento del modelo para tareas invisibles con indicaciones de disparo cero. En el formato de conjunto de datos de ajuste de instrucciones, usted especifica el template.json archivo que describe los formatos de entrada y salida. Por ejemplo, cada línea del archivo train.jsonl se parece a lo siguiente:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

El archivo adicional template.json se parece a lo siguiente:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Hiperparámetros admitidos para el entrenamiento

El ajuste fino de Llama 2 admite una serie de hiperparámetros, cada uno de los cuales puede afectar los requisitos de memoria, la velocidad de entrenamiento y el rendimiento del modelo ajustado:

• época – El número de pasadas que realiza el algoritmo de ajuste fino a través del conjunto de datos de entrenamiento. Debe ser un número entero mayor que 1. El valor predeterminado es 5.
• tasa de aprendizaje – La velocidad a la que se actualizan los pesos del modelo después de trabajar en cada lote de ejemplos de entrenamiento. Debe ser un valor flotante positivo mayor que 0. El valor predeterminado es 1e-4.
• instrucción_afinada – Si se debe entrenar el modelo mediante instrucciones o no. Debe ser 'True'o'False'. El valor predeterminado es 'False'.
• por_dispositivo_tren_batch_size – El tamaño del lote por núcleo de GPU/CPU para entrenamiento. Debe ser un número entero positivo. El valor predeterminado es 4.
• per_device_eval_batch_size – El tamaño del lote por núcleo de GPU/CPU para evaluación. Debe ser un número entero positivo. El valor predeterminado es 1.
• max_train_samples – Para fines de depuración o capacitación más rápida, trunque la cantidad de ejemplos de capacitación a este valor. El valor -1 significa utilizar todas las muestras de entrenamiento. Debe ser un número entero positivo o -1. El valor predeterminado es -1.
• max_val_samples – Para fines de depuración o capacitación más rápida, trunque el número de ejemplos de validación a este valor. El valor -1 significa utilizar todas las muestras de validación. Debe ser un número entero positivo o -1. El valor predeterminado es -1.
• longitud_entrada_max – Longitud máxima total de la secuencia de entrada después de la tokenización. Las secuencias más largas se truncarán. Si -1, max_input_length se establece en el mínimo de 1024 y la longitud máxima del modelo definida por el tokenizador. Si se establece en un valor positivo, max_input_length se establece en el mínimo del valor proporcionado y el model_max_length definido por el tokenizador. Debe ser un número entero positivo o -1. El valor predeterminado es -1.
• relación_división_validación – Si el canal de validación es none, la proporción de división de validación del tren a partir de los datos del tren debe estar entre 0 y 1. El valor predeterminado es 0.2.
• tren_datos_split_seed – Si los datos de validación no están presentes, esto corrige la división aleatoria de los datos de entrenamiento de entrada en los datos de entrenamiento y validación utilizados por el algoritmo. Debe ser un entero. El valor predeterminado es 0.
• preprocesamiento_num_trabajadores – El número de procesos que se utilizarán para el preprocesamiento. Si None, el proceso principal se utiliza para el preprocesamiento. El valor predeterminado es None.
• lora_r – Lora R. Debe ser un número entero positivo. El valor predeterminado es 8.
• lora_alfa – Lora Alfa. Debe ser un número entero positivo. El valor predeterminado es 32
• lora_dropout – Lora Abandono. debe ser un valor flotante positivo entre 0 y 1. El valor predeterminado es 0.05.
• int8_cuantización - Si True, el modelo se carga con precisión de 8 bits para entrenamiento. El valor predeterminado para 7B y 13B es False. El valor predeterminado para 70B es True.
• habilitar_fsdp - Si True, el entrenamiento utiliza FSDP. El valor predeterminado para 7B y 13B es True. El valor predeterminado para 70B es False. Tenga en cuenta que int8_quantization no es compatible con FSDP.

Tipos de instancias e hiperparámetros compatibles

El requisito de memoria durante el ajuste fino puede variar según varios factores:

• Tipo de modelo – El modelo 7B tiene el menor requisito de memoria GPU y el 70B tiene el mayor requisito de memoria
• Longitud máxima de entrada – Un valor más alto de longitud de entrada lleva a procesar más tokens a la vez y, como tal, requiere más memoria CUDA
• Tamaño del lote – Un tamaño de lote mayor requiere mayor memoria CUDA y, por lo tanto, requiere tipos de instancias más grandes
• Cuantización Int8 – Si se utiliza la cuantificación Int8, el modelo se carga con baja precisión y, por lo tanto, requiere menos memoria CUDA.

Para ayudarlo a comenzar, proporcionamos un conjunto de combinaciones de diferentes tipos de instancias, hiperparámetros y tipos de modelos que se pueden ajustar con éxito. Puede seleccionar una configuración según sus requisitos y la disponibilidad de los tipos de instancia. Ajustamos los tres modelos en una variedad de configuraciones con tres épocas en un subconjunto del conjunto de datos de Dolly con ejemplos de resumen.

modelo 7B

La siguiente tabla resume las opciones de ajuste en el modelo 7B.

13B

La siguiente tabla resume las opciones de ajuste en el modelo 13B.

70B

La siguiente tabla resume las opciones de ajuste en el modelo 70B.

Recomendaciones sobre tipos de instancias e hiperparámetros

Al ajustar la precisión del modelo, tenga en cuenta lo siguiente:

• Los modelos más grandes, como el 70B, ofrecen un mejor rendimiento que el 7B
• El rendimiento sin cuantificación Int8 es mejor que el rendimiento con cuantificación INT8

Tenga en cuenta los siguientes requisitos de tiempo de entrenamiento y memoria CUDA:

• Fijar int8_quantization=True Disminuye la necesidad de memoria y conduce a un entrenamiento más rápido.
• Decreciente per_device_train_batch_size y max_input_length reduce el requisito de memoria y, por lo tanto, se puede ejecutar en instancias más pequeñas. Sin embargo, establecer valores muy bajos puede aumentar el tiempo de entrenamiento.
• Si no estás usando la cuantización Int8 (int8_quantization=False), utilice FSDP (enable_fsdp=True) para un entrenamiento más rápido y eficiente.

Al elegir el tipo de instancia, considere lo siguiente:

• Las instancias G5 brindan la capacitación más eficiente entre los tipos de instancias admitidos. Por lo tanto, si tienes instancias G5 disponibles, debes usarlas.
• El tiempo de entrenamiento depende en gran medida de la cantidad de GPU y de la memoria CUDA disponible. Por lo tanto, el entrenamiento en instancias con la misma cantidad de GPU (por ejemplo, ml.g5.2xlarge y ml.g5.4xlarge) es aproximadamente el mismo. Por lo tanto, puede utilizar la instancia más económica para entrenar (ml.g5.2xlarge).
• Cuando se utilizan instancias p3, el entrenamiento se realizará con una precisión de 32 bits porque bfloat16 no es compatible con estas instancias. Por lo tanto, el trabajo de entrenamiento consumirá el doble de memoria CUDA cuando se entrena en instancias p3 en comparación con instancias g5.

Para conocer el costo de la capacitación por instancia, consulte Instancias de Amazon EC2 G5.

Si el conjunto de datos está en formato de ajuste de instrucciones y las secuencias de entrada y finalización son pequeñas (como 50 a 100 palabras), entonces un valor alto de max_input_length conduce a un rendimiento muy pobre. El valor predeterminado de este parámetro es -1, que corresponde al max_input_length de 2048 para los modelos Llama. Por lo tanto, recomendamos que si su conjunto de datos contiene muestras pequeñas, utilice un valor pequeño para max_input_length (como 200–400).

Por último, debido a la gran demanda de las instancias G5, es posible que experimente falta de disponibilidad de estas instancias en su región con el error “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Si experimenta este error, vuelva a intentar realizar el trabajo de capacitación o pruebe con una región diferente.

Problemas al ajustar modelos muy grandes

En esta sección, analizamos dos cuestiones a la hora de ajustar modelos muy grandes.

Deshabilitar la compresión de salida

De forma predeterminada, el resultado de un trabajo de entrenamiento es un modelo entrenado que se comprime en formato .tar.gz antes de cargarlo en Amazon S3. Sin embargo, debido al gran tamaño del modelo, este paso puede llevar mucho tiempo. Por ejemplo, comprimir y cargar el modelo 70B puede llevar más de 4 horas. Para evitar este problema, puede utilizar la función deshabilitar la compresión de salida admitida por la plataforma de capacitación SageMaker. En este caso, el modelo se carga sin ningún tipo de compresión, que se utiliza posteriormente para la implementación:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problema de tiempo de espera del kernel de SageMaker Studio

Debido al tamaño del modelo Llama 70B, el trabajo de capacitación puede tardar varias horas y el kernel de SageMaker Studio puede morir durante la fase de capacitación. Sin embargo, durante este tiempo, la capacitación todavía se ejecuta en SageMaker. Si esto sucede, aún puede implementar el punto final usando el nombre del trabajo de capacitación con el siguiente código:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Para encontrar el nombre del trabajo de capacitación, navegue hasta la consola de SageMaker y en Formación en el panel de navegación, elija Empleos de entrenamiento. Identifique el nombre del trabajo de capacitación y sustitúyalo en el código anterior.

Conclusión

En esta publicación, discutimos el ajuste de los modelos Llama 2 de Meta usando SageMaker JumpStart. Mostramos que puede usar la consola SageMaker JumpStart en SageMaker Studio o el SDK de SageMaker Python para ajustar e implementar estos modelos. También analizamos la técnica de ajuste, los tipos de instancias y los hiperparámetros admitidos. Además, describimos recomendaciones para una capacitación optimizada basadas en varias pruebas que realizamos. Los resultados del ajuste de los tres modelos en dos conjuntos de datos se muestran en el apéndice al final de esta publicación. Como podemos ver en estos resultados, el ajuste fino mejora el resumen en comparación con los modelos no ajustados. Como siguiente paso, puede intentar ajustar estos modelos en su propio conjunto de datos utilizando el código proporcionado en el repositorio de GitHub para probar y comparar los resultados para sus casos de uso.

Los autores desean agradecer las contribuciones técnicas de Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne y June. Ganado.

Acerca de los autores

Dr. Vivek Madan es un científico aplicado del equipo JumpStart de Amazon SageMaker. Obtuvo su doctorado en la Universidad de Illinois en Urbana-Champaign y fue investigador posdoctoral en Georgia Tech. Es un investigador activo en aprendizaje automático y diseño de algoritmos y ha publicado artículos en conferencias EMNLP, ICLR, COLT, FOCS y SODA.

Dr. Farooq Sabir es arquitecto sénior de soluciones especialista en inteligencia artificial y aprendizaje automático en AWS. Tiene un doctorado y una maestría en ingeniería eléctrica de la Universidad de Texas en Austin y una maestría en informática del Instituto de Tecnología de Georgia. Tiene más de 15 años de experiencia laboral y también le gusta enseñar y asesorar a estudiantes universitarios. En AWS, ayuda a los clientes a formular y resolver sus problemas comerciales en ciencia de datos, aprendizaje automático, visión artificial, inteligencia artificial, optimización numérica y dominios relacionados. Con sede en Dallas, Texas, a él y a su familia les encanta viajar y hacer viajes largos por carretera.

Dr. Ashish Khetan es un científico aplicado sénior de Amazon SageMaker JumpStart y ayuda a desarrollar algoritmos de aprendizaje automático. Obtuvo su doctorado en la Universidad de Illinois Urbana-Champaign. Es un investigador activo en aprendizaje automático e inferencia estadística, y ha publicado muchos artículos en conferencias NeurIPS, ICML, ICLR, JMLR, ACL y EMNLP.

Apéndice

Este apéndice proporciona información adicional sobre evaluaciones comparativas de rendimiento y formato de conjuntos de datos.

Benchmarking de rendimiento

En esta sección, proporcionamos resultados para ajustar los tres modelos Llama 2 (7B, 13B y 70B) en dos conjuntos de datos diferentes: Muñequita y suma de diálogo. Para el conjunto de datos Dolly, nuestra tarea es resumir un párrafo de texto, mientras que para Dialogsum, estamos ajustando el modelo para resumir una discusión entre dos personas. En las siguientes tablas, mostramos la entrada al modelo (indicaciones e instrucciones), la verdad fundamental (resumen), la respuesta del modelo Llama 2 previamente entrenado y la respuesta del modelo Llama 2 ajustado para cada una de las tres Llama. 2 modelos. Mostramos resultados de inferencia para cinco puntos de datos. Puede observar en las siguientes tablas que los resúmenes mejoran para ambos conjuntos de datos cuando ajustamos los modelos.

• Resultados del ajuste del modelo de generación de texto Llama 2 7B en el conjunto de datos Dolly:

• Resultados del ajuste del modelo de generación de texto Llama 2 13B en el conjunto de datos Dolly:

• Resultados del ajuste del modelo de generación de texto Llama 2 70B en el conjunto de datos Dolly:

• Resultados para ajustar el modelo de generación de texto Llama 2 7B en el conjunto de datos Dialogsum:

• Resultados del ajuste del modelo Llama-2 13B en el conjunto de datos Dialogsum:

• Resultados del ajuste del modelo Llama 2 70B en el conjunto de datos Dialogsum:

Formato del conjunto de datos

Actualmente ofrecemos dos tipos de ajuste: ajuste de instrucciones y ajuste de adaptación de dominio. Puede cambiar fácilmente a uno de los métodos de entrenamiento especificando el parámetro instruction_tuned como 'True'o'False'.

Formato de adaptación de dominio

El modelo de generación de texto también se puede ajustar en cualquier conjunto de datos específico de un dominio. Después de ajustar el conjunto de datos específico del dominio, se espera que el modelo genere texto específico del dominio y resuelva varias tareas de PNL en ese dominio específico con pocas indicaciones.

Para ingresar al modelo, utilice un directorio de capacitación y validación opcional. Cada directorio contiene un archivo CSV, JSON o TXT. Para archivos CSV y JSON, los datos de entrenamiento o validación se utilizan de la columna llamada texto o de la primera columna si no hay ninguna columna llamada text es encontrado. El número de archivos en preparación y validación (si se proporciona) debe ser igual a 1, respectivamente.

El resultado es un modelo entrenado que se puede implementar para realizar inferencias.

El siguiente es un ejemplo de un archivo TXT para ajustar el modelo de generación de texto. El archivo TXT son presentaciones ante la SEC de Amazon de 2021 a 2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Ajuste de instrucciones

El modelo de generación de texto se puede ajustar mediante instrucciones en cualquier dato de texto, siempre que los datos estén en el formato esperado. El modelo ajustado a instrucciones se puede implementar aún más para realizar inferencias.

Para obtener información, utilice un directorio de capacitación y validación opcional. Los directorios de entrenamiento y validación deben contener uno o varios archivos con formato de líneas JSON (.jsonl). En particular, el directorio train también puede contener un archivo *.json opcional que describe los formatos de entrada y salida.

El mejor modelo se selecciona según la pérdida de validación, calculada al final de cada época. Si no se proporciona un conjunto de validación, un porcentaje (ajustable) de los datos de entrenamiento se divide automáticamente y se utiliza para la validación.

Los datos de entrenamiento deben tener el formato de líneas JSON (.jsonl), donde cada línea es un diccionario que representa una única muestra de datos. Todos los datos de entrenamiento deben estar en una sola carpeta; sin embargo, se puede guardar en varios archivos .jsonl. La extensión de archivo .jsonl es obligatoria. La carpeta de formación también puede contener un template.json archivo que describe los formatos de entrada y salida. Si no se proporciona ningún archivo de plantilla, se utilizará la siguiente plantilla:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

En este caso, los datos en las entradas de líneas JSON deben incluir prompt y completion campos. Si se proporciona una plantilla personalizada, también debe usar prompt y completion Teclas para definir las plantillas de entrada y salida. La siguiente es una plantilla personalizada de muestra:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Aquí, los datos en las entradas de líneas JSON deben incluir el question, contexty answer campos.

El resultado es un modelo entrenado que se puede implementar para realizar inferencias.

Proporcionamos un subconjunto de datos de presentaciones ante la SEC de Amazon. Se descarga de disponible públicamente. EDGAR. Para obtener instrucciones sobre cómo acceder a los datos, consulte Acceso a los datos de EDGAR.

Licencia: Licencia Creative Commons Atribución-CompartirIgual (CC BY-SA 4.0)

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• ChartPrime. Eleve su juego comercial con ChartPrime. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/