Affinez Llama 2 pour la génération de texte sur Amazon SageMaker JumpStart | Services Web Amazon

Aujourd'hui, nous sommes ravis d'annoncer la possibilité d'affiner les modèles Llama 2 par Meta en utilisant Amazon SageMaker JumpStart. La famille Llama 2 de grands modèles de langage (LLM) est une collection de modèles de texte génératifs pré-entraînés et affinés dont l'échelle varie de 7 milliards à 70 milliards de paramètres. Les LLM affinés, appelés Llama-2-chat, sont optimisés pour les cas d'utilisation de dialogue. Vous pouvez facilement essayer ces modèles et les utiliser avec SageMaker JumpStart, qui est un hub d'apprentissage automatique (ML) qui donne accès à des algorithmes, des modèles et des solutions ML afin que vous puissiez rapidement démarrer avec le ML. Vous pouvez désormais également affiner les modèles de génération de texte Llama 7 de 13 milliards, 70 milliards et 2 milliards de paramètres sur SageMaker JumpStart à l'aide de l'outil Amazon SageMakerStudio UI en quelques clics ou en utilisant le SDK SageMaker Python.

Les modèles de base de l’IA générative sont au centre de la plupart des recherches et des cas d’utilisation du ML et de l’intelligence artificielle depuis plus d’un an maintenant. Ces modèles de base fonctionnent très bien avec les tâches génératives, telles que la génération de texte, le résumé, la réponse aux questions, la génération d'images et de vidéos, etc., en raison de leur grande taille et également parce qu'ils sont formés sur plusieurs grands ensembles de données et des centaines de tâches. Malgré les grandes capacités de généralisation de ces modèles, il existe souvent des cas d'utilisation comportant des données de domaine très spécifiques (comme les soins de santé ou les services financiers), c'est pourquoi ces modèles peuvent ne pas être en mesure de fournir de bons résultats pour ces cas d'utilisation. Il en résulte la nécessité d’affiner davantage ces modèles d’IA génératifs sur les données spécifiques au cas d’utilisation et au domaine.

Dans cet article, nous expliquons comment affiner les modèles de génération de texte pré-entraînés de Llama 2 via SageMaker JumpStart.

Qu'est-ce que le lama 2

Llama 2 est un modèle de langage auto-régressif qui utilise une architecture de transformateur optimisée. Llama 2 est destiné à un usage commercial et de recherche en anglais. Il est disponible dans une gamme de tailles de paramètres - 7 milliards, 13 milliards et 70 milliards - ainsi que des variations pré-formées et affinées. Selon Meta, les versions optimisées utilisent un réglage fin supervisé (SFT) et un apprentissage par renforcement avec rétroaction humaine (RLHF) pour s'aligner sur les préférences humaines en matière d'utilité et de sécurité. Llama 2 a été pré-formé sur 2 billions de jetons de données provenant de sources accessibles au public. Les modèles optimisés sont destinés au chat de type assistant, tandis que les modèles pré-formés peuvent être adaptés à une variété de tâches de génération de langage naturel. Quelle que soit la version du modèle utilisée par un développeur, la guide d'utilisation responsable de Meta peut aider à guider les ajustements supplémentaires qui peuvent être nécessaires pour personnaliser et optimiser les modèles avec des mesures d'atténuation de sécurité appropriées.

Actuellement, Llama 2 est disponible dans les régions suivantes :

• Déployer le modèle pré-entraîné disponible : "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Affinez et déployez le modèle affiné : “us-east-1”, “us-west-2”,“eu-west-1”

Qu'est-ce que SageMaker JumpStart

Avec SageMaker JumpStart, les praticiens du ML peuvent choisir parmi une large sélection de modèles de fondation accessibles au public. Les praticiens du ML peuvent déployer des modèles de base sur des sites dédiés. Amazon Sage Maker instances à partir d'un environnement isolé en réseau et personnalisez les modèles à l'aide de SageMaker pour la formation et le déploiement des modèles. Vous pouvez désormais découvrir et déployer Llama 2 en quelques clics dans SageMaker Studio ou par programmation via le SDK SageMaker Python, vous permettant de dériver les performances du modèle et les contrôles MLOps avec les fonctionnalités de SageMaker telles que Pipelines Amazon SageMaker, Débogueur Amazon SageMakerou les journaux de conteneur. Le modèle est déployé dans un environnement sécurisé AWS et sous les contrôles de votre VPC, contribuant ainsi à garantir la sécurité des données. De plus, vous pouvez affiner les modèles de génération de texte pré-entraînés Llama2 7B, 13B et 70B via SageMaker JumpStart.

Affiner les modèles Llama2

Vous pouvez affiner les modèles à l'aide de l'interface utilisateur de SageMaker Studio ou du SDK SageMaker Python. Nous discutons des deux méthodes dans cette section.

Ajustement sans code via l'interface utilisateur de SageMaker Studio

Dans SageMaker Studio, vous pouvez accéder aux modèles Llama 2 via SageMaker JumpStart sous Modèles, cahiers et solutions, comme illustré dans la capture d'écran suivante.

Si vous ne voyez pas les modèles Llama 2, mettez à jour votre version de SageMaker Studio en arrêtant et en redémarrant. Pour plus d'informations sur les mises à jour de version, reportez-vous à Arrêter et mettre à jour les applications Studio.

Vous pouvez également trouver quatre autres variantes de modèle en choisissant Explorer tous les modèles de génération de texte ou en recherchant Lama dans le champ de recherche.

Sur cette page, vous pouvez pointer vers le Service de stockage simple Amazon (Amazon S3) contenant les ensembles de données de formation et de validation pour un réglage précis. De plus, vous pouvez configurer la configuration du déploiement, les hyperparamètres et les paramètres de sécurité pour un réglage précis. Vous pourrez alors choisir Train pour démarrer la tâche de formation sur une instance SageMaker ML. La capture d'écran précédente montre la page de réglage fin du modèle Llama-2 7B ; cependant, vous pouvez affiner les modèles de génération de texte 13B et 70B Llama 2 en utilisant leurs pages de modèles respectives de la même manière. Pour utiliser les modèles Llama 2, vous devez accepter le contrat de licence utilisateur final (CLUF). Il apparaîtra lorsque vous choisirez Train, comme le montre la capture d'écran suivante. Choisir J'ai lu et accepté le CLUF et l'AUP pour commencer le travail de mise au point.

Déployer le modèle

Une fois le modèle affiné, vous pouvez le déployer à l'aide de la page de modèle sur SageMaker JumpStart. L'option permettant de déployer le modèle affiné apparaîtra une fois le réglage fin terminé, comme le montre la capture d'écran suivante.

Affiner via le SDK SageMaker Python

Vous pouvez également affiner les modèles Llama 2 à l'aide du SDK SageMaker Python. Voici un exemple de code pour affiner le Llama 2 7B sur votre ensemble de données :

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Vous pouvez déployer le modèle affiné directement à partir de l'estimateur :

finetuned_predictor = estimator.deploy()

Vous pouvez également trouver le code dans Affiner les modèles LLaMA 2 sur SageMaker JumpStart. Cela comprend la préparation de l'ensemble de données, la formation sur votre ensemble de données personnalisé et le déploiement du modèle affiné. Il démontre le réglage fin d'un sous-ensemble de l'ensemble de données Dolly avec des exemples tirés de la tâche de synthèse. Voici un exemple d'entrée avec des réponses affinées et non affinées ainsi que la réponse de vérité terrain :

Entrée dans le modèle :

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Réponse de Ground Truth :

Felix Luna died on November 5th, 2009

Réponse du modèle non affiné :

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Réponse du modèle affiné :

Félix Luna died on November 5th, 2009.nn

Pour une analyse comparative des performances de différents modèles sur l'ensemble de données Dolly et Dialogsum, reportez-vous au Analyse comparative des performances section en annexe à la fin de cet article.

Technique de mise au point

Les modèles linguistiques tels que Llama ont une taille supérieure à 10 Go, voire 100 Go. Le réglage fin de modèles aussi volumineux nécessite des instances dotées d'une mémoire CUDA considérablement élevée. De plus, la formation de ces modèles peut être très lente en raison de la taille du modèle. Par conséquent, pour un réglage fin efficace, nous utilisons les optimisations suivantes :

• Adaptation de bas rang (LoRA) – Il s’agit d’un type de réglage fin efficace des paramètres (PEFT) pour un réglage fin efficace des grands modèles. En cela, nous gelons l'ensemble du modèle et ajoutons uniquement un petit ensemble de paramètres ou de couches réglables dans le modèle. Par exemple, au lieu d'entraîner les 7 milliards de paramètres pour Llama 2 7B, nous pouvons affiner moins de 1 % des paramètres. Cela contribue à une réduction significative des besoins en mémoire, car nous n'avons besoin de stocker les gradients, les états de l'optimiseur et d'autres informations liées à la formation que pour 1 % des paramètres. De plus, cela contribue à réduire le temps de formation ainsi que le coût. Pour plus de détails sur cette méthode, reportez-vous à LoRA : Adaptation de bas niveau de grands modèles de langage.
• Quantification Int8 – Même avec des optimisations telles que LoRA, des modèles tels que Llama 70B sont encore trop gros pour être entraînés. Pour diminuer l'empreinte mémoire pendant l'entraînement, nous pouvons utiliser la quantification Int8 pendant l'entraînement. La quantification réduit généralement la précision des types de données à virgule flottante. Bien que cela diminue la mémoire requise pour stocker les poids du modèle, cela dégrade les performances en raison de la perte d'informations. La quantification Int8 n'utilise qu'un quart de précision mais n'entraîne pas de dégradation des performances car elle ne supprime pas simplement les bits. Il arrondit les données d'un type à l'autre. Pour en savoir plus sur la quantification Int8, reportez-vous à LLM.int8() : multiplication matricielle 8 bits pour les transformateurs à grande échelle.
• Parallèle de données entièrement partagées (FSDP) – Il s'agit d'un type d'algorithme de formation parallèle aux données qui répartit les paramètres du modèle entre les travailleurs parallèles aux données et peut éventuellement décharger une partie du calcul de formation vers les processeurs. Bien que les paramètres soient répartis sur différents GPU, le calcul de chaque microbatch est local pour le processeur GPU. Il partage les paramètres de manière plus uniforme et obtient des performances optimisées grâce au chevauchement des communications et des calculs pendant l'entraînement.

Le tableau suivant compare différentes méthodes avec les trois modèles Llama 2.

Notez que le réglage fin des modèles Llama est basé sur les scripts fournis par les éléments suivants GitHub repo.

Format de l'ensemble de données d'entraînement

SageMaker JumpStart prend actuellement en charge les ensembles de données au format d'adaptation de domaine et au format de réglage des instructions. Dans cette section, nous spécifions un exemple d'ensemble de données dans les deux formats. Pour plus de détails, reportez-vous au Formatage de l'ensemble de données section en annexe.

Format d'adaptation de domaine

Le modèle de génération de texte Llama 2 peut être affiné sur n'importe quel ensemble de données spécifique à un domaine. Une fois affiné sur l'ensemble de données spécifique au domaine, le modèle devrait générer du texte spécifique au domaine et résoudre diverses tâches PNL dans ce domaine spécifique avec quelques invites. Avec cet ensemble de données, l'entrée consiste en un fichier CSV, JSON ou TXT. Par exemple, les données d'entrée peuvent être des dépôts SEC d'Amazon sous forme de fichier texte :

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Format de réglage des instructions

Lors du réglage fin des instructions, le modèle est affiné pour un ensemble de tâches de traitement du langage naturel (NLP) décrites à l'aide d'instructions. Cela permet d'améliorer les performances du modèle pour les tâches invisibles avec des invites zéro tir. Au format d'ensemble de données de réglage d'instructions, vous spécifiez le template.json fichier décrivant les formats d’entrée et de sortie. Par exemple, chaque ligne du fichier train.jsonl ressemble à ce qui suit:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Le fichier supplémentaire template.json ressemble à ce qui suit:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Hyperparamètres pris en charge pour la formation

Le réglage fin de Llama 2 prend en charge un certain nombre d'hyperparamètres, dont chacun peut avoir un impact sur les besoins en mémoire, la vitesse d'entraînement et les performances du modèle affiné :

• époque – Le nombre de passages effectués par l'algorithme de réglage fin dans l'ensemble de données d'entraînement. Doit être un entier supérieur à 1. La valeur par défaut est 5.
• taux d'apprentissage – La fréquence à laquelle les pondérations du modèle sont mises à jour après avoir parcouru chaque lot d'exemples de formation. Doit être un flottant positif supérieur à 0. La valeur par défaut est 1e-4.
• instruction_tuned – S’il faut ou non former le modèle à l’instruction. Doit être 'True' ou 'False'. La valeur par défaut est 'False'.
• par_device_train_batch_size – La taille du lot par cœur GPU/CPU pour la formation. Doit être un entier positif. La valeur par défaut est 4.
• per_device_eval_batch_size – La taille du lot par cœur GPU/CPU pour évaluation. Doit être un entier positif. La valeur par défaut est 1.
• max_train_samples – À des fins de débogage ou de formation plus rapide, tronquez le nombre d'exemples de formation à cette valeur. La valeur -1 signifie utiliser tous les échantillons d’apprentissage. Doit être un entier positif ou -1. La valeur par défaut est -1.
• max_val_samples – À des fins de débogage ou de formation plus rapide, tronquez le nombre d'exemples de validation à cette valeur. La valeur -1 signifie utiliser tous les échantillons de validation. Doit être un entier positif ou -1. La valeur par défaut est -1.
• max_input_length – Longueur totale maximale de la séquence d’entrée après la tokenisation. Les séquences plus longues seront tronquées. Si -1, max_input_length est défini sur le minimum de 1024 et la longueur maximale du modèle définie par le tokenizer. S'il est défini sur une valeur positive, max_input_length est réglé au minimum de la valeur fournie et le model_max_length défini par le tokenizer. Doit être un entier positif ou -1. La valeur par défaut est -1.
• validation_split_ratio – Si le canal de validation est none, le rapport entre la validation du train et les données du train doit être compris entre 0 et 1. La valeur par défaut est 0.2.
• train_data_split_seed – Si les données de validation ne sont pas présentes, cela corrige la répartition aléatoire des données de formation d'entrée en données de formation et de validation utilisées par l'algorithme. Doit être un entier. La valeur par défaut est 0.
• prétraitement_num_workers – Le nombre de processus à utiliser pour le prétraitement. Si None, le processus principal est utilisé pour le prétraitement. La valeur par défaut est None.
• lora_r – Lora R. Doit être un entier positif. La valeur par défaut est 8.
• lora_alpha -Lora Alpha. Doit être un entier positif. La valeur par défaut est 32
• lora_dropout – Lora Abandon. doit être un flottant positif compris entre 0 et 1. La valeur par défaut est 0.05.
• int8_quantisation - Si True, le modèle est chargé avec une précision de 8 bits pour l'entraînement. La valeur par défaut pour 7B et 13B est False. La valeur par défaut pour 70B est True.
• activer_fsdp - Si True, la formation utilise FSDP. La valeur par défaut pour 7B et 13B est True. La valeur par défaut pour 70B est False. Noter que int8_quantization n’est pas pris en charge avec FSDP.

Types d'instances et hyperparamètres compatibles

Les besoins en mémoire lors du réglage fin peuvent varier en fonction de plusieurs facteurs :

• Type de modèle – Le modèle 7B a le moins besoin de mémoire GPU et le 70B a le plus grand besoin de mémoire.
• Longueur d'entrée maximale – Une valeur plus élevée de la longueur d’entrée conduit à traiter plus de jetons à la fois et nécessite donc plus de mémoire CUDA
• Taille du lot – Une taille de lot plus grande nécessite une mémoire CUDA plus grande et nécessite donc des types d'instances plus grands
• Quantification Int8 – Si vous utilisez la quantification Int8, le modèle est chargé en basse précision et nécessite donc moins de mémoire CUDA

Pour vous aider à démarrer, nous proposons un ensemble de combinaisons de différents types d'instances, hyperparamètres et types de modèles qui peuvent être affinés avec succès. Vous pouvez sélectionner une configuration en fonction de vos besoins et de la disponibilité des types d'instances. Nous affinons les trois modèles sur une variété de paramètres avec trois époques sur un sous-ensemble de l'ensemble de données Dolly avec des exemples de synthèse.

modèle 7B

Le tableau suivant résume les options de réglage fin sur le modèle 7B.

13M

Le tableau suivant résume les options de réglage fin sur le modèle 13B.

70M

Le tableau suivant résume les options de réglage fin sur le modèle 70B.

Recommandations sur les types d'instances et les hyperparamètres

Lorsque vous ajustez la précision du modèle, gardez à l’esprit les points suivants :

• Les modèles plus grands tels que le 70B offrent de meilleures performances que le 7B
• Les performances sans quantification Int8 sont meilleures que les performances avec quantification INT8

Notez le temps de formation suivant et les exigences de mémoire CUDA :

• Paramètres int8_quantization=True diminue les besoins en mémoire et conduit à un entraînement plus rapide.
• Réduction per_device_train_batch_size ainsi que max_input_length réduit les besoins en mémoire et peut donc être exécuté sur des instances plus petites. Cependant, définir des valeurs très basses peut augmenter le temps d'entraînement.
• Si vous n'utilisez pas la quantification Int8 (int8_quantization=False), utilisez FSDP (enable_fsdp=True) pour une formation plus rapide et efficace.

Lorsque vous choisissez le type d'instance, tenez compte des éléments suivants :

• Les instances G5 offrent la formation la plus efficace parmi les types d'instances pris en charge. Par conséquent, si vous disposez d’instances G5, vous devez les utiliser.
• Le temps de formation dépend en grande partie du nombre de GPU et de la mémoire CUDA disponible. Par conséquent, la formation sur des instances avec le même nombre de GPU (par exemple, ml.g5.2xlarge et ml.g5.4xlarge) est à peu près la même. Par conséquent, vous pouvez utiliser l'instance la moins chère pour la formation (ml.g5.2xlarge).
• Lors de l'utilisation d'instances p3, la formation sera effectuée avec une précision de 32 bits car bfloat16 n'est pas pris en charge sur ces instances. Par conséquent, la tâche de formation consommera le double de la quantité de mémoire CUDA lors de la formation sur des instances p3 par rapport aux instances g5.

Pour en savoir plus sur le coût de la formation par instance, reportez-vous à Instances Amazon EC2 G5.

Si l'ensemble de données est au format de réglage d'instructions et que les séquences d'entrée + d'achèvement sont petites (par exemple 50 à 100 mots), alors une valeur élevée de max_input_length conduit à de très mauvaises performances. La valeur par défaut de ce paramètre est -1, ce qui correspond à la max_input_length de 2048 pour les modèles Llama. Par conséquent, nous recommandons que si votre ensemble de données contient de petits échantillons, utilisez une petite valeur pour max_input_length (comme 200 à 400).

Enfin, en raison de la forte demande des instances G5, vous pouvez rencontrer une indisponibilité de ces instances dans votre région avec l'erreur “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Si vous rencontrez cette erreur, réessayez la tâche de formation ou essayez une autre région.

Problèmes lors du réglage fin de très grands modèles

Dans cette section, nous abordons deux problèmes lors du réglage fin de très grands modèles.

Désactiver la compression de sortie

Par défaut, le résultat d'une tâche de formation est un modèle entraîné qui est compressé au format .tar.gz avant d'être téléchargé sur Amazon S3. Cependant, en raison de la grande taille du modèle, cette étape peut prendre beaucoup de temps. Par exemple, la compression et le téléchargement du modèle 70B peuvent prendre plus de 4 heures. Pour éviter ce problème, vous pouvez utiliser la fonctionnalité de désactivation de la compression de sortie prise en charge par la plateforme de formation SageMaker. Dans ce cas, le modèle est téléchargé sans aucune compression, qui est ensuite utilisé pour le déploiement :

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problème de délai d'expiration du noyau SageMaker Studio

En raison de la taille du modèle Llama 70B, le travail de formation peut prendre plusieurs heures et le noyau SageMaker Studio peut mourir pendant la phase de formation. Cependant, pendant cette période, la formation est toujours en cours dans SageMaker. Si cela se produit, vous pouvez toujours déployer le point de terminaison à l'aide du nom de la tâche de formation avec le code suivant :

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Pour trouver le nom de la tâche de formation, accédez à la console SageMaker et sous Formation dans le volet de navigation, choisissez Emplois de formation. Identifiez le nom de la tâche de formation et remplacez-le dans le code précédent.

Conclusion

Dans cet article, nous avons discuté du réglage fin des modèles Llama 2 de Meta à l'aide de SageMaker JumpStart. Nous avons montré que vous pouvez utiliser la console SageMaker JumpStart dans SageMaker Studio ou le SDK SageMaker Python pour affiner et déployer ces modèles. Nous avons également discuté de la technique de réglage fin, des types d'instances et des hyperparamètres pris en charge. De plus, nous avons formulé des recommandations pour une formation optimisée sur la base de différents tests que nous avons effectués. Les résultats pour affiner les trois modèles sur deux ensembles de données sont présentés en annexe à la fin de cet article. Comme nous pouvons le voir à partir de ces résultats, le réglage fin améliore la synthèse par rapport aux modèles non affinés. Dans une prochaine étape, vous pouvez essayer d'affiner ces modèles sur votre propre ensemble de données à l'aide du code fourni dans le référentiel GitHub pour tester et comparer les résultats pour vos cas d'utilisation.

Les auteurs souhaitent remercier pour leurs contributions techniques Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne et June Gagné.

À propos des auteurs

Dr Vivek Madan est un scientifique appliqué au sein de l'équipe Amazon SageMaker JumpStart. Il a obtenu son doctorat à l'Université de l'Illinois à Urbana-Champaign et a été chercheur postdoctoral à Georgia Tech. Il est un chercheur actif en apprentissage automatique et en conception d'algorithmes et a publié des articles dans les conférences EMNLP, ICLR, COLT, FOCS et SODA.

Dr Farooq Sabir est architecte principal de solutions spécialisées en intelligence artificielle et en apprentissage automatique chez AWS. Il est titulaire d'un doctorat et d'une maîtrise en génie électrique de l'Université du Texas à Austin et d'une maîtrise en informatique du Georgia Institute of Technology. Il a plus de 15 ans d'expérience de travail et aime aussi enseigner et encadrer des étudiants. Chez AWS, il aide les clients à formuler et à résoudre leurs problèmes commerciaux dans les domaines de la science des données, de l'apprentissage automatique, de la vision par ordinateur, de l'intelligence artificielle, de l'optimisation numérique et des domaines connexes. Basé à Dallas, au Texas, lui et sa famille adorent voyager et faire de longs trajets en voiture.

Dr Ashish Khetan est un scientifique appliqué senior chez Amazon SageMaker JumpStart et aide à développer des algorithmes d'apprentissage automatique. Il a obtenu son doctorat à l'Université de l'Illinois à Urbana-Champaign. Il est un chercheur actif en apprentissage automatique et en inférence statistique, et a publié de nombreux articles dans les conférences NeurIPS, ICML, ICLR, JMLR, ACL et EMNLP.

Appendice

Cette annexe fournit des informations supplémentaires sur l’analyse comparative des performances et le formatage des ensembles de données.

Analyse comparative des performances

Dans cette section, nous fournissons des résultats pour affiner les trois modèles Llama 2 (7B, 13B et 70B) sur deux ensembles de données différents : Chariot ainsi que Somme de dialogue. Pour l'ensemble de données Dolly, notre tâche consiste à résumer un paragraphe de texte, tandis que pour Dialogsum, nous affinons le modèle pour résumer une discussion entre deux personnes. Dans les tableaux suivants, nous montrons l'entrée du modèle (invite et instructions), la vérité terrain (résumé), la réponse du modèle Llama 2 pré-entraîné et la réponse du modèle Llama 2 affiné pour chacun des trois Lama. 2 modèles. Nous montrons les résultats d’inférence pour cinq points de données. Vous pouvez remarquer dans les tableaux suivants que les résumés s'améliorent pour les deux ensembles de données lorsque nous affinons les modèles.

• Résultats pour affiner le modèle de génération de texte Llama 2 7B sur l'ensemble de données Dolly :

• Résultats pour affiner le modèle de génération de texte Llama 2 13B sur l'ensemble de données Dolly :

• Résultats pour affiner le modèle de génération de texte Llama 2 70B sur l'ensemble de données Dolly :

• Résultats pour affiner le modèle de génération de texte Llama 2 7B sur l'ensemble de données Dialogsum :

• Résultats pour affiner le modèle Llama-2 13B sur l'ensemble de données Dialogsum :

• Résultats pour affiner le modèle Llama 2 70B sur l'ensemble de données Dialogsum :

Formatage de l'ensemble de données

Nous proposons actuellement deux types de réglage fin : le réglage fin des instructions et le réglage fin de l'adaptation au domaine. Vous pouvez facilement passer à l'une des méthodes de formation en spécifiant le paramètre instruction_tuned sous 'True' ou 'False'.

Format d'adaptation de domaine

Le modèle de génération de texte peut également être affiné sur n'importe quel ensemble de données spécifique à un domaine. Une fois affiné sur l'ensemble de données spécifique au domaine, le modèle devrait générer du texte spécifique au domaine et résoudre diverses tâches PNL dans ce domaine spécifique avec quelques invites.

Pour entrer dans le modèle, utilisez un répertoire de formation et de validation facultatif. Chaque répertoire contient un fichier CSV, JSON ou TXT. Pour les fichiers CSV et JSON, les données d'entraînement ou de validation sont utilisées à partir de la colonne appelée texte ou de la première colonne si aucune colonne appelée text est trouvé. Le nombre de fichiers en cours de formation et de validation (le cas échéant) doit être égal à 1, respectivement.

Le résultat est un modèle entraîné qui peut être déployé pour l’inférence.

Ce qui suit est un exemple de fichier TXT permettant d'affiner le modèle de génération de texte. Le fichier TXT est constitué de dépôts SEC d'Amazon de 2021 à 2022 :

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Affinage des instructions

Le modèle de génération de texte peut être ajusté en fonction des instructions sur n'importe quelle donnée texte à condition que les données soient dans le format attendu. Le modèle adapté aux instructions peut être déployé davantage à des fins d'inférence.

Pour la saisie, utilisez un répertoire de formation et de validation facultatif. Les répertoires de train et de validation doivent contenir une ou plusieurs fichiers au format lignes JSON (.jsonl). En particulier, le répertoire train peut également contenir un fichier *.json facultatif décrivant les formats d'entrée et de sortie.

Le meilleur modèle est sélectionné en fonction de la perte de validation, calculée à la fin de chaque époque. Si aucun ensemble de validation n'est fourni, un pourcentage (ajustable) des données d'entraînement est automatiquement divisé et utilisé pour la validation.

Les données d'entraînement doivent être formatées au format de lignes JSON (.jsonl), où chaque ligne est un dictionnaire représentant un seul échantillon de données. Toutes les données d'entraînement doivent être dans un seul dossier ; cependant, il peut être enregistré dans plusieurs fichiers .jsonl. L'extension de fichier .jsonl est obligatoire. Le dossier de formation peut également contenir un template.json fichier décrivant les formats d’entrée et de sortie. Si aucun fichier modèle n'est fourni, le modèle suivant sera utilisé :

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

Dans ce cas, les données dans les entrées des lignes JSON doivent inclure prompt ainsi que completion des champs. Si un modèle personnalisé est fourni, il doit également utiliser prompt ainsi que completion touches pour définir les modèles d’entrée et de sortie. Voici un exemple de modèle personnalisé :

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Ici, les données dans les entrées des lignes JSON doivent inclure le question, contextet une answer champs.

Le résultat est un modèle entraîné qui peut être déployé pour l’inférence.

Nous fournissons un sous-ensemble de données de dépôt auprès de la SEC d'Amazon. Il est téléchargé à partir du site accessible au public EDGAR. Pour obtenir des instructions sur l'accès aux données, reportez-vous à Accéder aux données EDGAR.

Licence: Licence Creative Commons Attribution-Partage dans les mêmes conditions (CC BY-SA 4.0)

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Automobile / VE, Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• GraphiquePrime. Élevez votre jeu de trading avec ChartPrime. Accéder ici.
• Décalages de bloc. Modernisation de la propriété des compensations environnementales. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/