Verfijn Llama 2 voor het genereren van tekst op Amazon SageMaker JumpStart | Amazon-webservices

Vandaag kondigen we met trots de mogelijkheid aan om Llama 2-modellen van Meta te verfijnen Amazon SageMaker JumpStart. De Llama 2-familie van grote taalmodellen (LLM's) is een verzameling vooraf getrainde en verfijnde generatieve tekstmodellen, variërend in schaal van 7 miljard tot 70 miljard parameters. Verfijnde LLM's, genaamd Llama-2-chat, zijn geoptimaliseerd voor dialooggebruik. U kunt deze modellen eenvoudig uitproberen en gebruiken met SageMaker JumpStart, een machine learning-hub (ML) die toegang biedt tot algoritmen, modellen en ML-oplossingen, zodat u snel aan de slag kunt met ML. Nu kunt u ook 7 miljard, 13 miljard en 70 miljard parameters Llama 2-tekstgeneratiemodellen op SageMaker JumpStart verfijnen met behulp van de Amazon SageMaker Studio UI met een paar klikken of met behulp van de SageMaker Python SDK.

Generatieve AI-basismodellen vormen al meer dan een jaar de focus van het grootste deel van het onderzoek en de gebruiksscenario's op het gebied van ML en kunstmatige intelligentie. Deze basismodellen presteren zeer goed met generatieve taken, zoals het genereren van tekst, samenvattingen, het beantwoorden van vragen, het genereren van afbeeldingen en video's, en meer, vanwege hun grote omvang en ook omdat ze zijn getraind op verschillende grote datasets en honderden taken. Ondanks de grote generalisatiemogelijkheden van deze modellen zijn er vaak use cases die zeer specifieke domeingegevens bevatten (zoals gezondheidszorg of financiële diensten), waardoor deze modellen mogelijk geen goede resultaten kunnen opleveren voor deze use cases. Dit resulteert in een behoefte aan verdere verfijning van deze generatieve AI-modellen op basis van de use case-specifieke en domeinspecifieke gegevens.

In dit bericht laten we zien hoe u de voorgetrainde tekstgeneratiemodellen van Llama 2 kunt verfijnen via SageMaker JumpStart.

Wat is Lama 2

Llama 2 is een auto-regressief taalmodel dat gebruik maakt van een geoptimaliseerde transformatorarchitectuur. Llama 2 is bedoeld voor commercieel en onderzoeksgebruik in het Engels. Het wordt geleverd in een reeks parametergroottes - 7 miljard, 13 miljard en 70 miljard - evenals vooraf getrainde en nauwkeurig afgestelde variaties. Volgens Meta gebruiken de afgestemde versies gesuperviseerde fijnafstemming (SFT) en versterkend leren met menselijke feedback (RLHF) om af te stemmen op menselijke voorkeuren voor behulpzaamheid en veiligheid. Lama 2 is vooraf getraind op 2 biljoen tokens aan gegevens uit openbaar beschikbare bronnen. De afgestemde modellen zijn bedoeld voor assistent-achtige chat, terwijl vooraf getrainde modellen kunnen worden aangepast voor een verscheidenheid aan taken voor het genereren van natuurlijke taal. Ongeacht welke versie van het model een ontwikkelaar gebruikt, de gids voor verantwoord gebruik van Meta kan helpen bij het begeleiden van aanvullende fijnafstellingen die nodig kunnen zijn om de modellen aan te passen en te optimaliseren met de juiste veiligheidsbeperkingen.

Momenteel is Llama 2 beschikbaar in de volgende regio's:

• Implementeer vooraf getraind model beschikbaar: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Verfijn en implementeer het verfijnde model: “us-east-1”, “us-west-2”,“eu-west-1”

Wat is SageMaker JumpStart

Met SageMaker JumpStart kunnen ML-beoefenaars kiezen uit een brede selectie van openbaar beschikbare basismodellen. ML-beoefenaars kunnen basismodellen inzetten voor specifieke toepassingen Amazon Sage Maker instances uit een netwerkgeïsoleerde omgeving en pas modellen aan met SageMaker voor modeltraining en implementatie. U kunt Llama 2 nu ontdekken en implementeren met een paar klikken in SageMaker Studio of programmatisch via de SageMaker Python SDK, waardoor u modelprestaties en MLOps-besturingselementen kunt afleiden met SageMaker-functies zoals Amazon SageMaker-pijpleidingen, Amazon SageMaker-foutopsporingof containerlogboeken. Het model wordt geïmplementeerd in een AWS-beveiligde omgeving en onder uw VPC-controle, waardoor de gegevensbeveiliging wordt gewaarborgd. Bovendien kunt u de voorgetrainde tekstgeneratiemodellen van Llama2 7B, 13B en 70B verfijnen via SageMaker JumpStart.

Verfijn de Llama2-modellen

U kunt de modellen verfijnen met behulp van de SageMaker Studio UI of de SageMaker Python SDK. We bespreken beide methoden in deze sectie.

Fijnafstelling zonder code via de gebruikersinterface van SageMaker Studio

In SageMaker Studio heeft u toegang tot Llama 2-modellen via SageMaker JumpStart onder Modellen, notebooks en oplossingen, zoals weergegeven in de volgende schermafbeelding.

Als u geen Llama 2-modellen ziet, update dan uw SageMaker Studio-versie door deze af te sluiten en opnieuw op te starten. Voor meer informatie over versie-updates raadpleegt u Sluit Studio-apps af en werk ze bij.

U kunt ook vier andere modelvarianten vinden door te kiezen Ontdek alle modellen voor tekstgeneratie of zoeken naar lama in het zoekvak.

Op deze pagina kunt u verwijzen naar de Amazon eenvoudige opslagservice (Amazon S3)-bucket met de trainings- en validatiegegevenssets voor verfijning. Bovendien kunt u de implementatieconfiguratie, hyperparameters en beveiligingsinstellingen configureren voor fijnafstemming. Je kunt dan kiezen Trainen om de trainingstaak op een SageMaker ML-instantie te starten. De voorgaande schermafbeelding toont de verfijningspagina voor het Llama-2 7B-model; U kunt de tekstgeneratiemodellen 13B en 70B Llama 2 echter op dezelfde manier verfijnen met behulp van hun respectievelijke modelpagina's. Om Llama 2-modellen te gebruiken, moet u de End User License Agreement (EULA) accepteren. Het verschijnt wanneer u kiest Trainen, zoals weergegeven in de volgende schermafbeelding. Kiezen Ik heb de EULA en AUP gelezen en accepteer deze om met het fijnafstemmingswerk te beginnen.

Implementeer het model

Nadat het model is verfijnd, kunt u het implementeren met behulp van de modelpagina op SageMaker JumpStart. De optie om het verfijnde model te implementeren verschijnt wanneer het afstemmen is voltooid, zoals weergegeven in de volgende schermafbeelding.

Verfijn via de SageMaker Python SDK

Je kunt Llama 2-modellen ook verfijnen met de SageMaker Python SDK. Het volgende is een voorbeeldcode om de Llama 2 7B op uw dataset te verfijnen:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

U kunt het verfijnde model rechtstreeks vanuit de schatter implementeren:

finetuned_predictor = estimator.deploy()

Je kunt de code ook vinden in Verfijn LLaMA 2-modellen op SageMaker JumpStart. Het omvat het voorbereiden van datasets, training op uw aangepaste dataset en het implementeren van het verfijnde model. Het demonstreert de verfijning van een subset van de Dolly-dataset met voorbeelden uit de samenvattingstaak. Het volgende is de voorbeeldinvoer met antwoorden van verfijnd en niet-fijnafgestemd, samen met het grondwaarheidsantwoord:

Invoer in het model:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Ground Truth-antwoord:

Felix Luna died on November 5th, 2009

Reactie van het niet-verfijnde model:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Reactie van het verfijnde model:

Félix Luna died on November 5th, 2009.nn

Voor prestatiebenchmarking van verschillende modellen op de Dolly- en Dialogsum-dataset raadpleegt u de Prestatiebenchmarking sectie in de bijlage aan het einde van dit bericht.

Fine-tuning techniek

Taalmodellen zoals Llama zijn ruim 10 GB of zelfs 100 GB groot. Voor het verfijnen van zulke grote modellen zijn instances nodig met een aanzienlijk hoog CUDA-geheugen. Bovendien kan het trainen van deze modellen erg traag zijn vanwege de grootte van het model. Voor een efficiënte afstemming gebruiken we daarom de volgende optimalisaties:

• Aanpassing op lage rang (LoRA) – Dit is een soort parameter-efficiënte fijnafstelling (PEFT) voor efficiënte fijnafstelling van grote modellen. Hierin bevriezen we het hele model en voegen we slechts een kleine set aanpasbare parameters of lagen toe aan het model. In plaats van alle 7 miljard parameters voor Llama 2 7B te trainen, kunnen we bijvoorbeeld minder dan 1% van de parameters verfijnen. Dit helpt bij het aanzienlijk verminderen van de geheugenbehoefte, omdat we slechts gradiënten, optimalisatiestatussen en andere trainingsgerelateerde informatie voor slechts 1% van de parameters hoeven op te slaan. Bovendien helpt dit bij het verminderen van de trainingstijd en de kosten. Voor meer details over deze methode, zie LoRA: aanpassing op laag niveau van grote taalmodellen.
• Int8-kwantisering – Zelfs met optimalisaties zoals LoRA zijn modellen zoals Llama 70B nog steeds te groot om te trainen. Om de geheugenvoetafdruk tijdens de training te verkleinen, kunnen we tijdens de training Int8-kwantisering gebruiken. Kwantisering vermindert doorgaans de precisie van de drijvende-kommagegevenstypen. Hoewel dit het geheugen dat nodig is om modelgewichten op te slaan, vermindert, verslechtert het de prestatie als gevolg van informatieverlies. Int8-kwantisering gebruikt slechts een kwart precisie, maar leidt niet tot prestatieverlies omdat de bits niet simpelweg worden weggelaten. Het rondt de gegevens af van het ene type naar het andere. Raadpleeg voor meer informatie over Int8-kwantisering LLM.int8(): 8-bit matrixvermenigvuldiging voor transformatoren op schaal.
• Volledig gedeelde gegevens parallel (FSDP) – Dit is een type data-parallel trainingsalgoritme dat de parameters van het model verdeelt over data-parallelle werkers en optioneel een deel van de trainingsberekening naar de CPU's kan overbrengen. Hoewel de parameters over verschillende GPU's zijn verdeeld, is de berekening van elke microbatch lokaal voor de GPU-werknemer. Het verdeelt parameters op uniformere wijze en behaalt geoptimaliseerde prestaties via overlappende communicatie en berekeningen tijdens de training.

De volgende tabel vergelijkt verschillende methoden met de drie Llama 2-modellen.

Houd er rekening mee dat het verfijnen van lamamodellen gebaseerd is op de onderstaande scripts GitHub repo.

Formaat trainingsgegevensset

SageMaker JumpStart ondersteunt momenteel datasets in zowel domeinaanpassingsformaat als instructie-afstemmingsformaat. In deze sectie specificeren we een voorbeeldgegevensset in beide formaten. Voor meer details, zie de Opmaak van gegevenssets sectie in de bijlage.

Domeinaanpassingsformaat

Het tekstgeneratie Llama 2-model kan worden verfijnd op elke domeinspecifieke dataset. Nadat het model is verfijnd op de domeinspecifieke dataset, wordt verwacht dat het domeinspecifieke tekst genereert en verschillende NLP-taken in dat specifieke domein oplost met enkele vragen. Bij deze dataset bestaat de invoer uit een CSV-, JSON- of TXT-bestand. Invoergegevens kunnen bijvoorbeeld SEC-deponeringen van Amazon zijn als tekstbestand:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Instructie tuning formaat

Bij het afstemmen van instructies wordt het model verfijnd voor een reeks taken voor natuurlijke taalverwerking (NLP) die worden beschreven met behulp van instructies. Dit helpt de prestaties van het model te verbeteren voor onzichtbare taken met zero-shot-prompts. In het instructieafstemmingsgegevenssetformaat specificeert u de template.json bestand dat de invoer- en uitvoerformaten beschrijft. Bijvoorbeeld elke regel in het bestand train.jsonl ziet er als volgt uit:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Het extra bestand template.json ziet er als volgt uit:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Ondersteunde hyperparameters voor training

De verfijning van Llama 2 ondersteunt een aantal hyperparameters, die elk van invloed kunnen zijn op de geheugenvereiste, trainingssnelheid en prestaties van het verfijnde model:

• tijdperk – Het aantal passages dat het algoritme voor fijnafstemming door de trainingsgegevensset voert. Moet een geheel getal groter dan 1 zijn. De standaardwaarde is 5.
• leertempo – De snelheid waarmee de modelgewichten worden bijgewerkt na het doornemen van elke reeks trainingsvoorbeelden. Moet een positieve float groter dan 0 zijn. De standaardwaarde is 1e-4.
• instructie_afgestemd – Of het model al dan niet via instructie moet worden getraind. Moet zijn 'True'of'False'. Standaard is 'False'.
• per_device_train_batch_size – De batchgrootte per GPU-kern/CPU voor training. Moet een positief geheel getal zijn. Standaard is 4.
• per_device_eval_batch_size – De batchgrootte per GPU-kern/CPU voor evaluatie. Moet een positief geheel getal zijn. Standaard is 1.
• max_train_samples – Voor foutopsporingsdoeleinden of snellere training verkort u het aantal trainingsvoorbeelden tot deze waarde. Waarde -1 betekent dat alle trainingsvoorbeelden worden gebruikt. Moet een positief geheel getal of -1 zijn. De standaardwaarde is -1.
• max_val_monsters – Voor foutopsporingsdoeleinden of snellere training kunt u het aantal validatievoorbeelden afkappen tot deze waarde. Waarde -1 betekent dat alle validatiemonsters worden gebruikt. Moet een positief geheel getal of -1 zijn. De standaardwaarde is -1.
• max_invoer_lengte – Maximale totale lengte van de invoerreeks na tokenisatie. Reeksen die langer zijn, worden afgekapt. Als -1, max_input_length is ingesteld op het minimum van 1024 en de maximale modellengte gedefinieerd door de tokenizer. Indien ingesteld op een positieve waarde, max_input_length is ingesteld op het minimum van de opgegeven waarde en de model_max_length gedefinieerd door de tokenizer. Moet een positief geheel getal of -1 zijn. De standaardwaarde is -1.
• validatie_split_ratio – Als validatiekanaal is nonemoet de verhouding tussen de treinvalidatie en de treingegevens tussen 0 en 1 liggen. De standaardwaarde is 0.2.
• train_data_split_seed – Als er geen validatiegegevens aanwezig zijn, wordt hiermee de willekeurige opsplitsing van de invoertrainingsgegevens naar trainings- en validatiegegevens die door het algoritme worden gebruikt, opgelost. Moet een geheel getal zijn. Standaard is 0.
• preprocessing_num_workers – Het aantal processen dat moet worden gebruikt voor voorbewerking. Als None, wordt het hoofdproces gebruikt voor voorbewerking. Standaard is None.
• lora_r – Lora R. Moet een positief geheel getal zijn. Standaard is 8.
• lora_alpha – Lora Alpha. Moet een positief geheel getal zijn. Standaard is 32
• lora_dropout – Lora Drop-out. moet een positieve float zijn tussen 0 en 1. De standaardwaarde is 0.05.
• int8_kwantisering - Indien True, is het model geladen met 8-bits precisie voor training. Standaard voor 7B en 13B is False. Standaard voor 70B is True.
• enable_fsdp - Indien True, training maakt gebruik van FSDP. Standaard voor 7B en 13B is True. Standaard voor 70B is False. Merk op dat int8_quantization wordt niet ondersteund door FSDP.

Instantietypen en compatibele hyperparameters

De geheugenbehoefte tijdens het fijnafstemmen kan variëren, afhankelijk van verschillende factoren:

• Model type – Het 7B-model heeft de minste GPU-geheugenvereiste en 70B heeft de grootste geheugenvereiste
• Maximale invoerlengte – Een hogere waarde van de invoerlengte leidt tot het verwerken van meer tokens tegelijk en vereist als zodanig meer CUDA-geheugen
• Seriegrootte – Een grotere batchgrootte vereist een groter CUDA-geheugen en vereist daarom grotere instantietypen
• Int8-kwantisering – Als Int8-kwantisering wordt gebruikt, wordt het model met een lage precisie geladen en vereist het daarom minder CUDA-geheugen

Om u op weg te helpen, bieden we een reeks combinaties van verschillende instantietypen, hyperparameters en modeltypen die met succes kunnen worden verfijnd. U kunt een configuratie selecteren op basis van uw vereisten en beschikbaarheid van exemplaartypen. We verfijnen alle drie de modellen op verschillende instellingen met drie tijdperken op een subset van de Dolly-dataset met samenvattende voorbeelden.

7B-model

De volgende tabel geeft een overzicht van de fijnafstellingsopties op het 7B-model.

13B

De volgende tabel geeft een overzicht van de fijnafstellingsopties op het 13B-model.

70B

De volgende tabel geeft een overzicht van de fijnafstellingsopties op het 70B-model.

Aanbevelingen over instantietypen en hyperparameters

Houd bij het verfijnen van de nauwkeurigheid van het model rekening met het volgende:

• Grotere modellen zoals 70B bieden betere prestaties dan 7B
• Prestaties zonder Int8-kwantisering zijn beter dan prestaties met INT8-kwantisering

Houd rekening met de volgende trainingstijd en CUDA-geheugenvereisten:

• omgeving int8_quantization=True vermindert de geheugenbehoefte en leidt tot een snellere training.
• Afnemende per_device_train_batch_size en max_input_length vermindert de geheugenbehoefte en kan daarom op kleinere instanties worden uitgevoerd. Het instellen van zeer lage waarden kan echter de trainingstijd verlengen.
• Als u Int8-kwantisering niet gebruikt (int8_quantization=False), gebruik FSDP (enable_fsdp=True) voor snellere en efficiëntere training.

Houd bij het kiezen van het exemplaartype rekening met het volgende:

• G5-instances bieden de meest efficiënte training onder de ondersteunde instancetypen. Als u G5-instanties beschikbaar heeft, moet u deze daarom gebruiken.
• De trainingstijd hangt grotendeels af van de hoeveelheid GPU's en het beschikbare CUDA-geheugen. Daarom is training op instances met hetzelfde aantal GPU's (bijvoorbeeld ml.g5.2xlarge en ml.g5.4xlarge) ongeveer hetzelfde. Daarom kunt u de goedkopere instantie gebruiken voor training (ml.g5.2xlarge).
• Wanneer u p3-instanties gebruikt, wordt de training uitgevoerd met een precisie van 32 bits, omdat bfloat16 niet wordt ondersteund op deze instanties. Daarom zal de trainingstaak de dubbele hoeveelheid CUDA-geheugen verbruiken bij het trainen op p3-instanties vergeleken met g5-instanties.

Voor meer informatie over de kosten van training per exemplaar, raadpleegt u Amazon EC2 G5-instanties.

Als de dataset het instructieafstemmingsformaat heeft en de invoer- en voltooiingsreeksen klein zijn (zoals 50-100 woorden), dan is een hoge waarde van max_input_length leidt tot zeer slechte prestaties. De standaardwaarde van deze parameter is -1, wat overeenkomt met de max_input_length van 2048 voor Llama-modellen. Daarom raden we u aan een kleine waarde te gebruiken als uw gegevensset kleine steekproeven bevat max_input_length (zoals 200–400).

Ten slotte kan het zijn dat, vanwege de grote vraag naar de G5-instanties, deze instanties in uw regio niet beschikbaar zijn met de foutmelding “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Als u deze fout ervaart, probeert u de trainingstaak opnieuw of probeert u een andere regio.

Problemen bij het afstemmen van zeer grote modellen

In deze sectie bespreken we twee problemen bij het verfijnen van zeer grote modellen.

Schakel uitvoercompressie uit

Standaard is de uitvoer van een trainingstaak een getraind model dat wordt gecomprimeerd in een .tar.gz-indeling voordat het wordt geüpload naar Amazon S3. Vanwege de grote omvang van het model kan deze stap echter lang duren. Het comprimeren en uploaden van het 70B-model kan bijvoorbeeld meer dan 4 uur duren. Om dit probleem te voorkomen, kunt u de functie voor het uitschakelen van uitvoercompressie gebruiken die wordt ondersteund door het SageMaker-trainingsplatform. In dit geval wordt het model zonder enige compressie geüpload, wat verder wordt gebruikt voor implementatie:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Time-outprobleem met SageMaker Studio-kernel

Vanwege de grootte van het Llama 70B-model kan de trainingstaak enkele uren duren en kan de SageMaker Studio-kernel tijdens de trainingsfase doodgaan. Gedurende deze tijd wordt er echter nog steeds getraind in SageMaker. Als dit gebeurt, kunt u het eindpunt nog steeds implementeren met behulp van de trainingstaaknaam met de volgende code:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Om de naam van de trainingstaak te vinden, navigeert u naar de SageMaker-console en onder Trainingen in het navigatievenster, kies Training banen. Identificeer de naam van de trainingstaak en vervang deze in de voorgaande code.

Conclusie

In dit bericht hebben we het verfijnen van Meta's Llama 2-modellen besproken met behulp van SageMaker JumpStart. We hebben laten zien dat je de SageMaker JumpStart-console in SageMaker Studio of de SageMaker Python SDK kunt gebruiken om deze modellen te verfijnen en te implementeren. We hebben ook de verfijningstechniek, exemplaartypen en ondersteunde hyperparameters besproken. Daarnaast hebben we aanbevelingen gedaan voor een geoptimaliseerde training op basis van verschillende tests die we hebben uitgevoerd. De resultaten voor het verfijnen van de drie modellen over twee datasets worden weergegeven in de bijlage aan het einde van dit bericht. Zoals we uit deze resultaten kunnen zien, verbetert fijnafstemming de samenvatting in vergelijking met niet-afgestemde modellen. Als volgende stap kunt u proberen deze modellen op uw eigen dataset te verfijnen met behulp van de code in de GitHub-repository om de resultaten voor uw gebruiksscenario's te testen en te benchmarken.

De auteurs willen graag de technische bijdragen erkennen van Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne en June Won.

Over de auteurs

Dr Vivek Madan is een Applied Scientist bij het Amazon SageMaker JumpStart-team. Hij promoveerde aan de Universiteit van Illinois in Urbana-Champaign en was een postdoctoraal onderzoeker bij Georgia Tech. Hij is een actief onderzoeker op het gebied van machine learning en algoritmeontwerp en heeft artikelen gepubliceerd op EMNLP-, ICLR-, COLT-, FOCS- en SODA-conferenties.

Dr. Farooq Sabir is een Senior Artificial Intelligence en Machine Learning Specialist Solutions Architect bij AWS. Hij heeft een doctoraat en een MS-graad in Electrical Engineering van de Universiteit van Texas in Austin en een MS in Computer Science van het Georgia Institute of Technology. Hij heeft meer dan 15 jaar werkervaring en geeft ook graag les en begeleidt studenten. Bij AWS helpt hij klanten bij het formuleren en oplossen van hun zakelijke problemen op het gebied van datawetenschap, machine learning, computervisie, kunstmatige intelligentie, numerieke optimalisatie en aanverwante domeinen. Gevestigd in Dallas, Texas, houden hij en zijn gezin van reizen en lange roadtrips maken.

Dr Ashish Khetan is een Senior Applied Scientist bij Amazon SageMaker JumpStart en helpt bij het ontwikkelen van machine learning-algoritmen. Hij promoveerde aan de Universiteit van Illinois in Urbana-Champaign. Hij is een actief onderzoeker op het gebied van machine learning en statistische inferentie, en heeft veel artikelen gepubliceerd op NeurIPS-, ICML-, ICLR-, JMLR-, ACL- en EMNLP-conferenties.

Bijlage

Deze bijlage biedt aanvullende informatie over prestatiebenchmarking en het formatteren van datasets.

Prestatiebenchmarking

In deze sectie geven we resultaten voor het verfijnen van de drie Llama 2-modellen (7B, 13B en 70B) op twee verschillende datasets: popje en Dialoogvenster. Voor de Dolly-dataset is het onze taak om een ​​paragraaf tekst samen te vatten, terwijl we voor Dialogsum het model verfijnen om een ​​discussie tussen twee mensen samen te vatten. In de volgende tabellen tonen we de input voor het model (prompt en instructies), de grondwaarheid (samenvatting), de respons van het vooraf getrainde Llama 2-model en de respons van het verfijnde Llama 2-model voor elk van de drie Llama-modellen. 2 modellen. We tonen gevolgtrekkingsresultaten voor vijf gegevenspunten. U kunt uit de volgende tabellen opmaken dat de samenvattingen voor beide datasets verbeteren wanneer we de modellen verfijnen.

• Resultaten voor het verfijnen van het Llama 2 7B-tekstgeneratiemodel op de Dolly-dataset:

• Resultaten voor het verfijnen van het Llama 2 13B-tekstgeneratiemodel op de Dolly-dataset:

• Resultaten voor het verfijnen van het Llama 2 70B-tekstgeneratiemodel op de Dolly-dataset:

• Resultaten voor het verfijnen van het Llama 2 7B-tekstgeneratiemodel op de Dialogsum-dataset:

• Resultaten voor het verfijnen van het Llama-2 13B-model op de Dialogsum-dataset:

• Resultaten voor het verfijnen van het Llama 2 70B-model op de Dialogsum-dataset:

Opmaak van gegevenssets

We bieden momenteel twee soorten verfijning aan: fijnafstemming van instructies en fijnafstemming van domeinaanpassing. U kunt eenvoudig overschakelen naar een van de trainingsmethoden door de parameter op te geven instruction_tuned zoals 'True'of'False'.

Domeinaanpassingsformaat

Het tekstgeneratiemodel kan ook worden afgestemd op elke domeinspecifieke dataset. Nadat het model is verfijnd op de domeinspecifieke gegevensset, wordt verwacht dat het domeinspecifieke tekst genereert en verschillende NLP-taken in dat specifieke domein oplost met enkele vragen.

Gebruik voor invoer in het model een trainings- en optionele validatiedirectory. Elke map bevat een CSV-, JSON- of TXT-bestand. Voor CSV- en JSON-bestanden worden de trein- of validatiegegevens gebruikt uit de kolom genaamd tekst of de eerste kolom als er geen kolom wordt genoemd text is gevonden. Het aantal bestanden dat wordt getraind en gevalideerd (indien aanwezig) moet respectievelijk gelijk zijn aan 1.

De uitvoer is een getraind model dat kan worden ingezet voor gevolgtrekking.

Het volgende is een voorbeeld van een TXT-bestand voor het verfijnen van het tekstgeneratiemodel. Het TXT-bestand is SEC-registratie van Amazon van 2021-2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Instructie fijnafstemming

Het tekstgeneratiemodel kan op instructie worden afgestemd op alle tekstgegevens, op voorwaarde dat de gegevens het verwachte formaat hebben. Het op instructies afgestemde model kan verder worden ingezet voor gevolgtrekking.

Gebruik voor invoer een trainings- en optionele validatiedirectory. De trein- en validatiemappen moeten een of meerdere JSON-regels (.jsonl) geformatteerde bestanden bevatten. In het bijzonder kan de train-directory ook een optioneel *.json-bestand bevatten dat de invoer- en uitvoerformaten beschrijft.

Het beste model wordt geselecteerd op basis van het validatieverlies, berekend aan het einde van elk tijdperk. Als er geen validatieset wordt opgegeven, wordt automatisch een (instelbaar) percentage van de trainingsgegevens gesplitst en gebruikt voor validatie.

De trainingsgegevens moeten worden opgemaakt in een JSON-regelsindeling (.jsonl), waarbij elke regel een woordenboek is dat één gegevensmonster vertegenwoordigt. Alle trainingsgegevens moeten in één map staan; het kan echter in meerdere .jsonl-bestanden worden opgeslagen. De bestandsextensie .jsonl is verplicht. De trainingsmap kan ook een template.json bestand dat de invoer- en uitvoerformaten beschrijft. Als er geen sjabloonbestand wordt opgegeven, wordt het volgende sjabloon gebruikt:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

In dit geval moeten de gegevens in de JSON-regels het volgende bevatten prompt en completion velden. Als er een aangepaste sjabloon wordt verstrekt, moet deze ook worden gebruikt prompt en completion toetsen om de invoer- en uitvoersjablonen te definiëren. Het volgende is een voorbeeld van een aangepaste sjabloon:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Hier moeten de gegevens in de JSON-regelitems de question, context en answer te worden.

De uitvoer is een getraind model dat kan worden ingezet voor gevolgtrekking.

We bieden een subset van SEC-registratiegegevens van Amazon. Het wordt gedownload van openbaar beschikbaar EDGAR. Voor instructies over toegang tot de gegevens, zie Toegang tot EDGAR-gegevens.

Licentie: Creative Commons Attribution-ShareAlike-licentie (CC BY-SA 4.0)

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/