Meta Llama 3-modeller er nu tilgængelige i Amazon SageMaker JumpStart | Amazon Web Services

I dag er vi glade for at kunne meddele, at Meta Llama 3 foundation-modeller er tilgængelige igennem Amazon SageMaker JumpStart at implementere og køre inferens. Llama 3-modellerne er en samling af fortrænede og finjusterede generative tekstmodeller.

I dette indlæg gennemgår vi, hvordan du opdager og implementerer Llama 3-modeller via SageMaker JumpStart.

Hvad er Meta Llama 3

Llama 3 kommer i to parameterstørrelser - 8B og 70B med 8k kontekstlængde - der kan understøtte en bred vifte af use cases med forbedringer i ræsonnement, kodegenerering og instruktionsfølge. Llama 3 bruger en transformerarkitektur, der kun er dekoder, og ny tokenizer, der giver forbedret modelydelse med en størrelse på 128k. Derudover forbedrede Meta procedurer efter træning, som væsentligt reducerede antallet af falske afslag, forbedrede tilpasningen og øgede diversiteten i modelsvar. Du kan nu få de kombinerede fordele ved Llama 3-ydeevne og MLOps-kontroller med Amazon SageMaker-funktioner såsom SageMaker Pipelines, SageMaker Debugger eller containerlogfiler. Derudover vil modellen blive implementeret i et AWS-sikkert miljø under dine VPC-kontroller, hvilket hjælper med at give datasikkerhed.

Hvad er SageMaker JumpStart

Med SageMaker JumpStart kan du vælge mellem et bredt udvalg af offentligt tilgængelige fundamentmodeller. ML-praktikere kan implementere fundamentmodeller til dedikerede SageMaker-instanser fra et netværksisoleret miljø og tilpasse modeller ved hjælp af SageMaker til modeltræning og -implementering. Du kan nu opdage og implementere Llama 3-modeller med nogle få klik Amazon SageMaker Studio eller programmatisk gennem SageMaker Python SDK, så du kan udlede modelydelse og MLOps-kontroller med SageMaker-funktioner som f.eks. SageMaker Pipelines, SageMaker Debuggereller containerlogfiler. Modellen er implementeret i et AWS-sikkert miljø og under din VPC-kontrol, hvilket hjælper med at give datasikkerhed. Llama 3-modeller er tilgængelige i dag til implementering og inferencing i Amazon SageMaker Studio i us-east-1 (N. Virginia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Irland) og ap-northeast-1 (Tokyo) AWS-regioner.

Opdag modeller

Du kan få adgang til fundamentmodellerne gennem SageMaker JumpStart i SageMaker Studio UI og SageMaker Python SDK. I dette afsnit gennemgår vi, hvordan du opdager modellerne i SageMaker Studio.

SageMaker Studio er et integreret udviklingsmiljø (IDE), der giver en enkelt webbaseret visuel grænseflade, hvor du kan få adgang til specialbyggede værktøjer til at udføre alle ML-udviklingstrin, fra forberedelse af data til opbygning, træning og implementering af dine ML-modeller. For flere detaljer om, hvordan du kommer i gang og opsætter SageMaker Studio, se Amazon SageMaker Studio.

I SageMaker Studio kan du få adgang til SageMaker JumpStart, som indeholder fortrænede modeller, notebooks og præbyggede løsninger, under Præbyggede og automatiserede løsninger.

Fra SageMaker JumpStart-landingssiden kan du nemt opdage forskellige modeller ved at browse gennem forskellige hubs, som er opkaldt efter modeludbydere. Du kan finde Llama 3-modeller i Meta-hub. Hvis du ikke kan se Llama 3-modeller, skal du opdatere din SageMaker Studio-version ved at lukke ned og genstarte. For mere information, se Luk ned og opdater Studio Classic Apps.

Du kan finde Llama 3-modeller ved at søge efter "Meta-llama-3" fra søgefeltet øverst til venstre.

Du kan finde alle Meta-modeller tilgængelige i SageMaker JumpStart ved at klikke på Meta-hub.

Ved at klikke på et modelkort åbnes den tilsvarende modeldetaljeside, hvorfra du nemt kan implementere modellen.

Implementer en model

Når du vælger Implementer og anerkender EULA-vilkårene, starter implementeringen.

Du kan overvåge implementeringens fremskridt på den side, der vises efter at have klikket på knappen Implementer.

Alternativt kan du vælge Åbn notesbog at implementere gennem eksempelnotesbogen. Eksemplet på notesbogen giver ende-til-ende vejledning om, hvordan man implementerer modellen til slutninger og renser ressourcer.

For at implementere ved hjælp af notesbogen starter du med at vælge en passende model, specificeret af model_id. Du kan implementere enhver af de valgte modeller på SageMaker med følgende kode.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Som standard accept_eula er sat til False. Du skal manuelt acceptere EULA'en for at implementere slutpunktet med succes. Ved at gøre det accepterer du brugerlicensaftalen og politikken for acceptabel brug. Du kan også finde licensaftalen Lama hjemmeside. Dette implementerer modellen på SageMaker med standardkonfigurationer, herunder standardinstanstypen og standard VPC-konfigurationer. Du kan ændre disse konfigurationer ved at angive ikke-standardværdier i JumpStartModel. For at lære mere, se venligst følgende dokumentation.

Følgende tabel viser alle de Llama 3-modeller, der er tilgængelige i SageMaker JumpStart sammen med model_ids, standardforekomsttyper og maksimalt antal samlede tokens (summen af ​​antallet af inputtokens og antallet af genererede tokens) understøttet for hver af disse modeller.

Kør inferens

Når du har implementeret modellen, kan du køre inferens mod det implementerede slutpunkt gennem SageMaker-prædiktoren. Finjusterede instruktionsmodeller (Llama 3: 8B Instruct og 70B Instruct) accepterer en historie med chats mellem brugeren og chatassistenten og genererer den efterfølgende chat. De fortrænede modeller (Llama 3: 8B og 70B) kræver en streng-prompt og udfører tekstfuldførelse på den medfølgende prompt.

predictor.predict(payload)

Inferensparametre styrer tekstgenereringsprocessen ved slutpunktet. Max nye tokens styrer størrelsen af ​​output genereret af modellen. Dette er ikke det samme som antallet af ord, fordi modellens ordforråd ikke er det samme som det engelsksprogede ordforråd, og hver token er muligvis ikke et engelsksproget ord. Temperaturparameteren styrer tilfældigheden i udgangen. Højere temperatur resulterer i mere kreative og hallucinerede output. Alle inferensparametre er valgfrie.

Eksempelbeskeder for 70B-modellen

Du kan bruge Llama 3-modeller til tekstfuldførelse for ethvert stykke tekst. Gennem tekstgenerering kan du udføre en række forskellige opgaver såsom besvarelse af spørgsmål, sprogoversættelse og følelsesanalyse og meget mere. Input nyttelasten til slutpunktet ser ud som følgende kode:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Følgende er nogle eksempler på prompter og teksten genereret af modellen. Alle udgange genereres med inferensparametre {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

I det næste eksempel viser vi, hvordan man bruger Llama 3-modeller med få skud i kontekstindlæring, hvor vi giver træningseksempler til rådighed for modellen. Vi fører kun konklusioner om den installerede model og under denne proces, og modelvægte ændres ikke.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Eksempel på prompter for 70B-Instruct-modellen

Med Llama 3-instruktionsmodeller, som er optimeret til dialogbrug, er input til instruktionsmodellens slutpunkter den tidligere historik mellem chatassistenten og brugeren. Du kan stille spørgsmål kontekstuelle til den samtale, der er sket indtil videre. Du kan også angive systemkonfigurationen, såsom personas, som definerer chatassistentens adfærd. Selvom input-nyttelastformatet er det samme som den forudtrænede basismodel, skal inputteksten formateres på følgende måde:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

I denne instruktionsskabelon kan du eventuelt starte med en system rolle og inkludere så mange alternerende roller som ønsket i den turbaserede historie. Den endelige rolle bør altid være assistant og afslut med to nye linjeskift.

Overvej derefter et par eksempler på prompter og svar fra modellen. I det følgende eksempel stiller brugeren et simpelt spørgsmål til assistenten.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

I det følgende eksempel har brugeren en samtale med assistenten om turiststeder i Paris. Så forespørger brugeren om den første mulighed anbefalet af chatassistenten.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

I de følgende eksempler indstiller vi systemets konfiguration.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Ryd op

Når du er færdig med at køre notesbogen, skal du sørge for at slette alle de ressourcer, du oprettede i processen, så din fakturering stoppes. Brug følgende kode:

predictor.delete_model()
predictor.delete_endpoint()

Konklusion

I dette indlæg viste vi dig, hvordan du kommer i gang med Llama 3-modeller i SageMaker Studio. Du har nu adgang til fire Llama 3-fundamentmodeller, der indeholder milliarder af parametre. Fordi fundamentmodeller er fortrænede, kan de også hjælpe med at sænke uddannelses- og infrastrukturomkostninger og muliggøre tilpasning til din brugssituation. Tjek ud SageMaker JumpStart i SageMaker Studio nu for at komme i gang.

Om forfattere

Kyle Ulrich er en Applied Scientist II ved AWS
Xin Huang er Senior Applied Scientist hos AWS
Qing Lan er Senior Software Developer Engineer hos AWS
Haotian An er Software Developer Engineer II hos AWS
Christopher Whitten er softwareudviklingsingeniør II hos AWS
Tyler Osterberg er softwareudviklingsingeniør I hos AWS
Manan Shah er Software Development Manager hos AWS
Jonathan Guinegagne er Senior Software Developer Engineer hos AWS
Adriana Simmons er Senior Product Marketing Manager hos AWS
juni vandt er Senior Product Manager hos AWS
Ashish Khetan er Senior Applied Scientist hos AWS
Rachna Chadha er Principal Solution Architect – AI/ML hos AWS
Deepak Rupakula er Principal GTM Specialist hos AWS

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/