Meta Llama 3-modellen zijn nu beschikbaar in Amazon SageMaker JumpStart | Amazon-webservices

Vandaag kondigen we met trots aan dat de Meta Llama 3 foundation-modellen verkrijgbaar zijn via Amazon SageMaker JumpStart om gevolgtrekkingen in te zetten en uit te voeren. De Llama 3-modellen zijn een verzameling vooraf getrainde en verfijnde generatieve tekstmodellen.

In dit bericht bekijken we hoe u Llama 3-modellen kunt ontdekken en implementeren via SageMaker JumpStart.

Wat is Meta Llama 3

Llama 3 wordt geleverd in twee parametergroottes – 8B en 70B met een contextlengte van 8k – die een breed scala aan gebruiksscenario’s kunnen ondersteunen met verbeteringen in redenering, codegeneratie en het volgen van instructies. Llama 3 maakt gebruik van een transformatorarchitectuur die alleen voor een decoder werkt en een nieuwe tokenizer die verbeterde modelprestaties biedt met een grootte van 128k. Bovendien verbeterde Meta de post-trainingsprocedures die het aantal valse weigeringen aanzienlijk verminderden, de afstemming verbeterden en de diversiteit in modelreacties vergrootten. U kunt nu de gecombineerde voordelen van Llama 3-prestaties en MLOps-besturingselementen ontlenen met Amazon SageMaker-functies zoals SageMaker Pipelines, SageMaker Debugger of containerlogboeken. Bovendien wordt het model geïmplementeerd in een AWS-beveiligde omgeving onder uw VPC-controle, waardoor gegevensbeveiliging wordt geboden.

Wat is SageMaker JumpStart

Met SageMaker JumpStart kunt u kiezen uit een brede selectie openbaar beschikbare funderingsmodellen. ML-beoefenaars kunnen basismodellen implementeren op speciale SageMaker-instanties vanuit een netwerkgeïsoleerde omgeving en modellen aanpassen met behulp van SageMaker voor modeltraining en -implementatie. U kunt nu met een paar klikken Llama 3-modellen ontdekken en implementeren Amazon SageMaker Studio of programmatisch via de SageMaker Python SDK, zodat u modelprestaties en MLOps-besturingselementen kunt afleiden met SageMaker-functies zoals SageMaker-pijpleidingen, SageMaker-foutopsporingof containerlogboeken. Het model wordt geïmplementeerd in een AWS-beveiligde omgeving en onder uw VPC-controle, waardoor gegevensbeveiliging wordt geboden. Llama 3-modellen zijn vandaag beschikbaar voor implementatie en gevolgtrekking in Amazon SageMaker Studio in us-east-1 (N.Virginia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Ierland) en ap-northeast-1 (Tokio) AWS-regio's.

Ontdek modellen

U hebt toegang tot de basismodellen via SageMaker JumpStart in de gebruikersinterface van SageMaker Studio en de SageMaker Python SDK. In dit gedeelte bespreken we hoe u de modellen in SageMaker Studio kunt ontdekken.

SageMaker Studio is een geïntegreerde ontwikkelomgeving (IDE) die een enkele webgebaseerde visuele interface biedt waar u toegang hebt tot speciaal gebouwde tools om alle ML-ontwikkelingsstappen uit te voeren, van het voorbereiden van gegevens tot het bouwen, trainen en implementeren van uw ML-modellen. Raadpleeg voor meer informatie over hoe u aan de slag kunt gaan en SageMaker Studio kunt instellen Amazon SageMaker Studio.

In SageMaker Studio heeft u toegang tot SageMaker JumpStart, dat vooraf getrainde modellen, notebooks en vooraf gebouwde oplossingen bevat onder Kant-en-klare en geautomatiseerde oplossingen.

Vanaf de startpagina van SageMaker JumpStart kunt u eenvoudig verschillende modellen ontdekken door door verschillende hubs te bladeren die zijn vernoemd naar modelaanbieders. Je kunt Llama 3-modellen vinden in Meta-hub. Als u de Llama 3-modellen niet ziet, update dan uw SageMaker Studio-versie door deze af te sluiten en opnieuw op te starten. Voor meer informatie, zie Sluit Studio Classic-apps af en update deze.

Je kunt Llama 3-modellen vinden door te zoeken naar “Meta-llama-3” in het zoekvak linksboven.

U kunt alle Meta-modellen ontdekken die beschikbaar zijn in SageMaker JumpStart door op Meta-hub te klikken.

Als u op een modelkaart klikt, wordt de bijbehorende modeldetailpagina geopend, van waaruit u het model eenvoudig kunt implementeren.

Een model implementeren

Wanneer je kiest Implementeren en de EULA-voorwaarden erkent, zal de implementatie starten.

U kunt de voortgang van de implementatie volgen op de pagina die verschijnt nadat u op de knop Implementeren hebt geklikt.

Je kunt ook kiezen Notitieblok openen implementeren via het voorbeeldnotebook. Het voorbeeldnotebook biedt end-to-end richtlijnen voor het implementeren van het model voor gevolgtrekking en het opschonen van bronnen.

Om de notebook te gebruiken, begint u met het selecteren van een geschikt model, gespecificeerd door de model_id. U kunt elk van de geselecteerde modellen op SageMaker implementeren met de volgende code.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Standaard accept_eula is ingesteld op False. Om het eindpunt succesvol te kunnen implementeren, moet u de EULA handmatig accepteren. Door dit te doen, accepteert u de gebruikerslicentieovereenkomst en het acceptabele gebruiksbeleid. Ook kunt u de licentieovereenkomst vinden Lama-website. Hiermee wordt het model op SageMaker geïmplementeerd met standaardconfiguraties, inclusief het standaardinstantietype en standaard VPC-configuraties. U kunt deze configuratie wijzigen door niet-standaardwaarden op te geven in JumpStartModel. Raadpleeg het volgende voor meer informatie documentatie.

De volgende tabel bevat alle Llama 3-modellen die beschikbaar zijn in SageMaker JumpStart, samen met de model_ids, standaardinstantietypen en het maximale aantal totale tokens (som van het aantal invoertokens en het aantal gegenereerde tokens) dat voor elk van deze modellen wordt ondersteund.

Voer gevolgtrekking uit

Nadat u het model hebt geïmplementeerd, kunt u gevolgtrekkingen uitvoeren op het geïmplementeerde eindpunt via de SageMaker-voorspeller. Verfijnde instructiemodellen (Llama 3: 8B Instruct en 70B Instruct) accepteren een geschiedenis van chats tussen de gebruiker en de chatassistent en genereren de daaropvolgende chat. De vooraf getrainde modellen (Llama 3: 8B en 70B) vereisen een tekenreeksprompt en voeren tekstaanvulling uit op de opgegeven prompt.

predictor.predict(payload)

Inferentieparameters bepalen het tekstgeneratieproces op het eindpunt. De Max nieuwe tokens bepalen de grootte van de uitvoer die door het model wordt gegenereerd. Dit is niet hetzelfde als het aantal woorden, omdat de woordenschat van het model niet hetzelfde is als de Engelse woordenschat, en elk token hoeft geen Engelstalig woord te zijn. De temperatuurparameter regelt de willekeur in de uitvoer. Hogere temperaturen resulteren in creatievere en hallucinantere resultaten. Alle gevolgtrekkingsparameters zijn optioneel.

Voorbeeldvragen voor het 70B-model

U kunt Llama 3-modellen gebruiken voor tekstaanvulling voor elk stuk tekst. Door het genereren van tekst kunt u een verscheidenheid aan taken uitvoeren, zoals het beantwoorden van vragen, het vertalen van talen en het analyseren van sentimenten, en meer. De invoerpayload naar het eindpunt ziet eruit als de volgende code:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Hieronder volgen enkele voorbeeldprompts en de tekst die door het model wordt gegenereerd. Alle uitvoer wordt gegenereerd met inferentieparameters {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

In het volgende voorbeeld laten we zien hoe u Llama 3-modellen kunt gebruiken met weinig in-context leren, waarbij we trainingsvoorbeelden ter beschikking stellen van het model. We voeren alleen gevolgtrekkingen uit op het geïmplementeerde model en tijdens dit proces veranderen de modelgewichten niet.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Voorbeeldvragen voor het 70B-Instruct-model

Met Llama 3-instructiemodellen die zijn geoptimaliseerd voor dialooggebruiksscenario's, is de invoer voor de eindpunten van het instrueringsmodel de eerdere geschiedenis tussen de chatassistent en de gebruiker. U kunt vragen stellen die verband houden met het gesprek dat tot nu toe heeft plaatsgevonden. U kunt ook de systeemconfiguratie opgeven, zoals persona's, die het gedrag van de chatassistent bepalen. Hoewel het invoerpayloadformaat hetzelfde is als het vooraf getrainde basismodel, moet de invoertekst op de volgende manier worden opgemaakt:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

In dit instructiesjabloon kunt u optioneel beginnen met a system rol en neem zoveel afwisselende rollen op als gewenst in de turn-based geschiedenis. De laatste rol zou altijd moeten zijn assistant en eindig met twee nieuwe regelfeeds.

Bekijk vervolgens enkele voorbeeldprompts en reacties uit het model. In het volgende voorbeeld stelt de gebruiker een eenvoudige vraag aan de assistent.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

In het volgende voorbeeld heeft de gebruiker een gesprek met de assistent over toeristische bezienswaardigheden in Parijs. Vervolgens informeert de gebruiker naar de eerste optie die door de chatassistent wordt aanbevolen.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

In de volgende voorbeelden stellen we de systeemconfiguratie in.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Opruimen

Nadat u klaar bent met het uitvoeren van de notebook, moet u ervoor zorgen dat u alle bronnen verwijdert die u tijdens het proces hebt gemaakt, zodat de facturering wordt stopgezet. Gebruik de volgende code:

predictor.delete_model()
predictor.delete_endpoint()

Conclusie

In dit bericht hebben we u laten zien hoe u aan de slag kunt gaan met Llama 3-modellen in SageMaker Studio. Je hebt nu toegang tot vier Llama 3-funderingsmodellen die miljarden parameters bevatten. Omdat basismodellen vooraf zijn getraind, kunnen ze ook helpen de training- en infrastructuurkosten te verlagen en maatwerk voor uw gebruiksscenario mogelijk te maken. Uitchecken SageMaker JumpStart in SageMaker Studio nu om aan de slag te gaan.

Over auteurs

Kyle Ulrich is een Applied Scientist II bij AWS
Xin Huang is een Senior Applied Scientist bij AWS
Qing Lan is een Senior Software Developer Engineer bij AWS
Haotiaanse An is een Software Developer Engineer II bij AWS
Christoffel Whitten is een Software Development Engineer II bij AWS
Tyler Osterberg is een Software Development Engineer I bij AWS
Manan Sjah is softwareontwikkelingsmanager bij AWS
Jonathan Guinegagne is een Senior Software Developer Engineer bij AWS
Adriana Simmons is een Senior Product Marketing Manager bij AWS
juni gewonnen is senior productmanager bij AWS
Asish Khetan is een Senior Applied Scientist bij AWS
Rachna Chadha is een Principal Solution Architect – AI/ML bij AWS
Deepak Rupakula is een Principal GTM-specialist bij AWS

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/