Llama 2 foundation-modellen van Meta zijn nu beschikbaar in Amazon SageMaker JumpStart | Amazon-webservices

Vandaag zijn we verheugd aan te kondigen dat de door Meta ontwikkelde Llama 2-basismodellen beschikbaar zijn voor klanten via Amazon SageMaker JumpStart. De Llama 2-familie van grote taalmodellen (LLM's) is een verzameling van vooraf getrainde en verfijnde generatieve tekstmodellen, variërend in schaal van 7 miljard tot 70 miljard parameters. Verfijnde LLM's, Llama-2-chat genaamd, zijn geoptimaliseerd voor gebruikssituaties in de dialoog. U kunt deze modellen eenvoudig uitproberen en gebruiken met SageMaker JumpStart, een machine learning-hub (ML) die toegang biedt tot algoritmen, modellen en ML-oplossingen, zodat u snel aan de slag kunt met ML.

In dit bericht laten we zien hoe u Llama 2-modellen kunt gebruiken via SageMaker JumpStart.

Wat is Lama 2

Llama 2 is een auto-regressief taalmodel dat gebruik maakt van een geoptimaliseerde transformatorarchitectuur. Llama 2 is bedoeld voor commercieel en onderzoeksgebruik in het Engels. Het wordt geleverd in een reeks parametergroottes - 7 miljard, 13 miljard en 70 miljard - evenals vooraf getrainde en nauwkeurig afgestelde variaties. Volgens Meta gebruiken de afgestemde versies gesuperviseerde fijnafstemming (SFT) en versterkend leren met menselijke feedback (RLHF) om af te stemmen op menselijke voorkeuren voor behulpzaamheid en veiligheid. Lama 2 is vooraf getraind op 2 biljoen tokens aan gegevens uit openbaar beschikbare bronnen. De afgestemde modellen zijn bedoeld voor assistent-achtige chat, terwijl vooraf getrainde modellen kunnen worden aangepast voor een verscheidenheid aan taken voor het genereren van natuurlijke taal. Ongeacht welke versie van het model een ontwikkelaar gebruikt, de gids voor verantwoord gebruik van Meta kan helpen bij het begeleiden van aanvullende fijnafstellingen die nodig kunnen zijn om de modellen aan te passen en te optimaliseren met de juiste veiligheidsbeperkingen.

Wat is SageMaker JumpStart

Met SageMaker JumpStart kunnen ML-beoefenaars kiezen uit een brede selectie van open source basismodellen. ML-beoefenaars kunnen basismodellen inzetten voor dedicated Amazon Sage Maker instances uit een netwerkgeïsoleerde omgeving en pas modellen aan met SageMaker voor modeltraining en -implementatie.

Je kunt Llama 2 nu met een paar klikken ontdekken en inzetten Amazon SageMaker Studio of programmatisch via de SageMaker Python SDK, zodat u modelprestaties en MLOps-besturingselementen kunt afleiden met SageMaker-functies zoals Amazon SageMaker-pijpleidingen, Amazon SageMaker-foutopsporing, of containerlogboeken. Het model wordt geïmplementeerd in een AWS-beveiligde omgeving en onder uw VPC-controles, waardoor gegevensbeveiliging wordt gegarandeerd. Llama 2-modellen zijn vanaf vandaag beschikbaar in Amazon SageMaker Studio, aanvankelijk in us-east 1 en us-west 2 Regio's.

Ontdek modellen

U hebt toegang tot de basismodellen via SageMaker JumpStart in de gebruikersinterface van SageMaker Studio en de SageMaker Python SDK. In dit gedeelte bespreken we hoe u de modellen in SageMaker Studio kunt ontdekken.

SageMaker Studio is een geïntegreerde ontwikkelomgeving (IDE) die een enkele webgebaseerde visuele interface biedt waar u toegang hebt tot speciaal gebouwde tools om alle ML-ontwikkelingsstappen uit te voeren, van het voorbereiden van gegevens tot het bouwen, trainen en implementeren van uw ML-modellen. Raadpleeg voor meer informatie over hoe u aan de slag kunt gaan en SageMaker Studio kunt instellen Amazon SageMaker Studio.

Als u eenmaal in de SageMaker Studio bent, hebt u toegang tot SageMaker JumpStart, dat vooraf getrainde modellen, notebooks en kant-en-klare oplossingen bevat, onder Kant-en-klare en geautomatiseerde oplossingen.

Vanaf de startpagina van SageMaker JumpStart kunt u zoeken naar oplossingen, modellen, notebooks en andere bronnen. Je kunt twee vlaggenschip Llama 2-modellen vinden in de Stichting modellen: Tekst genereren carrousel. Als u geen Llama 2-modellen ziet, werkt u uw SageMaker Studio-versie bij door af te sluiten en opnieuw op te starten. Raadpleeg voor meer informatie over versie-updates Sluit Studio-apps af en werk ze bij.

U kunt ook vier andere modelvarianten vinden door te kiezen Ontdek alle modellen voor tekstgeneratie of zoeken naar llama in het zoekvak.

U kunt de modelkaart kiezen om details over het model te bekijken, zoals licentie, gegevens die zijn gebruikt om te trainen en hoe te gebruiken. U kunt ook twee knoppen vinden, Implementeren en Notitieblok openen, die u helpen het model te gebruiken.

Wanneer u een van beide knoppen kiest, toont een pop-up de licentieovereenkomst voor eindgebruikers en het beleid voor acceptabel gebruik dat u moet bevestigen.

Na bevestiging gaat u verder met de volgende stap om het model te gebruiken.

Een model implementeren

Wanneer je kiest Implementeren en accepteer de voorwaarden, de modelimplementatie begint. U kunt ook implementeren via het voorbeeldnotitieblok dat wordt weergegeven door te kiezen Notitieblok openen. Het voorbeeldnotitieblok biedt end-to-end-richtlijnen voor het implementeren van het model voor deductie en het opschonen van bronnen.

Om te implementeren met behulp van een notebook, beginnen we met het selecteren van een geschikt model, gespecificeerd door de model_id. U kunt elk van de geselecteerde modellen op SageMaker implementeren met de volgende code:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Dit implementeert het model op SageMaker met standaardconfiguraties, inclusief standaard instantietype en standaard VPC-configuraties. U kunt deze configuraties wijzigen door niet-standaardwaarden op te geven in JumpStart-model. Nadat het is geïmplementeerd, kunt u deductie uitvoeren tegen het geïmplementeerde eindpunt via de SageMaker-voorspeller:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Verfijnde chatmodellen (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) accepteren een chatgeschiedenis tussen de gebruiker en de chatassistent en genereren de daaropvolgende chat. De vooraf getrainde modellen (Llama-2-7b, Llama-2-13b, Llama-2-70b) vereisen een tekenreeksprompt en voeren tekstaanvulling uit op de opgegeven prompt. Zie de volgende code:

predictor.predict(payload, custom_attributes="accept_eula=true")

Merk op dat standaard accept_eula is ingesteld op onwaar. Je moet instellen accept_eula=true om het eindpunt met succes aan te roepen. Door dit te doen, accepteert u de gebruikerslicentieovereenkomst en het beleid voor acceptabel gebruik zoals eerder vermeld. Je kan ook Download de licentieovereenkomst.

Custom_attributes die worden gebruikt om EULA door te geven, zijn sleutel/waarde-paren. De sleutel en waarde worden gescheiden door = en paren worden gescheiden door ;. Als de gebruiker dezelfde sleutel meer dan eens doorgeeft, wordt de laatste waarde bewaard en doorgegeven aan de scripthandler (dwz in dit geval gebruikt voor voorwaardelijke logica). Als bijvoorbeeld accept_eula=false; accept_eula=true wordt vervolgens doorgegeven aan de server  accept_eula=true wordt bewaard en doorgegeven aan de scripthandler.

Inferentieparameters regelen het proces voor het genereren van tekst op het eindpunt. De maximale controle over nieuwe tokens verwijst naar de grootte van de uitvoer die door het model wordt gegenereerd. Merk op dat dit niet hetzelfde is als het aantal woorden, omdat het vocabulaire van het model niet hetzelfde is als het Engelse vocabulaire en elk token mogelijk geen Engelstalig woord is. Temperatuur regelt de willekeur in de uitvoer. Hogere temperaturen resulteren in meer creatieve en hallucinerende resultaten. Alle inferentieparameters zijn optioneel.

De volgende tabel geeft een overzicht van alle Lama-modellen die beschikbaar zijn in SageMaker JumpStart samen met de model_ids, standaardinstantietypen en het maximale aantal totale tokens (som van het aantal invoertokens en het aantal gegenereerde tokens) dat voor elk van deze modellen wordt ondersteund.

Houd er rekening mee dat SageMaker-eindpunten een time-outlimiet van 60 seconden hebben. Dus hoewel het model mogelijk 4096 tokens kan genereren, zal het verzoek mislukken als het genereren van tekst meer dan 60 seconden duurt. Voor 7B-, 13B- en 70B-modellen raden we aan om in te stellen max_new_tokens niet meer dan respectievelijk 1500, 1000 en 500, terwijl het totale aantal tokens minder dan 4K blijft.

Inferentie- en voorbeeldvragen voor Llama-2-70b

U kunt Llama-modellen gebruiken voor tekstaanvulling voor elk stuk tekst. Door het genereren van tekst kunt u verschillende taken uitvoeren, zoals het beantwoorden van vragen, taalvertaling, sentimentanalyse en nog veel meer. De invoerpayload naar het eindpunt ziet eruit als de volgende code:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Hieronder volgen enkele voorbeeldprompts en de tekst die door het model wordt gegenereerd. Alle uitvoer wordt gegenereerd met inferentieparameters {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

In het volgende voorbeeld laten we zien hoe Llama-modellen kunnen worden gebruikt met weinig-shot in-context leren, waarbij we trainingsvoorbeelden beschikbaar stellen voor het model. Houd er rekening mee dat we alleen conclusies trekken over het geïmplementeerde model en tijdens dit proces veranderen de modelgewichten niet.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Inferentie- en voorbeeldvragen voor Llama-2-70b-chat

Met Llama-2-Chat-modellen, die zijn geoptimaliseerd voor gebruiksscenario's voor dialogen, is de invoer voor de eindpunten van het chatmodel de eerdere geschiedenis tussen de chatassistent en de gebruiker. U kunt contextuele vragen stellen over het gesprek dat tot nu toe heeft plaatsgevonden. U kunt ook de systeemconfiguratie opgeven, zoals persona's die het gedrag van de chatassistent bepalen. De invoerpayload naar het eindpunt ziet eruit als de volgende code:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Hieronder volgen enkele voorbeeldprompts en de tekst die door het model wordt gegenereerd. Alle uitvoer wordt gegenereerd met de inferentieparameters {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

In het volgende voorbeeld heeft de gebruiker een gesprek gehad met de assistent over toeristische bezienswaardigheden in Parijs. Vervolgens informeert de gebruiker naar de eerste optie die door de chatassistent wordt aanbevolen.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

In de volgende voorbeelden stellen we de configuratie van het systeem in:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Opruimen

Nadat u klaar bent met het uitvoeren van de notebook, moet u ervoor zorgen dat u alle resources verwijdert, zodat alle resources die u tijdens het proces hebt gemaakt, worden verwijderd en uw facturering wordt stopgezet:

predictor.delete_model()
predictor.delete_endpoint()

Conclusie

In dit bericht hebben we je laten zien hoe je aan de slag kunt met Llama 2-modellen in SageMaker Studio. Hiermee heb je toegang tot zes Llama 2 foundation modellen die miljarden parameters bevatten. Omdat basismodellen vooraf zijn getraind, kunnen ze ook helpen de kosten voor training en infrastructuur te verlagen en maatwerk voor uw gebruik mogelijk te maken. Ga naar de volgende bronnen om aan de slag te gaan met SageMaker JumpStart:

Over de auteurs

juni gewonnen is een productmanager bij SageMaker JumpStart. Hij richt zich op het gemakkelijk vindbaar en bruikbaar maken van basismodellen om klanten te helpen bij het bouwen van generatieve AI-applicaties. Zijn ervaring bij Amazon omvat ook mobiele winkelapplicaties en last mile-bezorging.

Dr Vivek Madan is een Applied Scientist bij het Amazon SageMaker JumpStart-team. Hij promoveerde aan de Universiteit van Illinois in Urbana-Champaign en was een postdoctoraal onderzoeker bij Georgia Tech. Hij is een actief onderzoeker op het gebied van machine learning en algoritmeontwerp en heeft artikelen gepubliceerd op EMNLP-, ICLR-, COLT-, FOCS- en SODA-conferenties. Dr Kyle Ulrich is een Applied Scientist bij het Amazon SageMaker JumpStart-team. Zijn onderzoeksinteresses omvatten schaalbare machine learning-algoritmen, computervisie, tijdreeksen, Bayesiaanse niet-parametrische gegevens en Gaussiaanse processen. Zijn PhD is van Duke University en hij heeft artikelen gepubliceerd in NeurIPS, Cell en Neuron. Dr Ashish Khetan is een Senior Applied Scientist bij Amazon SageMaker JumpStart en helpt bij het ontwikkelen van machine learning-algoritmen. Hij promoveerde aan de Universiteit van Illinois in Urbana-Champaign. Hij is een actief onderzoeker op het gebied van machine learning en statistische inferentie, en heeft veel artikelen gepubliceerd op NeurIPS-, ICML-, ICLR-, JMLR-, ACL- en EMNLP-conferenties. Soendar Ranganathan is het wereldwijde hoofd van GenAI/Frameworks GTM-specialisten bij AWS. Hij richt zich op het ontwikkelen van GTM-strategieën voor grote taalmodellen, GenAI en grootschalige ML-workloads voor AWS-services zoals Amazon EC2, EKS, EFA, AWS Batch en Amazon SageMaker. Zijn ervaring omvat leiderschapsrollen in productbeheer en productontwikkeling bij NetApp, Micron Technology, Qualcomm en Mentor Graphics.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/