Llama 2 foundation-modeller från Meta är nu tillgängliga i Amazon SageMaker JumpStart | Amazon webbtjänster

Idag är vi glada att kunna meddela att Llama 2-fundamentmodeller utvecklade av Meta är tillgängliga för kunder via Amazon SageMaker JumpStart. Llama 2-familjen av stora språkmodeller (LLM) är en samling förtränade och finjusterade generativa textmodeller som sträcker sig i skala från 7 miljarder till 70 miljarder parametrar. Finjusterade LLM:er, kallade Llama-2-chat, är optimerade för dialoganvändningsfall. Du kan enkelt prova dessa modeller och använda dem med SageMaker JumpStart, som är ett nav för maskininlärning (ML) som ger tillgång till algoritmer, modeller och ML-lösningar så att du snabbt kan komma igång med ML.

I det här inlägget går vi igenom hur man använder Llama 2-modeller via SageMaker JumpStart.

Vad är Llama 2

Llama 2 är en autoregressiv språkmodell som använder en optimerad transformatorarkitektur. Llama 2 är avsedd för kommersiell och forskningsanvändning på engelska. Den finns i en rad parameterstorlekar – 7 miljarder, 13 miljarder och 70 miljarder – såväl som förtränade och finjusterade varianter. Enligt Meta använder de avstämda versionerna övervakad finjustering (SFT) och förstärkningsinlärning med mänsklig feedback (RLHF) för att anpassa sig till mänskliga preferenser för hjälpsamhet och säkerhet. Llama 2 var förtränad på 2 biljoner tokens data från allmänt tillgängliga källor. De avstämda modellerna är avsedda för assistentliknande chatt, medan förtränade modeller kan anpassas för en mängd olika naturliga språkgenereringsuppgifter. Oavsett vilken version av modellen en utvecklare använder, guide för ansvarsfull användning från Meta kan hjälpa till att vägleda ytterligare finjusteringar som kan vara nödvändiga för att anpassa och optimera modellerna med lämpliga säkerhetsbegränsningar.

Vad är SageMaker JumpStart

Med SageMaker JumpStart kan ML-utövare välja från ett brett urval av grundmodeller med öppen källkod. ML-utövare kan distribuera grundmodeller till dedikerade Amazon SageMaker instanser från en nätverksisolerad miljö och anpassa modeller med SageMaker för modellträning och implementering.

Du kan nu upptäcka och distribuera Llama 2 med några få klick in Amazon SageMaker Studio eller programmatiskt genom SageMaker Python SDK, vilket gör att du kan härleda modellprestanda och MLOps-kontroller med SageMaker-funktioner som t.ex. Amazon SageMaker-rörledningar, Amazon SageMaker Debugger, eller behållarloggar. Modellen distribueras i en AWS säker miljö och under dina VPC-kontroller, vilket hjälper till att säkerställa datasäkerhet. Llama 2-modeller är tillgängliga idag i Amazon SageMaker Studio, initialt i us-east 1 och us-west 2 regioner.

Upptäck modeller

Du kan komma åt grundmodellerna genom SageMaker JumpStart i SageMaker Studio UI och SageMaker Python SDK. I det här avsnittet går vi igenom hur du upptäcker modellerna i SageMaker Studio.

SageMaker Studio är en integrerad utvecklingsmiljö (IDE) som tillhandahåller ett enda webbaserat visuellt gränssnitt där du kan komma åt specialbyggda verktyg för att utföra alla ML-utvecklingssteg, från att förbereda data till att bygga, träna och distribuera dina ML-modeller. För mer information om hur du kommer igång och konfigurerar SageMaker Studio, se Amazon SageMaker Studio.

När du väl är på SageMaker Studio kan du komma åt SageMaker JumpStart, som innehåller förutbildade modeller, bärbara datorer och förbyggda lösningar, under Förbyggda och automatiserade lösningar.

Från SageMaker JumpStart-målsidan kan du söka efter lösningar, modeller, bärbara datorer och andra resurser. Du kan hitta två flaggskepp Llama 2-modeller i Grundmodeller: Textgenerering karusell. Om du inte ser Llama 2-modeller, uppdatera din SageMaker Studio-version genom att stänga av och starta om. För mer information om versionsuppdateringar, se Stäng av och uppdatera Studio-appar.

Du kan även hitta andra fyra modellvarianter genom att välja Utforska alla textgenereringsmodeller eller söker efter llama i sökrutan.

Du kan välja modellkortet för att se detaljer om modellen såsom licens, data som används för att träna och hur du använder den. Du kan också hitta två knappar, Distribuera och Öppna Notebook, som hjälper dig att använda modellen.

När du väljer någon av knapparna kommer ett popup-fönster att visa slutanvändarlicensavtalet och policyn för acceptabel användning som du kan bekräfta.

När du har bekräftat går du vidare till nästa steg för att använda modellen.

Distribuera en modell

När du väljer Distribuera och bekräfta villkoren, kommer modellimplementeringen att börja. Alternativt kan du distribuera via exempelanteckningsboken som dyker upp genom att välja Öppna Notebook. Exemplet på anteckningsboken ger vägledning från början till slut om hur man distribuerar modellen för slutledning och städar upp resurser.

För att distribuera med en bärbar dator börjar vi med att välja en lämplig modell, specificerad av model_id. Du kan distribuera vilken som helst av de valda modellerna på SageMaker med följande kod:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Detta distribuerar modellen på SageMaker med standardkonfigurationer, inklusive standardinstanstyp och standard VPC-konfigurationer. Du kan ändra dessa konfigurationer genom att ange icke-standardvärden i JumpStartModel. Efter att den har distribuerats kan du köra slutledning mot den distribuerade slutpunkten genom SageMaker-prediktorn:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Finjusterade chattmodeller (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) accepterar en chatthistorik mellan användaren och chattassistenten och genererar den efterföljande chatten. De förtränade modellerna (Llama-2-7b, Llama-2-13b, Llama-2-70b) kräver en strängprompt och utför textkomplettering på den angivna prompten. Se följande kod:

predictor.predict(payload, custom_attributes="accept_eula=true")

Observera att som standard, accept_eula är inställt på falskt. Du måste ställa in accept_eula=true för att anropa slutpunkten framgångsrikt. Genom att göra det accepterar du användarlicensavtalet och policyn för acceptabel användning som nämnts tidigare. Du kan också ladda ner licensavtalet.

Custom_attributes som används för att passera EULA är nyckel-/värdepar. Nyckeln och värdet separeras med = och par är åtskilda av ;. Om användaren skickar samma nyckel mer än en gång, behålls det sista värdet och skickas till skripthanteraren (dvs., i detta fall, används för villkorlig logik). Till exempel om accept_eula=false; accept_eula=true skickas sedan till servern  accept_eula=true hålls och skickas till skripthanteraren.

Inferensparametrar styr textgenereringsprocessen vid slutpunkten. Den maximala kontrollen för nya tokens hänvisar till storleken på utdata som genereras av modellen. Observera att detta inte är detsamma som antalet ord eftersom modellens ordförråd inte är detsamma som det engelska ordförrådet, och varje token kanske inte är ett engelskspråkigt ord. Temperaturen styr slumpmässigheten i utgången. Högre temperatur resulterar i mer kreativa och hallucinerade utgångar. Alla inferensparametrar är valfria.

Följande tabell listar alla Llama-modeller som finns tillgängliga i SageMaker JumpStart tillsammans med model_ids, standardinstanstyper och det maximala antalet totala tokens (summan av antalet inmatade tokens och antalet genererade tokens) som stöds för var och en av dessa modeller.

Observera att SageMaker-slutpunkter har en tidsgräns på 60s. Således, även om modellen kan generera 4096 tokens, kommer begäran att misslyckas om textgenereringen tar mer än 60s. För modellerna 7B, 13B och 70B rekommenderar vi att du ställer in max_new_tokens inte mer än 1500, 1000 respektive 500, samtidigt som det totala antalet tokens är mindre än 4K.

Slutlednings- och exempelmeddelanden för Llama-2-70b

Du kan använda lamamodeller för textkomplettering för vilken text som helst. Genom textgenerering kan du utföra en mängd olika uppgifter, som att svara på frågor, språköversättning, sentimentanalys och många fler. Inmatad nyttolast till slutpunkten ser ut som följande kod:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Följande är några exempel på uppmaningar och texten som genereras av modellen. Alla utgångar genereras med inferensparametrar {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

I nästa exempel visar vi hur man använder lamamodeller med få skott i sammanhangsinlärning, där vi tillhandahåller träningsexempel som är tillgängliga för modellen. Observera att vi bara drar slutsatser om den utplacerade modellen och under denna process ändras inte modellvikterna.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Slutlednings- och exempeluppmaningar för Llama-2-70b-chat

Med Llama-2-Chat-modeller, som är optimerade för dialoganvändningsfall, är input till chattmodellens slutpunkter den tidigare historiken mellan chattassistenten och användaren. Du kan ställa frågor kontextuella till konversationen som har hänt hittills. Du kan också tillhandahålla systemkonfigurationen, till exempel personas som definierar chattassistentens beteende. Indatanyttolasten till slutpunkten ser ut som följande kod:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Följande är några exempel på uppmaningar och texten som genereras av modellen. Alla utgångar genereras med inferensparametrarna {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

I följande exempel har användaren haft ett samtal med assistenten om turistplatser i Paris. Därefter frågar användaren om det första alternativet som rekommenderas av chattassistenten.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

I följande exempel ställer vi in ​​systemets konfiguration:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Städa upp

När du är klar med att köra anteckningsboken, se till att ta bort alla resurser så att alla resurser som du skapade i processen raderas och din fakturering stoppas:

predictor.delete_model()
predictor.delete_endpoint()

Slutsats

I det här inlägget visade vi hur du kommer igång med Llama 2-modeller i SageMaker Studio. Med detta har du tillgång till sex Llama 2-grundmodeller som innehåller miljarder parametrar. Eftersom grundmodeller är förutbildade kan de också hjälpa till att sänka utbildnings- och infrastrukturkostnader och möjliggöra anpassning för ditt användningsfall. För att komma igång med SageMaker JumpStart, besök följande resurser:

Om författarna

Juni vann är produktchef hos SageMaker JumpStart. Han fokuserar på att göra grundmodeller lätta att upptäcka och använda för att hjälpa kunder att bygga generativa AI-applikationer. Hans erfarenhet på Amazon inkluderar även mobil shoppingapplikation och sista mil leverans.

Dr. Vivek Madan är en tillämpad forskare med Amazon SageMaker JumpStart-teamet. Han tog sin doktorsexamen från University of Illinois i Urbana-Champaign och var postdoktor vid Georgia Tech. Han är en aktiv forskare inom maskininlärning och algoritmdesign och har publicerat artiklar på EMNLP-, ICLR-, COLT-, FOCS- och SODA-konferenser. Dr Kyle Ulrich är en tillämpad forskare med Amazon SageMaker JumpStart-teamet. Hans forskningsintressen inkluderar skalbara maskininlärningsalgoritmer, datorseende, tidsserier, Bayesianska icke-parametriska och Gaussiska processer. Hans doktorsexamen är från Duke University och han har publicerat artiklar i NeurIPS, Cell och Neuron. Dr Ashish Khetan är en Senior Applied Scientist med Amazon SageMaker JumpStart och hjälper till att utveckla maskininlärningsalgoritmer. Han tog sin doktorsexamen från University of Illinois Urbana-Champaign. Han är en aktiv forskare inom maskininlärning och statistisk slutledning och har publicerat många artiklar i NeurIPS, ICML, ICLR, JMLR, ACL och EMNLP-konferenser. Sundar Ranganathan är Global Head of GenAI/Frameworks GTM Specialists på AWS. Han fokuserar på att utveckla GTM-strategi för stora språkmodeller, GenAI och storskaliga ML-arbetsbelastningar över AWS-tjänster som Amazon EC2, EKS, EFA, AWS Batch och Amazon SageMaker. Hans erfarenhet inkluderar ledande roller inom produktledning och produktutveckling på NetApp, Micron Technology, Qualcomm och Mentor Graphics.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/