Llama 2 foundation-modeller fra Meta er nu tilgængelige i Amazon SageMaker JumpStart | Amazon Web Services

I dag er vi glade for at kunne meddele, at Llama 2-fundamentmodeller udviklet af Meta er tilgængelige for kunder gennem Amazon SageMaker JumpStart. Llama 2-familien af ​​store sprogmodeller (LLM'er) er en samling af fortrænede og finjusterede generative tekstmodeller i en skala fra 7 milliarder til 70 milliarder parametre. Finjusterede LLM'er, kaldet Llama-2-chat, er optimeret til dialogbrug. Du kan nemt afprøve disse modeller og bruge dem med SageMaker JumpStart, som er en maskinlæringshub (ML), der giver adgang til algoritmer, modeller og ML-løsninger, så du hurtigt kan komme i gang med ML.

I dette indlæg gennemgår vi, hvordan du bruger Llama 2-modeller via SageMaker JumpStart.

Hvad er Llama 2

Llama 2 er en auto-regressiv sprogmodel, der bruger en optimeret transformerarkitektur. Llama 2 er beregnet til kommerciel og forskningsmæssig brug på engelsk. Den kommer i en række parameterstørrelser – 7 milliarder, 13 milliarder og 70 milliarder – såvel som forudtrænede og finjusterede variationer. Ifølge Meta bruger de tunede versioner overvåget finjustering (SFT) og forstærkningslæring med menneskelig feedback (RLHF) for at tilpasse sig menneskelige præferencer for hjælpsomhed og sikkerhed. Llama 2 blev fortrænet på 2 billioner tokens af data fra offentligt tilgængelige kilder. De indstillede modeller er beregnet til assistent-lignende chat, hvorimod præ-trænede modeller kan tilpasses til en række forskellige naturlige sproggenereringsopgaver. Uanset hvilken version af modellen en udvikler bruger, vil ansvarlig brugsvejledning fra Meta kan hjælpe med at vejlede yderligere finjusteringer, der kan være nødvendige for at tilpasse og optimere modellerne med passende sikkerhedsbegrænsninger.

Hvad er SageMaker JumpStart

Med SageMaker JumpStart kan ML-udøvere vælge mellem et bredt udvalg af open source-fundamentmodeller. ML praktikere kan implementere fundamentmodeller til dedikerede Amazon SageMaker forekomster fra et netværksisoleret miljø og tilpasse modeller ved hjælp af SageMaker til modeltræning og implementering.

Du kan nu opdage og implementere Llama 2 med et par klik ind Amazon SageMaker Studio eller programmatisk gennem SageMaker Python SDK, så du kan udlede modelydelse og MLOps-kontroller med SageMaker-funktioner som f.eks. Amazon SageMaker Pipelines, Amazon SageMaker Debuggereller containerlogfiler. Modellen er implementeret i et AWS-sikkert miljø og under din VPC-kontrol, hvilket hjælper med at sikre datasikkerhed. Llama 2-modeller er tilgængelige i dag i Amazon SageMaker Studio, oprindeligt i us-east 1 , us-west 2 regioner.

Opdag modeller

Du kan få adgang til fundamentmodellerne gennem SageMaker JumpStart i SageMaker Studio UI og SageMaker Python SDK. I dette afsnit gennemgår vi, hvordan du opdager modellerne i SageMaker Studio.

SageMaker Studio er et integreret udviklingsmiljø (IDE), der giver en enkelt webbaseret visuel grænseflade, hvor du kan få adgang til specialbyggede værktøjer til at udføre alle ML-udviklingstrin, fra forberedelse af data til opbygning, træning og implementering af dine ML-modeller. For flere detaljer om, hvordan du kommer i gang og opsætter SageMaker Studio, se Amazon SageMaker Studio.

Når du er på SageMaker Studio, kan du få adgang til SageMaker JumpStart, som indeholder forudtrænede modeller, notebooks og præbyggede løsninger under Præbyggede og automatiserede løsninger.

Fra SageMaker JumpStart-destinationssiden kan du søge efter løsninger, modeller, notebooks og andre ressourcer. Du kan finde to flagskibs Llama 2-modeller i Fundamentmodeller: Tekstgenerering karrusel. Hvis du ikke kan se Llama 2-modeller, skal du opdatere din SageMaker Studio-version ved at lukke ned og genstarte. For mere information om versionsopdateringer, se Luk ned og opdater Studio-apps.

Du kan også finde andre fire modelvarianter ved at vælge Udforsk alle tekstgenereringsmodeller eller søger efter llama i søgefeltet.

Du kan vælge modelkortet for at se detaljer om modellen, såsom licens, data, der bruges til at træne, og hvordan du bruger den. Du kan også finde to knapper, Implementer , Åbn Notesbog, som hjælper dig med at bruge modellen.

Når du vælger en af ​​knapperne, vil en pop-up vise slutbrugerlicensaftalen og politikken for acceptabel brug, som du kan anerkende.

Når du har bekræftet, vil du fortsætte til næste trin for at bruge modellen.

Implementer en model

Når du vælger Implementer og anerkend vilkårene, vil modelimplementeringen begynde. Alternativt kan du implementere gennem eksemplet på notesbogen, der dukker op ved at vælge Åbn Notesbog. Eksemplet på notesbogen giver ende-til-ende vejledning om, hvordan man implementerer modellen til slutninger og renser ressourcer.

For at implementere ved hjælp af en notesbog starter vi med at vælge en passende model, specificeret af model_id. Du kan implementere enhver af de valgte modeller på SageMaker med følgende kode:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Dette implementerer modellen på SageMaker med standardkonfigurationer, inklusive standardforekomsttype og standard VPC-konfigurationer. Du kan ændre disse konfigurationer ved at angive ikke-standardværdier i JumpStartModel. Efter det er implementeret, kan du køre slutninger mod det implementerede slutpunkt gennem SageMaker-prædiktoren:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Finjusterede chatmodeller (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) accepterer en chathistorik mellem brugeren og chatassistenten og genererer den efterfølgende chat. De fortrænede modeller (Llama-2-7b, Llama-2-13b, Llama-2-70b) kræver en strengprompt og udfører tekstfuldførelse på den angivne prompt. Se følgende kode:

predictor.predict(payload, custom_attributes="accept_eula=true")

Bemærk, at som standard, accept_eula er indstillet til falsk. Du skal indstille accept_eula=true for at kalde slutpunktet med succes. Ved at gøre det accepterer du brugerlicensaftalen og politikken for acceptabel brug som nævnt tidligere. Du kan også downloade licensaftalen.

Custom_attributes bruges til at bestå EULA er nøgle/værdi-par. Nøglen og værdien er adskilt af = og par er adskilt af ;. Hvis brugeren sender den samme nøgle mere end én gang, beholdes den sidste værdi og videregives til scripthandleren (dvs. i dette tilfælde bruges til betinget logik). For eksempel hvis accept_eula=false; accept_eula=true sendes til serveren, så  accept_eula=true opbevares og videregives til scripthandleren.

Inferensparametre styrer tekstgenereringsprocessen ved slutpunktet. Den maksimale kontrol af nye tokens refererer til størrelsen af ​​output genereret af modellen. Bemærk, at dette ikke er det samme som antallet af ord, fordi modellens ordforråd ikke er det samme som det engelsksprogede ordforråd, og hvert token er muligvis ikke et engelsksproget ord. Temperaturen styrer tilfældigheden i outputtet. Højere temperatur resulterer i mere kreative og hallucinerede output. Alle inferensparametre er valgfrie.

Følgende tabel viser alle de Llama-modeller, der er tilgængelige i SageMaker JumpStart sammen med model_ids, standardforekomsttyper og det maksimale antal samlede tokens (summen af ​​antallet af inputtokens og antallet af genererede tokens), der understøttes for hver af disse modeller.

Bemærk, at SageMaker-slutpunkter har en timeout-grænse på 60s. Selvom modellen muligvis kan generere 4096 tokens, vil anmodningen mislykkes, hvis tekstgenerering tager mere end 60 sekunder. For 7B, 13B og 70B modeller anbefaler vi at indstille max_new_tokens ikke større end henholdsvis 1500, 1000 og 500, mens det samlede antal tokens holdes mindre end 4K.

Inferens og eksempel-prompter for Llama-2-70b

Du kan bruge Lama-modeller til tekstfuldførelse for ethvert stykke tekst. Gennem tekstgenerering kan du udføre en række opgaver, såsom besvarelse af spørgsmål, sprogoversættelse, følelsesanalyse og mange flere. Input nyttelast til slutpunktet ser ud som følgende kode:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Følgende er nogle eksempler på prompter og teksten genereret af modellen. Alle udgange genereres med inferensparametre {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

I det næste eksempel viser vi, hvordan man bruger Llama-modeller med få skud i kontekstindlæring, hvor vi giver træningseksempler til rådighed for modellen. Bemærk, at vi kun drager konklusioner om den installerede model, og under denne proces ændres modelvægtene ikke.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Inferens og eksempel-prompter for Llama-2-70b-chat

Med Llama-2-Chat-modeller, som er optimeret til dialogbrug, er input til chatmodellens slutpunkter den tidligere historie mellem chatassistenten og brugeren. Du kan stille spørgsmål kontekstuelle til den samtale, der er sket indtil nu. Du kan også angive systemkonfigurationen, såsom personas, der definerer chatassistentens adfærd. Input nyttelasten til slutpunktet ser ud som følgende kode:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Følgende er nogle eksempler på prompter og teksten genereret af modellen. Alle output genereres med inferensparametrene {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

I det følgende eksempel har brugeren haft en samtale med assistenten om turiststeder i Paris. Dernæst spørger brugeren om den første mulighed anbefalet af chatassistenten.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

I de følgende eksempler indstiller vi systemets konfiguration:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Ryd op

Når du er færdig med at køre notesbogen, skal du sørge for at slette alle ressourcer, så alle de ressourcer, du oprettede i processen, slettes, og din fakturering stoppes:

predictor.delete_model()
predictor.delete_endpoint()

Konklusion

I dette indlæg viste vi dig, hvordan du kommer i gang med Llama 2-modeller i SageMaker Studio. Med dette har du adgang til seks Llama 2-fundamentmodeller, der indeholder milliarder af parametre. Fordi fundamentmodeller er fortrænede, kan de også hjælpe med at sænke uddannelses- og infrastrukturomkostninger og muliggøre tilpasning til din brugssituation. For at komme i gang med SageMaker JumpStart skal du besøge følgende ressourcer:

Om forfatterne

juni vandt er produktchef hos SageMaker JumpStart. Han fokuserer på at gøre fundamentmodeller let synlige og brugbare for at hjælpe kunder med at bygge generative AI-applikationer. Hans erfaring hos Amazon inkluderer også mobil shopping-applikation og last mile-levering.

Dr. Vivek Madan er en anvendt videnskabsmand hos Amazon SageMaker JumpStart-teamet. Han fik sin ph.d. fra University of Illinois i Urbana-Champaign og var postdoktor ved Georgia Tech. Han er en aktiv forsker i maskinlæring og algoritmedesign og har publiceret artikler i EMNLP, ICLR, COLT, FOCS og SODA konferencer. Dr. Kyle Ulrich er en anvendt videnskabsmand hos Amazon SageMaker JumpStart-teamet. Hans forskningsinteresser omfatter skalerbare maskinlæringsalgoritmer, computervision, tidsserier, Bayesianske ikke-parametriske og Gaussiske processer. Hans ph.d. er fra Duke University, og han har udgivet artikler i NeurIPS, Cell og Neuron. Dr. Ashish Khetan er en Senior Applied Scientist hos Amazon SageMaker JumpStart og hjælper med at udvikle maskinlæringsalgoritmer. Han fik sin ph.d. fra University of Illinois Urbana-Champaign. Han er en aktiv forsker i maskinlæring og statistisk inferens og har publiceret mange artikler i NeurIPS, ICML, ICLR, JMLR, ACL og EMNLP konferencer. Sundar Ranganathan er Global Head of GenAI/Frameworks GTM Specialists hos AWS. Han fokuserer på at udvikle GTM-strategi for store sprogmodeller, GenAI og storskala ML-arbejdsbelastninger på tværs af AWS-tjenester som Amazon EC2, EKS, EFA, AWS Batch og Amazon SageMaker. Hans erfaring omfatter lederroller inden for produktledelse og produktudvikling hos NetApp, Micron Technology, Qualcomm og Mentor Graphics.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/