Modeli temeljev Llama 2 podjetja Meta so zdaj na voljo v Amazon SageMaker JumpStart | Spletne storitve Amazon

Danes z veseljem sporočamo, da so modeli temeljev Llama 2, ki jih je razvila Meta, na voljo strankam prek Amazon SageMaker JumpStart. Družina velikih jezikovnih modelov (LLM) Llama 2 je zbirka vnaprej usposobljenih in natančno nastavljenih generativnih besedilnih modelov, ki obsegajo od 7 milijard do 70 milijard parametrov. Natančno nastavljeni LLM-ji, imenovani Llama-2-chat, so optimizirani za primere uporabe dialoga. Te modele lahko preprosto preizkusite in jih uporabite s SageMaker JumpStart, ki je središče strojnega učenja (ML), ki omogoča dostop do algoritmov, modelov in rešitev ML, tako da lahko hitro začnete z ML.

V tej objavi bomo predstavili, kako uporabljati modele Llama 2 prek SageMaker JumpStart.

Kaj je Llama 2

Llama 2 je avtoregresivni jezikovni model, ki uporablja optimizirano transformatorsko arhitekturo. Llama 2 je namenjena komercialni in raziskovalni uporabi v angleškem jeziku. Na voljo je v različnih velikostih parametrov – 7 milijard, 13 milijard in 70 milijard – kot tudi v predhodno usposobljenih in natančno nastavljenih različicah. Po besedah ​​​​Mete prilagojene različice uporabljajo nadzorovano fino uravnavanje (SFT) in okrepitveno učenje s človeškimi povratnimi informacijami (RLHF), da se uskladijo s človeškimi željami glede uporabnosti in varnosti. Llama 2 je bila predhodno usposobljena za 2 bilijona žetonov podatkov iz javno dostopnih virov. Uglašeni modeli so namenjeni klepetu, podobnemu pomočniku, medtem ko je vnaprej usposobljene modele mogoče prilagoditi za različne naloge generiranja naravnega jezika. Ne glede na to, katero različico modela uporablja razvijalec, je vodnik za odgovorno uporabo podjetja Meta lahko pomaga pri vodenju dodatne natančne nastavitve, ki je morda potrebna za prilagoditev in optimizacijo modelov z ustreznimi varnostnimi ublažitvami.

Kaj je SageMaker JumpStart

S SageMaker JumpStart lahko praktiki ML izbirajo med široko izbiro odprtokodnih modelov temeljev. Strokovnjaki ML lahko uvedejo temeljne modele v namenske Amazon SageMaker primerke iz omrežno izoliranega okolja in prilagodite modele z uporabo SageMakerja za usposabljanje in uvajanje modelov.

Zdaj lahko odkrijete in uvedete Llama 2 z nekaj kliki Amazon SageMaker Studio ali programsko prek SDK-ja SageMaker Python, kar vam omogoča, da izpeljete zmogljivost modela in kontrole MLOps s funkcijami SageMaker, kot je Amazonski cevovodi SageMaker, Napaka Amazon SageMaker, ali kontejnerski dnevniki. Model je nameščen v varnem okolju AWS in pod vašimi kontrolami VPC, kar pomaga zagotoviti varnost podatkov. Modeli Llama 2 so danes na voljo v studiu Amazon SageMaker, sprva v us-east 1 in us-west 2 regij.

Odkrijte modele

Do temeljnih modelov lahko dostopate prek SageMaker JumpStart v uporabniškem vmesniku SageMaker Studio in SDK SageMaker Python. V tem razdelku bomo opisali, kako odkriti modele v SageMaker Studio.

SageMaker Studio je integrirano razvojno okolje (IDE), ki ponuja enoten spletni vizualni vmesnik, kjer lahko dostopate do namensko izdelanih orodij za izvajanje vseh razvojnih korakov ML, od priprave podatkov do gradnje, usposabljanja in uvajanja vaših modelov ML. Za več podrobnosti o tem, kako začeti in nastaviti SageMaker Studio, glejte Amazon SageMaker Studio.

Ko ste v SageMaker Studio, lahko dostopate do SageMaker JumpStart, ki vsebuje vnaprej pripravljene modele, prenosnike in vnaprej pripravljene rešitve, pod Predizdelane in avtomatizirane rešitve.

Na ciljni strani SageMaker JumpStart lahko brskate po rešitvah, modelih, prenosnikih in drugih virih. Dva vodilna modela Llama 2 najdete v Modeli temeljev: Ustvarjanje besedila vrtiljak. Če ne vidite modelov Llama 2, posodobite svojo različico SageMaker Studio tako, da zaustavite in znova zaženete. Za več informacij o posodobitvah različic glejte Zaustavite in posodobite aplikacije Studio.

Z izbiro lahko najdete tudi druge štiri različice modela Raziščite vse modele generiranja besedila ali iskanje llama v iskalnem polju.

Izberete lahko kartico modela, da si ogledate podrobnosti o modelu, kot so licenca, podatki, uporabljeni za usposabljanje, in način uporabe. Najdete lahko tudi dva gumba, uvajanje in Odprite Beležnico, ki vam pomagajo pri uporabi modela.

Ko izberete kateri koli gumb, se v pojavnem oknu prikaže licenčna pogodba za končnega uporabnika in pravilnik o sprejemljivi uporabi, ki ju morate potrditi.

Po potrditvi boste nadaljevali z naslednjim korakom za uporabo modela.

Namestite model

Ko izberete uvajanje in potrdite pogoje, se bo začela uvedba modela. Druga možnost je, da uvedete prek vzorčnega zvezka, ki se prikaže z izbiro Odprite Beležnico. Primer zvezka nudi navodila od konca do konca o tem, kako razmestiti model za sklepanje in čiščenje virov.

Za uvajanje z uporabo prenosnega računalnika začnemo z izbiro ustreznega modela, ki ga določi model_id. Kateri koli od izbranih modelov lahko namestite na SageMaker z naslednjo kodo:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

To razmesti model v SageMaker s privzetimi konfiguracijami, vključno s privzeto vrsto primerka in privzetimi konfiguracijami VPC. Te konfiguracije lahko spremenite tako, da podate neprivzete vrednosti v JumpStartModel. Ko je uveden, lahko izvedete sklepanje glede na uvedeno končno točko prek napovedovalca SageMaker:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Natančno nastavljeni modeli klepeta (Llama-2-7b-klepet, Llama-2-13b-klepet, Llama-2-70b-klepet) sprejmejo zgodovino klepeta med uporabnikom in pomočnikom za klepet ter ustvarijo naslednji klepet. Vnaprej usposobljeni modeli (Llama-2-7b, Llama-2-13b, Llama-2-70b) zahtevajo poziv niza in izvedejo dokončanje besedila na danem pozivu. Oglejte si naslednjo kodo:

predictor.predict(payload, custom_attributes="accept_eula=true")

Upoštevajte, da je privzeto accept_eula je nastavljen na false. Morate nastaviti accept_eula=true da uspešno prikličete končno točko. S tem sprejemate uporabniško licenčno pogodbo in politiko sprejemljive uporabe, kot je bilo omenjeno prej. Lahko tudi prenesi licenčno pogodbo.

Custom_attributes ki se uporabljajo za posredovanje EULA, so pari ključ/vrednost. Ključ in vrednost sta ločena z = in pari so ločeni z ;. Če uporabnik posreduje isti ključ več kot enkrat, se zadnja vrednost ohrani in posreduje upravljalniku skripta (tj. v tem primeru se uporablja za pogojno logiko). Na primer, če accept_eula=false; accept_eula=true se nato posreduje strežniku  accept_eula=true se hrani in posreduje upravljavcu skripta.

Parametri sklepanja nadzirajo proces generiranja besedila na končni točki. Največji nadzor novih žetonov se nanaša na velikost izhoda, ki ga ustvari model. Upoštevajte, da to ni enako številu besed, ker besedišče modela ni enako besedišču angleškega jezika in vsak žeton morda ni beseda angleškega jezika. Temperatura nadzoruje naključnost v izhodu. Višja temperatura povzroči bolj ustvarjalne in halucinirane rezultate. Vsi parametri sklepanja so neobvezni.

V naslednji tabeli so navedeni vsi modeli Llama, ki so na voljo v SageMaker JumpStart, skupaj z model_ids, privzete vrste primerkov in največje število skupnih žetonov (vsota števila vhodnih žetonov in števila ustvarjenih žetonov), podprtih za vsakega od teh modelov.

Upoštevajte, da imajo končne točke SageMaker omejitev časovne omejitve 60 s. Torej, čeprav lahko model ustvari 4096 žetonov, če ustvarjanje besedila traja več kot 60 sekund, zahteva ne bo uspela. Za modele 7B, 13B in 70B priporočamo nastavitev max_new_tokens ne večje od 1500, 1000 oziroma 500, medtem ko je skupno število žetonov manjše od 4K.

Pozivi za sklepanje in primere za Llama-2-70b

Modele Llama lahko uporabite za dokončanje besedila za kateri koli del besedila. Z generiranjem besedila lahko izvajate različne naloge, kot so odgovarjanje na vprašanja, jezikovni prevod, analiza čustev in še veliko več. Koristni vnos v končno točko je videti kot naslednja koda:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Sledi nekaj vzorčnih primerov pozivov in besedila, ki ga ustvari model. Vsi izhodi so ustvarjeni s parametri sklepanja {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

V naslednjem primeru pokažemo, kako uporabljati modele Llama z učenjem v kontekstu z nekaj posnetki, kjer nudimo vzorce usposabljanja, ki so na voljo modelu. Upoštevajte, da sklepamo le na razporejeni model in med tem postopkom se uteži modela ne spremenijo.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Pozivi za sklepanje in primere za Llama-2-70b-klepet

Z modeli Llama-2-Chat, ki so optimizirani za primere uporabe dialoga, je vhod v končne točke modela klepeta prejšnja zgodovina med pomočnikom za klepet in uporabnikom. Vprašanja lahko postavljate v kontekstu pogovora, ki se je zgodil do zdaj. Podate lahko tudi sistemsko konfiguracijo, kot so osebe, ki določajo vedenje pomočnika za klepet. Koristni vnos v končno točko je videti kot naslednja koda:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Sledi nekaj vzorčnih primerov pozivov in besedila, ki ga ustvari model. Vsi izhodi so ustvarjeni s parametri sklepanja {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

V naslednjem primeru se je uporabnik z asistentom pogovarjal o turističnih krajih v Parizu. Nato uporabnik sprašuje o prvi možnosti, ki jo priporoča pomočnik za klepet.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

V naslednjih primerih nastavimo konfiguracijo sistema:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Čiščenje

Ko končate z zagonom zvezka, izbrišite vse vire, tako da bodo izbrisani vsi viri, ki ste jih ustvarili med postopkom, in da bo vaše zaračunavanje ustavljeno:

predictor.delete_model()
predictor.delete_endpoint()

zaključek

V tej objavi smo vam pokazali, kako začeti z modeli Llama 2 v SageMaker Studio. S tem imate dostop do šestih temeljnih modelov Llama 2, ki vsebujejo milijarde parametrov. Ker so osnovni modeli vnaprej usposobljeni, lahko tudi pomagajo znižati stroške usposabljanja in infrastrukture ter omogočijo prilagoditev za vaš primer uporabe. Če želite začeti uporabljati SageMaker JumpStart, obiščite naslednje vire:

O avtorjih

junij zmagal je produktni vodja pri SageMaker JumpStart. Osredotoča se na to, da naredi temeljne modele enostavno odkrite in uporabne za pomoč strankam pri gradnji generativnih aplikacij AI. Njegove izkušnje pri Amazonu vključujejo tudi aplikacijo za mobilno nakupovanje in dostavo zadnjega kilometra.

dr. Vivek Madan je uporabni znanstvenik pri ekipi Amazon SageMaker JumpStart. Doktoriral je na Univerzi Illinois v Urbana-Champaign in bil podoktorski raziskovalec na Georgia Tech. Je aktiven raziskovalec strojnega učenja in oblikovanja algoritmov ter je objavil članke na konferencah EMNLP, ICLR, COLT, FOCS in SODA. Dr. Kyle Ulrich je uporabni znanstvenik pri ekipi Amazon SageMaker JumpStart. Njegovi raziskovalni interesi vključujejo skalabilne algoritme strojnega učenja, računalniški vid, časovne vrste, Bayesove neparametrične in Gaussove procese. Njegov doktorat je pridobil na Univerzi Duke in je objavil članke v NeurIPS, Cell in Neuron. Dr. Ashish Khetan je višji aplikativni znanstvenik pri Amazon SageMaker JumpStart in pomaga pri razvoju algoritmov strojnega učenja. Doktoriral je na Univerzi Illinois Urbana-Champaign. Je aktiven raziskovalec strojnega učenja in statističnega sklepanja ter je objavil številne članke na konferencah NeurIPS, ICML, ICLR, JMLR, ACL in EMNLP. Sundar Ranganathan je globalni vodja strokovnjakov za GenAI/Frameworks GTM pri AWS. Osredotoča se na razvoj strategije GTM za velike jezikovne modele, GenAI in obsežne delovne obremenitve ML v storitvah AWS, kot so Amazon EC2, EKS, EFA, AWS Batch in Amazon SageMaker. Njegove izkušnje vključujejo vodilne vloge pri upravljanju izdelkov in razvoju izdelkov pri NetApp, Micron Technology, Qualcomm in Mentor Graphics.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/