Meta Llama 2 vundamendimudelid on nüüd saadaval Amazon SageMaker JumpStart | Amazoni veebiteenused

Täna on meil hea meel teatada, et Meta välja töötatud Llama 2 vundamendimudelid on klientidele saadaval Amazon SageMaker JumpStart. Suurte keelemudelite (LLM) perekond Llama 2 on eelkoolitatud ja peenhäälestatud generatiivse tekstimudelite kogum, mille skaala ulatub 7 miljardist 70 miljardi parameetrini. Peenhäälestatud LLM-id, nn Llama-2-chat, on optimeeritud dialoogide kasutamiseks. Saate neid mudeleid hõlpsalt proovida ja kasutada koos SageMaker JumpStartiga, mis on masinõppe (ML) keskus, mis pakub juurdepääsu algoritmidele, mudelitele ja ML-lahendustele, et saaksite ML-iga kiiresti alustada.

Selles postituses käsitleme Llama 2 mudelite kasutamist SageMaker JumpStarti kaudu.

Mis on Llama 2

Llama 2 on automaatselt regressiivne keelemudel, mis kasutab optimeeritud trafo arhitektuuri. Llama 2 on mõeldud äriliseks ja teaduslikuks kasutamiseks inglise keeles. See on saadaval mitmesugustes parameetrite suurustes – 7 miljardit, 13 miljardit ja 70 miljardit – ning ka eelkoolitatud ja viimistletud variatsioone. Meta sõnul kasutavad häälestatud versioonid juhendatud peenhäälestust (SFT) ja tugevdavat õpet koos inimese tagasisidega (RLHF), et viia need vastavusse inimeste eelistustega abivalmiduse ja ohutuse osas. Llama 2 koolitati eelnevalt avalikult kättesaadavatest allikatest pärit 2 triljoni andmemärgiga. Häälestatud mudelid on mõeldud assistendilaadseks vestluseks, samas kui eelkoolitatud mudeleid saab kohandada mitmesuguste loomuliku keele genereerimise ülesannete jaoks. Sõltumata sellest, millist mudeli versiooni arendaja kasutab, Meta vastutustundliku kasutamise juhend võib aidata juhtida täiendavaid peenhäälestusi, mis võivad osutuda vajalikuks mudelite kohandamiseks ja optimeerimiseks sobivate ohutusmeetmetega.

Mis on SageMaker JumpStart

SageMaker JumpStartiga saavad ML-i praktikud valida laia valiku avatud lähtekoodiga alusmudelite hulgast. ML-praktikud saavad sihtotstarbeliselt kasutusele võtta sihtasutuse mudelid Amazon SageMaker eksemplare võrgust eraldatud keskkonnast ja kohandage mudeleid SageMakeri abil mudeli koolituseks ja juurutamiseks.

Nüüd saate mõne klõpsuga Llama 2 avastada ja juurutada Amazon SageMaker Studio või programmiliselt SageMaker Python SDK kaudu, mis võimaldab teil tuletada mudeli jõudlust ja MLOps-i juhtelemente SageMakeri funktsioonidega, nagu Amazon SageMakeri torujuhtmed, Amazon SageMakeri silurvõi konteineri palke. Mudel on juurutatud AWS-i turvalises keskkonnas ja teie VPC kontrolli all, aidates tagada andmete turvalisust. Llama 2 mudelid on täna saadaval Amazon SageMaker Studios, algselt us-east 1 ja us-west 2 piirkondades.

Avastage mudeleid

Vundamendimudelitele pääsete juurde SageMakeri JumpStarti kaudu SageMaker Studio kasutajaliideses ja SageMaker Python SDK-s. Selles jaotises käsitleme SageMaker Studio mudelite leidmist.

SageMaker Studio on integreeritud arenduskeskkond (IDE), mis pakub ühtset veebipõhist visuaalset liidest, kus pääsete juurde sihipäraselt loodud tööriistadele, et sooritada kõiki ML-i arendusetappe alates andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni. Lisateavet SageMaker Studio alustamise ja seadistamise kohta leiate aadressilt Amazon SageMaker Studio.

Kui olete SageMaker Studios, pääsete jaotises SageMaker JumpStart, mis sisaldab eelkoolitatud mudeleid, märkmikke ja eelehitatud lahendusi. Eelehitatud ja automatiseeritud lahendused.

SageMaker JumpStarti sihtlehel saate sirvida lahendusi, mudeleid, märkmikke ja muid ressursse. Siit leiate kaks lipulaeva Llama 2 mudelit Vundamendi mudelid: Teksti genereerimine karussell. Kui te Llama 2 mudeleid ei näe, värskendage oma SageMaker Studio versiooni, lülitades välja ja taaskäivitades. Versioonivärskenduste kohta lisateabe saamiseks vaadake Lülitage Studio rakendused välja ja värskendage neid.

Valides leiate ka neli muud mudelivarianti Tutvuge kõigi teksti genereerimise mudelitega või otsivad llama otsingukasti.

Saate valida mudelikaardi, et vaadata mudeli üksikasju, nagu litsents, koolituseks kasutatud andmed ja kasutusviis. Samuti võite leida kaks nuppu, juurutada ja Avage märkmik, mis aitavad teil mudelit kasutada.

Kui valite kummagi nupu, kuvatakse hüpikaknas lõppkasutaja litsentsilepingu ja aktsepteeritava kasutuseeskirjad, mida peate kinnitama.

Pärast kinnitamist jätkate mudeli kasutamise järgmise sammuga.

Mudeli juurutamine

Kui valite juurutada ja tunnistage tingimused, algab mudeli juurutamine. Teise võimalusena saate juurutada näidismärkmiku kaudu, mis kuvatakse valides Avage märkmik. Näidismärkmik pakub täielikke juhiseid selle kohta, kuidas mudelit järelduste tegemiseks ja ressursside puhastamiseks kasutada.

Märkmiku abil juurutamiseks alustame sobiva mudeli valimisega, mille määrab kindlaks model_id. Saate SageMakeris juurutada mis tahes valitud mudelitest järgmise koodiga:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

See juurutab mudeli SageMakeris vaikekonfiguratsioonidega, sealhulgas eksemplari vaiketüübi ja VPC vaikekonfiguratsioonidega. Saate neid konfiguratsioone muuta, määrates sisse mittevaikeväärtused KiirStartModel. Pärast selle juurutamist saate SageMakeri ennustaja kaudu käivitada juurutatud lõpp-punkti kohta järeldusi:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Peenhäälestatud vestlusmudelid (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) aktsepteerivad kasutaja ja vestlusabilise vahelise vestluse ajalugu ja loovad järgneva vestluse. Eelkoolitatud mudelid (Llama-2-7b, Llama-2-13b, Llama-2-70b) nõuavad stringiviipa ja sooritavad teksti lõpetamise kaasasolevale viipale. Vaadake järgmist koodi:

predictor.predict(payload, custom_attributes="accept_eula=true")

Pange tähele, et vaikimisi accept_eula on seatud valeks. Peate seadistama accept_eula=true lõpp-punkti edukaks kutsumiseks. Seda tehes nõustute kasutaja litsentsilepingu ja aktsepteeritava kasutuse poliitikaga, nagu eespool mainitud. Sa saad ka lae alla litsentsileping.

Custom_attributes EULA läbimiseks kasutatakse võtme/väärtuse paare. Võti ja väärtus on eraldatud tähisega = ja paarid on eraldatud ;. Kui kasutaja edastab sama võtit mitu korda, jäetakse viimane väärtus alles ja edastatakse skriptitöötlejale (st antud juhul kasutatakse tingimusloogika jaoks). Näiteks kui accept_eula=false; accept_eula=true edastatakse siis serverisse  accept_eula=true säilitatakse ja edastatakse skriptitöötlejale.

Järeldusparameetrid juhivad teksti genereerimise protsessi lõpp-punktis. Maksimaalne uute märkide juhtimine viitab mudeli genereeritud väljundi suurusele. Pange tähele, et see ei ole sama kui sõnade arv, kuna mudeli sõnavara ei ole sama mis inglise keele sõnavara ja iga märk ei pruugi olla ingliskeelne sõna. Temperatuur reguleerib väljundi juhuslikkust. Kõrgem temperatuur toob kaasa loomingulisemad ja hallutsineeritumad tulemused. Kõik järeldusparameetrid on valikulised.

Järgmises tabelis on loetletud kõik SageMaker JumpStartis saadaolevad Llama mudelid koos model_ids, vaikeeksemplari tüübid ja kõigi nende mudelite puhul toetatud maksimaalne žetoonide koguarv (sisendmärkide ja loodud märkide arvu summa).

Pange tähele, et SageMakeri lõpp-punktide ajalimiit on 60 sekundit. Seega, kuigi mudel võib olla võimeline genereerima 4096 märki, kui teksti genereerimine võtab rohkem kui 60 sekundit, siis päring nurjub. Mudelite 7B, 13B ja 70B puhul soovitame seadistada max_new_tokens mitte rohkem kui vastavalt 1500, 1000 ja 500, hoides žetoonide koguarvu alla 4K.

Järeldused ja näited Llama-2-70b jaoks

Laama mudeleid saate kasutada mis tahes tekstilõigu teksti lõpetamiseks. Teksti genereerimise abil saate täita mitmesuguseid ülesandeid, nagu küsimustele vastamine, keele tõlkimine, tundeanalüüs ja palju muud. Lõpp-punkti sisendkoormus näeb välja järgmine kood:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Järgnevalt on toodud mõned näidisviibad ja mudeli loodud tekst. Kõik väljundid genereeritakse järeldusparameetritega {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

Järgmises näites näitame, kuidas kasutada Llama mudeleid väheste kaadritega kontekstis õppimisega, kus pakume mudelile saadaolevaid koolitusnäidiseid. Pange tähele, et teeme järeldusi ainult juurutatud mudeli kohta ja selle protsessi käigus mudelite kaalud ei muutu.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Järeldused ja näited Llama-2-70b-vestluse jaoks

Llama-2-Chat mudelite puhul, mis on optimeeritud dialoogide kasutamiseks, on vestlusmudeli lõpp-punktide sisendiks vestlusabilise ja kasutaja vaheline eelnev ajalugu. Saate esitada küsimusi, mis on seotud seni toimunud vestlusega. Saate esitada ka süsteemi konfiguratsiooni, näiteks isikud, mis määravad vestlusassistendi käitumise. Lõpp-punkti sisendkoormus näeb välja järgmine kood:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Järgnevalt on toodud mõned näidisviibad ja mudeli loodud tekst. Kõik väljundid genereeritakse järeldusparameetritega {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

Järgmises näites on kasutaja vestelnud assistendiga Pariisi turismiobjektide teemal. Järgmisena küsib kasutaja vestlusabilise soovitatud esimese võimaluse kohta.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

Järgmistes näidetes määrame süsteemi konfiguratsiooni:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Koristage

Kui olete märkmiku käitamise lõpetanud, kustutage kindlasti kõik ressursid, nii et kõik protsessi käigus loodud ressursid kustutatakse ja teie arveldamine peatatakse.

predictor.delete_model()
predictor.delete_endpoint()

Järeldus

Selles postituses näitasime teile, kuidas SageMaker Studios Llama 2 mudelitega alustada. Sellega on teil juurdepääs kuuele Llama 2 vundamendimudelile, mis sisaldavad miljardeid parameetreid. Kuna vundamendimudelid on eelkoolitatud, võivad need aidata vähendada koolitus- ja infrastruktuurikulusid ning võimaldada kohandamist teie kasutusjuhtumitele. SageMaker JumpStartiga alustamiseks külastage järgmisi ressursse:

Autoritest

Juuni võitis on SageMaker JumpStarti tootejuht. Ta keskendub alusmudelite hõlpsasti leitavaks ja kasutatavaks muutmisele, et aidata klientidel luua generatiivseid AI-rakendusi. Tema kogemus Amazonis hõlmab ka mobiilset osturakendust ja viimase miili kohaletoimetamist.

Dr Vivek Madan on Amazon SageMaker JumpStart meeskonna rakendusteadlane. Ta sai doktorikraadi Illinoisi ülikoolist Urbana-Champaignis ja oli Georgia Techi järeldoktor. Ta on aktiivne masinõppe ja algoritmide kujundamise uurija ning avaldanud ettekandeid EMNLP, ICLR, COLT, FOCS ja SODA konverentsidel. Dr Kyle Ulrich on Amazon SageMaker JumpStart meeskonna rakendusteadlane. Tema uurimishuvide hulka kuuluvad skaleeritavad masinõppe algoritmid, arvutinägemine, aegridad, Bayesi mitteparameetrid ja Gaussi protsessid. Tema doktorikraad on pärit Duke'i ülikoolist ja ta on avaldanud töid NeurIPSis, Cell ja Neuron. Dr Ashish Khetan on Amazon SageMaker JumpStarti vanemrakendusteadlane ja aitab välja töötada masinõppe algoritme. Ta sai doktorikraadi Illinoisi Urbana-Champaigni ülikoolist. Ta on aktiivne masinõppe ja statistiliste järelduste uurija ning avaldanud palju artikleid NeurIPS, ICML, ICLR, JMLR, ACL ja EMNLP konverentsidel. Sundar Ranganathan on AWS-i GenAI/Frameworksi GTM-spetsialistide ülemaailmne juht. Ta keskendub GTM-i strateegia väljatöötamisele suurte keelemudelite, GenAI ja suuremahuliste ML-i töökoormuste jaoks sellistes AWS-teenustes nagu Amazon EC2, EKS, EFA, AWS Batch ja Amazon SageMaker. Tema kogemused hõlmavad juhtrolli tootehalduses ja tootearenduses NetAppis, Micron Technology's, Qualcommis ja Mentor Graphicsis.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/