A Meta Llama 2 alapozó modelljei már elérhetőek az Amazon SageMaker JumpStart | Amazon webszolgáltatások

A mai napon örömmel jelentjük be, hogy a Meta által kifejlesztett Llama 2 alapozó modellek elérhetőek az ügyfelek számára Amazon SageMaker JumpStart. A Llama 2 nagy nyelvi modellek (LLM) családja előre betanított és finomhangolt generatív szövegmodellek gyűjteménye, 7 milliárdtól 70 milliárdig terjedő skálán. A finomhangolt LLM-ek, az úgynevezett Llama-2-chat, párbeszédes felhasználási esetekre vannak optimalizálva. Könnyedén kipróbálhatja ezeket a modelleket, és használhatja őket a SageMaker JumpStarttal, amely egy gépi tanulási (ML) központ, amely hozzáférést biztosít az algoritmusokhoz, modellekhez és ML-megoldásokhoz, így gyorsan elkezdheti az ML használatát.

Ebben a bejegyzésben végigvezetjük a Llama 2 modellek használatát a SageMaker JumpStart segítségével.

Mi az a Llama 2

A Llama 2 egy automatikusan regresszív nyelvi modell, amely optimalizált transzformátor architektúrát használ. A Llama 2 angol nyelvű kereskedelmi és kutatási használatra készült. Számos paraméterméretben – 7 milliárd, 13 milliárd és 70 milliárd –, valamint előre betanított és finomhangolt variációkban kapható. A Meta szerint a hangolt változatok felügyelt finomhangolást (SFT) és megerősítő tanulást emberi visszacsatoláson (RLHF) használnak, hogy igazodjanak az emberi preferenciákhoz a segítőkészség és a biztonság érdekében. A Llama 2-t 2 billió tokennyi, nyilvánosan elérhető forrásból származó adatra képezték ki. A hangolt modellek asszisztens-szerű csevegésre szolgálnak, míg az előre betanított modellek különféle természetes nyelvgenerálási feladatokra adaptálhatók. Függetlenül attól, hogy a fejlesztő a modell melyik verzióját használja, a felelős használati útmutató a Metától segíthet a további finomhangolásokban, amelyek szükségesek lehetnek a modellek testreszabásához és optimalizálásához a megfelelő biztonsági intézkedésekkel.

Mi az a SageMaker JumpStart

A SageMaker JumpStart segítségével az ML gyakorlói a nyílt forráskódú alapozó modellek széles választékából választhatnak. Az ML gyakorlói alapmodelleket telepíthetnek dedikált Amazon SageMaker példányokat egy hálózattól elszigetelt környezetből, és testreszabhatja a modelleket a SageMaker segítségével a modell betanítására és telepítésére.

Most már néhány kattintással felfedezheti és üzembe helyezheti a Llama 2-t Amazon SageMaker Studio vagy programozottan a SageMaker Python SDK-n keresztül, lehetővé téve a modell teljesítményének és az MLOps vezérlők származtatását a SageMaker funkciókkal, mint pl. Amazon SageMaker csővezetékek, Amazon SageMaker Debuggervagy konténernaplókat. A modellt AWS biztonságos környezetben és az Ön VPC-vezérlése alatt helyezik üzembe, így biztosítva az adatbiztonságot. A Llama 2 modellek ma elérhetőek az Amazon SageMaker Stúdióban, kezdetben us-east 1 és a us-west 2 régiók.

Fedezze fel a modelleket

Az alapmodelleket a SageMaker JumpStart segítségével érheti el a SageMaker Studio UI-ban és a SageMaker Python SDK-ban. Ebben a részben áttekintjük, hogyan fedezheti fel a modelleket a SageMaker Stúdióban.

A SageMaker Studio egy integrált fejlesztői környezet (IDE), amely egyetlen web-alapú vizuális felületet biztosít, ahol hozzáférhet a célra épített eszközökhöz az ML fejlesztési lépések elvégzéséhez, az adatok előkészítésétől az ML modellek felépítéséig, betanításáig és telepítéséig. A SageMaker Studio megkezdésével és beállításával kapcsolatos további részletekért lásd: Amazon SageMaker Studio.

A SageMaker Studio használata után elérheti a SageMaker JumpStart alkalmazást, amely előre betanított modelleket, notebookokat és előre elkészített megoldásokat tartalmaz. Előre elkészített és automatizált megoldások.

A SageMaker JumpStart nyitóoldalán megoldások, modellek, notebookok és egyéb források között böngészhet. Két zászlóshajó Llama 2 modellt találhat az oldalon Alapozó modellek: Szöveggenerálás körhinta. Ha nem látja a Llama 2 modelleket, frissítse a SageMaker Studio verzióját úgy, hogy leállítja és újraindítja. A verziófrissítésekkel kapcsolatos további információkért lásd: Állítsa le és frissítse a Studio alkalmazásokat.

Választással további négy modellváltozatot is találhat Fedezze fel az összes szöveggenerációs modellt vagy keres llama a keresőmezőbe.

A modellkártya kiválasztásával megtekintheti a modell részleteit, például a licencet, a betanításhoz használt adatokat és a használat módját. Két gombot is találhat, Telepítése és a Nyissa meg a Jegyzetfüzetet, amelyek segítenek a modell használatában.

Ha bármelyik gombot választja, egy felugró ablakban megjelenik a végfelhasználói licencszerződés és az elfogadható használati szabályzat, amelyet tudomásul kell venni.

A nyugtázás után továbblép a modell használatának következő lépésére.

Telepítsen egy modellt

Ha úgy dönt Telepítése és nyugtázza a feltételeket, megkezdődik a modell bevezetése. Alternatív megoldásként telepítheti a példa-jegyzetfüzeten keresztül, amely a választással megjelenik Nyissa meg a Jegyzetfüzetet. A példajegyzetfüzet teljes körű útmutatást nyújt a modell telepítéséhez a következtetések levonásához és az erőforrások tisztításához.

A notebook használatával történő üzembe helyezéshez először kiválasztjuk a megfelelő modellt, amelyet a model_id. A kiválasztott modellek bármelyikét üzembe helyezheti a SageMakerben a következő kóddal:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Ez a SageMaker modellt alapértelmezett konfigurációkkal telepíti, beleértve az alapértelmezett példánytípust és az alapértelmezett VPC-konfigurációkat. Módosíthatja ezeket a konfigurációkat a nem alapértelmezett értékek megadásával JumpStartModel. A telepítés után a SageMaker előrejelzőn keresztül következtetéseket futtathat a telepített végponttal kapcsolatban:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

A finomhangolt csevegési modellek (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) elfogadják a csevegés előzményeit a felhasználó és a csevegési asszisztens között, és létrehozzák a következő csevegést. Az előre betanított modellek (Llama-2-7b, Llama-2-13b, Llama-2-70b) karakterlánc-promptot igényelnek, és a szövegkiegészítést a megadott prompton hajtják végre. Lásd a következő kódot:

predictor.predict(payload, custom_attributes="accept_eula=true")

Vegye figyelembe, hogy alapértelmezés szerint accept_eula hamisra van állítva. Be kell állítani accept_eula=true a végpont sikeres meghívásához. Ezzel elfogadja a felhasználói licencszerződést és a korábban említett elfogadható használati szabályzatot. Te is letöltés a licencszerződést.

Custom_attributes Az EULA átadására kulcs/érték párokat használnak. A kulcs és az érték a következővel van elválasztva = és a párokat a ;. Ha a felhasználó többször is átadja ugyanazt a kulcsot, akkor az utolsó érték megmarad, és átadja a szkriptkezelőnek (azaz ebben az esetben feltételes logikára használják). Például ha accept_eula=false; accept_eula=true akkor átkerül a szerverhez  accept_eula=true megőrzi és átadja a szkriptkezelőnek.

A következtetési paraméterek vezérlik a szöveggenerálási folyamatot a végponton. A maximális új tokenek vezérlése a modell által generált kimenet méretére vonatkozik. Vegye figyelembe, hogy ez nem azonos a szavak számával, mert a modell szókincse nem egyezik meg az angol nyelv szókincsével, és előfordulhat, hogy az egyes token nem angol nyelvű szó. A hőmérséklet szabályozza a kimenet véletlenszerűségét. A magasabb hőmérséklet kreatívabb és hallucináltabb kimeneteket eredményez. Az összes következtetési paraméter nem kötelező.

A következő táblázat felsorolja a SageMaker JumpStartban elérhető összes Llama modellt, valamint a model_ids, alapértelmezett példánytípusok és az egyes modelleknél támogatott teljes tokenek maximális száma (a bemeneti tokenek számának és a generált tokenek számának összege).

Vegye figyelembe, hogy a SageMaker végpontok időkorlátja 60 másodperc. Így, bár a modell képes lehet 4096 tokent generálni, ha a szöveggenerálás több mint 60 másodpercet vesz igénybe, a kérés sikertelen lesz. A 7B, 13B és 70B modellekhez javasoljuk a beállítást max_new_tokens nem lehet nagyobb 1500-nál, 1000-nél és 500-nál, miközben a tokenek teljes száma 4K alatt marad.

Következtetési és példakérdések a Llama-2-70b-hez

A Llama modelleket bármilyen szövegrészhez használhatja a szöveg kiegészítésére. A szöveggenerálás révén különféle feladatokat hajthat végre, mint például kérdések megválaszolása, nyelvi fordítás, hangulatelemzés és még sok más. A végpontba bevitt hasznos terhelés a következő kódhoz hasonlóan néz ki:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Az alábbiakban néhány példa-parancssor és a modell által generált szöveg található. Minden kimenet következtetési paraméterekkel jön létre {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

A következő példában bemutatjuk, hogyan kell használni a láma modelleket néhány felvételes kontextuson belüli tanulással, ahol a modell számára elérhető képzési mintákat biztosítunk. Vegye figyelembe, hogy csak a telepített modellre vonunk le következtetéseket, és a folyamat során a modell súlya nem változik.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Következtetési és példakérdések a Llama-2-70b-chathez

A párbeszédes felhasználási esetekre optimalizált Llama-2-Chat modelleknél a csevegési modell végpontjainak bemenete a csevegési asszisztens és a felhasználó közötti korábbi történet. Kérdéseket tehet fel az eddigi beszélgetéssel összefüggésben. Megadhatja a rendszerkonfigurációt is, például személyeket, amelyek meghatározzák a csevegési asszisztens viselkedését. A végpont bemeneti hasznos terhelése a következő kódhoz hasonlóan néz ki:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Az alábbiakban néhány példa-parancssor és a modell által generált szöveg található. Minden kimenet a következtetési paraméterekkel generálódik {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

A következő példában a felhasználó beszélgetést folytatott az asszisztenssel Párizs turisztikai helyszíneiről. Ezután a felhasználó a chat-asszisztens által javasolt első lehetőségről érdeklődik.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

A következő példákban beállítjuk a rendszer konfigurációját:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Tisztítsuk meg

Miután befejezte a jegyzetfüzet futtatását, mindenképpen töröljön minden erőforrást, így a folyamat során létrehozott összes erőforrás törlődik, és a számlázás leáll:

predictor.delete_model()
predictor.delete_endpoint()

Következtetés

Ebben a bejegyzésben megmutattuk, hogyan kezdje el a Llama 2 modelleket a SageMaker Stúdióban. Ezzel hat Llama 2 alapozó modellhez férhet hozzá, amelyek több milliárd paramétert tartalmaznak. Mivel az alapmodellek előre betanítottak, segíthetnek csökkenteni a képzési és infrastrukturális költségeket, és lehetővé teszik a testreszabást az Ön használati esetéhez. A SageMaker JumpStart használatának megkezdéséhez keresse fel a következő forrásokat:

A szerzőkről

June nyert a SageMaker JumpStart termékmenedzsere. Arra összpontosít, hogy az alapmodelleket könnyen felfedezhetővé és használhatóvá tegye, hogy segítse az ügyfeleket generatív AI-alkalmazások létrehozásában. Az Amazonnál szerzett tapasztalatai közé tartozik a mobil vásárlási alkalmazás és az utolsó mérföldes szállítás is.

Dr. Vivek Madan az Amazon SageMaker JumpStart csapatának alkalmazott tudósa. PhD fokozatát az Illinoisi Egyetemen szerezte, az Urbana-Champaign-ben, és a Georgia Tech posztdoktori kutatója volt. Aktív kutatója a gépi tanulásnak és az algoritmustervezésnek, és publikált előadásokat EMNLP, ICLR, COLT, FOCS és SODA konferenciákon. Dr. Kyle Ulrich az Amazon SageMaker JumpStart csapatának alkalmazott tudósa. Kutatási területei közé tartoznak a skálázható gépi tanulási algoritmusok, a számítógépes látás, az idősorok, a Bayes-féle nem-paraméterek és a Gauss-folyamatok. Doktori fokozatát a Duke Egyetemen szerezte, és publikációkat publikált a NeurIPS-ben, a Cell-ben és a Neuron-ban. Dr. Ashish Khetan az Amazon SageMaker JumpStart vezető alkalmazott tudósa, és segít gépi tanulási algoritmusok fejlesztésében. PhD fokozatát az Illinois Urbana-Champaign Egyetemen szerezte. A gépi tanulás és a statisztikai következtetések aktív kutatója, és számos közleményt publikált NeurIPS, ICML, ICLR, JMLR, ACL és EMNLP konferenciákon. Sundar Ranganathan az AWS GenAI/Frameworks GTM specialistáinak globális vezetője. GTM-stratégia fejlesztésére összpontosít nagy nyelvi modellekhez, GenAI-hoz és nagyszabású ML-munkaterhelésekhez olyan AWS-szolgáltatásokban, mint az Amazon EC2, EKS, EFA, AWS Batch és Amazon SageMaker. Tapasztalatai közé tartozik a termékmenedzsment és termékfejlesztés vezetői szerepe a NetApp-nál, a Micron Technology-nál, a Qualcommnál és a Mentor Graphicsnál.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/