Modelele de fond de ten Llama 2 de la Meta sunt acum disponibile în Amazon SageMaker JumpStart | Amazon Web Services

Astăzi, suntem încântați să anunțăm că modelele de fundație Llama 2 dezvoltate de Meta sunt disponibile pentru clienți Amazon SageMaker JumpStart. Familia de modele de limbaj mari (LLM) Llama 2 este o colecție de modele de text generative pre-antrenate și reglate fin, cu o scară cuprinsă între 7 miliarde și 70 de miliarde de parametri. LLM-urile ajustate, numite Llama-2-chat, sunt optimizate pentru cazuri de utilizare a dialogului. Puteți încerca cu ușurință aceste modele și le puteți utiliza cu SageMaker JumpStart, care este un hub de învățare automată (ML) care oferă acces la algoritmi, modele și soluții ML, astfel încât să puteți începe rapid cu ML.

În această postare, vom explica cum să folosiți modelele Llama 2 prin SageMaker JumpStart.

Ce este Llama 2

Llama 2 este un model de limbaj auto-regresiv care utilizează o arhitectură transformatoare optimizată. Llama 2 este destinat utilizării comerciale și de cercetare în limba engleză. Vine într-o gamă de dimensiuni de parametri — 7 miliarde, 13 miliarde și 70 de miliarde — precum și variații pre-antrenate și reglate fin. Potrivit Meta, versiunile ajustate folosesc reglarea fină supravegheată (SFT) și învățarea prin întărire cu feedback uman (RLHF) pentru a se alinia la preferințele umane pentru utilitate și siguranță. Llama 2 a fost pre-antrenat pe 2 trilioane de date din surse disponibile public. Modelele reglate sunt destinate chatului de tip asistent, în timp ce modelele pre-antrenate pot fi adaptate pentru o varietate de sarcini de generare a limbajului natural. Indiferent de versiunea modelului pe care o folosește un dezvoltator, programul ghid de utilizare responsabilă de la Meta poate ajuta la ghidarea reglajelor suplimentare care ar putea fi necesare pentru personalizarea și optimizarea modelelor cu măsuri de reducere a siguranței adecvate.

Ce este SageMaker JumpStart

Cu SageMaker JumpStart, practicienii ML pot alege dintr-o selecție largă de modele de fundații open source. Practicienii ML pot implementa modele de fundație pentru dedicate Amazon SageMaker instanțe dintr-un mediu izolat în rețea și personalizați modelele folosind SageMaker pentru instruirea și implementarea modelelor.

Acum puteți descoperi și implementa Llama 2 cu câteva clicuri Amazon SageMaker Studio sau programatic prin intermediul SDK-ului SageMaker Python, permițându-vă să obțineți performanța modelului și controalele MLOps cu funcții SageMaker, cum ar fi Pipelines Amazon SageMaker, Debugger Amazon SageMaker, sau jurnalele containerului. Modelul este implementat într-un mediu securizat AWS și sub controalele dvs. VPC, contribuind la asigurarea securității datelor. Modelele Llama 2 sunt disponibile astăzi în Amazon SageMaker Studio, inițial în us-east 1 și us-west 2 regiuni.

Descoperă modele

Puteți accesa modelele de fundație prin SageMaker JumpStart în SageMaker Studio UI și SageMaker Python SDK. În această secțiune, vom analiza cum să descoperiți modelele în SageMaker Studio.

SageMaker Studio este un mediu de dezvoltare integrat (IDE) care oferă o interfață vizuală unică bazată pe web, unde puteți accesa instrumente special create pentru a efectua toți pașii de dezvoltare ML, de la pregătirea datelor până la construirea, antrenamentul și implementarea modelelor dvs. ML. Pentru mai multe detalii despre cum să începeți și să configurați SageMaker Studio, consultați Amazon SageMaker Studio.

Odată ce sunteți în SageMaker Studio, puteți accesa SageMaker JumpStart, care conține modele pre-antrenate, notebook-uri și soluții prefabricate, sub Soluții preconstruite și automatizate.

Din pagina de destinație SageMaker JumpStart, puteți căuta soluții, modele, notebook-uri și alte resurse. Puteți găsi două modele emblematice Llama 2 în Modele de fundație: Generarea textului carusel. Dacă nu vedeți modelele Llama 2, actualizați versiunea SageMaker Studio prin închiderea și repornirea. Pentru mai multe informații despre actualizările versiunii, consultați Închideți și actualizați aplicațiile Studio.

Poti gasi si alte patru variante de model alegand Explorați toate modelele de generare de text sau căutarea llama în caseta de căutare.

Puteți alege cardul model pentru a vedea detalii despre model, cum ar fi licența, datele utilizate pentru antrenament și modul de utilizare. De asemenea, puteți găsi două butoane, Lansa și Deschide Notebook, care vă ajută să utilizați modelul.

Când alegeți oricare dintre butoane, o fereastră pop-up va afișa acordul de licență pentru utilizatorul final și politica de utilizare acceptabilă pe care să le confirmați.

După ce ați confirmat, veți trece la pasul următor pentru a utiliza modelul.

Implementați un model

Când alegi Lansa și acceptați termenii, va începe implementarea modelului. Alternativ, puteți implementa prin exemplul de blocnotes care apare prin alegere Deschide Notebook. Exemplul de blocnotes oferă îndrumări de la capăt la capăt cu privire la modul de implementare a modelului pentru inferență și curățarea resurselor.

Pentru a implementa folosind un notebook, începem prin a selecta un model adecvat, specificat de model_id. Puteți implementa oricare dintre modelele selectate pe SageMaker cu următorul cod:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Aceasta implementează modelul pe SageMaker cu configurații implicite, inclusiv tipul de instanță implicit și configurațiile VPC implicite. Puteți modifica aceste configurații specificând valori care nu sunt implicite în JumpStartModel. După ce este implementat, puteți rula inferențe împotriva punctului final implementat prin predictorul SageMaker:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Modelele de chat ajustate (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) acceptă un istoric al chat-ului între utilizator și asistentul de chat și generează chatul ulterioar. Modelele pre-antrenate (Llama-2-7b, Llama-2-13b, Llama-2-70b) necesită un prompt de șir și completează textul la promptul furnizat. Vezi următorul cod:

predictor.predict(payload, custom_attributes="accept_eula=true")

Rețineți că în mod implicit, accept_eula este setat la fals. Trebuie să setați accept_eula=true pentru a invoca punctul final cu succes. Procedând astfel, acceptați acordul de licență de utilizare și politica de utilizare acceptabilă, așa cum sa menționat mai devreme. Poti de asemenea Descarca contractul de licență.

Custom_attributes folosite pentru a trece EULA sunt perechi cheie/valoare. Cheia și valoarea sunt separate prin = iar perechile sunt separate prin ;. Dacă utilizatorul trece aceeași cheie de mai multe ori, ultima valoare este păstrată și transmisă handler-ului de script (adică, în acest caz, folosită pentru logica condiționată). De exemplu, dacă accept_eula=false; accept_eula=true este transmis serverului, atunci  accept_eula=true este păstrat și transmis la handler-ul de script.

Parametrii de inferență controlează procesul de generare a textului la punctul final. Controlul maxim al noilor jetoane se referă la dimensiunea rezultatului generat de model. Rețineți că acesta nu este același cu numărul de cuvinte, deoarece vocabularul modelului nu este același cu vocabularul în limba engleză și este posibil ca fiecare simbol să nu fie un cuvânt în limba engleză. Temperatura controlează aleatoritatea în ieșire. O temperatură mai ridicată are ca rezultat rezultate mai creative și halucinate. Toți parametrii de inferență sunt opționali.

Următorul tabel listează toate modelele Llama disponibile în SageMaker JumpStart împreună cu model_ids, tipurile de instanțe implicite și numărul maxim de jetoane totale (suma numărului de jetoane de intrare și numărul de jetoane generate) acceptate pentru fiecare dintre aceste modele.

Rețineți că punctele finale SageMaker au o limită de expirare de 60 de secunde. Astfel, chiar dacă modelul poate genera 4096 de jetoane, dacă generarea textului durează mai mult de 60 de secunde, cererea va eșua. Pentru modelele 7B, 13B și 70B, vă recomandăm să setați max_new_tokens nu mai mult de 1500, 1000 și, respectiv, 500, păstrând în același timp numărul total de jetoane mai mic de 4K.

Inferențe și exemple de solicitări pentru Llama-2-70b

Puteți utiliza modele Llama pentru completarea textului pentru orice bucată de text. Prin generarea de text, puteți efectua o varietate de sarcini, cum ar fi răspunsul la întrebări, traducerea limbii, analiza sentimentelor și multe altele. Sarcina utilă de intrare la punctul final arată ca următorul cod:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Următoarele sunt câteva exemple de prompturi și textul generat de model. Toate ieșirile sunt generate cu parametri de inferență {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

În exemplul următor, arătăm cum să folosiți modelele Llama cu învățare în context cu câteva fotografii, unde oferim mostre de antrenament disponibile modelului. Rețineți că facem inferențe doar asupra modelului implementat și în timpul acestui proces, ponderile modelului nu se schimbă.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Inferențe și exemple de solicitări pentru Llama-2-70b-chat

Cu modelele Llama-2-Chat, care sunt optimizate pentru cazuri de utilizare a dialogului, intrarea în punctele finale ale modelului de chat este istoricul anterior dintre asistentul de chat și utilizator. Puteți pune întrebări în contextul conversației care a avut loc până acum. De asemenea, puteți furniza configurația sistemului, cum ar fi personaje care definesc comportamentul asistentului de chat. Sarcina utilă de intrare către punctul final arată ca următorul cod:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Următoarele sunt câteva exemple de prompturi și textul generat de model. Toate ieșirile sunt generate cu parametrii de inferență {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

În exemplul următor, utilizatorul a avut o conversație cu asistentul despre locurile turistice din Paris. În continuare, utilizatorul întreabă despre prima opțiune recomandată de asistentul de chat.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

În următoarele exemple, setăm configurația sistemului:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

A curăța

După ce ați terminat de rulat blocnotesul, asigurați-vă că ștergeți toate resursele, astfel încât toate resursele pe care le-ați creat în acest proces să fie șterse și facturarea dvs. să fie oprită:

predictor.delete_model()
predictor.delete_endpoint()

Concluzie

În această postare, v-am arătat cum să începeți cu modelele Llama 2 în SageMaker Studio. Cu aceasta, aveți acces la șase modele de fundație Llama 2 care conțin miliarde de parametri. Deoarece modelele de fundație sunt pregătite în prealabil, ele pot ajuta, de asemenea, la reducerea costurilor de instruire și infrastructură și pot permite personalizarea pentru cazul dvs. de utilizare. Pentru a începe să utilizați SageMaker JumpStart, vizitați următoarele resurse:

Despre autori

June a câștigat este manager de produs cu SageMaker JumpStart. El se concentrează pe a face modele de bază ușor de descoperit și utilizabil pentru a ajuta clienții să construiască aplicații AI generative. Experiența sa la Amazon include, de asemenea, aplicația de cumpărături pe mobil și livrarea ultimului mile.

Dr. Vivek Madan este un om de știință aplicat în echipa Amazon SageMaker JumpStart. Și-a luat doctoratul la Universitatea din Illinois la Urbana-Champaign și a fost cercetător post-doctoral la Georgia Tech. Este un cercetător activ în învățarea automată și proiectarea algoritmilor și a publicat lucrări în cadrul conferințelor EMNLP, ICLR, COLT, FOCS și SODA. Dr. Kyle Ulrich este un om de știință aplicat în echipa Amazon SageMaker JumpStart. Interesele sale de cercetare includ algoritmi scalabili de învățare automată, viziunea computerizată, serii temporale, non-parametrice bayesiene și procese gaussiene. Doctoratul său este de la Universitatea Duke și a publicat lucrări în NeurIPS, Cell, and Neuron. Dr. Ashish Khetan este cercetător senior aplicat cu Amazon SageMaker JumpStart și ajută la dezvoltarea algoritmilor de învățare automată. Și-a luat doctoratul la Universitatea din Illinois Urbana-Champaign. Este un cercetător activ în învățarea automată și inferența statistică și a publicat multe lucrări în conferințele NeurIPS, ICML, ICLR, JMLR, ACL și EMNLP. Sundar Ranganathan este șeful global al specialiștilor GenAI/Frameworks GTM la AWS. El se concentrează pe dezvoltarea strategiei GTM pentru modele de limbă mari, GenAI și sarcini de lucru ML la scară largă prin servicii AWS precum Amazon EC2, EKS, EFA, AWS Batch și Amazon SageMaker. Experiența sa include roluri de conducere în managementul și dezvoltarea de produse la NetApp, Micron Technology, Qualcomm și Mentor Graphics.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/