Meta Llama 3 mudelid on nüüd saadaval Amazon SageMaker JumpStart | Amazoni veebiteenused

Täna on meil hea meel teatada, et Meta Llama 3 vundamendimudelid on saadaval Amazon SageMaker JumpStart juurutamiseks ja järelduste tegemiseks. Llama 3 mudelid on eelkoolitatud ja peenhäälestatud generatiivse teksti mudelite kogu.

Selles postituses kirjeldame, kuidas SageMaker JumpStarti kaudu Llama 3 mudeleid avastada ja juurutada.

Mis on Meta Llama 3

Llama 3 on saadaval kahes parameetri suuruses – 8B ja 70B 8k kontekstipikkusega –, mis toetavad mitmesuguseid kasutusjuhtumeid, täiustades arutluskäiku, koodi genereerimist ja juhiste järgimist. Llama 3 kasutab ainult dekoodri trafo arhitektuuri ja uut tokenisaatorit, mis tagab 128 3 suuruse mudeli parema jõudluse. Lisaks täiustas Meta koolitusjärgseid protseduure, mis vähendasid oluliselt valede keeldumiste määra, parandasid joondamist ja suurendasid mudeli vastuste mitmekesisust. Nüüd saate Llama XNUMX jõudluse ja MLOps-i juhtelementide kombineeritud eeliseid kasutada Amazon SageMakeri funktsioonidega, nagu SageMaker Pipelines, SageMaker Siluja või konteineri logid. Lisaks juurutatakse mudelit AWS-i turvalises keskkonnas teie VPC juhtimise all, mis aitab tagada andmete turvalisuse.

Mis on SageMaker JumpStart

SageMaker JumpStartiga saate valida laia valiku avalikult kättesaadavate vundamendimudelite hulgast. ML-i praktikud saavad juurutada sihtmudeleid spetsiaalsetele SageMakeri eksemplaridele võrgust eraldatud keskkonnast ja kohandada mudeleid SageMakeri abil mudeli koolituseks ja juurutamiseks. Nüüd saate mõne klõpsuga avastada ja juurutada Llama 3 mudeleid Amazon SageMaker Studio või programmiliselt SageMaker Python SDK kaudu, mis võimaldab teil tuletada mudeli jõudlust ja MLOps-i juhtelemente SageMakeri funktsioonidega, nagu SageMakeri torujuhtmed, SageMakeri silurvõi konteineri palke. Mudel on juurutatud AWS-i turvalises keskkonnas ja teie VPC kontrolli all, aidates tagada andmete turvalisust. Llama 3 mudelid on täna saadaval Amazon SageMaker Studios juurutamiseks ja järelduste tegemiseks us-east-1 (N. Virginia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Iirimaa) ja ap-northeast-1 (Tokyo) AWS-i piirkonnad.

Avastage mudeleid

Vundamendimudelitele pääsete juurde SageMakeri JumpStarti kaudu SageMaker Studio kasutajaliideses ja SageMaker Python SDK-s. Selles jaotises käsitleme SageMaker Studio mudelite leidmist.

SageMaker Studio on integreeritud arenduskeskkond (IDE), mis pakub ühtset veebipõhist visuaalset liidest, kus pääsete juurde sihipäraselt loodud tööriistadele, et sooritada kõiki ML-i arendusetappe alates andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni. Lisateavet SageMaker Studio alustamise ja seadistamise kohta leiate aadressilt Amazon SageMaker Studio.

SageMaker Studios pääsete juurde SageMaker JumpStartile, mis sisaldab eelkoolitatud mudeleid, märkmikke ja eelehitatud lahendusi. Eelehitatud ja automatiseeritud lahendused.

Sihtlehel SageMaker JumpStart saate hõlpsasti avastada erinevaid mudeleid, sirvides erinevaid jaotureid, mis on nimetatud mudelipakkujate järgi. Llama 3 mudelid leiate Meta hubist. Kui te Llama 3 mudeleid ei näe, värskendage oma SageMaker Studio versiooni, lülitades välja ja taaskäivitades. Lisateabe saamiseks vaadake Lülitage Studio klassikalised rakendused välja ja värskendage neid.

Leiate Llama 3 mudelid, otsides vasakus ülanurgas olevast otsingukastist "Meta-lama-3".

Kõiki SageMaker JumpStartis saadaolevaid Meta mudeleid saate avastada, klõpsates Meta jaoturil.

Mudelikaardil klõpsates avaneb vastava mudeli üksikasjade leht, kust saate mudeli hõlpsalt juurutada.

Mudeli juurutamine

Kui valite juurutada ja tunnistage EULA tingimusi, algab juurutamine.

Saate jälgida juurutamise edenemist lehel, mis kuvatakse pärast nupu Juuruta klõpsamist.

Teise võimalusena saate valida Ava märkmik kasutusele võtta näidismärkmiku kaudu. Näidismärkmik pakub täielikke juhiseid selle kohta, kuidas mudelit järelduste tegemiseks ja ressursside puhastamiseks kasutada.

Sülearvuti abil juurutamiseks alustage sobiva mudeli valimisega, mille määrab model_id. Saate SageMakeris juurutada mis tahes valitud mudelitest järgmise koodiga.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Vaikimisi accept_eula on seatud väärtusele False. Lõpp-punkti edukaks juurutamiseks peate käsitsi nõustuma EULA-ga. Seda tehes nõustute kasutaja litsentsilepingu ja aktsepteeritava kasutuse poliitikaga. Samuti leiate litsentsilepingu Laama veebisait. See juurutab mudeli SageMakeris vaikekonfiguratsioonidega, sealhulgas eksemplari vaiketüübi ja VPC vaikekonfiguratsioonidega. Saate neid konfiguratsioone muuta, määrates sisse mittevaikeväärtused JumpStartModel. Lisateabe saamiseks vaadake järgmist dokumentatsioon.

Järgmises tabelis on loetletud kõik SageMaker JumpStartis saadaolevad Llama 3 mudelid koos model_ids, vaikeeksemplari tüübid ja kõigi nende mudelite puhul toetatud maksimaalne žetoonide koguarv (sisendmärkide ja loodud märkide arvu summa).

Käivitage järeldus

Pärast mudeli juurutamist saate SageMakeri ennustaja kaudu käivitada juurutatud lõpp-punkti põhjal järeldusi. Peenhäälestatud juhiste mudelid (Laama 3: 8B Instruct ja 70B Instruct) aktsepteerivad kasutaja ja vestlusabilise vaheliste vestluste ajalugu ning loovad järgneva vestluse. Eelkoolitatud mudelid (Laama 3: 8B ja 70B) nõuavad stringiviipa ja täidavad teksti lõpetamise kaasasolevale viipale.

predictor.predict(payload)

Järeldusparameetrid juhivad teksti genereerimise protsessi lõpp-punktis. Max uued märgid juhivad mudeli genereeritud väljundi suurust. See ei ole sama, mis sõnade arv, sest mudeli sõnavara ei kattu inglise keele sõnavaraga ja iga märk ei pruugi olla ingliskeelne sõna. Temperatuuriparameeter kontrollib väljundi juhuslikkust. Kõrgem temperatuur toob kaasa loomingulisemad ja hallutsineeritumad tulemused. Kõik järeldusparameetrid on valikulised.

Näidisviibad mudelile 70B

Saate kasutada Llama 3 mudeleid mis tahes tekstilõigu teksti lõpetamiseks. Teksti genereerimise abil saate täita mitmesuguseid ülesandeid, nagu küsimustele vastamine, keele tõlkimine ja sentimentide analüüs jne. Lõpp-punkti sisendkoormus näeb välja järgmine kood:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Järgnevalt on toodud mõned näidisviibad ja mudeli loodud tekst. Kõik väljundid genereeritakse järeldusparameetritega {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

Järgmises näites näitame, kuidas kasutada Llama 3 mudeleid vähese kontekstisisese õppimisega, kus pakume mudelile saadaolevaid koolitusnäidiseid. Teeme järeldusi ainult juurutatud mudeli kohta ja selle protsessi ajal ning mudelite kaalud ei muutu.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Näidisviibad mudelile 70B-Instruct

Llama 3 käsumudelite puhul, mis on optimeeritud dialoogikasutusjuhtude jaoks, on juhiste mudeli lõpp-punktide sisendiks vestlusabilise ja kasutaja vaheline eelnev ajalugu. Saate esitada küsimusi, mis on seotud seni toimunud vestlusega. Saate esitada ka süsteemi konfiguratsiooni, näiteks isikud, mis määravad vestlusassistendi käitumise. Kuigi kasuliku koormuse sisendvorming on sama, mis eelkoolitatud baasmudelil, tuleks sisendtekst vormindada järgmiselt.

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Selles juhismallis saate valikuliselt alustada tähega a system rolli ja kaasata pöördepõhisesse ajalugu nii palju vahelduvaid rolle, kui soovitakse. Lõplik roll peaks alati olema assistant ja lõpetage kahe uue reavahetusega.

Järgmisena kaaluge mõnda mudeli viipade ja vastuste näidet. Järgmises näites esitab kasutaja assistendile lihtsa küsimuse.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

Järgmises näites vestleb kasutaja assistendiga Pariisi turismiobjektide teemal. Seejärel küsib kasutaja vestlusassistendi soovitatud esimese võimaluse kohta.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Järgmistes näidetes määrame süsteemi konfiguratsiooni.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Koristage

Kui olete märkmiku käitamise lõpetanud, kustutage kindlasti kõik protsessi käigus loodud ressursid, et teie arveldamine peataks. Kasutage järgmist koodi:

predictor.delete_model()
predictor.delete_endpoint()

Järeldus

Selles postituses näitasime teile, kuidas SageMaker Studios Llama 3 mudelitega alustada. Nüüd on teil juurdepääs neljale Llama 3 alusmudelile, mis sisaldavad miljardeid parameetreid. Kuna vundamendimudelid on eelkoolitatud, võivad need aidata vähendada koolitus- ja infrastruktuurikulusid ning võimaldada kohandamist teie kasutusjuhtumitele. Kontrollige SageMaker KiirStart SageMaker Studios, et alustada.

Autorite kohta

Kyle Ulrich on AWS-i rakendusteadlane II
Xin Huang on AWSi vanemrakendusteadlane
Qing Lan on AWS-i tarkvaraarendaja vaneminsener
Haotian An on AWS-i tarkvaraarendaja II insener
Christopher Whitten on AWS-i tarkvaraarenduse insener II
Tyler Osterberg on AWS-i tarkvaraarenduse insener I
Manan Shah on AWS-i tarkvaraarenduse juht
Jonathan Guinegagne on AWS-i tarkvaraarendaja vaneminsener
Adriana Simmons on AWS-i vanemtoodete turundusjuht
Juuni võitis on AWS-i vanemtootejuht
Ashish Khetan on AWSi vanemrakendusteadlane
Rachna Chadha on AWS-i peamine lahendusarhitekt – AI/ML
Deepak Rupakula on AWS-i GTM-i peamine spetsialist

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/