Metan Llama 2 -pohjamallit ovat nyt saatavilla Amazon SageMaker JumpStart | Amazon Web Services

Tänään meillä on ilo ilmoittaa, että Metan kehittämät Llama 2 -pohjamallit ovat asiakkaiden saatavilla kautta Amazon SageMaker JumpStart. Llama 2 -perhe suuria kielimalleja (LLM) on kokoelma esikoulutettuja ja hienosäädettyjä generatiivisia tekstimalleja, joiden skaala vaihtelee 7 miljardista 70 miljardiin parametriin. Hienosäädetyt LLM:t, nimeltään Llama-2-chat, on optimoitu dialogikäyttöön. Voit helposti kokeilla näitä malleja ja käyttää niitä SageMaker JumpStartin kanssa, joka on koneoppimiskeskus (ML), joka tarjoaa pääsyn algoritmeihin, malleihin ja ML-ratkaisuihin, jotta pääset nopeasti alkuun ML:n kanssa.

Tässä viestissä käymme läpi, kuinka Llama 2 -malleja käytetään SageMaker JumpStartin kautta.

Mikä on Llama 2

Llama 2 on automaattisesti regressiivinen kielimalli, joka käyttää optimoitua muuntajaarkkitehtuuria. Llama 2 on tarkoitettu kaupalliseen ja tutkimuskäyttöön englanniksi. Sitä on saatavana eri parametrikokoina – 7 miljardia, 13 miljardia ja 70 miljardia – sekä esikoulutettuja ja hienosäädettyjä muunnelmia. Metan mukaan viritetyt versiot käyttävät valvottua hienosäätöä (SFT) ja vahvistusoppimista ihmisen palautteen avulla (RLHF) mukautuakseen ihmisten auttavaisuuden ja turvallisuuden mieltymyksiin. Llama 2 oli esikoulutettu 2 biljoonalla datatunnisteella julkisista lähteistä. Viritetyt mallit on tarkoitettu assistentin kaltaiseen chattiin, kun taas valmiiksi koulutetut mallit voidaan mukauttaa erilaisiin luonnollisen kielen generointitehtäviin. Riippumatta siitä, mitä mallin versiota kehittäjä käyttää, Metan vastuullinen käyttöopas voi auttaa ohjaamaan ylimääräisiä hienosäätöjä, jotka voivat olla tarpeen mallien mukauttamiseen ja optimointiin asianmukaisin turvatoimin.

Mikä on SageMaker JumpStart

SageMaker JumpStartin avulla ML-harjoittajat voivat valita laajasta valikoimasta avoimen lähdekoodin perustusmalleja. ML-ammattilaiset voivat ottaa käyttöön perustamismalleja omistettuihin Amazon Sage Maker instansseja verkosta eristetystä ympäristöstä ja mukauta malleja SageMakerin avulla mallin koulutusta ja käyttöönottoa varten.

Voit nyt löytää ja ottaa Llama 2:n käyttöön muutamalla napsautuksella Amazon SageMaker Studio tai ohjelmallisesti SageMaker Python SDK:n kautta, jonka avulla voit johtaa mallin suorituskykyä ja MLOps-säätimiä SageMaker-ominaisuuksilla, kuten Amazon SageMaker -putkistot, Amazon SageMaker -korjaamotai konttitukkeja. Malli on otettu käyttöön suojatussa AWS-ympäristössä ja VPC-ohjaimissasi, mikä auttaa varmistamaan tietoturvan. Llama 2 -mallit ovat saatavilla tänään Amazon SageMaker Studiossa, aluksi vuonna us-east 1 ja us-west 2 alueilla.

Tutustu malleihin

Voit käyttää perusmalleja SageMaker JumpStartin kautta SageMaker Studion käyttöliittymässä ja SageMaker Python SDK:ssa. Tässä osiossa käymme läpi kuinka löytää mallit SageMaker Studiossa.

SageMaker Studio on integroitu kehitysympäristö (IDE), joka tarjoaa yhden web-pohjaisen visuaalisen käyttöliittymän, jossa voit käyttää tarkoitukseen rakennettuja työkaluja kaikkien ML-kehitysvaiheiden suorittamiseen tietojen valmistelusta ML-mallien rakentamiseen, koulutukseen ja käyttöönottoon. Katso lisätietoja SageMaker Studion aloittamisesta ja määrittämisestä Amazon SageMaker Studio.

Kun olet SageMaker Studiossa, voit käyttää SageMaker JumpStartia, joka sisältää valmiiksi koulutetut mallit, muistikirjat ja valmiiksi rakennetut ratkaisut. Valmiiksi rakennetut ja automatisoidut ratkaisut.

SageMaker JumpStart -aloitussivulta voit selata ratkaisuja, malleja, muistikirjoja ja muita resursseja. Löydät kaksi lippulaiva Llama 2 -mallia Pohjamallit: Tekstin luominen karuselli. Jos et näe Llama 2 -malleja, päivitä SageMaker Studio -versio sammuttamalla ja käynnistämällä uudelleen. Lisätietoja versiopäivityksistä on kohdassa Sammuta ja päivitä Studio-sovellukset.

Löydät myös neljä muuta mallivaihtoehtoa valitsemalla Tutustu kaikkiin tekstinluontimalleihin tai etsivät llama hakukenttään.

Voit valita mallikortin nähdäksesi mallin tiedot, kuten lisenssin, koulutuksessa käytetyt tiedot ja käytön. Löydät myös kaksi painiketta, Sijoittaa ja Avaa Muistikirja, jotka auttavat sinua käyttämään mallia.

Kun valitset jommankumman painikkeen, ponnahdusikkuna näyttää loppukäyttäjän lisenssisopimuksen ja hyväksyttävän käyttökäytännön, jotka sinun on hyväksyttävä.

Hyväksyttyäsi siirryt mallin käyttöön seuraavaan vaiheeseen.

Ota malli käyttöön

Kun valitset Sijoittaa ja hyväksy ehdot, mallin käyttöönotto alkaa. Vaihtoehtoisesti voit ottaa käyttöön esimerkkimuistikirjan, joka tulee näkyviin valitsemalla Avaa Muistikirja. Esimerkkimuistikirja tarjoaa päästä päähän -ohjeita mallin käyttöönotosta päättelyyn ja resurssien puhdistamiseen.

Ottaaksesi käyttöön kannettavan tietokoneen, aloitamme valitsemalla sopivan mallin, jonka määrittelee model_id. Voit ottaa käyttöön mitä tahansa valituista malleista SageMakerissa seuraavalla koodilla:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Tämä ottaa mallin käyttöön SageMakerissa oletuskokoonpanoilla, mukaan lukien oletusinstanssityypit ja oletusarvoiset VPC-kokoonpanot. Voit muuttaa näitä määrityksiä määrittämällä ei-oletusarvoja JumpStartModel. Kun se on otettu käyttöön, voit suorittaa päättelyn käyttöön otettua päätepistettä vastaan ​​SageMaker-ennustajan kautta:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Hienosäädetyt chat-mallit (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) hyväksyvät keskusteluhistorian käyttäjän ja chat-avustajan välillä ja luovat seuraavan chatin. Esiopetetut mallit (Llama-2-7b, Llama-2-13b, Llama-2-70b) vaativat merkkijonokehotteen ja suorittavat tekstin täydennyksen mukana tulleessa kehotteessa. Katso seuraava koodi:

predictor.predict(payload, custom_attributes="accept_eula=true")

Huomaa, että oletuksena accept_eula on asetettu epätosi. Sinun on asetettava accept_eula=true kutsua päätepiste onnistuneesti. Näin tekemällä hyväksyt aiemmin mainitun käyttöoikeussopimuksen ja hyväksyttävän käyttökäytännön. Voit myös download lisenssisopimus.

Custom_attributes EULA:n läpäisemiseen käytetään avain/arvo-pareja. Avain ja arvo on erotettu toisistaan = ja parit erotetaan toisistaan ;. Jos käyttäjä välittää saman avaimen useammin kuin kerran, viimeinen arvo säilytetään ja välitetään komentosarjan käsittelijälle (eli tässä tapauksessa käytetään ehdolliseen logiikkaan). Esimerkiksi jos accept_eula=false; accept_eula=true siirretään sitten palvelimelle  accept_eula=true säilytetään ja välitetään komentosarjan käsittelijälle.

Päätelmäparametrit ohjaavat tekstin luontiprosessia päätepisteessä. Uusien tokenien maksimiohjaus viittaa mallin tuottaman lähdön kokoon. Huomaa, että tämä ei ole sama kuin sanojen määrä, koska mallin sanasto ei ole sama kuin englannin kielen sanasto, ja jokainen merkki ei välttämättä ole englanninkielinen sana. Lämpötila ohjaa lähdön satunnaisuutta. Korkeampi lämpötila johtaa luovempiin ja hallusinoituneempiin tuloksiin. Kaikki päättelyparametrit ovat valinnaisia.

Seuraavassa taulukossa luetellaan kaikki SageMaker JumpStartissa saatavilla olevat Llama-mallit sekä model_ids, oletusilmentymien tyypit ja kunkin mallin tuettujen merkkien kokonaismäärä (syöttötunnusten lukumäärän ja luotujen merkkien lukumäärän summa).

Huomaa, että SageMaker-päätepisteiden aikaraja on 60 sekuntia. Näin ollen, vaikka malli voi pystyä luomaan 4096 merkkiä, jos tekstin luominen kestää yli 60 sekuntia, pyyntö epäonnistuu. 7B-, 13B- ja 70B-malleille suosittelemme asetusta max_new_tokens enintään 1500 1000, 500 4 ja XNUMX, samalla kun merkkien kokonaismäärä on pienempi kuin XNUMXK.

Päätelmä- ja esimerkkikehotteet Llama-2-70b:lle

Voit käyttää Llama-malleja minkä tahansa tekstin tekstin täydentämiseen. Tekstin luomisen avulla voit suorittaa erilaisia ​​tehtäviä, kuten vastata kysymyksiin, kääntää kieliä, analysoida tunteita ja paljon muuta. Syötetty hyötykuorma päätepisteeseen näyttää seuraavalta koodilta:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Seuraavassa on esimerkkejä esimerkkikehotteista ja mallin luomasta tekstistä. Kaikki lähdöt generoidaan päättelyparametreilla {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

Seuraavassa esimerkissä näytämme kuinka Llama-malleja käytetään muutaman otoksen kontekstin sisäisessä oppimisessa, jossa tarjoamme mallille saatavilla olevia koulutusnäytteitä. Huomaa, että teemme päätelmiä vain käyttöönotetusta mallista, ja tämän prosessin aikana mallien painot eivät muutu.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Päätelmä- ja esimerkkikehotteet Llama-2-70b-chatille

Dialogikäyttöön optimoiduissa Llama-2-Chat-malleissa keskustelumallin päätepisteiden syöte on chat-avustajan ja käyttäjän välinen aikaisempi historia. Voit esittää kysymyksiä, jotka liittyvät tähän mennessä tapahtuneeseen keskusteluun. Voit myös antaa järjestelmämääritykset, kuten henkilöt, jotka määrittävät chat-avustajan toiminnan. Päätepisteen syöttökuorma näyttää seuraavalta koodilta:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Seuraavassa on esimerkkejä esimerkkikehotteista ja mallin luomasta tekstistä. Kaikki lähdöt generoidaan päättelyparametreilla {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

Seuraavassa esimerkissä käyttäjä on keskustellut avustajan kanssa Pariisin matkailukohteista. Seuraavaksi käyttäjä tiedustelee chat-avustajan suosittelemaa ensimmäistä vaihtoehtoa.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

Seuraavissa esimerkeissä asetamme järjestelmän asetukset:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Puhdistaa

Kun olet lopettanut muistikirjan käyttämisen, muista poistaa kaikki resurssit, jotta kaikki prosessissa luomasi resurssit poistetaan ja laskutuksesi lopetetaan:

predictor.delete_model()
predictor.delete_endpoint()

Yhteenveto

Tässä viestissä näytimme sinulle, kuinka pääset alkuun Llama 2 -mallien kanssa SageMaker Studiossa. Tämän avulla sinulla on pääsy kuuteen Llama 2 -pohjamalliin, jotka sisältävät miljardeja parametreja. Koska perusmallit ovat valmiiksi koulutettuja, ne voivat myös auttaa alentamaan koulutus- ja infrastruktuurikustannuksia ja mahdollistaa räätälöinnin käyttötarpeisiisi. Pääset alkuun SageMaker JumpStartin kanssa käymällä seuraavissa resursseissa:

Tietoja kirjoittajista

Kesäkuu voitti on SageMaker JumpStartin tuotepäällikkö. Hän keskittyy tekemään perusmalleista helposti löydettäviä ja käyttökelpoisia auttamaan asiakkaita luomaan luovia tekoälysovelluksia. Hänen kokemukseensa Amazonista kuuluu myös mobiiliostossovellus ja viimeinen mailitoimitus.

Tohtori Vivek Madan on soveltuva tutkija Amazon SageMaker JumpStart -tiimin kanssa. Hän sai tohtorin tutkinnon Illinoisin yliopistosta Urbana-Champaignissa ja oli tutkijatohtorina Georgia Techissä. Hän on aktiivinen koneoppimisen ja algoritmisuunnittelun tutkija ja julkaissut julkaisuja EMNLP-, ICLR-, COLT-, FOCS- ja SODA-konferensseissa. Tohtori Kyle Ulrich on soveltuva tutkija Amazon SageMaker JumpStart -tiimin kanssa. Hänen tutkimusalueitaan ovat skaalautuvat koneoppimisalgoritmit, tietokonenäkö, aikasarjat, Bayesin ei-parametrit ja Gaussin prosessit. Hänen tohtorinsa on Duken yliopistosta ja hän on julkaissut artikkeleita NeurIPS-, Cell- ja Neuron-julkaisuissa. Tohtori Ashish Khetan on vanhempi soveltuva tutkija Amazon SageMaker JumpStartissa ja auttaa kehittämään koneoppimisalgoritmeja. Hän sai tohtorin tutkinnon Illinois Urbana-Champaignin yliopistosta. Hän on aktiivinen koneoppimisen ja tilastollisen päättelyn tutkija, ja hän on julkaissut monia artikkeleita NeurIPS-, ICML-, ICLR-, JMLR-, ACL- ja EMNLP-konferensseissa. Sundar Ranganathan on AWS:n GenAI/Frameworks GTM -asiantuntijoiden globaali johtaja. Hän keskittyy GTM-strategian kehittämiseen suurille kielimalleille, GenAI:lle ja suurille ML-työkuormille AWS-palveluissa, kuten Amazon EC2, EKS, EFA, AWS Batch ja Amazon SageMaker. Hänen kokemuksensa sisältää johtotehtäviä tuotehallinnassa ja tuotekehityksessä NetAppilla, Micron Technologylla, Qualcommilla ja Mentor Graphicsilla.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/