Hienosäädä ja ota käyttöön Mistral 7B Amazon SageMaker JumpStart | Amazon Web Services

Tänään meillä on ilo ilmoittaa mahdollisuudesta hienosäätää Mistral 7B -mallia käyttämällä Amazon SageMaker JumpStart. Voit nyt hienosäätää ja ottaa käyttöön Mistral-tekstin luontimalleja SageMaker JumpStartissa käyttämällä Amazon SageMaker Studio Käyttöliittymä muutamalla napsautuksella tai käyttämällä SageMaker Python SDK:ta.

Perusmallit suoriutuvat erittäin hyvin generatiivisissa tehtävissä tekstin ja tiivistelmien luomisesta, kysymyksiin vastaamisesta kuvien ja videoiden tuottamiseen. Huolimatta näiden mallien suurista yleistämismahdollisuuksista, on usein käyttötapauksia, joissa on erittäin tarkkaa toimialuetietoa (kuten terveydenhuolto tai rahoituspalvelut), eivätkä nämä mallit välttämättä pysty tarjoamaan hyviä tuloksia näissä käyttötapauksissa. Tästä seuraa, että näitä generatiivisia tekoälymalleja on edelleen hienosäädetty käyttötapauskohtaisten ja verkkotunnuskohtaisten tietojen perusteella.

Tässä viestissä näytämme, kuinka hienosäätää Mistral 7B -malli SageMaker JumpStart -sovelluksella.

Mikä on Mistral 7B

Mistral 7B on Mistral AI:n kehittämä perusmalli, joka tukee englanninkielistä tekstin ja koodin luontikykyä. Se tukee useita käyttötapauksia, kuten tekstin yhteenvetoa, luokittelua, tekstin täydentämistä ja koodin viimeistelyä. Mallin mukauttavuuden osoittamiseksi Mistral AI on myös julkaissut Mistral 7B-Instruct -mallin chat-käyttötapauksiin, joita on hienosäädetty käyttämällä erilaisia ​​julkisesti saatavilla olevia keskustelutietosarjoja.

Mistral 7B on muuntajamalli, ja se käyttää ryhmiteltyä kyselytietoa ja liukuvaa ikkunan huomioimista nopeamman päättelyn saavuttamiseksi (pieni latenssi) ja pidempien sekvenssien käsittelemiseksi. Ryhmitetty kyselyn huomio on arkkitehtuuri, joka yhdistää usean kyselyn ja usean pään huomion tuottaakseen tulostuslaadun, joka on lähellä usean kyselyn huomiointia ja verrattavissa olevaa nopeutta usean kyselyn huomioimiseen. Liukuvan ikkunan huomiointimenetelmä käyttää muuntajamallin useita tasoja keskittyäkseen aiemmin tulleeseen tietoon, mikä auttaa mallia ymmärtämään pidemmän kontekstin. . Mistral 7B:n kontekstipituus on 8,000 7 merkkiä, se osoittaa alhaisen latenssin ja suuren suorituskyvyn, ja sillä on vahva suorituskyky verrattuna suurempiin mallivaihtoehtoihin, mikä tarjoaa alhaiset muistivaatimukset 2.0B-mallin koossa. Malli on saatavilla sallitulla Apache XNUMX -lisenssillä käytettäväksi ilman rajoituksia.

Voit hienosäätää malleja joko SageMaker Studion käyttöliittymällä tai SageMaker Python SDK:lla. Keskustelemme molemmista menetelmistä tässä viestissä.

Hienosäädä SageMaker Studion käyttöliittymän kautta

SageMaker Studiossa pääset Mistral-malliin SageMaker JumpStart -sovelluksen kautta Mallit, muistikirjat ja ratkaisut, kuten seuraavassa kuvakaappauksessa näkyy.

Jos et näe Mistral-malleja, päivitä SageMaker Studio -versio sammuttamalla ja käynnistämällä uudelleen. Lisätietoja versiopäivityksistä on kohdassa Sammuta ja päivitä Studio-sovellukset.

Mallisivulla voit osoittaa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -ämpäri, joka sisältää koulutus- ja validointitietojoukot hienosäätöä varten. Lisäksi voit määrittää käyttöönoton määritykset, hyperparametrit ja suojausasetukset hienosäätöä varten. Voit sitten valita Juna aloittaaksesi koulutustyön SageMaker ML -esiintymässä.

Ota käyttöön malli

Kun malli on hienosäädetty, voit ottaa sen käyttöön SageMaker JumpStartin mallisivulla. Hienosäädetyn mallin käyttöönottovaihtoehto tulee näkyviin, kun hienosäätö on valmis, kuten seuraavassa kuvakaappauksessa näkyy.

Hienosäädä SageMaker Python SDK:n kautta

Voit myös hienosäätää Mistral-malleja SageMaker Python SDK:n avulla. Täydellinen muistikirja on saatavilla osoitteessa GitHub. Tässä osiossa annamme esimerkkejä kahdesta hienosäädöstä.

Ohjeiden hienosäätö

Ohjeiden viritys on tekniikka, joka sisältää kielimallin hienosäädön kokoelmassa luonnollisen kielen käsittelytehtäviä (NLP) ohjeiden avulla. Tässä tekniikassa malli opetetaan suorittamaan tehtäviä noudattamalla tekstiohjeita kunkin tehtävän tiettyjen tietojoukkojen sijaan. Malli on hienosäädetty joukolla syöttö- ja tulosesimerkkejä jokaista tehtävää varten, jolloin malli voi yleistää uusiin tehtäviin, joihin sitä ei ole erityisesti koulutettu, kunhan tehtäviin annetaan kehotteita. Ohjeiden viritys auttaa parantamaan mallien tarkkuutta ja tehokkuutta ja auttaa tilanteissa, joissa suuria tietojoukkoja ei ole saatavilla tiettyihin tehtäviin.

Käydään läpi esimerkissä annettu hienosäätökoodi muistikirja SageMaker Python SDK:n kanssa.

Käytämme osajoukkoa Dolly-tietojoukko ohjeiden viritysmuodossa ja määritä template.json tiedosto, joka kuvaa tulo- ja tulostusmuodot. Harjoitustiedot on muotoiltava JSON rivit (.jsonl) -muotoon, jossa jokainen rivi on sanakirja, joka edustaa yhtä datanäytettä. Tässä tapauksessa annamme sille nimen train.jsonl.

Seuraava katkelma on esimerkki train.jsonl. Avaimet instruction, contextja response jokaisessa näytteessä tulee olla vastaavat merkinnät {instruction}, {context}, {response} vuonna template.json.

{ "instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."
}

Seuraava on esimerkki template.json:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Kun olet ladannut kehotemallin ja harjoitustiedot S3-alueeseen, voit määrittää hyperparametrit.

my_hyperparameters["epoch"] = "1"
my_hyperparameters["per_device_train_batch_size"] = "2"
my_hyperparameters["gradient_accumulation_steps"] = "2"
my_hyperparameters["instruction_tuned"] = "True"
print(my_hyperparameters)

Tämän jälkeen voit aloittaa hienosäätöprosessin ja ottaa mallin käyttöön päätepäätepisteessä. Seuraavassa koodissa käytämme ml.g5.12xlarge-instanssia:

from sagemaker.jumpstart.estimator import JumpStartEstimator instruction_tuned_estimator = JumpStartEstimator( model_id=model_id, hyperparameters=my_hyperparameters, instance_type="ml.g5.12xlarge",
)
instruction_tuned_estimator.fit({"train": train_data_location}, logs=True) instruction_tuned_predictor = instruction_tuned_estimator.deploy()

Verkkotunnuksen mukauttamisen hienosäätö

Verkkotunnuksen mukauttamisen hienosäätö on prosessi, joka jalostaa valmiiksi koulutetun LLM:n sopimaan paremmin tiettyyn toimialueeseen tai tehtävään. Käyttämällä pienempää, verkkotunnuskohtaista tietojoukkoa LLM voidaan hienosäätää ymmärtämään ja luomaan sisältöä, joka on tarkempaa, merkityksellisempää ja oivaltavampaa kyseiselle toimialueelle, säilyttäen silti alkuperäisen koulutuksensa aikana saamansa laajat tiedot.

Mistral-mallia voidaan hienosäätää missä tahansa toimialuekohtaisessa tietojoukossa. Kun se on hienosäädetty, sen odotetaan luovan verkkotunnuskohtaista tekstiä ja ratkaisevan erilaisia ​​NLP-tehtäviä kyseisellä toimialueella. Anna harjoitustietojoukolle koulutushakemisto ja valinnainen vahvistushakemisto, joista jokainen sisältää yhden CSV-, JSON- tai TXT-tiedoston. Käytä CSV- ja JSON-muodoissa olevia tietoja text sarake tai ensimmäinen sarake jos text ei ole läsnä. Varmista, että jokaisessa hakemistossa on vain yksi tiedosto. Syöttötiedot voivat olla esimerkiksi Amazonin SEC-tiedostoja tekstitiedostona:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Voit aloittaa verkkoalueen mukauttamisen hienosäädön määrittämällä hyperparametrin "instruction_tuned" kuten "False". Loput vaiheet ovat samanlaisia ​​kuin ohjeiden hienosäätövaiheet.

Asetamme max_input_length on 2048 g5.12xlargessa. Voit käyttää suurempaa syöttöpituutta suuremmassa ilmentymätyypissä. Katso lisätietoja esimerkki muistikirja.

Päätelmäesimerkki hienosäädöllä ja ilman

Seuraava taulukko sisältää Mistral 7B -mallin tulokset hienosäädettynä Amazonin SEC-arkistointiasiakirjoilla vuosilta 2021–2022. Vertailemme lähtöä ennen hienosäätöä ja sen jälkeen.

Kuten näette, hienosäädetty malli tarjoaa tarkempaa tietoa Amazonista verrattuna yleiseen esikoulutettuun malliin. Tämä johtuu siitä, että hienosäätö mukauttaa mallin ymmärtämään toimitetun tietojoukon vivahteita, malleja ja erityispiirteitä. Käyttämällä esikoulutettua mallia ja räätälöimällä sitä hienosäädöllä varmistamme, että saat molempien maailmojen parhaat puolet: esikoulutetun mallin laajan tuntemuksen ja ainutlaatuisen tietojoukosi erikoistarkkuus. Yksi koko ei välttämättä sovi kaikille koneoppimisen maailmassa, ja hienosäätö on sinulle räätälöity ratkaisu!

Yhteenveto

Tässä viestissä keskustelimme Mistral 7B -mallin hienosäädöstä SageMaker JumpStartin avulla. Näimme, kuinka voit käyttää SageMaker Studion SageMaker JumpStart -konsolia tai SageMaker Python SDK:ta näiden mallien hienosäätämiseen ja käyttöönottoon. Seuraavana vaiheena voit yrittää hienosäätää näitä malleja omassa tietojoukossasi käyttämällä GitHub-tietovaraston koodia testataksesi ja vertaillaksesi tuloksia käyttötapauksiesi mukaan.

Tietoja Tekijät

Xin Huang on vanhempi soveltuva tutkija Amazon SageMaker JumpStart ja Amazon SageMaker sisäänrakennetuille algoritmeille. Hän keskittyy skaalautuvien koneoppimisalgoritmien kehittämiseen. Hänen tutkimusintressiään ovat luonnollisen kielen prosessointi, selitettävissä oleva syvä oppiminen taulukkotiedoista ja ei-parametrisen aika-avaruusklusteroinnin robusti analyysi. Hän on julkaissut monia artikkeleita ACL-, ICDM-, KDD-konferensseissa ja Royal Statistical Society: Series A.

Vivek Gangasani on AWS:n AI/ML Startup Solutions -arkkitehti generatiivisille AI-aloitusyrityksille. Hän auttaa nousevia GenAI-startuppeja rakentamaan innovatiivisia ratkaisuja käyttämällä AWS-palveluita ja nopeutettua laskentaa. Tällä hetkellä hän keskittyy kehittämään strategioita Large Language Models -mallien päättelysuorituskyvyn hienosäätöä ja optimointia varten. Vapaa-ajallaan Vivek harrastaa patikointia, elokuvien katselua ja erilaisten ruokien kokeilemista.

Tohtori Ashish Khetan on vanhempi soveltuva tutkija, jolla on sisäänrakennetut Amazon SageMaker -algoritmit ja auttaa kehittämään koneoppimisalgoritmeja. Hän sai tohtorin tutkinnon Illinois Urbana-Champaignin yliopistosta. Hän on aktiivinen koneoppimisen ja tilastollisen päättelyn tutkija, ja hän on julkaissut monia artikkeleita NeurIPS-, ICML-, ICLR-, JMLR-, ACL- ja EMNLP-konferensseissa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-mistral-7b-with-amazon-sagemaker-jumpstart/