Astăzi, suntem încântați să anunțăm că modelele de fundație Mistral 7B, dezvoltate de Mistral AI, sunt disponibile pentru clienți prin Amazon SageMaker JumpStart pentru a implementa cu un singur clic pentru a rula inferența. Cu 7 miliarde de parametri, Mistral 7B poate fi ușor personalizat și implementat rapid. Puteți încerca acest model cu SageMaker JumpStart, un hub de învățare automată (ML) care oferă acces la algoritmi și modele, astfel încât să puteți începe rapid cu ML. În această postare, vom explica cum să descoperim și să implementăm modelul Mistral 7B.
Ce este Mistral 7B
Mistral 7B este un model de bază dezvoltat de Mistral AI, care sprijină abilitățile de generare de text și cod în limba engleză. Acceptă o varietate de cazuri de utilizare, cum ar fi rezumarea textului, clasificarea, completarea textului și completarea codului. Pentru a demonstra personalizarea ușoară a modelului, Mistral AI a lansat, de asemenea, un model Mistral 7B Instruct pentru cazurile de utilizare a chat-ului, reglat fin folosind o varietate de seturi de date de conversație disponibile public.
Mistral 7B este un model de transformator și folosește atenția de interogare grupată și atenția ferestrei glisante pentru a obține o inferență mai rapidă (latență scăzută) și a gestiona secvențe mai lungi. Atenția de interogare de grup este o arhitectură care combină atenția cu mai multe interogări și cu mai multe capete pentru a obține o calitate a ieșirii apropiată de atenția cu mai multe capete și o viteză comparabilă cu atenția cu mai multe interogări. Atenția ferestrei glisante folosește straturile stivuite ale unui transformator pentru a trece în trecut dincolo de dimensiunea ferestrei pentru a crește lungimea contextului. Mistral 7B are o lungime de context de 8,000 de jetoane, demonstrează o latență scăzută și un randament ridicat și are performanțe puternice în comparație cu alternativele de model mai mari, oferind cerințe reduse de memorie la dimensiunea unui model de 7B. Modelul este disponibil sub permisiv Apache licență 2.0, pentru utilizare fără restricții.
Ce este SageMaker JumpStart
Cu SageMaker JumpStart, practicienii ML pot alege dintr-o listă tot mai mare de modele de fond de ten cu cele mai bune performanțe. Practicienii ML pot implementa modele de fundație pentru dedicate Amazon SageMaker instanțe într-un mediu izolat în rețea și personalizați modelele utilizând SageMaker pentru instruirea și implementarea modelelor.
Acum puteți descoperi și implementa Mistral 7B cu câteva clicuri Amazon SageMaker Studio sau programatic prin intermediul SDK-ului SageMaker Python, permițându-vă să obțineți performanța modelului și controalele MLOps cu funcții SageMaker, cum ar fi Pipelines Amazon SageMaker, Debugger Amazon SageMaker, sau jurnalele containerului. Modelul este implementat într-un mediu securizat AWS și sub controalele dvs. VPC, contribuind la asigurarea securității datelor.
Descoperă modele
Puteți accesa modelele de fundație Mistral 7B prin SageMaker JumpStart în SageMaker Studio UI și SageMaker Python SDK. În această secțiune, vom analiza cum să descoperiți modelele în SageMaker Studio.
SageMaker Studio este un mediu de dezvoltare integrat (IDE) care oferă o interfață vizuală unică bazată pe web, unde puteți accesa instrumente special create pentru a efectua toți pașii de dezvoltare ML, de la pregătirea datelor până la construirea, antrenamentul și implementarea modelelor dvs. ML. Pentru mai multe detalii despre cum să începeți și să configurați SageMaker Studio, consultați Amazon SageMaker Studio.
În SageMaker Studio, puteți accesa SageMaker JumpStart, care conține modele pre-antrenate, notebook-uri și soluții prefabricate, sub Soluții preconstruite și automatizate.
Din pagina de destinație SageMaker JumpStart, puteți căuta soluții, modele, notebook-uri și alte resurse. Puteți găsi Mistral 7B în Modele de fundație: generare text carusel.
Poti gasi si alte variante de model alegand Explorați toate modelele de text sau căutând „Mistral”.
Puteți alege cardul model pentru a vedea detalii despre model, cum ar fi licența, datele utilizate pentru antrenament și modul de utilizare. Veți găsi și două butoane, Lansa și Deschide caietul, care vă va ajuta să utilizați modelul (captura de ecran următoare arată Lansa opțiune).
Implementați modele
Implementarea începe atunci când alegeți Lansa. Alternativ, puteți implementa prin exemplul de blocnotes care apare atunci când alegeți Deschide caietul. Exemplul de blocnotes oferă îndrumări de la capăt la capăt cu privire la modul de implementare a modelului pentru inferență și curățarea resurselor.
Pentru a implementa folosind notebook, începem prin a selecta modelul Mistral 7B, specificat de model_id
. Puteți implementa oricare dintre modelele selectate pe SageMaker cu următorul cod:
Aceasta implementează modelul pe SageMaker cu configurații implicite, inclusiv tipul de instanță implicit (ml.g5.2xlarge) și configurațiile VPC implicite. Puteți modifica aceste configurații specificând valori care nu sunt implicite în JumpStartModel. După ce este implementat, puteți rula inferențe împotriva punctului final implementat prin predictorul SageMaker:
Optimizarea configurației de implementare
Modelele Mistral folosesc modelul de servire a modelelor de generare text (TGI versiunea 1.1). Când implementați modele cu containerul de învățare profundă (DLC) TGI, puteți configura o varietate de argumente lansator prin variabilele de mediu atunci când implementați punctul final. Pentru a suporta lungimea contextului de 8,000 de jetoane a modelelor Mistral 7B, SageMaker JumpStart a configurat unii dintre acești parametri în mod implicit: am setat MAX_INPUT_LENGTH
și MAX_TOTAL_TOKENS
la 8191 și, respectiv, 8192. Puteți vizualiza lista completă inspectând obiectul dvs. model:
În mod implicit, SageMaker JumpStart nu blochează utilizatorii concurenți prin variabila de mediu MAX_CONCURRENT_REQUESTS
mai mică decât valoarea implicită TGI de 128. Motivul este că unii utilizatori pot avea sarcini de lucru tipice cu lungimi mici de context de sarcină utilă și doresc concurență ridicată. Rețineți că SageMaker TGI DLC acceptă mai mulți utilizatori concurenți prin loturi de rulare. Când implementați punctul final pentru aplicația dvs., vă puteți gândi dacă ar trebui să fixați MAX_TOTAL_TOKENS
or MAX_CONCURRENT_REQUESTS
înainte de implementare pentru a oferi cea mai bună performanță pentru volumul dvs. de lucru:
Aici, arătăm cum ar putea diferi performanța modelului pentru volumul de lucru tipic pentru punctul final. În tabelele următoare, puteți observa că interogările de dimensiuni mici (128 de cuvinte de intrare și 128 de jetoane de ieșire) sunt destul de performante la un număr mare de utilizatori concurenți, atingând un debit de token de ordinul a 1,000 de jetoane pe secundă. Cu toate acestea, pe măsură ce numărul de cuvinte de intrare crește la 512 de cuvinte de intrare, punctul final își saturează capacitatea de loturi - numărul de cereri concurente permise a fi procesate simultan - rezultând într-un platou de debit și degradări semnificative ale latenței începând cu aproximativ 16 utilizatori concurenți. În cele din urmă, atunci când interogați punctul final cu contexte mari de intrare (de exemplu, 6,400 de cuvinte) simultan de mai mulți utilizatori concurenți, acest platou de debit are loc relativ rapid, până la punctul în care contul dvs. SageMaker va începe să întâmpine limite de timp de răspuns de 60 de secunde pentru solicitările dvs. supraîncărcate. .
. | debit (jetoane/e) | ||||||||||
utilizatori concurenți | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
model | tipul instanței | cuvinte introduse | jetoane de ieșire | . | |||||||
mistral-7b-instruct | ml.g5.2xmare | 128 | 128 | 30 | 54 | 89 | 166 | 287 | 499 | 793 | 1030 |
512 | 128 | 29 | 50 | 80 | 140 | 210 | 315 | 383 | 458 | ||
6400 | 128 | 17 | 25 | 30 | 35 | - | - | - | - |
. | latență p50 (ms/token) | ||||||||||
utilizatori concurenți | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
model | tipul instanței | cuvinte introduse | jetoane de ieșire | . | |||||||
mistral-7b-instruct | ml.g5.2xmare | 128 | 128 | 32 | 33 | 34 | 36 | 41 | 46 | 59 | 88 |
512 | 128 | 34 | 36 | 39 | 43 | 54 | 71 | 112 | 213 | ||
6400 | 128 | 57 | 71 | 98 | 154 | - | - | - | - |
Inferențe și exemple
Mistral 7B
Puteți interacționa cu un model Mistral 7B de bază ca orice model standard de generare de text, în care modelul procesează o secvență de intrare și scoate cuvintele următoare prezise din secvență. Următorul este un exemplu simplu cu învățare multi-shot, în care modelul este furnizat cu mai multe exemple și răspunsul exemplu final este generat cu cunoașterea contextuală a acestor exemple anterioare:
Mistral 7B instrui
Versiunea Mistral reglată cu instrucțiuni acceptă instrucțiuni formatate în care rolurile de conversație trebuie să înceapă cu o solicitare a utilizatorului și să alterneze între utilizator și asistent. O solicitare simplă de utilizator poate arăta astfel:
Un prompt cu mai multe ture ar arăta astfel:
Acest model se repetă pentru câte ture sunt în conversație.
În secțiunile următoare, vom explora câteva exemple folosind modelul Mistral 7B Instruct.
Recuperarea cunoștințelor
Următorul este un exemplu de recuperare a cunoștințelor:
Răspuns la întrebare de context mare
Pentru a demonstra cum să utilizați acest model pentru a suporta lungimi mari de context de intrare, următorul exemplu încorporează un pasaj, intitulat „Șobolani” de Robert Sullivan (referință), de la testul de înțelegere a lecturii MCAS Grade 10 English Language Arts în instrucțiunile prompte de introducere și pune modelului o întrebare direcționată despre text:
Matematică și raționament
Modelele Mistral raportează, de asemenea, puncte forte în acuratețea matematicii. Mistral poate oferi înțelegere, cum ar fi următoarea logică matematică:
Codificare
Următorul este un exemplu de prompt de codare:
A curăța
După ce ați terminat de rulat blocnotesul, asigurați-vă că ștergeți toate resursele pe care le-ați creat în acest proces, astfel încât facturarea să fie oprită. Utilizați următorul cod:
Concluzie
În această postare, v-am arătat cum să începeți cu Mistral 7B în SageMaker Studio și să implementați modelul pentru inferență. Deoarece modelele de fundație sunt pregătite în prealabil, ele pot ajuta la reducerea costurilor de instruire și infrastructură și pot permite personalizarea pentru cazul dvs. de utilizare. Vizita Amazon SageMaker JumpStart acum pentru a începe.
Resurse
Despre Autori
Dr. Kyle Ulrich este un om de știință aplicat în echipa Amazon SageMaker JumpStart. Interesele sale de cercetare includ algoritmi scalabili de învățare automată, viziunea computerizată, serii temporale, non-parametrice bayesiene și procese gaussiene. Doctoratul său este de la Universitatea Duke și a publicat lucrări în NeurIPS, Cell, and Neuron.
Dr. Ashish Khetan este cercetător senior aplicat cu Amazon SageMaker JumpStart și ajută la dezvoltarea algoritmilor de învățare automată. Și-a luat doctoratul la Universitatea din Illinois Urbana-Champaign. Este un cercetător activ în învățarea automată și inferența statistică și a publicat multe lucrări în conferințele NeurIPS, ICML, ICLR, JMLR, ACL și EMNLP.
Vivek Singh este manager de produs cu Amazon SageMaker JumpStart. El se concentrează pe a permite clienților să integreze SageMaker JumpStart pentru a simplifica și accelera călătoria lor ML pentru a construi aplicații AI generative.
Roy Allela este arhitect senior în soluții de specialitate AI/ML la AWS cu sediul în Munchen, Germania. Roy îi ajută pe clienții AWS – de la mici startup-uri până la mari întreprinderi – să antreneze și să implementeze modele de limbaj mari în mod eficient pe AWS. Roy este pasionat de problemele de optimizare computațională și de îmbunătățirea performanței sarcinilor de lucru AI.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/
- :are
- :este
- :nu
- :Unde
- $UP
- 000
- 1
- 10
- 100
- 12
- 14
- 150
- 16
- 25
- 26%
- 30
- 400
- 50
- 7
- 8
- 9
- a
- abilități
- Despre Noi
- accelera
- acceptă
- acces
- Conform
- Cont
- precizie
- Obține
- activ
- plus
- Adult
- După
- împotriva
- vârstă
- AI
- AI / ML
- algoritmi
- TOATE
- permis
- aproape
- de-a lungul
- pe langa
- de asemenea
- alternative
- mereu
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- America
- sumă
- Sume
- an
- și
- și infrastructură
- Angeles
- anunța
- O alta
- răspunde
- Orice
- oricine
- oriunde
- separat
- apartamente
- aplicație
- aplicatii
- aplicat
- aproximativ
- arhitectură
- SUNT
- în jurul
- articol
- Arte
- AS
- Asistent
- asociate
- At
- Încercările
- asista la
- atenţie
- atrase
- atractiv
- autor
- Automata
- disponibil
- in medie
- conştient
- departe
- AWS
- înapoi
- saci
- de bază
- bazat
- pocni
- baterii
- acumulator
- Bayesian
- BE
- deoarece
- fost
- înainte
- în spatele
- fiind
- sub
- CEL MAI BUN
- între
- Dincolo de
- Proiect de lege
- facturare
- Miliard
- Negru
- îmbarcare
- Bolt
- carte
- atât
- au cumpărat
- pauze
- POD
- Brooklyn
- maro
- construi
- Clădire
- dar
- Cumpărare
- by
- denumit
- a venit
- CAN
- mașină
- card
- carusel
- caz
- cazuri
- cauzată
- sigur
- Schimbare
- canale
- Alege
- alegere
- Oraşe
- Oraș
- clemă
- clasificare
- clic
- urca pe
- Închide
- Coastă
- de coastă
- cod
- Codificare
- Colaps
- combină
- cum
- Comun
- comparabil
- comparație
- completare
- de calcul
- calculator
- Computer Vision
- concurent
- conferințe
- configurat
- confuz
- Lua în considerare
- Recipient
- conține
- context
- contexte
- contextual
- Control
- controale
- Conversație
- Cupru
- colțuri
- A costat
- Cheltuieli
- ţară
- acoperi
- acoperit
- crea
- a creat
- Curent
- clienţii care
- personalizare
- personaliza
- personalizate
- Întuneric
- de date
- securitatea datelor
- seturi de date
- zi
- Zi
- dedicat
- adânc
- învățare profundă
- Cerb
- Mod implicit
- demonstra
- demonstrează
- implementa
- dislocate
- Implementarea
- desfășurarea
- implementează
- depresiune
- detalii
- dezvolta
- dezvoltat
- Dezvoltare
- FĂCUT
- diferi
- diferit
- SĂPA
- dirijat
- directoare
- murdărie
- descoperi
- perturbări
- do
- căprioară
- Nu
- de dolari
- făcut
- Dont
- jos
- două
- Duce
- duke universitate
- fiecare
- Pământ
- cu ușurință
- uşor
- mânca
- eficient
- oricare
- caz de urgență
- scoate in evidenta
- permite
- permițând
- întâlnire
- un capăt la altul
- Punct final
- Anglia
- Engleză
- asigura
- Intrați
- Întreg
- Mediu inconjurator
- echipat
- mai ales
- estima
- Chiar
- Fiecare
- pretutindeni
- exemplu
- exemple
- excelent
- excitat
- F? r?
- Ieşire
- expert
- Explica
- explora
- extensie
- Ochi
- fapt
- mai repede
- DESCRIERE
- hrănire
- picioare
- puțini
- Figura
- Fişiere
- final
- În cele din urmă
- Găsi
- First
- se concentrează
- următor
- alimente
- Picior
- Pentru
- pădure
- găsit
- Fundație
- patru
- din
- faţă
- Complet
- dobândită
- GAS
- generată
- generaţie
- generativ
- AI generativă
- Germania
- obține
- Go
- am
- calitate
- gri
- grup
- Crește
- În creştere
- creste
- îndrumare
- HAD
- manipula
- Avea
- he
- cap
- ajutor
- ajutor
- ajută
- prin urmare
- aici
- Înalt
- lui
- Gaură
- găuri
- casă
- Cum
- Cum Pentru a
- Totuși
- HTML
- HTTPS
- Butuc
- uman
- sută
- i
- ICE
- îngheţată
- ideal
- if
- Illinois
- import
- îmbunătățirea
- in
- include
- Inclusiv
- Crește
- Creșteri
- Infrastructură
- intrare
- intrări
- instanță
- instrucțiuni
- integrate
- interacţiona
- interese
- interfaţă
- în
- izolat
- IT
- ESTE
- fălci
- călătorie
- jpg
- copii
- Ucide
- Copil
- cunoştinţe
- cunoscut
- Kyle
- laborator
- lacuri
- aterizare
- limbă
- mare
- mai mare
- Nume
- Latență
- straturi
- conduce
- conducere
- scăpa
- Scurgeri
- AFLAȚI
- învăţare
- Lungime
- lăsa
- Licență
- ușoară
- uşor
- fulger
- ca
- Probabil
- LIMITĂ
- Limitele
- căptușită
- LINK
- Listă
- mic
- trăi
- Locuiește
- ll
- logică
- Lung
- mai lung
- Uite
- arată ca
- lor
- Los Angeles
- Jos
- LOWER
- maşină
- masina de învățare
- făcut
- face
- FACE
- manager
- manual
- multe
- Masa
- matematica
- matematică
- Mai..
- Memorie
- menționat
- ar putea
- milion
- minor
- minut
- ML
- MLOps
- model
- Modele
- Modern
- modificată
- bani
- Lună
- mai mult
- cele mai multe
- mult
- multiplu
- Muzică
- trebuie sa
- my
- nume
- nume
- îngust
- Natural
- În apropiere
- negativ
- Nest
- cuiburi
- reţea
- rețele
- Neutru
- Nou
- New York
- New York City
- Presă
- următor
- noapte
- Nu.
- Nici unul
- nas
- caiet
- acum
- număr
- obiect
- observa
- of
- de multe ori
- Vechi
- on
- bord
- dată
- ONE
- afară
- pe
- deschide
- optimizare
- Opțiune
- or
- comandă
- origine
- Altele
- in caz contrar
- afară
- producție
- iesiri
- peste
- pagină
- plătit
- palmier
- lucrări
- parametrii
- parte
- trecere
- pasionat
- trecut
- Model
- PAWS
- oameni
- pentru
- percepută
- la sută
- Efectua
- performanță
- PhD
- telefon
- ales
- Locuri
- Plante
- plastic
- Plato
- Informații despre date Platon
- PlatoData
- Punct
- otravă
- sărac
- pozitiv
- Post
- liră sterlină
- a prezis
- Predictor
- pregătirea
- presiune
- precedent
- anterior
- probleme
- proces
- Procesat
- procese
- Produs
- manager de produs
- furniza
- prevăzut
- furnizează
- furnizarea
- public
- publicat
- pur
- scopuri
- împins
- pune
- Piton
- calitate
- interogări
- întrebare
- repede
- cu totul
- șine
- ŞOBOLAN
- rată
- ajungând
- Citind
- motiv
- trimite
- relativ
- eliberat
- raportează
- Rapoarte
- cereri de
- Cerinţe
- cercetare
- cercetător
- Resurse
- respectiv
- răspuns
- restaurante
- restricții
- Retragere
- dreapta
- ROBERT
- Rol
- rolurile
- Rulare
- Roy
- Alerga
- funcţionare
- s
- în siguranță
- Siguranţă
- sagemaker
- văzut
- scalabil
- Om de stiinta
- oamenii de stiinta
- sdk
- Caută
- căutare
- Al doilea
- Secțiune
- secțiuni
- sigur
- securitate
- părea
- selectate
- selectarea
- senior
- sens
- sentiment
- Secvenţă
- serie
- Servicii
- servire
- set
- Șapte
- câteva
- ascuţit
- strălucește
- Cumpărături
- să
- Arăta
- a arătat
- Emisiuni
- parte
- semnificativ
- simplu
- simplifica
- simultan
- întrucât
- singur
- sta
- Ședință
- Mărimea
- Piele
- mic
- mai mici
- Fixaţi
- So
- Moale
- Numai
- soluţii
- unele
- uneori
- Sudic
- Spaţiu
- specialist
- specificată
- viteză
- răspândire
- primăvară
- pătrat
- pătrate
- Stoarce
- stivuite
- standard
- Începe
- început
- Pornire
- începe
- Startup-urile
- stabilit
- Statele
- Staţii
- statistic
- şedere
- paşi
- Încă
- oprit
- magazine
- fluxuri
- stradă
- puncte forte
- puternic
- puternic
- structura
- studiu
- studio
- Studiu
- subiect
- astfel de
- Sullivan
- livra
- a sustine
- De sprijin
- Sprijină
- sigur
- supravieţui
- sistem
- gust
- echipă
- termeni
- test
- a) Sport and Nutrition Awareness Day in Manasia Around XNUMX people from the rural commune Manasia have participated in a sports and healthy nutrition oriented activity in one of the community’s sports ready yards. This activity was meant to gather, mainly, middle-aged people from a Romanian rural community and teach them about the benefits that sports have on both their mental and physical health and on how sporting activities can be used to bring people from a community closer together. Three trainers were made available for this event, so that the participants would get the best possible experience physically and so that they could have the best access possible to correct information and good sports/nutrition practices. b) Sports Awareness Day in Poiana Țapului A group of young participants have taken part in sporting activities meant to teach them about sporting conduct, fairplay, and safe physical activities. The day culminated with a football match.
- decât
- acea
- Vestul
- lumea
- lor
- Lor
- se
- apoi
- Acolo.
- prin urmare
- Acestea
- ei
- crede
- acest
- aceste
- deşi?
- mie
- mii
- trei
- Prin
- debit
- timp
- Seria de timp
- cu denumirea
- la
- semn
- indicativele
- Unelte
- Total
- oraş
- Tren
- Pregătire
- trenuri
- transformator
- capcane
- CĂLĂTORII
- Copaci
- încerca
- tunel
- se transformă
- tweet
- Două
- tip
- tipic
- tipic
- ui
- în
- universitate
- necunoscut
- utilizare
- carcasa de utilizare
- utilizat
- Utilizator
- utilizatorii
- utilizări
- folosind
- utilitate
- valoare
- Valori
- variabil
- varietate
- diverse
- Ve
- vehicul
- Vehicule
- versiune
- foarte
- de
- Video
- Vizualizare
- viziune
- Vizita
- Aşteptare
- umbla
- vrea
- a fost
- Deșeuri
- Apă
- Cale..
- modalități de
- we
- web
- servicii web
- bazat pe web
- BINE
- au fost
- Vest
- Ce
- Ce este
- cand
- dacă
- care
- în timp ce
- alb
- larg
- lățime
- Sălbatic
- voi
- fereastră
- cu
- în
- fără
- cuvinte
- muncitorii
- lume
- ar
- an
- York
- Tu
- Ta
- zephyrnet