Modelul LightOn Lyra-fr este acum disponibil pe Amazon SageMaker

Suntem încântați să anunțăm disponibilitatea modelului de fundație LightOn Lyra-fr pentru clienții care folosesc Amazon SageMaker. LightOn este un lider în modelele de fundații pentru construcții, specializat în limbi europene. Lyra-fr este un model de ultimă generație în limba franceză care poate fi folosit pentru a construi IA conversațională, instrumente de copywriting, clasificatoare de text, căutare semantică și multe altele. Puteți încerca cu ușurință acest model și îl puteți folosi cu Amazon SageMaker JumpStart. JumpStart este centrul de învățare automată (ML) al SageMaker, care oferă acces la modelele de bază, pe lângă algoritmii încorporați și șabloanele de soluții end-to-end pentru a vă ajuta să începeți rapid cu ML.

În acest blog, vom demonstra cum să folosiți modelul Lyra-fr în SageMaker.

Modele de fundație

Modelele de fundație sunt de obicei antrenate pe miliarde de parametri și sunt adaptabile la o categorie largă de cazuri de utilizare. Cele mai cunoscute modele de fundație astăzi sunt folosite pentru a rezuma articole, pentru a crea artă digitală și pentru a genera cod din instrucțiuni simple text. Aceste modele sunt costisitoare de antrenat, așa că clienții doresc să folosească modele de fond de ten pre-antrenate existente și să le ajusteze după cum este necesar, mai degrabă decât să antreneze ei înșiși aceste modele. SageMaker oferă o listă curată de modele din care puteți alege pe consola SageMaker. Puteți testa aceste modele direct pe interfața web. Când doriți să utilizați un model de fundație la scară, puteți face acest lucru cu ușurință, fără a părăsi SageMaker, folosind notebook-uri prefabricate de la furnizorii de modele. Deoarece modelele sunt găzduite și implementate pe AWS, puteți fi siguri că datele dvs., indiferent dacă sunt utilizate pentru evaluarea sau utilizarea modelului la scară, nu sunt niciodată partajate cu terțe părți.

Lyra-fr este cel mai mare model în limba franceză disponibil astăzi pe piață. Este un model de 10 miliarde de parametri, antrenat și făcut accesibil de LightOn. Lyra-fr a fost instruit pe un corp mare de date curatate în franceză și este capabil să scrie text asemănător omului și să rezolve sarcini complexe, cum ar fi clasificarea, răspunsul la întrebări și rezumarea. Toate acestea menținând o viteză rezonabilă de inferență, în intervalul de 1-2 secunde pentru cererea medie. Puteți descrie pur și simplu sarcina pe care doriți să o efectuați în limbaj natural, iar Lyra-fr va genera răspunsuri la nivelul unui vorbitor nativ de franceză. Lyra-fr oferă primitive de inteligență pregătite pentru afaceri, cum ar fi generarea orientabilă și clasificarea textului, în doar câteva rânduri de cod. Pentru sarcini mai provocatoare, performanța poate fi îmbunătățită într-un mod de învățare „căteva lovituri”, oferind în prompt câteva exemple de intrare-ieșire.

Folosind Lyra-fr pe SageMaker

Vă vom prezenta o prezentare a modului de utilizare a modelului Lyra-fr în 3 pași simpli:

• Descopera – Găsiți modelul Lyra-fr pe AWS Management Console pentru SageMaker.
• Test – Testați modelul utilizând interfața web.
• Lansa – Folosiți un notebook pentru a implementa și testa capabilitățile avansate ale modelului.

Descopera

Pentru a facilita descoperirea modelelor de fond de ten precum Lyra-fr, am consolidat toate modelele de fond de ten într-un singur loc. Pentru a găsi modelul Lyra-fr:

1. Conectați-vă la Consola de administrare AWS pentru SageMaker.
2. În panoul de navigare din stânga, ar trebui să vedeți o secțiune numită pornire cu Modele de fundație sub ea. Solicitați acces la această funcție dacă nu aveți încă acces.
3. Odată ce contul dvs. este permis, veți vedea o listă de modele în partea dreaptă. Aici veți găsi modelul Lyra-fr 10B.
   
4. Clic pe Vezi modelul va afișa cardul de model complet cu opțiuni suplimentare.
   

Test

Un caz de utilizare obișnuit este să rulați teste ad-hoc pentru a vă asigura că modelul corespunde nevoilor dvs. Puteți testa modelul Lyra-fr direct din consola SageMaker. În acest exemplu, vom folosi un mesaj text simplu, cerând modelului să genereze o listă de idei de articole pentru subiectul „acuarelă” sau „l'aquarelle” în franceză.

1. Din cardul model prezentat în secțiunea anterioară, selectați Încearcă modelul. Aceasta va deschide o filă nouă cu interfața de testare.
2. Pe această interfață, furnizați textul pe care doriți să îl transmiteți modelului. De asemenea, puteți regla orice parametri doriți folosind glisoarele din dreapta. Odată ce ești mulțumit, selectează Generați text.
   

Rețineți că modelele de bază și rezultatele acestora provin de la furnizorul de modele, iar AWS nu este responsabil pentru conținutul sau acuratețea acestora.

Lansa

Modelele de generare de text funcționează cel mai bine atunci când oferiți exemple de informații pe care doriți să le ofere modelul. Aceasta se numește învățare cu câteva lovituri. Vom demonstra această capacitate folosind probă de notebook Lyra-fr. Exemplul de blocnotes descrie cum să implementați modelul Lyra-fr pe SageMaker, cum să rezumați și să generați text și cum să învățați cu câteva fotografii.

Include, de asemenea, exemple de efectuare a cererilor de inferență direct folosind JSON sau cu Lyra Python SDK. Lyra Python SDK se ocupă de formatarea intrării, de apelarea punctului final și de despachetarea ieșirii. Există o clasă per punct final: Creați, Analizați, Selectați, Încorporați, Comparați și Tokenizați. Rețineți că acest exemplu utilizează o instanță ml.p4d.24xlarge. Dacă limita implicită pentru contul dvs. AWS este 0, trebuie să solicitați o creștere a limitei pentru această instanță GPU.

SageMaker oferă o experiență de notebook gestionată prin SageMaker Studio. Pentru detalii despre cum să configurați SageMaker Studio, consultați Ghid pentru dezvoltatori Amazon SageMaker. Vom clona acest depozit GitHub în SageMaker Studio în această demonstrație, dar notebook-ul va funcționa și în alte medii.

Să aruncăm o privire la modul de rulare a notebook-ului:

1. Accesați cardul model din secțiunea Descoperiți din această postare de blog și selectați Vizualizați caietul. Ar trebui să vedeți o filă nouă deschisă în GitHub cu notebook-ul Lyra-fr.
2. În GitHub, selectați lightonmuse-sagemaker-sdk; asta te va aduce la repo. Selectează Cod butonul și copiați URL-ul HTTPS.
   
3. Deschideți SageMaker Studio. Selectați Clonează un depozit și apoi inserați adresa URL copiată de mai sus.
   
4. Navigați la blocnotesul Lyra-fr utilizând browserul de fișiere din stânga.
5. Acest notebook rulează cap la cap, fără a fi necesară introducerea suplimentară și, de asemenea, curăță resursele pe care le creează. Putem arunca o privire la exemplul „utilizarea Creației pentru analiza sentimentelor”. Acest exemplu utilizează SDK-ul Lyra Python și demonstrează învățarea cu puține inregistrări, predând modelul cu câteva exemple de text care ar trebui clasificat drept pozitiv (pozitive), negativ (negative) sau mixt (mitigés).
6. Puteți vedea că, cu Lyra Python SDK, tot ce trebuie să faceți este să furnizați numele punctului final SageMaker și intrarea. SDK-ul se ocupă de toată analiza, formatarea și configurarea pentru dvs.
   
7. Rularea acestui prompt returnează că ultima declarație este una pozitivă.
   

A curăța

După ce ați testat punctul final, asigurați-vă că ștergeți punctul final de inferență SageMaker și ștergeți modelul pentru a evita costurile.

Concluzie

În această postare, v-am arătat cum să descoperiți, să testați și să implementați modelul Lyra-fr folosind Amazon SageMaker. Solicitați acces la încercați modelul de fundație în SageMaker astăzi și transmiteți-ne feedback-ul dvs.!

---

Despre autori

Iacopo Poli este CTO al LightOn, responsabil pentru alegerile tehnice strategice ale companiei în construirea modelelor lingvistice foarte mari și oferirea acestora publicului. Este pasionat de democratizarea Machine Learning prin interfețe intuitive. În timpul liber, se bucură de căutarea celor mai bune restaurante din Paris.

Alan Tan este Senior Product Manager la SageMaker, conducând eforturile pentru inferența modelelor mari. Este pasionat de aplicarea învățării automate în domeniul analizei. În afara serviciului, se bucură de aer liber.