Modelul de fond de ten AI21 Jurassic-1 este acum disponibil pe Amazon SageMaker

Astăzi suntem încântați să anunțăm că modelele de fundație AI21 Jurassic-1 (J1) sunt disponibile pentru clienții care folosesc Amazon SageMaker. Modelele Jurassic-1 sunt extrem de versatile, capabile atât de a genera text asemănător omului, cât și de a rezolva sarcini complexe, cum ar fi răspunsul la întrebări, clasificarea textului și multe altele. Puteți încerca cu ușurință acest model și îl puteți folosi cu Amazon SageMaker JumpStart. JumpStart este centrul de învățare automată (ML) al SageMaker, care oferă acces la modelele de bază, pe lângă algoritmii încorporați și șabloanele de soluții end-to-end pentru a vă ajuta să începeți rapid cu ML.

În această postare, vom explica cum să folosiți modelul Jurassic-1 Grande în SageMaker.

Modele de fundație în SageMaker

JumpStart oferă acces la o gamă de modele de la hub-uri de model populare, inclusiv Hugging Face, PyTorch Hub și TensorFlow Hub, pe care le puteți utiliza în fluxul de lucru de dezvoltare ML în SageMaker. Progresele recente în ML au dat naștere unei noi clase de modele cunoscute ca modele de fundație, care sunt de obicei instruiți pe miliarde de parametri și sunt adaptabile la o categorie largă de cazuri de utilizare, cum ar fi rezumarea textului, generarea de artă digitală și traducerea limbii. Deoarece aceste modele sunt costisitoare de antrenat, clienții doresc să utilizeze modele de fond de ten deja pregătite și să le ajusteze după cum este necesar, mai degrabă decât să antreneze ei înșiși aceste modele. SageMaker oferă o listă curată de modele din care puteți alege pe consola SageMaker.

Acum puteți găsi modele de fond de ten de la diferiți furnizori de modele în JumpStart, permițându-vă să începeți rapid cu modele de fond de ten. Puteți găsi modele de bază bazate pe diferite sarcini sau furnizori de modele și puteți revizui cu ușurință caracteristicile modelului și termenii de utilizare. De asemenea, puteți încerca aceste modele folosind un widget de testare a interfeței de utilizare. Când doriți să utilizați un model de fundație la scară, puteți face acest lucru cu ușurință, fără a părăsi SageMaker, folosind notebook-uri prefabricate de la furnizorii de modele. Deoarece modelele sunt găzduite și implementate pe AWS, puteți fi siguri că datele dvs., indiferent dacă sunt utilizate pentru evaluarea sau utilizarea modelului la scară, nu sunt niciodată partajate cu terțe părți.

Model de fundație Jurassic-1

Jurassic-1 este prima generație dintr-o serie de modele de limbaj mari instruite și făcute accesibile pe scară largă de către Laboratoare AI21. Pentru o descriere completă a Jurassic-1, inclusiv repere și comparații cantitative cu alte modele, consultați următoarele hârtie tehnică. Toate modelele J1 au fost instruite pe un corpus masiv de text în limba engleză, făcându-le generatoare de text cu scop general extrem de versatile, capabile să compună text asemănător omului și să rezolve sarcini complexe, cum ar fi răspunsul la întrebări, clasificarea textului și multe altele. J1 poate fi aplicat la aproape orice sarcină de limbă prin crearea unui prompt adecvat care să conțină o descriere a sarcinii și câteva exemple, un proces cunoscut în mod obișnuit ca inginerie promptă. Cazurile de utilizare populare includ generarea de copii de marketing, alimentarea chatbot-urilor și asistarea scrierii creative.

„Construim modele de fundație de clasă mondială pentru text și dorim să ne ajutăm clienții să inoveze cu cele mai recente modele Jurassic-1. Amazon SageMaker oferă cel mai profund și mai larg set de servicii ML și suntem încântați să colaborăm cu Amazon SageMaker, astfel încât clienții să poată folosi aceste modele de bază pe SageMaker în mediul lor de dezvoltare. Acum clienții pot inova rapid, pot reduce timpul de generare a valorii și pot genera eficiență în afacerile lor.”

-Ori Goshen, co-CEO al AI21 Labs.

walkthrough

Haideți să vă ducem într-un tur pentru a testa modelul J1-Grande în SageMaker. Puteți încerca experiența în trei pași simpli:

1. Alegeți modelul Jurassic-1 pe consola SageMaker.
2. Evaluați modelul folosind un widget de testare.
3. Utilizați un blocnotes asociat cu modelul de fundație pentru a-l implementa în mediul dvs.

Să extindem fiecare pas în detaliu.

Alegeți modelul Jurassic-1 pe consola SageMaker

Primul pas este să vă conectați la Consola de administrare AWS pentru Amazon SageMaker și solicitați acces la lista de modele de fond de ten din categoria model de fundație de sub pornire aici:

După ce contul dvs. este permis, puteți vedea o listă de modele pe această pagină. Puteți căuta rapid modelul Jurassic-1 Grande din aceeași vedere.

Evaluați modelul Jurassic-1 Grande cu un widget de testare

Pe lista Jurassic-1 Grande, alegeți Vezi model. Veți vedea o descriere a modelului și a sarcinilor pe care le puteți efectua. Citiți EULA pentru model înainte de a continua.

Să încercăm mai întâi modelul pentru rezumarea textului. Alege Încearcă modelul.

Sunteți dus la pagina într-o filă separată de browser, unde puteți oferi exemple de solicitări modelului J1-Grande și puteți vizualiza rezultatul.

Următorul exemplu generează un rezumat despre un restaurant pe baza recenziilor.

Rețineți că modelele de bază și rezultatele acestora provin de la furnizorul de modele, iar AWS nu este responsabil pentru conținutul sau acuratețea acestora.

Ieșirea modelului poate varia în funcție de setări și prompt. Puteți genera text din model folosind instrucțiuni simple, dar oferind modelului mai multe exemple în prompt, la fel cum ar face un om, acesta poate produce completări care sunt mai aliniate cu intențiile dvs. Cel mai bun mod de a ghida modelul este de a oferi mai multe exemple de perechi de intrare/ieșire în prompt. Aceasta stabilește un model pe care modelul trebuie să-l mimeze. Apoi adăugați intrarea pentru un exemplu de interogare și lăsați modelul să o completeze cu o generație adecvată.

După ce te-ai jucat cu modelul, este timpul să folosești notebook-ul și să-l implementezi ca punct final în mediul tău.

Implementați modelul de fundație dintr-un notebook

Reveniți la lista de modele afișată mai devreme și alegeți Vizualizați caietul. Ar trebui să vedeți caietul Jurassic-1 Grande Jupyter cu explicația pentru a implementa modelul.

Să folosim acest caiet de la Amazon SageMaker Studio. Deschideți Studio și trageți blocnotesul folosind adresa URL a depozitului Git https://github.com/AI21Labs/SageMaker.git.

Exemplul de notebook folosește atât SDK-ul Boto3, cât și SDK-ul AI21 pentru a implementa și a interacționa cu punctul final.

Rețineți că acest exemplu utilizează o instanță ml.g5.12xlarge. Dacă limita implicită pentru contul dvs. AWS este 0, trebuie să solicitați o creștere a limitei pentru această instanță GPU.

Să creăm punctul final folosind inferența SageMaker. Mai întâi setăm variabilele necesare, apoi implementăm modelul din pachetul de modele:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

După ce punctul final este implementat, puteți rula interogări de inferență pe model.

Vă puteți gândi la Jurassic-1 Grande ca la un algoritm inteligent de completare automată: este foarte bun în a se prinde de sugestii și modele exprimate în limba engleză simplă și pentru a genera text care urmează aceleași modele. După ce modelul este implementat, puteți interacționa cu punctul final implementat folosind următorul fragment de cod:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Notebook-ul conține, de asemenea, o prezentare a modului în care puteți rula interogări de inferență cu SDK-ul AI21.

Următorul videoclip prezintă fluxul de lucru.

A curăța

După ce ați testat punctul final, asigurați-vă că ștergeți punctul final de inferență SageMaker și ștergeți modelul pentru a evita costurile.

Concluzie

În această postare, v-am arătat cum puteți testa și utiliza modelul Jurassic Grande al AI21 folosind Amazon SageMaker. Cere acces, încercați modelul de fundație în SageMaker astăzi și transmiteți-ne feedback-ul dvs.!

Despre autori

Karthik Bharathy este lider de produs pentru echipa Amazon SageMaker cu peste un deceniu de experiență în managementul produsului, strategie de produs, execuție și lansare.

Tomer Asida este lider de echipă algo la AI21 Labs. În calitate de lider al echipei de algoritmi, Tomer conduce eforturile de dezvoltare a algoritmului platformei noastre de dezvoltare Ai21 Studio, inclusiv modelele Jurassic-1 și API-urile asociate.