AI21 Jurassic-1 foundation-modell er nå tilgjengelig på Amazon SageMaker

I dag er vi glade for å kunngjøre at AI21 Jurassic-1 (J1) fundamentmodeller er tilgjengelige for kunder som bruker Amazon SageMaker. Jurassic-1-modeller er svært allsidige, i stand til både menneskelignende tekstgenerering, i tillegg til å løse komplekse oppgaver som spørsmålssvar, tekstklassifisering og mange andre. Du kan enkelt prøve ut denne modellen og bruke den med Amazon SageMaker JumpStart. JumpStart er maskinlæringssenteret (ML) til SageMaker som gir tilgang til grunnmodeller i tillegg til innebygde algoritmer og ende-til-ende løsningsmaler for å hjelpe deg raskt å komme i gang med ML.

I dette innlegget går vi gjennom hvordan du bruker Jurassic-1 Grande-modellen i SageMaker.

Fundamentmodeller i SageMaker

JumpStart gir tilgang til en rekke modeller fra populære modellhuber, inkludert Hugging Face, PyTorch Hub og TensorFlow Hub, som du kan bruke i ML-utviklingsarbeidsflyten din i SageMaker. Nylige fremskritt innen ML har gitt opphav til en ny klasse modeller kjent som grunnmodeller, som vanligvis trenes på milliarder av parametere og kan tilpasses en bred kategori av brukstilfeller, for eksempel tekstoppsummering, generering av digital kunst og språkoversettelse. Fordi disse modellene er dyre å trene, ønsker kundene å bruke eksisterende forhåndstrente fundamentmodeller og finjustere dem etter behov, i stedet for å trene disse modellene selv. SageMaker gir en kurert liste over modeller som du kan velge mellom på SageMaker-konsollen.

Du kan nå finne fundamentmodeller fra forskjellige modellleverandører i JumpStart, slik at du raskt kan komme i gang med fundamentmodeller. Du kan finne fundamentmodeller basert på ulike oppgaver eller modellleverandører, og enkelt gjennomgå modellens egenskaper og bruksvilkår. Du kan også prøve ut disse modellene ved å bruke en test UI-widget. Når du ønsker å bruke en grunnmodell i stor skala, kan du gjøre det enkelt uten å forlate SageMaker ved å bruke forhåndsbygde notatbøker fra modellleverandører. Fordi modellene er vert og distribuert på AWS, kan du være trygg på at dataene dine, enten de brukes til å evaluere eller bruke modellen i stor skala, aldri deles med tredjeparter.

Jurassic-1 fundamentmodell

Jurassic-1 er den første generasjonen i en serie med store språkmodeller som er trent og gjort allment tilgjengelig av AI21 Labs. For en fullstendig beskrivelse av Jurassic-1, inkludert benchmarks og kvantitative sammenligninger med andre modeller, se følgende teknisk papir. Alle J1-modeller ble trent på et massivt korpus av engelsk tekst, noe som gjorde dem til svært allsidige tekstgeneratorer for generell bruk, i stand til å komponere menneskelignende tekst og løse komplekse oppgaver som spørsmålssvar, tekstklassifisering og mange andre. J1 kan brukes på praktisk talt alle språkoppgaver ved å lage en passende ledetekst som inneholder en beskrivelse av oppgaven og noen få eksempler, en prosess ofte kjent som rask prosjektering. Populære brukstilfeller inkluderer å generere markedsføringskopi, drive chatbots og hjelpe kreativ skriving.

«Vi bygger grunnmodeller i verdensklasse for tekst og ønsker å hjelpe kundene våre med å innovere med de nyeste Jurassic-1-modellene. Amazon SageMaker tilbyr det dypeste og bredeste settet med ML-tjenester, og vi er glade for å samarbeide med Amazon SageMaker slik at kundene vil kunne bruke disse grunnmodellene på SageMaker innenfor deres utviklingsmiljø. Nå kan kunder raskt innovere, redusere tid-til-verdi og drive effektivitet i virksomhetene sine.»

-Ori Goshen, co-CEO i AI21 Labs.

walkthrough

La oss ta deg med på en omvisning for å teste J1-Grande-modellen i SageMaker. Du kan prøve ut opplevelsen i tre enkle trinn:

1. Velg Jurassic-1-modellen på SageMaker-konsollen.
2. Evaluer modellen ved hjelp av en test-widget.
3. Bruk en notatbok knyttet til grunnmodellen for å distribuere den i miljøet ditt.

La oss utvide hvert trinn i detalj.

Velg Jurassic-1-modellen på SageMaker-konsollen

Det første trinnet er å logge på AWS-administrasjonskonsoll for Amazon SageMaker og be om tilgang til listen over fundamentmodeller fra grunnmodellkategorien under tjuvstart her:

Etter at kontoen din er tillatt oppført, kan du se en liste over modeller på denne siden. Du kan raskt søke etter Jurassic-1 Grande-modellen fra samme visning.

Evaluer Jurassic-1 Grande-modellen med en test-widget

På Jurassic-1 Grande-oppføringen velger du Vis modell. Du vil se en beskrivelse av modellen og oppgavene du kan utføre. Les gjennom EULA for modellen før du fortsetter.

La oss først prøve ut modellen for tekstoppsummering. Velge Prøv modellen.

Du kommer til siden i en egen nettleserfane der du kan gi eksempler på spørsmål til J1-Grande-modellen og se utdataene.

Følgende eksempel genererer et sammendrag om en restaurant basert på anmeldelser.

Vær oppmerksom på at grunnmodeller og deres utdata er fra modellleverandøren, og AWS er ​​ikke ansvarlig for innholdet eller nøyaktigheten i dem.

Modellutgangen kan variere avhengig av innstillingene og ledeteksten. Du kan generere tekst fra modellen ved hjelp av enkle instruksjoner, men ved å gi modellen flere eksempler i ledeteksten, akkurat som et menneske ville gjort, kan den produsere fullføringer som er mer på linje med intensjonene dine. Den beste måten å veilede modellen på er å gi flere eksempler på input/output-par i ledeteksten. Dette etablerer et mønster for modellen å etterligne. Legg deretter til input for et spørringseksempel og la modellen fullføre det med en passende generasjon.

Etter at du har lekt med modellen, er det på tide å bruke den bærbare datamaskinen og distribuere den som et endepunkt i miljøet ditt.

Distribuer grunnmodellen fra en notatbok

Gå tilbake til modelllisten vist tidligere og velg Se notatbok. Du bør se Jurassic-1 Grande Jupyter-notisboken med gjennomgangen for å distribuere modellen.

La oss bruke denne notatboken fra Amazon SageMaker Studio. Åpne Studio og trekk inn notatboken ved å bruke Git repo URL https://github.com/AI21Labs/SageMaker.git.

Eksemplet på den bærbare datamaskinen bruker både Boto3 SDK og AI21 SDK for å distribuere og samhandle med endepunktet.

Merk at dette eksemplet bruker en ml.g5.12xlarge-forekomst. Hvis standardgrensen for AWS-kontoen din er 0, må du be om en grenseøkning for denne GPU-forekomsten.

La oss lage endepunktet ved å bruke SageMaker-inferens. Først setter vi de nødvendige variablene, deretter distribuerer vi modellen fra modellpakken:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Etter at endepunktet er distribuert, kan du kjøre slutningsspørringer mot modellen.

Du kan tenke på Jurassic-1 Grande som en smart autofullføringsalgoritme: den er veldig god til å feste seg til hint og mønstre uttrykt på vanlig engelsk, og generere tekst som følger de samme mønstrene. Etter at modellen er distribuert, kan du samhandle med det distribuerte endepunktet ved å bruke følgende kodebit:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Notatboken inneholder også en gjennomgang av hvordan du kan kjøre slutningsspørringer med AI21 SDK.

Følgende video går gjennom arbeidsflyten.

Rydd opp

Etter at du har testet endepunktet, sørg for at du sletter SageMaker-slutningsendepunktet og sletter modellen for å unngå kostnader.

konklusjonen

I dette innlegget viste vi deg hvordan du kan teste og bruke AI21s Jurassic Grande-modell ved å bruke Amazon SageMaker. Be om tilgang, prøv ut grunnmodellen i SageMaker i dag og gi oss tilbakemeldingen din!

Om forfatterne

Karthik Bharathy er produktleder for Amazon SageMaker-teamet med over et tiår med produktledelse, produktstrategi, utførelse og lanseringserfaring.

Tomer Asida er en algo-teamleder ved AI21 Labs. Som en algo-teamleder leder Tomer algoritmeutviklingsarbeidet til vår utviklerplattform Ai21 Studio inkludert Jurassic-1-modeller og tilhørende APIer.