AI21 Jurassic-1 foundation model er nu tilgængelig på Amazon SageMaker

I dag er vi glade for at kunne meddele, at AI21 Jurassic-1 (J1) fundamentmodeller er tilgængelige for kunder, der bruger Amazon SageMaker. Jurassic-1-modeller er meget alsidige, i stand til både menneskelignende tekstgenerering, såvel som til at løse komplekse opgaver såsom besvarelse af spørgsmål, tekstklassificering og mange andre. Du kan nemt prøve denne model og bruge den sammen med Amazon SageMaker JumpStart. JumpStart er maskinlæringscentret (ML) i SageMaker, der giver adgang til fundamentmodeller ud over indbyggede algoritmer og end-to-end løsningsskabeloner, der hjælper dig hurtigt med at komme i gang med ML.

I dette indlæg gennemgår vi, hvordan man bruger Jurassic-1 Grande-modellen i SageMaker.

Fundamentmodeller i SageMaker

JumpStart giver adgang til en række modeller fra populære modelhubs, herunder Hugging Face, PyTorch Hub og TensorFlow Hub, som du kan bruge i dit ML-udviklingsworkflow i SageMaker. De seneste fremskridt inden for ML har givet anledning til en ny klasse af modeller kendt som fundament modeller, som typisk trænes på milliarder af parametre og kan tilpasses til en bred kategori af use cases, såsom tekstresumé, generering af digital kunst og sprogoversættelse. Fordi disse modeller er dyre at træne, ønsker kunder at bruge eksisterende præ-trænede foundation-modeller og finjustere dem efter behov, i stedet for at træne disse modeller selv. SageMaker giver en udvalgt liste over modeller, som du kan vælge imellem på SageMaker-konsollen.

Du kan nu finde fundamentmodeller fra forskellige modeludbydere i JumpStart, så du hurtigt kan komme i gang med fundamentmodeller. Du kan finde fundamentmodeller baseret på forskellige opgaver eller modeludbydere og nemt gennemgå modellens egenskaber og brugsbegreber. Du kan også prøve disse modeller ved hjælp af en test-UI-widget. Når du vil bruge en fundamentmodel i stor skala, kan du nemt gøre det uden at forlade SageMaker ved at bruge præbyggede notesbøger fra modeludbydere. Fordi modellerne er hostet og implementeret på AWS, kan du være sikker på, at dine data, uanset om de bruges til at evaluere eller bruge modellen i stor skala, aldrig deles med tredjeparter.

Jurassic-1 foundation model

Jurassic-1 er den første generation i en serie af store sprogmodeller, der er trænet og gjort bredt tilgængelige af AI21 Labs. For en komplet beskrivelse af Jurassic-1, inklusive benchmarks og kvantitative sammenligninger med andre modeller, henvises til følgende teknisk papir. Alle J1-modeller blev trænet på et massivt korpus af engelsk tekst, hvilket gør dem til meget alsidige tekstgeneratorer til almen brug, der er i stand til at komponere menneskelignende tekst og løse komplekse opgaver såsom besvarelse af spørgsmål, tekstklassificering og mange andre. J1 kan anvendes på stort set enhver sprogopgave ved at lave en passende prompt, der indeholder en beskrivelse af opgaven og et par eksempler, en proces, der almindeligvis er kendt som hurtig ingeniørarbejde. Populære brugssager omfatter generering af marketingkopier, aktivering af chatbots og hjælp til kreativ skrivning.

"Vi bygger fundamentmodeller i verdensklasse til tekst og ønsker at hjælpe vores kunder med at innovere med de nyeste Jurassic-1-modeller. Amazon SageMaker tilbyder det dybeste og bredeste sæt af ML-tjenester, og vi er glade for at samarbejde med Amazon SageMaker, så kunderne vil være i stand til at bruge disse fundamentmodeller på SageMaker i deres udviklingsmiljø. Nu kan kunderne hurtigt innovere, sænke time-to-value og drive effektivitet i deres virksomheder."

-Ori Goshen, co-CEO for AI21 Labs.

Går igennem

Lad os tage dig med på en tur for at teste J1-Grande-modellen i SageMaker. Du kan prøve oplevelsen i tre enkle trin:

1. Vælg Jurassic-1-modellen på SageMaker-konsollen.
2. Evaluer modellen ved hjælp af en test-widget.
3. Brug en notesbog, der er knyttet til fundamentmodellen, til at implementere den i dit miljø.

Lad os udvide hvert trin i detaljer.

Vælg Jurassic-1-modellen på SageMaker-konsollen

Det første skridt er at logge ind på AWS Management Console for Amazon SageMaker og anmod om adgang til listen over funderingsmodeller fra funderingsmodelkategorien under Forspring her:

Når din konto er godkendt, kan du se en liste over modeller på denne side. Du kan hurtigt søge efter Jurassic-1 Grande-modellen fra samme visning.

Evaluer Jurassic-1 Grande-modellen med en test-widget

På Jurassic-1 Grande-listen skal du vælge Se model. Du vil se en beskrivelse af modellen og de opgaver, du kan udføre. Læs EULA'en for modellen igennem, før du fortsætter.

Lad os først prøve modellen til tekstresumé. Vælge Prøv modellen.

Du føres til siden i en separat browserfane, hvor du kan give eksempler på prompter til J1-Grande-modellen og se outputtet.

Følgende eksempel genererer en oversigt om en restaurant baseret på anmeldelser.

Bemærk, at fundamentmodeller og deres output er fra modeludbyderen, og AWS er ​​ikke ansvarlig for indholdet eller nøjagtigheden deri.

Modellens output kan variere afhængigt af indstillingerne og prompten. Du kan generere tekst fra modellen ved hjælp af enkle instruktioner, men ved at give modellen flere eksempler i prompten, ligesom et menneske ville, kan den producere færdiggørelser, der er mere i overensstemmelse med dine intentioner. Den bedste måde at guide modellen på er at give flere eksempler på input/output-par i prompten. Dette etablerer et mønster, som modellen kan efterligne. Tilføj derefter input til et forespørgselseksempel, og lad modellen fuldføre det med en passende generation.

Når du har leget med modellen, er det tid til at bruge den bærbare computer og implementere den som et slutpunkt i dit miljø.

Implementer fundamentmodellen fra en notesbog

Gå tilbage til modellisten vist tidligere og vælg Se notesbog. Du bør se Jurassic-1 Grande Jupyter-notebooken med gennemgangen for at implementere modellen.

Lad os bruge denne notesbog fra Amazon SageMaker Studio. Åbn Studio, og træk notesbogen ind ved hjælp af Git-repo-URL'en https://github.com/AI21Labs/SageMaker.git.

Notebook-eksemplet bruger både Boto3 SDK og AI21 SDK til at implementere og interagere med slutpunktet.

Bemærk, at dette eksempel bruger en ml.g5.12xlarge-instans. Hvis din standardgrænse for din AWS-konto er 0, skal du anmode om en grænseforøgelse for denne GPU-instans.

Lad os oprette slutpunktet ved hjælp af SageMaker-inferens. Først indstiller vi de nødvendige variabler, derefter implementerer vi modellen fra modelpakken:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Når slutpunktet er implementeret, kan du køre slutningsforespørgsler mod modellen.

Du kan tænke på Jurassic-1 Grande som en smart autofuldførelsesalgoritme: den er meget god til at holde fast i hints og mønstre udtrykt på almindeligt engelsk og generere tekst, der følger de samme mønstre. Når modellen er implementeret, kan du interagere med det implementerede slutpunkt ved hjælp af følgende kodestykke:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Notebook'en indeholder også en gennemgang af, hvordan du kan køre slutningsforespørgsler med AI21 SDK.

Følgende video gennemgår arbejdsgangen.

Ryd op

Når du har testet slutpunktet, skal du sørge for at slette SageMaker-slutningspunktet og slette modellen for at undgå at pådrage dig gebyrer.

Konklusion

I dette indlæg viste vi dig, hvordan du kan teste og bruge AI21s Jurassic Grande-model ved hjælp af Amazon SageMaker. Anmod om adgang, prøv fundamentmodellen i SageMaker i dag, og fortæl os din feedback!

Om forfatterne

Karthik Bharathy er produktleder for Amazon SageMaker-teamet med mere end ti års erfaring med produktstyring, produktstrategi, eksekvering og lancering.

Tomer Asida er en algo-teamleder hos AI21 Labs. Som en algo-teamleder leder Tomer algoritmeudviklingsindsatsen for vores udviklerplatform Ai21 Studio inklusive Jurassic-1-modeller og tilhørende API'er.