AI21 Jurassic-1 foundation-model is nu beschikbaar op Amazon SageMaker

Vandaag zijn we verheugd aan te kondigen dat AI21 Jurassic-1 (J1) funderingsmodellen beschikbaar zijn voor klanten die gebruikmaken van Amazon Sage Maker. Jurassic-1-modellen zijn zeer veelzijdig en kunnen zowel menselijke tekst genereren als complexe taken oplossen, zoals het beantwoorden van vragen, tekstclassificatie en vele andere. U kunt dit model eenvoudig uitproberen en ermee gebruiken Amazon SageMaker JumpStart. JumpStart is de machine learning (ML) hub van SageMaker die toegang biedt tot basismodellen naast ingebouwde algoritmen en end-to-end oplossingssjablonen om u te helpen snel aan de slag te gaan met ML.

In dit bericht laten we zien hoe je het Jurassic-1 Grande-model in SageMaker kunt gebruiken.

Funderingsmodellen in SageMaker

JumpStart biedt toegang tot een reeks modellen van populaire modelhubs, waaronder Hugging Face, PyTorch Hub en TensorFlow Hub, die u kunt gebruiken binnen uw ML-ontwikkelingsworkflow in SageMaker. Recente ontwikkelingen in ML hebben geleid tot een nieuwe klasse modellen die bekend staat als funderingsmodellen, die typisch zijn getraind op miljarden parameters en kunnen worden aangepast aan een brede categorie van gebruiksscenario's, zoals tekstsamenvatting, het genereren van digitale kunst en taalvertaling. Omdat het trainen van deze modellen duur is, willen klanten bestaande vooraf getrainde basismodellen gebruiken en deze zo nodig verfijnen, in plaats van deze modellen zelf te trainen. SageMaker biedt een samengestelde lijst met modellen waaruit u kunt kiezen op de SageMaker-console.

U kunt nu funderingsmodellen van verschillende modelaanbieders vinden binnen JumpStart, zodat u snel aan de slag kunt met funderingsmodellen. U kunt basismodellen vinden op basis van verschillende taken of modelaanbieders, en eenvoudig modelkenmerken en gebruiksvoorwaarden bekijken. U kunt deze modellen ook uitproberen met behulp van een test-UI-widget. Als u een basismodel op schaal wilt gebruiken, kunt u dit eenvoudig doen zonder SageMaker te verlaten door vooraf gebouwde notebooks van modelaanbieders te gebruiken. Omdat de modellen worden gehost en geïmplementeerd op AWS, kunt u er zeker van zijn dat uw gegevens, of ze nu worden gebruikt voor het evalueren of gebruiken van het model op grote schaal, nooit worden gedeeld met derden.

Jurassic-1 funderingsmodel

Jurassic-1 is de eerste generatie in een reeks grote taalmodellen die zijn getraind en breed toegankelijk zijn gemaakt door AI21-laboratoria. Raadpleeg het volgende voor een volledige beschrijving van Jurassic-1, inclusief benchmarks en kwantitatieve vergelijkingen met andere modellen technisch papier. Alle J1-modellen zijn getraind op een enorm corpus Engelse tekst, waardoor ze zeer veelzijdige tekstgeneratoren voor algemeen gebruik zijn, in staat om mensachtige tekst samen te stellen en complexe taken op te lossen, zoals het beantwoorden van vragen, tekstclassificatie en vele andere. J1 kan op vrijwel elke taaltaak worden toegepast door een geschikte prompt te maken met een beschrijving van de taak en een paar voorbeelden, een proces dat algemeen bekend staat als snelle techniek. Populaire use-cases zijn onder meer het genereren van marketingteksten, het aansturen van chatbots en het ondersteunen van creatief schrijven.

“We bouwen basismodellen van wereldklasse voor tekst en willen onze klanten helpen innoveren met de nieuwste Jurassic-1-modellen. Amazon SageMaker biedt de diepste en breedste set ML-services en we zijn verheugd om samen te werken met Amazon SageMaker, zodat klanten deze basismodellen op SageMaker kunnen gebruiken binnen hun ontwikkelomgeving. Nu kunnen klanten snel innoveren, de time-to-value verkorten en de efficiëntie in hun bedrijf stimuleren.”

-Ori Goshen, co-CEO van AI21 Labs.

walkthrough

Laten we u meenemen op een rondleiding om het J1-Grande-model in SageMaker te testen. U kunt de ervaring uitproberen in drie eenvoudige stappen:

1. Kies het Jurassic-1-model op de SageMaker-console.
2. Evalueer het model met behulp van een testwidget.
3. Gebruik een notebook dat aan het basismodel is gekoppeld om het in uw omgeving te implementeren.

Laten we elke stap in detail uitbreiden.

Kies het Jurassic-1-model op de SageMaker-console

De eerste stap is inloggen op de AWS-beheerconsole voor Amazon SageMaker en vraag toegang tot de lijst met funderingsmodellen uit de categorie funderingsmodellen hieronder snelle start hier:

Nadat uw account op de toelatingslijst is geplaatst, kunt u op deze pagina een lijst met modellen zien. U kunt vanuit dezelfde weergave snel zoeken naar het Jurassic-1 Grande-model.

Evalueer het Jurassic-1 Grande-model met een testwidget

Kies in de Jurassic-1 Grande-lijst Bekijk model. U ziet een beschrijving van het model en de taken die u kunt uitvoeren. Lees de EULA voor het model door voordat u verder gaat.

Laten we eerst het model voor tekstsamenvatting uitproberen. Kiezen Proefmodel.

U wordt naar de pagina geleid in een apart browsertabblad waar u voorbeeldprompts kunt geven aan het J1-Grande-model en de uitvoer kunt bekijken.

Het volgende voorbeeld genereert een samenvatting over een restaurant op basis van recensies.

Houd er rekening mee dat basismodellen en hun uitvoer afkomstig zijn van de modelaanbieder en dat AWS niet verantwoordelijk is voor de inhoud of nauwkeurigheid daarin.

De uitvoer van het model kan variëren, afhankelijk van de instellingen en de prompt. U kunt tekst uit het model genereren met behulp van eenvoudige instructies, maar door het model meer voorbeelden in de prompt te geven, net zoals een mens dat zou doen, kan het aanvullingen opleveren die beter aansluiten bij uw bedoelingen. De beste manier om het model te begeleiden, is door verschillende voorbeelden van invoer/uitvoer-paren in de prompt te geven. Dit creëert een patroon dat het model kan nabootsen. Voeg vervolgens de invoer voor een queryvoorbeeld toe en laat het model het aanvullen met een geschikte generatie.

Nadat je met het model hebt gespeeld, is het tijd om de notebook te gebruiken en deze als een eindpunt in je omgeving te implementeren.

Implementeer het basismodel vanuit een notebook

Ga terug naar de eerder getoonde modellijst en kies Notitieboekje bekijken. Je zou het Jurassic-1 Grande Jupyter-notebook moeten zien met de walkthrough om het model in te zetten.

Laten we dit notitieboekje gebruiken van Amazon SageMaker Studio. Open Studio en trek de notebook binnen met behulp van de Git-repo-URL https://github.com/AI21Labs/SageMaker.git.

Het notebookvoorbeeld gebruikt zowel de Boto3 SDK als de AI21 SDK om het eindpunt te implementeren en te gebruiken.

Merk op dat dit voorbeeld een instantie ml.g5.12xlarge gebruikt. Als uw standaardlimiet voor uw AWS-account 0 is, moet u een limietverhoging aanvragen voor deze GPU-instantie.

Laten we het eindpunt maken met behulp van SageMaker-inferentie. Eerst stellen we de nodige variabelen in, daarna implementeren we het model uit het modelpakket:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Nadat het eindpunt is geïmplementeerd, kunt u inferentiequery's uitvoeren op het model.

Je kunt Jurassic-1 Grande zien als een slim algoritme voor automatisch aanvullen: het is erg goed in het vasthouden aan hints en patronen uitgedrukt in gewoon Engels, en het genereren van tekst die dezelfde patronen volgt. Nadat het model is geïmplementeerd, kunt u communiceren met het geïmplementeerde eindpunt met behulp van het volgende codefragment:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

De notebook bevat ook een overzicht van hoe u inferentiequery's kunt uitvoeren met de AI21 SDK.

De volgende video loopt door de workflow.

Opruimen

Nadat u het eindpunt hebt getest, moet u ervoor zorgen dat u het SageMaker-inferentie-eindpunt en het model verwijdert om te voorkomen dat er kosten in rekening worden gebracht.

Conclusie

In dit bericht hebben we je laten zien hoe je het Jurassic Grande-model van AI21 kunt testen en gebruiken met Amazon SageMaker. Toegang vragen, probeer het funderingsmodel uit in SageMaker vandaag en laat ons uw feedback weten!

Over de auteurs

Karthik Bharathy is de productleider voor het Amazon SageMaker-team met meer dan tien jaar ervaring in productbeheer, productstrategie, uitvoering en lancering.

Tomer Asida is een algo-teamleider bij AI21 Labs. Als algo-teamleider leidt Tomer de ontwikkeling van algoritmen van ons ontwikkelaarsplatform Ai21 Studio, inclusief Jurassic-1-modellen en bijbehorende API's.