Il modello di fondazione AI21 Jurassic-1 è ora disponibile su Amazon SageMaker

Ripubblicato da Platone

Seguaci: 0

Oggi siamo lieti di annunciare che i modelli di base AI21 Jurassic-1 (J1) sono disponibili per i clienti che li utilizzano Amazon Sage Maker. I modelli Jurassic-1 sono altamente versatili, in grado sia di generare testi simili a quelli umani, sia di risolvere compiti complessi come rispondere a domande, classificare testi e molti altri. Puoi facilmente provare questo modello e usarlo con JumpStart di Amazon SageMaker. JumpStart è l'hub di machine learning (ML) di SageMaker che fornisce l'accesso ai modelli di base oltre agli algoritmi integrati e ai modelli di soluzioni end-to-end per aiutarti a iniziare rapidamente con il machine learning.

In questo post, esaminiamo come utilizzare il modello Jurassic-1 Grande in SageMaker.

Modelli di fondazione in SageMaker

JumpStart fornisce l'accesso a una gamma di modelli da hub di modelli popolari tra cui Hugging Face, PyTorch Hub e TensorFlow Hub, che puoi utilizzare all'interno del tuo flusso di lavoro di sviluppo ML in SageMaker. I recenti progressi nel machine learning hanno dato origine a una nuova classe di modelli noti come modelli di fondazione, che in genere sono addestrati su miliardi di parametri e sono adattabili a un'ampia categoria di casi d'uso, come il riepilogo del testo, la generazione di arte digitale e la traduzione linguistica. Poiché questi modelli sono costosi da addestrare, i clienti desiderano utilizzare i modelli di base pre-addestrati esistenti e perfezionarli secondo necessità, piuttosto che addestrare questi modelli da soli. SageMaker fornisce un elenco curato di modelli tra cui puoi scegliere sulla console SageMaker.

Ora puoi trovare modelli di fondazione di diversi fornitori di modelli all'interno di JumpStart, consentendoti di iniziare rapidamente con i modelli di fondazione. È possibile trovare modelli di base basati su diverse attività o fornitori di modelli e rivedere facilmente le caratteristiche del modello e i termini di utilizzo. Puoi anche provare questi modelli utilizzando un widget dell'interfaccia utente di prova. Quando desideri utilizzare un modello di base su larga scala, puoi farlo facilmente senza uscire da SageMaker utilizzando i notebook predefiniti dei fornitori di modelli. Poiché i modelli sono ospitati e distribuiti su AWS, puoi essere certo che i tuoi dati, utilizzati per la valutazione o per l'utilizzo del modello su larga scala, non vengano mai condivisi con terze parti.

Modello di fondazione Jurassic-1

Jurassic-1 è la prima generazione di una serie di grandi modelli linguistici addestrati e resi ampiamente accessibili da Laboratori AI21. Per una descrizione completa di Jurassic-1, inclusi benchmark e confronti quantitativi con altri modelli, fare riferimento a quanto segue carta tecnica. Tutti i modelli J1 sono stati addestrati su un enorme corpus di testo inglese, rendendoli generatori di testo generici altamente versatili, in grado di comporre testi simili a quelli umani e risolvere compiti complessi come rispondere a domande, classificare testi e molti altri. J1 può essere applicato praticamente a qualsiasi attività linguistica creando un prompt adatto contenente una descrizione dell'attività e alcuni esempi, un processo comunemente noto come ingegneria tempestiva. I casi d'uso più diffusi includono la generazione di testi di marketing, l'alimentazione di chatbot e l'assistenza alla scrittura creativa.

“Stiamo costruendo modelli di base di livello mondiale per il testo e vogliamo aiutare i nostri clienti a innovare con gli ultimi modelli Jurassic-1. Amazon SageMaker offre il set più completo e ampio di servizi ML e siamo entusiasti di collaborare con Amazon SageMaker in modo che i clienti possano utilizzare questi modelli di base su SageMaker all'interno del loro ambiente di sviluppo. Ora i clienti possono innovare rapidamente, ridurre il time-to-value e promuovere l'efficienza nelle loro attività".

-Ori Goshen, co-CEO di AI21 Labs.

Soluzione

Ti portiamo in un tour per testare il modello J1-Grande in SageMaker. Puoi provare l'esperienza in tre semplici passaggi:

Scegli il modello Jurassic-1 sulla console SageMaker.
Valutare il modello utilizzando un widget di test.
Usa un notebook associato al modello di base per distribuirlo nel tuo ambiente.

Espandiamo ogni passaggio in dettaglio.

Scegli il modello Jurassic-1 sulla console SageMaker

Il primo passo è accedere al Console di gestione AWS per Amazon SageMaker e richiedi l'accesso all'elenco di modelli di base dalla categoria di modelli di base in basso inizio di salto qui:

Dopo che il tuo account è stato autorizzato, puoi vedere un elenco di modelli in questa pagina. Puoi cercare rapidamente il modello Jurassic-1 Grande dalla stessa vista.

Valuta il modello Jurassic-1 Grande con un widget di test

Nell'elenco Jurassic-1 Grande, scegli Vedi il modello. Vedrai una descrizione del modello e le attività che puoi eseguire. Leggere l'EULA per il modello prima di procedere.

Proviamo prima il modello per il riepilogo del testo. Scegliere Prova il modello.

Si viene indirizzati alla pagina in una scheda separata del browser in cui è possibile fornire suggerimenti di esempio al modello J1-Grande e visualizzare l'output.

L'esempio seguente genera un riepilogo su un ristorante in base alle recensioni.

Tieni presente che i modelli di base e il relativo output provengono dal fornitore del modello e AWS non è responsabile del contenuto o dell'accuratezza in essi contenuti.

L'output del modello può variare a seconda delle impostazioni e della richiesta. Puoi generare testo dal modello utilizzando semplici istruzioni, ma fornendo al modello più esempi nel prompt, proprio come farebbe un essere umano, può produrre completamenti più in linea con le tue intenzioni. Il modo migliore per guidare il modello è fornire diversi esempi di coppie input/output nel prompt. Questo stabilisce un modello per il modello da imitare. Quindi aggiungi l'input per un esempio di query e lascia che il modello lo completi con una generazione appropriata.

Dopo aver giocato con il modello, è il momento di utilizzare il notebook e distribuirlo come endpoint nel proprio ambiente.

Distribuisci il modello di base da un notebook

Torna all'elenco dei modelli mostrato in precedenza e scegli Visualizza taccuino. Dovresti vedere il notebook Jurassic-1 Grande Jupyter con la procedura dettagliata per distribuire il modello.

Usiamo questo notebook da Amazon Sage Maker Studio. Apri Studio e inserisci il notebook utilizzando l'URL del repository Git https://github.com/AI21Labs/SageMaker.git.

L'esempio del notebook utilizza sia l'SDK Boto3 che l'SDK AI21 per distribuire e interagire con l'endpoint.

Si noti che questo esempio utilizza un'istanza ml.g5.12xlarge. Se il limite predefinito per il tuo account AWS è 0, devi richiedere un aumento del limite per questa istanza GPU.

Creiamo l'endpoint utilizzando l'inferenza di SageMaker. Per prima cosa impostiamo le variabili necessarie, quindi distribuiamo il modello dal pacchetto del modello:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Dopo la distribuzione dell'endpoint, puoi eseguire query di inferenza sul modello.

Puoi pensare a Jurassic-1 Grande come a un algoritmo di completamento automatico intelligente: è molto bravo ad agganciarsi a suggerimenti e schemi espressi in un inglese semplice e a generare testo che segue gli stessi schemi. Dopo che il modello è stato distribuito, puoi interagire con l'endpoint distribuito utilizzando il seguente frammento di codice:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Il notebook contiene anche una procedura dettagliata su come eseguire query di inferenza con AI21 SDK.

Il seguente video illustra il flusso di lavoro.

ripulire

Dopo aver testato l'endpoint, assicurati di eliminare l'endpoint di inferenza SageMaker ed eliminare il modello per evitare di incorrere in addebiti.

Conclusione

In questo post, ti abbiamo mostrato come testare e utilizzare il modello Jurassic Grande di AI21 utilizzando Amazon SageMaker. Richiesta di accesso, prova il modello di base in SageMaker oggi e facci sapere il tuo feedback!

Circa gli autori

Karthik Bharat è il leader di prodotto per il team di Amazon SageMaker con oltre un decennio di esperienza nella gestione del prodotto, nella strategia del prodotto, nell'esecuzione e nel lancio.

Tom Asida è un algo team leader presso AI21 Labs. In qualità di responsabile del team di algoritmi, Tomer è a capo degli sforzi di sviluppo degli algoritmi della nostra piattaforma di sviluppo Ai21 Studio, inclusi i modelli Jurassic-1 e le API associate.