I modelli solari di Upstage sono ora disponibili in Amazon SageMaker JumpStart

Ripubblicato da Platone

Seguaci: 0

Questo post sul blog è stato scritto in collaborazione con Hwalsuk Lee di Upstage.

Oggi siamo entusiasti di annunciare che il Solare il modello di fondazione sviluppato da Upstage è ora disponibile per i clienti che utilizzano JumpStart di Amazon SageMaker. Solar è un modello linguistico di grandi dimensioni (LLM) pre-addestrato al 100%. Amazon Sage Maker che supera e utilizza le sue dimensioni compatte e i suoi potenti track record per specializzarsi nella formazione mirata, rendendolo versatile in tutte le lingue, domini e attività.

Ora puoi usare il Mini chat solare ed Mini chat solare – Quant modelli preaddestrati all'interno di SageMaker JumpStart. SageMaker JumpStart è l'hub di machine learning (ML) di SageMaker che fornisce l'accesso ai modelli di base oltre agli algoritmi integrati per aiutarti a iniziare rapidamente con il ML.

In questo post spiegheremo come scoprire e distribuire il modello solare tramite SageMaker JumpStart.

Cos'è il modello solare?

Solar è un modello compatto e potente per le lingue inglese e coreana. È specificatamente ottimizzato per scopi di chat multi-turno, dimostrando prestazioni migliorate in un'ampia gamma di attività di elaborazione del linguaggio naturale.

Il modello Solar Mini Chat è basato su Solare 10.7B, con un 32 strati lama 2 struttura e inizializzata con pesi pre-addestrati da Maestrale 7B compatibile con l'architettura Llama 2. Questa messa a punto gli conferisce la capacità di gestire conversazioni estese in modo più efficace, rendendolo particolarmente adatto per le applicazioni interattive. Utilizza un metodo di ridimensionamento chiamato ingrandimento della profondità (DUS), che comprende il ridimensionamento in profondità e il pre-addestramento continuo. DUS consente un ingrandimento molto più semplice ed efficiente di modelli più piccoli rispetto ad altri metodi di ridimensionamento come miscela di esperti (MdE).

Nel dicembre 2023, il modello Solar 10.7B ha fatto scalpore raggiungendo l'apice del pianeta Apri la classifica LLM del viso che abbraccia. Utilizzando un numero notevolmente inferiore di parametri, Solar 10.7B fornisce risposte paragonabili a GPT-3.5, ma è 2.5 volte più veloce. Oltre a raggiungere la vetta della classifica Open LLM, Solar 10.7B supera GPT-4 con modelli appositamente formati su determinati domini e attività.

La figura seguente illustra alcune di queste metriche:

Figura: Metriche del modello solare nella classifica Hugging Face Open LLM

fonte: https://www.upstage.ai/solar-llm

Con SageMaker JumpStart puoi distribuire modelli pre-addestrati basati su Solar 10.7B: Solar Mini Chat e una versione quantizzata di Solar Mini Chat, ottimizzata per applicazioni di chat in inglese e coreano. Il modello Solar Mini Chat fornisce una conoscenza avanzata delle sfumature della lingua coreana, che migliora significativamente le interazioni dell'utente negli ambienti di chat. Fornisce risposte precise agli input dell'utente, garantendo una comunicazione più chiara e una risoluzione dei problemi più efficiente nelle applicazioni di chat inglese e coreana.

Inizia con i modelli solari in SageMaker JumpStart

Per iniziare con i modelli solari, puoi utilizzare SageMaker JumpStart, un servizio hub ML completamente gestito per distribuire modelli ML predefiniti in un ambiente ospitato pronto per la produzione. È possibile accedere ai modelli solari tramite SageMaker JumpStart in Amazon Sage Maker Studio, un ambiente di sviluppo integrato (IDE) basato sul Web in cui puoi accedere a strumenti specifici per eseguire tutte le fasi di sviluppo ML, dalla preparazione dei dati alla creazione, formazione e distribuzione dei modelli ML.

Nella console di SageMaker Studio, scegli inizio di salto nel riquadro di navigazione. Puoi inserire "solare" nella barra di ricerca per trovare i modelli solari di Upstage.

Figura: Cerca modello solare in Amazon SageMaker JumpStart

Implementiamo il modello Solar Mini Chat – Quant. Scegli la scheda del modello per visualizzare i dettagli sul modello come la licenza, i dati utilizzati per l'addestramento e come utilizzare il modello. Troverai anche un Schierare opzione, che ti porta a una pagina di destinazione in cui puoi testare l'inferenza con un payload di esempio.

Figura: come implementare la modalità solare in SageMaker JumpStart

Questo modello richiede un Mercato AWS sottoscrizione. Se sei già abbonato a questo modello e sei stato approvato per utilizzare il prodotto, puoi distribuire direttamente il modello.

Figura: come sottoscrivere il modello solare in AWS Marketplace

Se non sei iscritto a questo modello, scegli Sottoscrivi, vai su AWS Marketplace, esamina i termini dei prezzi e il contratto di licenza con l'utente finale (EULA) e scegli Accettare un'offerta.

Figura: accetta l'offerta del modello solare in AWS Marketplace

Dopo esserti iscritto al modello, puoi distribuire il tuo modello su un endpoint SageMaker selezionando le risorse di distribuzione, come il tipo di istanza e il conteggio iniziale delle istanze. Scegliere Schierare e attendere la creazione di un endpoint per l'inferenza del modello. È possibile selezionare un ml.g5.2xlarge ad esempio come opzione più economica per l’inferenza con il modello solare.

Figura: Distribuire l'endpoint di inferenza SageMaker

Una volta creato correttamente il tuo endpoint SageMaker, puoi testarlo attraverso i vari ambienti applicativi SageMaker.

Esegui il codice per i modelli solari in SageMaker Studio JupyterLab

SageMaker Studio supporta vari ambienti di sviluppo di applicazioni, tra cui JupyterLab, un insieme di funzionalità che ampliano l'offerta di notebook completamente gestiti. Include kernel che si avviano in pochi secondi, un runtime preconfigurato con la scienza dei dati più diffusa, framework ML e storage a blocchi privato ad alte prestazioni. Per ulteriori informazioni, vedere SageMaker JupyterLab.

Crea uno spazio JupyterLab all'interno di SageMaker Studio che gestisca le risorse di archiviazione e di elaborazione necessarie per eseguire l'applicazione JupyterLab.

Figura: creare un JupyterLab in SageMaker Studio

Puoi trovare il codice che mostra la distribuzione dei modelli solari su SageMaker JumpStart e un esempio di come utilizzare il modello distribuito nella pagina Repository GitHub. Ora puoi distribuire il modello utilizzando SageMaker JumpStart. Il codice seguente utilizza l'istanza predefinita ml.g5.2xlarge per l'endpoint di inferenza del modello Solar Mini Chat – Quant.

I modelli solari supportano un payload di richiesta/risposta compatibile con l'endpoint di completamento della chat di OpenAI. Puoi testare esempi di chat a turno singolo o multi turno con Python.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Hai eseguito con successo un'inferenza in tempo reale con il modello Solar Mini Chat.

ripulire

Dopo aver testato l'endpoint, elimina l'endpoint di inferenza SageMaker ed elimina il modello per evitare addebiti.

Figura: eliminare l'endpoint di SageMaker

Puoi anche eseguire il codice seguente per eliminare l'endpoint e la modalità nel notebook di SageMaker Studio JupyterLab:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Per ulteriori informazioni, vedere Elimina endpoint e risorse. Inoltre, puoi chiudere le risorse di SageMaker Studio che non sono più necessari.

Conclusione

In questo post ti abbiamo mostrato come iniziare con i modelli solari di Upstage in SageMaker Studio e distribuire il modello per l'inferenza. Ti abbiamo anche mostrato come eseguire il codice di esempio Python su SageMaker Studio JupyterLab.

Poiché i modelli solari sono già pre-addestrati, possono contribuire a ridurre i costi di formazione e infrastruttura e consentire la personalizzazione delle applicazioni di intelligenza artificiale generativa.

Provalo su Console SageMaker JumpStart or Console SageMaker Studio! Puoi anche guardare il seguente video, Prova "Solare" con Amazon SageMaker.

Questa guida è solo a scopo informativo. Dovresti comunque eseguire la tua valutazione indipendente e adottare misure per garantire il rispetto delle tue pratiche e standard specifici di controllo della qualità e delle norme, leggi, regolamenti, licenze e termini di utilizzo locali che si applicano a te, ai tuoi contenuti, e il modello di terze parti a cui si fa riferimento nella presente guida. AWS non ha alcun controllo o autorità sul modello di terze parti a cui si fa riferimento in queste linee guida e non rilascia alcuna dichiarazione o garanzia che il modello di terze parti sia sicuro, privo di virus, operativo o compatibile con l'ambiente e gli standard di produzione. AWS non rilascia alcuna dichiarazione o garanzia che qualsiasi informazione contenuta in questa guida comporterà un risultato o un risultato particolare.

Informazioni sugli autori

Channy Yun è un principale sostenitore degli sviluppatori presso AWS e la sua passione è aiutare gli sviluppatori a creare applicazioni moderne sugli ultimi servizi AWS. È uno sviluppatore pragmatico e un blogger nel cuore e ama l'apprendimento guidato dalla comunità e la condivisione della tecnologia.

Hwalsuk Lee è Chief Technology Officer (CTO) presso Upstage. Ha lavorato per Samsung Techwin, NCSOFT e Naver come ricercatore AI. Sta conseguendo il dottorato di ricerca in ingegneria informatica ed elettrica presso il Korea Advanced Institute of Science and Technology (KAIST).

Brandon Lee è un Senior Solutions Architect presso AWS e aiuta principalmente i grandi clienti di tecnologia educativa nel settore pubblico. Ha oltre 20 anni di esperienza nella guida dello sviluppo di applicazioni presso aziende globali e grandi aziende.