Il modello LightOn Lyra-fr è ora disponibile su Amazon SageMaker

Ripubblicato da Platone

Seguaci: 0

Siamo entusiasti di annunciare la disponibilità del modello base LightOn Lyra-fr per i clienti che utilizzano Amazon SageMaker. LightOn è leader nella costruzione di modelli di fondazione specializzati in lingue europee. Lyra-fr è un modello di lingua francese all'avanguardia che può essere utilizzato per creare intelligenza artificiale conversazionale, strumenti di copywriting, classificatori di testo, ricerca semantica e altro ancora. Puoi facilmente provare questo modello e usarlo con JumpStart di Amazon SageMaker. JumpStart è l'hub di machine learning (ML) di SageMaker che fornisce l'accesso ai modelli di base oltre agli algoritmi integrati e ai modelli di soluzioni end-to-end per aiutarti a iniziare rapidamente con il machine learning.

In questo blog dimostreremo come utilizzare il modello Lyra-fr in SageMaker.

Modelli di fondazione

I modelli di base vengono in genere addestrati su miliardi di parametri e sono adattabili a un'ampia categoria di casi d'uso. I modelli di fondazione più noti oggi vengono utilizzati per riassumere articoli, creare arte digitale e generare codice da semplici istruzioni di testo. Questi modelli sono costosi da addestrare, quindi i clienti desiderano utilizzare i modelli di base pre-addestrati esistenti e perfezionarli secondo necessità piuttosto che addestrare questi modelli da soli. SageMaker fornisce un elenco curato di modelli tra cui puoi scegliere sulla console SageMaker. Puoi testare questi modelli direttamente sull'interfaccia web. Quando desideri utilizzare un modello di base su larga scala, puoi farlo facilmente senza uscire da SageMaker utilizzando i notebook predefiniti dei fornitori di modelli. Poiché i modelli sono ospitati e distribuiti su AWS, puoi essere certo che i tuoi dati, utilizzati per la valutazione o per l'utilizzo del modello su larga scala, non vengano mai condivisi con terze parti.

Lyra-fr è il più grande modello in lingua francese disponibile oggi sul mercato. È un modello di 10 miliardi di parametri, addestrato e reso accessibile da LightOn. Lyra-fr è stato addestrato su un ampio corpus di dati curati in francese ed è in grado di scrivere testi simili a quelli umani e risolvere compiti complessi come classificazione, risposta a domande e riepilogo. Tutto questo mantenendo una ragionevole velocità di inferenza, nell'intervallo di 1–2 secondi per la richiesta media. Puoi semplicemente descrivere l'attività che desideri eseguire in un linguaggio naturale e Lyra-fr genererà risposte del livello di un madrelingua francese. Lyra-fr offre primitive di intelligence pronte per il business, come la generazione orientabile e la classificazione del testo, in poche righe di codice. Per compiti più impegnativi, le prestazioni possono essere migliorate in una modalità di apprendimento "pochi colpi", fornendo nel prompt un paio di esempi di input-output.

Utilizzo di Lyra-fr su SageMaker

Ti mostreremo come utilizzare il modello Lyra-fr in 3 semplici passaggi:

Scoprire – Trova il modello Lyra-fr nella Console di gestione AWS per SageMaker.
Test – Testare il modello utilizzando l'interfaccia web.
Schierare – Utilizzare un notebook per distribuire e testare le funzionalità avanzate del modello.

Scoprire

Per facilitare la scoperta di modelli di fondazione come Lyra-fr, abbiamo consolidato tutti i modelli di fondazione in un unico posto. Per trovare il modello Lyra-fr:

Accedi al Console di gestione AWS per SageMaker.
Nel pannello di navigazione a sinistra, dovresti vedere una sezione chiamata inizio di salto con Modelli di fondazione sotto di essa. Richiedi l'accesso a questa funzione se non hai ancora accesso.
Una volta che il tuo account è stato inserito nella lista consentita, vedrai un elenco di modelli sulla destra. Qui è dove troverai il modello Lyra-fr 10B.
Cliccando su Visualizza modello mostrerà la scheda modello completa con opzioni aggiuntive.

Test

Un caso d'uso comune consiste nell'eseguire test ad hoc per assicurarsi che il modello soddisfi le proprie esigenze. Puoi testare il modello Lyra-fr direttamente dalla console SageMaker. In questo esempio, utilizzeremo un semplice prompt di testo chiedendo al modello di generare un elenco di idee per articoli sull'argomento “acquerello” o “l'aquarelle” in francese.

Dalla scheda del modello mostrata nella sezione precedente, selezionare Prova il modello. Si aprirà una nuova scheda con l'interfaccia di test.
Su questa interfaccia, fornire l'input di testo che si desidera passare al modello. Puoi anche regolare tutti i parametri che desideri utilizzando i cursori sulla destra. Una volta che sei soddisfatto, seleziona Genera testo.

Tieni presente che i modelli di base e il relativo output provengono dal fornitore del modello e AWS non è responsabile del contenuto o dell'accuratezza in essi contenuti.

Schierare

I modelli di generazione del testo funzionano al meglio quando fornisci esempi di informazioni che vuoi che il modello fornisca. Questo si chiama apprendimento a pochi colpi. Dimostreremo questa funzionalità utilizzando il notebook di esempio Lyra-fr. Il taccuino di esempio illustra come distribuire il modello Lyra-fr su SageMaker, come riassumere e generare testo e apprendimento di poche riprese.

Include anche esempi su come effettuare le richieste di inferenza direttamente utilizzando JSON o con Lyra Python SDK. Lyra Python SDK si occupa di formattare l'input, chiamare l'endpoint e decomprimere l'output. Esiste una classe per endpoint: Crea, Analizza, Seleziona, Incorpora, Confronta e Tokenizza. Si noti che questo esempio utilizza un'istanza ml.p4d.24xlarge. Se il limite predefinito per il tuo account AWS è 0, devi richiedere un aumento del limite per questa istanza GPU.

SageMaker offre un'esperienza notebook gestita tramite SageMaker Studio. Per i dettagli su come configurare SageMaker Studio, vedere il file Guida per sviluppatori Amazon SageMaker. Cloneremo questo repository GitHub in SageMaker Studio in questa demo, ma il notebook funzionerà anche in altri ambienti.

Diamo un'occhiata a come eseguire il notebook:

Vai alla scheda del modello dalla sezione Scopri in questo post del blog e seleziona Visualizza taccuino. Dovresti vedere una nuova scheda aperta in GitHub con il taccuino Lyra-fr.
In GitHub selezionare lightonmuse-sagemaker-sdk; questo ti porterà al repository. Seleziona il Code pulsante e copiare l'URL HTTPS.
Apri SageMaker Studio. Selezionare Clona un repository e quindi incollare l'URL copiato dall'alto.
Passare al taccuino Lyra-fr utilizzando il browser di file a sinistra.
Questo notebook viene eseguito end-to-end senza bisogno di ulteriori input e ripulisce anche le risorse che crea. Possiamo dare un'occhiata all'esempio "usare Create per l'analisi del sentiment". Questo esempio utilizza l'SDK Lyra Python e dimostra l'apprendimento di poche riprese insegnando al modello con alcuni esempi di quale testo dovrebbe essere classificato come positivo (positifs), negativo (négatifs) o misto (mitigés).
Puoi vedere che, con Lyra Python SDK, tutto ciò che devi fare è fornire il nome dell'endpoint SageMaker e l'input. L'SDK gestisce tutta l'analisi, la formattazione e la configurazione per te.
L'esecuzione di questo prompt restituisce che l'ultima istruzione è positiva.

ripulire

Dopo aver testato l'endpoint, assicurati di eliminare l'endpoint di inferenza SageMaker ed eliminare il modello per evitare di incorrere in addebiti.

Conclusione

In questo post, ti abbiamo mostrato come scoprire, testare e distribuire il modello Lyra-fr utilizzando Amazon SageMaker. Richiedi l'accesso a prova il modello di base in SageMaker oggi e facci sapere il tuo feedback!

Circa gli autori

Iacopo Poli è il CTO di LightOn, responsabile delle scelte tecniche strategiche per l'azienda nella costruzione di modelli linguistici molto ampi e nell'offrirli al pubblico. È appassionato di democratizzazione del Machine Learning attraverso interfacce intuitive. Nel tempo libero si diletta alla ricerca dei migliori ristoranti di Parigi.

Alan Tan è un Senior Product Manager di SageMaker, che guida gli sforzi sull'inferenza di modelli di grandi dimensioni. È appassionato di applicare l'apprendimento automatico all'area dell'analisi. Al di fuori del lavoro, ama la vita all'aria aperta.