LightOn Lyra-fr-model is nu beschikbaar op Amazon SageMaker

We zijn verheugd om de beschikbaarheid aan te kondigen van het LightOn Lyra-fr foundation-model voor klanten die Amazon SageMaker gebruiken. LightOn is een leider in het bouwen van funderingsmodellen, gespecialiseerd in Europese talen. Lyra-fr is een geavanceerd Frans taalmodel dat kan worden gebruikt om conversatie-AI, copywriting-tools, tekstclassificaties, semantisch zoeken en meer te bouwen. U kunt dit model eenvoudig uitproberen en ermee gebruiken Amazon SageMaker JumpStart. JumpStart is de machine learning (ML) hub van SageMaker die toegang biedt tot basismodellen naast ingebouwde algoritmen en end-to-end oplossingssjablonen om u te helpen snel aan de slag te gaan met ML.

In deze blog laten we zien hoe u het Lyra-fr-model in SageMaker kunt gebruiken.

Funderingsmodellen

Foundation-modellen worden meestal getraind op miljarden parameters en kunnen worden aangepast aan een brede categorie gebruiksscenario's. De meest bekende basismodellen van tegenwoordig worden gebruikt om artikelen samen te vatten, digitale kunst te maken en code te genereren op basis van eenvoudige tekstinstructies. Deze modellen zijn duur om te trainen, dus klanten willen bestaande vooraf getrainde basismodellen gebruiken en deze naar behoefte verfijnen in plaats van deze modellen zelf te trainen. SageMaker biedt een samengestelde lijst met modellen waaruit u kunt kiezen op de SageMaker-console. U kunt deze modellen direct op de webinterface testen. Als u een basismodel op schaal wilt gebruiken, kunt u dit eenvoudig doen zonder SageMaker te verlaten door vooraf gebouwde notebooks van modelaanbieders te gebruiken. Omdat de modellen worden gehost en geïmplementeerd op AWS, kunt u er zeker van zijn dat uw gegevens, of ze nu worden gebruikt voor het evalueren of gebruiken van het model op grote schaal, nooit worden gedeeld met derden.

Lyra-fr is het grootste Franstalige model dat momenteel op de markt verkrijgbaar is. Het is een model met 10 miljard parameters, getraind en toegankelijk gemaakt door LightOn. Lyra-fr is getraind op een groot corpus van Franse gecureerde gegevens, en het is in staat om mensachtige tekst te schrijven en complexe taken op te lossen, zoals classificatie, het beantwoorden van vragen en samenvattingen. Dit alles met behoud van een redelijke inferentiesnelheid, in het bereik van 1-2 seconden voor het gemiddelde verzoek. U kunt de taak die u wilt uitvoeren eenvoudig beschrijven in natuurlijke taal, en Lyra-fr zal antwoorden genereren van het niveau van een moedertaalspreker Frans. Lyra-fr biedt business-ready intelligentie-primitieven, zoals stuurbare generatie en tekstclassificatie, in slechts een paar regels code. Voor meer uitdagende taken kunnen de prestaties worden verbeterd in een "paar shots"-leermodus, waarbij in de prompt een aantal input-outputvoorbeelden worden gegeven.

Lyra-fr gebruiken op SageMaker

We laten u zien hoe u het Lyra-fr-model kunt gebruiken in 3 eenvoudige stappen:

• Discover - Zoek het Lyra-fr-model op de AWS Management Console voor SageMaker.
• test – Test het model met behulp van de webinterface.
• Implementeren – Gebruik een notebook om de geavanceerde mogelijkheden van het model te implementeren en te testen.

Discover

Om het gemakkelijk te maken om funderingsmodellen zoals de Lyra-fr te ontdekken, hebben we alle funderingsmodellen op één plek geconsolideerd. Om het Lyra-fr-model te vinden:

1. Log in op AWS-beheerconsole voor SageMaker.
2. In het linkernavigatievenster zou u een sectie moeten zien met de naam snelle start Met Funderingsmodellen onder het. Vraag toegang tot deze functie aan als je nog geen toegang hebt.
3. Zodra uw account op de toelatingslijst staat, ziet u aan de rechterkant een lijst met modellen. Hier vindt u het model Lyra-fr 10B.
   
4. Door te klikken op Bekijk model toont de volledige modelkaart met extra opties.
   

test

Een veelvoorkomende use-case is het uitvoeren van ad-hoctests om er zeker van te zijn dat het model aan uw behoeften voldoet. U kunt het Lyra-fr-model rechtstreeks vanuit de SageMaker-console testen. In dit voorbeeld gaan we een eenvoudige tekstprompt gebruiken door het model te vragen een lijst met artikelideeën te genereren voor het onderwerp 'aquarel' of 'l'aquarelle' in het Frans.

1. Selecteer op de modelkaart die in het vorige gedeelte is weergegeven Proefmodel. Dit opent een nieuw tabblad met de testinterface.
2. Geef op deze interface de tekstinvoer op die u aan het model wilt doorgeven. U kunt ook alle gewenste parameters afstemmen met behulp van de schuifregelaars aan de rechterkant. Als u tevreden bent, selecteert u Tekst genereren.
   

Houd er rekening mee dat basismodellen en hun uitvoer afkomstig zijn van de modelaanbieder en dat AWS niet verantwoordelijk is voor de inhoud of nauwkeurigheid daarin.

Implementeren

Modellen voor het genereren van tekst werken het beste wanneer u voorbeelden geeft van de informatie die u door het model wilt laten verstrekken. Dit heet fewshot learning. We zullen deze mogelijkheid demonstreren met behulp van het Lyra-fr-voorbeeldlaptop. In het voorbeeldnotitieblok wordt beschreven hoe het Lyra-fr-model op SageMaker moet worden geïmplementeerd, hoe tekst moet worden samengevat en gegenereerd, en hoe een paar stappen kunnen worden geleerd.

Het bevat ook voorbeelden van het rechtstreeks doen van deductieverzoeken met JSON of met de Lyra Python SDK. De Lyra Python SDK zorgt voor het formatteren van de invoer, het aanroepen van het eindpunt en het uitpakken van de uitvoer. Er is één klasse per eindpunt: maken, analyseren, selecteren, insluiten, vergelijken en tokeniseren. Merk op dat dit voorbeeld een instantie ml.p4d.24xlarge gebruikt. Als uw standaardlimiet voor uw AWS-account 0 is, moet u een limietverhoging aanvragen voor deze GPU-instantie.

SageMaker biedt een beheerde notebookervaring via SageMaker Studio. Voor meer informatie over het instellen van SageMaker Studio, zie de Amazon SageMaker-ontwikkelaarsgids. We gaan deze GitHub-repo in deze demo klonen naar de SageMaker Studio, maar de notebook werkt ook in andere omgevingen.

Laten we eens kijken hoe we de notebook kunnen gebruiken:

1. Ga naar de modelkaart in het gedeelte Ontdekken in dit blogbericht en selecteer Notitieboekje bekijken. Je zou een nieuw tabblad moeten zien openen in GitHub met de Lyra-fr-notebook.
2. Selecteer in GitHub lightonmuse-sagemaker-sdk; dit brengt je naar de repo. Selecteer de Code knop en kopieer de HTTPS-URL.
   
3. Open SageMaker Studio. Selecteer Een opslagplaats klonen en plak vervolgens de van boven gekopieerde URL in.
   
4. Navigeer naar de Lyra-fr-notebook met behulp van de bestandsbrowser aan de linkerkant.
5. Deze notebook werkt end-to-end zonder dat extra invoer nodig is en ruimt ook de bronnen op die het creëert. We kunnen het voorbeeld 'Create gebruiken voor sentimentanalyse' bekijken. Dit voorbeeld maakt gebruik van de Lyra Python SDK en demonstreert het leren in kleine stappen door het model te leren met een paar voorbeelden van welke tekst moet worden gecategoriseerd als positief (positifs), negatief (négatifs) of gemengd (mitigés).
6. U kunt zien dat u met de Lyra Python SDK alleen de naam van het SageMaker-eindpunt en de invoer hoeft op te geven. De SDK regelt al het parseren, formatteren en instellen voor u.
   
7. Als u deze prompt uitvoert, wordt geretourneerd dat de laatste instructie positief is.
   

Opruimen

Nadat u het eindpunt hebt getest, moet u ervoor zorgen dat u het SageMaker-inferentie-eindpunt en het model verwijdert om te voorkomen dat er kosten in rekening worden gebracht.

Conclusie

In dit bericht hebben we je laten zien hoe je het Lyra-fr-model kunt ontdekken, testen en implementeren met Amazon SageMaker. Vraag toegang tot probeer het funderingsmodel uit in SageMaker vandaag, en laat ons uw feedback weten!

---

Over de auteurs

Jacopo Poli is de CTO van LightOn, verantwoordelijk voor strategische technische keuzes voor het bedrijf bij het bouwen van zeer grote taalmodellen en deze aan het publiek aanbieden. Hij is gepassioneerd door de democratisering van Machine Learning via intuïtieve interfaces. In zijn vrije tijd geniet hij van de zoektocht naar de beste restaurants in Parijs.

Alan Tan is Senior Product Manager bij SageMaker en leidt inspanningen op het gebied van grote modelinferentie. Hij heeft een passie voor het toepassen van machine learning op het gebied van analytics. Buiten zijn werk geniet hij van het buitenleven.