LightOn Lyra-fr-modellen är nu tillgänglig på Amazon SageMaker

Vi är glada över att kunna meddela att LightOn Lyra-fr-grundmodellen är tillgänglig för kunder som använder Amazon SageMaker. LightOn är ledande inom att bygga grundmodeller som är specialiserade på europeiska språk. Lyra-fr är en toppmodern fransk språkmodell som kan användas för att bygga konversations-AI, copywriting-verktyg, textklassificerare, semantisk sökning och mer. Du kan enkelt prova denna modell och använda den med Amazon SageMaker JumpStart. JumpStart är maskininlärningsnavet (ML) i SageMaker som ger tillgång till grundmodeller utöver inbyggda algoritmer och helhetslösningsmallar för att hjälpa dig att snabbt komma igång med ML.

I den här bloggen kommer vi att visa hur man använder Lyra-fr-modellen i SageMaker.

Grundmodeller

Grundmodeller är vanligtvis tränade på miljarder parametrar och kan anpassas till en bred kategori av användningsfall. De mest kända grundmodellerna idag används för att sammanfatta artiklar, skapa digital konst och generera kod från enkla textinstruktioner. Dessa modeller är dyra att träna, så kunderna vill använda befintliga förutbildade grundmodeller och finjustera dem efter behov snarare än att träna dessa modeller själva. SageMaker tillhandahåller en utvald lista över modeller som du kan välja mellan på SageMaker-konsolen. Du kan testa dessa modeller direkt på webbgränssnittet. När du vill använda en grundmodell i stor skala kan du göra det enkelt utan att lämna SageMaker genom att använda förbyggda bärbara datorer från modellleverantörer. Eftersom modellerna är värd och distribueras på AWS kan du vara säker på att din data, oavsett om den används för att utvärdera eller använda modellen i stor skala, aldrig delas med tredje part.

Lyra-fr är den största franska språkmodellen som finns på marknaden idag. Det är en modell med 10 miljarder parametrar, utbildad och tillgänglig av LightOn. Lyra-fr utbildades på en stor korpus av franska kurerade data, och den är kapabel att skriva människoliknande text och lösa komplexa uppgifter som klassificering, svar på frågor och sammanfattning. Allt detta samtidigt som en rimlig slutledningshastighet bibehålls, inom intervallet 1–2 sekunder för den genomsnittliga begäran. Du kan helt enkelt beskriva uppgiften du vill utföra på ett naturligt språk, och Lyra-fr kommer att generera svar på samma nivå som en fransktalande som modersmål. Lyra-fr erbjuder affärsfärdiga intelligensprimitiver, såsom styrbar generering och textklassificering, på bara några rader kod. För mer utmanande uppgifter kan prestandan förbättras i ett "få skott"-inlärningsläge, vilket ger ett par input-output-exempel i prompten.

Använder Lyra-fr på SageMaker

Vi tar dig på en genomgång av hur du använder Lyra-fr-modellen i tre enkla steg:

• Upptäck – Hitta Lyra-fr-modellen på AWS Management Console för SageMaker.
• Testa – Testa modellen med hjälp av webbgränssnittet.
• Distribuera – Använd en bärbar dator för att distribuera och testa modellens avancerade funktioner.

Upptäck

För att göra det enkelt att upptäcka grundmodeller som Lyra-fr har vi samlat alla grundmodeller på ett ställe. Så här hittar du Lyra-fr-modellen:

1. Logga in på AWS Management Console för SageMaker.
2. På den vänstra navigeringspanelen bör du se ett avsnitt som heter Försprång med Grundmodeller under den. Begär tillgång till den här funktionen om du inte har tillgång ännu.
3. När ditt konto är tillåtet ser du en lista med modeller till höger. Det är här du hittar Lyra-fr 10B-modellen.
   
4. Genom att klicka på Visa modell kommer att visa hela modellkortet med ytterligare alternativ.
   

Testa

Ett vanligt användningsfall är att köra ad hoc-tester för att säkerställa att modellen uppfyller dina behov. Du kan testa Lyra-fr-modellen direkt från SageMaker-konsolen. I det här exemplet kommer vi att använda en enkel textuppmaning genom att be modellen skapa en lista med artikelidéer för ämnet "akvarell" eller "l'aquarelle" på franska.

1. Välj från modellkortet som visas i föregående avsnitt Prova modellen. Detta öppnar en ny flik med testgränssnittet.
2. På det här gränssnittet, ange den textinmatning du vill skicka till modellen. Du kan också ställa in alla parametrar du vill med hjälp av reglagen till höger. När du är nöjd väljer du Skapa text.
   

Observera att grundmodeller och deras utdata kommer från modellleverantören och AWS ansvarar inte för innehållet eller noggrannheten i dem.

Distribuera

Textgenereringsmodeller fungerar bäst när du ger exempel på information som du vill att modellen ska ge. Detta kallas få-shot-inlärning. Vi kommer att demonstrera denna funktion med hjälp av Lyra-fr exempelanteckningsboken. Exempelanteckningsboken går igenom hur man distribuerar Lyra-fr-modellen på SageMaker, hur man sammanfattar och genererar text och inlärning med få skott.

Den innehåller också exempel på att göra slutledningsbegäranden direkt med JSON eller med Lyra Python SDK. Lyra Python SDK tar hand om att formatera indata, anropa slutpunkten och packa upp utdata. Det finns en klass per slutpunkt: Skapa, Analysera, Välj, Bädda in, Jämför och Tokenisera. Observera att det här exemplet använder en ml.p4d.24xlarge-instans. Om din standardgräns för ditt AWS-konto är 0, måste du begära en höjning av gränsen för denna GPU-instans.

SageMaker erbjuder en hanterad notebook-upplevelse genom SageMaker Studio. För detaljer om hur du ställer in SageMaker Studio, se Amazon SageMaker Developer Guide. Vi kommer att klona denna GitHub-repo i SageMaker Studio i den här demon, men den bärbara datorn kommer att fungera i andra miljöer också.

Låt oss ta en titt på hur du kör anteckningsboken:

1. Gå till modellkortet från Discover-sektionen i det här blogginlägget och välj Visa anteckningsbok. Du bör se en ny flik öppen i GitHub med Lyra-fr anteckningsboken.
2. I GitHub, välj lightonmuse-sagemaker-sdk; detta tar dig till repo. Välj Koda och kopiera HTTPS URL.
   
3. Öppna SageMaker Studio. Välj Klona ett arkiv och klistra sedan in webbadressen som kopierats ovanifrån.
   
4. Navigera till Lyra-fr-anteckningsboken med hjälp av filläsaren till vänster.
5. Den här anteckningsboken körs från början utan att ytterligare indata behövs och rensar också upp de resurser den skapar. Vi kan ta en titt på exemplet "använder Skapa för sentimentanalys". Det här exemplet använder Lyra Python SDK och demonstrerar få-shot-inlärning genom att lära ut modellen med några exempel på vilken text som ska kategoriseras som positiv (positifs), negativ (négatifs) eller blandad (mitigés).
6. Du kan se att, med Lyra Python SDK, allt du behöver göra är att ange namnet på SageMaker-slutpunkten och ingången. SDK:n hanterar all analys, formatering och installation åt dig.
   
7. Att köra denna prompt returnerar att det sista uttalandet är positivt.
   

Städa upp

Efter att du har testat slutpunkten, se till att du tar bort SageMaker slutpunkten och tar bort modellen för att undvika avgifter.

Slutsats

I det här inlägget visade vi dig hur du upptäcker, testar och distribuerar Lyra-fr-modellen med Amazon SageMaker. Begär tillgång till prova grundmodellen i SageMaker idag och låt oss veta din feedback!

---

Om författarna

Iacopo Poli är CTO för LightOn, ansvarig för strategiska tekniska val för företaget i att bygga mycket stora språkmodeller och erbjuda dem till allmänheten. Han brinner för demokratisering av Machine Learning genom intuitiva gränssnitt. På fritiden njuter han av jakten på de bästa restaurangerna i Paris.

Alan Tan är en Senior Product Manager hos SageMaker, som leder arbetet med att slutföra stora modeller. Han brinner för att tillämpa maskininlärning på analysområdet. Utanför jobbet tycker han om att vara utomhus.