Das LightOn Lyra-fr-Modell ist jetzt bei Amazon SageMaker verfügbar

Wir freuen uns, die Verfügbarkeit des LightOn Lyra-fr-Basismodells für Kunden bekannt zu geben, die Amazon SageMaker verwenden. LightOn ist führend in der Erstellung von Grundlagenmodellen, die auf europäische Sprachen spezialisiert sind. Lyra-fr ist ein hochmodernes französisches Sprachmodell, das zum Erstellen von Konversations-KI, Copywriting-Tools, Textklassifikatoren, semantischer Suche und mehr verwendet werden kann. Sie können dieses Modell ganz einfach ausprobieren und damit verwenden Amazon SageMaker-JumpStart. JumpStart ist der Hub für maschinelles Lernen (ML) von SageMaker, der neben integrierten Algorithmen und End-to-End-Lösungsvorlagen Zugriff auf grundlegende Modelle bietet, um Ihnen den schnellen Einstieg in ML zu erleichtern.

In diesem Blog demonstrieren wir die Verwendung des Lyra-fr-Modells in SageMaker.

Gründungsmodelle

Foundation-Modelle werden in der Regel mit Milliarden von Parametern trainiert und können an eine Vielzahl von Anwendungsfällen angepasst werden. Die heute bekanntesten Grundlagenmodelle werden verwendet, um Artikel zusammenzufassen, digitale Kunst zu erstellen und Code aus einfachen Textanweisungen zu generieren. Das Trainieren dieser Modelle ist teuer, daher möchten Kunden vorhandene vortrainierte Basismodelle verwenden und sie nach Bedarf feinabstimmen, anstatt diese Modelle selbst zu trainieren. SageMaker bietet eine kuratierte Liste von Modellen, aus denen Sie in der SageMaker-Konsole auswählen können. Diese Modelle können Sie direkt auf der Weboberfläche testen. Wenn Sie ein grundlegendes Modell in großem Umfang verwenden möchten, können Sie dies ganz einfach tun, ohne SageMaker zu verlassen, indem Sie vorgefertigte Notebooks von Modellanbietern verwenden. Da die Modelle auf AWS gehostet und bereitgestellt werden, können Sie sicher sein, dass Ihre Daten, unabhängig davon, ob sie zur Bewertung oder zur Nutzung des Modells in großem Maßstab verwendet werden, niemals an Dritte weitergegeben werden.

Lyra-fr ist das größte französische Sprachmodell, das heute auf dem Markt erhältlich ist. Es ist ein Modell mit 10 Milliarden Parametern, das von LightOn trainiert und zugänglich gemacht wurde. Lyra-fr wurde auf einem großen Korpus französischer kuratierter Daten trainiert und ist in der Lage, menschenähnlichen Text zu schreiben und komplexe Aufgaben wie Klassifizierung, Beantwortung von Fragen und Zusammenfassung zu lösen. All dies unter Beibehaltung einer angemessenen Inferenzgeschwindigkeit im Bereich von 1–2 Sekunden für die durchschnittliche Anfrage. Sie können die Aufgabe, die Sie ausführen möchten, einfach in natürlicher Sprache beschreiben, und Lyra-fr generiert Antworten auf dem Niveau eines französischen Muttersprachlers. Lyra-fr bietet in nur wenigen Codezeilen betriebsbereite Intelligenzprimitive wie steuerbare Generierung und Textklassifizierung. Bei anspruchsvolleren Aufgaben kann die Leistung in einem Lernmodus mit wenigen Schüssen verbessert werden, indem in der Eingabeaufforderung einige Eingabe-Ausgabe-Beispiele bereitgestellt werden.

Verwenden von Lyra-fr auf SageMaker

Wir führen Sie in 3 einfachen Schritten durch die Verwendung des Lyra-fr-Modells:

• Lesen Sie – Suchen Sie das Lyra-fr-Modell in der AWS-Managementkonsole für SageMaker.
• Test – Testen Sie das Modell über die Weboberfläche.
• Deploy – Verwenden Sie ein Notebook, um die erweiterten Funktionen des Modells bereitzustellen und zu testen.

Lesen Sie

Um das Entdecken von Foundation-Modellen wie der Lyra-fr zu erleichtern, haben wir alle Foundation-Modelle an einem Ort konsolidiert. So finden Sie das Lyra-fr-Modell:

1. Melden Sie sich bei der an AWS-Managementkonsole für SageMaker.
2. Auf der linken Navigationsleiste sollten Sie einen Abschnitt namens sehen Starthilfe mit Gründungsmodelle darunter. Fordern Sie den Zugriff auf diese Funktion an, wenn Sie noch keinen Zugriff haben.
3. Sobald Ihr Konto auf der Zulassungsliste steht, sehen Sie auf der rechten Seite eine Liste mit Modellen. Hier finden Sie das Modell Lyra-fr 10B.
   
4. Mit einem Klick auf Modell ansehen zeigt die vollständige Modellkarte mit zusätzlichen Optionen.
   

Test

Ein häufiger Anwendungsfall ist die Durchführung von Ad-hoc-Tests, um sicherzustellen, dass das Modell Ihren Anforderungen entspricht. Sie können das Lyra-fr-Modell direkt von der SageMaker-Konsole aus testen. In diesem Beispiel verwenden wir eine einfache Texteingabeaufforderung, indem wir das Modell bitten, eine Liste mit Artikelideen zum Thema „Aquarell“ oder „l'aquarelle“ auf Französisch zu erstellen.

1. Wählen Sie aus der im vorherigen Abschnitt gezeigten Modellkarte aus Modell ausprobieren. Dadurch wird eine neue Registerkarte mit der Testoberfläche geöffnet.
2. Geben Sie auf dieser Schnittstelle die Texteingabe an, die Sie an das Modell übergeben möchten. Sie können auch alle gewünschten Parameter mit den Schiebereglern auf der rechten Seite einstellen. Wenn Sie zufrieden sind, wählen Sie aus Text generieren.
   

Beachten Sie, dass Basismodelle und ihre Ausgabe vom Modellanbieter stammen und AWS nicht für den Inhalt oder die Genauigkeit darin verantwortlich ist.

Deploy

Textgenerierungsmodelle funktionieren am besten, wenn Sie Beispiele für Informationen bereitstellen, die das Modell bereitstellen soll. Dies wird als Lernen mit wenigen Schüssen bezeichnet. Wir werden diese Funktion mit dem Lyra-fr-Beispielnotebook demonstrieren. Das Beispiel-Notebook behandelt die Bereitstellung des Lyra-fr-Modells auf SageMaker, die Zusammenfassung und Generierung von Text sowie das Lernen in wenigen Aufnahmen.

Es enthält auch Beispiele für die Durchführung der Inferenzanforderungen direkt mit JSON oder mit dem Lyra Python SDK. Das Lyra Python SDK kümmert sich um die Formatierung der Eingabe, den Aufruf des Endpunkts und das Entpacken der Ausgabe. Es gibt eine Klasse pro Endpunkt: Erstellen, Analysieren, Auswählen, Einbetten, Vergleichen und Tokenisieren. Beachten Sie, dass dieses Beispiel eine ml.p4d.24xlarge-Instanz verwendet. Wenn Ihr Standardlimit für Ihr AWS-Konto 0 ist, müssen Sie eine Limiterhöhung für diese GPU-Instance anfordern.

SageMaker bietet ein verwaltetes Notebook-Erlebnis über SageMaker Studio. Einzelheiten zum Einrichten von SageMaker Studio finden Sie in der Amazon SageMaker-Entwicklerhandbuch. Wir werden dieses GitHub-Repo in dieser Demo in SageMaker Studio klonen, aber das Notebook funktioniert auch in anderen Umgebungen.

Schauen wir uns an, wie das Notebook ausgeführt wird:

1. Rufen Sie die Modellkarte im Abschnitt „Entdecken“ in diesem Blogbeitrag auf und wählen Sie sie aus Notizbuch ansehen. In GitHub sollte ein neuer Tab mit dem Lyra-fr-Notebook geöffnet sein.
2. Wählen Sie in GitHub aus lightonmuse-sagemaker-sdk; Dies bringt Sie zum Repo. Wähle aus Code Schaltfläche und kopieren Sie die HTTPS-URL.
   
3. Öffnen Sie SageMaker-Studio. Auswählen Klonen Sie ein Repository und fügen Sie dann die von oben kopierte URL ein.
   
4. Navigieren Sie mit dem Dateibrowser auf der linken Seite zum Lyra-fr-Notizbuch.
5. Dieses Notebook läuft durchgehend ohne zusätzliche Eingaben und bereinigt auch die von ihm erstellten Ressourcen. Wir können uns das Beispiel „Verwenden von Create für die Sentimentanalyse“ ansehen. Dieses Beispiel verwendet das Lyra Python SDK und demonstriert das Lernen in wenigen Schüssen, indem dem Modell einige Beispiele beigebracht werden, welche Texte als positiv (positiv), negativ (négatif) oder gemischt (mitigés) kategorisiert werden sollten.
6. Sie können sehen, dass Sie mit dem Lyra Python SDK nur den Namen des SageMaker-Endpunkts und die Eingabe angeben müssen. Das SDK übernimmt die gesamte Analyse, Formatierung und Einrichtung für Sie.
   
7. Das Ausführen dieser Eingabeaufforderung gibt zurück, dass die letzte Anweisung positiv ist.
   

Aufräumen

Stellen Sie nach dem Testen des Endpunkts sicher, dass Sie den SageMaker-Inferenzendpunkt und das Modell löschen, um Gebühren zu vermeiden.

Zusammenfassung

In diesem Beitrag haben wir Ihnen gezeigt, wie Sie das Lyra-fr-Modell mit Amazon SageMaker entdecken, testen und bereitstellen. Fordern Sie den Zugriff an Probieren Sie das Foundation-Modell aus in SageMaker noch heute und teilen Sie uns Ihr Feedback mit!

---

Über die Autoren

Iacopo Poli ist der CTO von LightOn und verantwortlich für strategische technische Entscheidungen für das Unternehmen beim Aufbau sehr großer Sprachmodelle und deren Bereitstellung für die Öffentlichkeit. Er setzt sich leidenschaftlich für die Demokratisierung des maschinellen Lernens durch intuitive Schnittstellen ein. In seiner Freizeit macht er sich gerne auf die Suche nach den besten Restaurants in Paris.

Alan Tan ist Senior Product Manager bei SageMaker und leitet die Bemühungen zur Inferenz großer Modelle. Er setzt sich leidenschaftlich für die Anwendung von maschinellem Lernen im Bereich Analytics ein. Außerhalb der Arbeit genießt er die Natur.