A LightOn Lyra-fr modell már elérhető az Amazon SageMakeren

Örömmel jelentjük be, hogy elérhetővé vált a LightOn Lyra-fr alapozó modell az Amazon SageMakert használó vásárlók számára. A LightOn vezető szerepet tölt be az európai nyelvekre szakosodott alapmodellek építésében. A Lyra-fr egy korszerű francia nyelvi modell, amely felhasználható társalgási mesterséges intelligencia, szövegíró eszközök, szövegosztályozók, szemantikai keresés stb. Könnyedén kipróbálhatja ezt a modellt és használhatja Amazon SageMaker JumpStart. A JumpStart a SageMaker gépi tanulási (ML) központja, amely hozzáférést biztosít az alapmodellekhez a beépített algoritmusok és a végpontok közötti megoldássablonok mellett, hogy segítsen gyorsan elkezdeni az ML-t.

Ebben a blogban bemutatjuk, hogyan kell használni a Lyra-fr modellt a SageMakerben.

Alapozó modellek

Az alapozó modellek jellemzően több milliárd paraméterre vannak kiképezve, és a felhasználási esetek széles kategóriájához adaptálhatók. A manapság legismertebb alapozási modelleket cikkek összegzésére, digitális művészet létrehozására és egyszerű szöveges utasításokból kód generálására használják. Ezeknek a modelleknek a betanítása költséges, ezért az ügyfelek a meglévő, előre betanított alapozómodelleket szeretnék használni, és szükség szerint finomhangolni őket, ahelyett, hogy maguk képeznék ki ezeket a modelleket. A SageMaker a modellek válogatott listáját kínálja, amelyek közül választhat a SageMaker konzolon. Ezeket a modelleket közvetlenül a webes felületen tesztelheti. Ha nagyszabású alapmodellt szeretne használni, ezt egyszerűen megteheti anélkül, hogy elhagyná a SageMakert a modellszolgáltatók előre elkészített notebookjainak használatával. Mivel a modelleket az AWS-en tárolják és telepítik, biztos lehet benne, hogy adatait – akár a modell kiértékeléséhez, akár nagyszabású használatához használják – soha nem osztják meg harmadik felekkel.

A Lyra-fr ma a piacon elérhető legnagyobb francia nyelvű modell. Ez egy 10 milliárd paraméteres modell, amelyet a LightOn képezett ki és tette elérhetővé. A Lyra-fr francia válogatott adatok nagy korpuszára képezte ki magát, és képes emberszerű szöveget írni és olyan összetett feladatokat megoldani, mint az osztályozás, a kérdések megválaszolása és az összegzés. Mindez az ésszerű következtetési sebesség fenntartása mellett, az átlagos kérés 1-2 másodperces tartományában. Egyszerűen leírhatja az elvégzendő feladatot természetes nyelven, és a Lyra-fr olyan szintű válaszokat generál, mint egy francia anyanyelvű. A Lyra-fr üzleti használatra kész intelligencia-primitíveket kínál, például irányítható generálást és szövegosztályozást, mindössze néhány sornyi kóddal. A nagyobb kihívást jelentő feladatokhoz a teljesítmény javítható egy „néhány lövés” tanulási módban, néhány bemeneti-kimeneti példával a promptban.

Lyra-fr használata a SageMakeren

Három egyszerű lépésben bemutatjuk, hogyan kell használni a Lyra-fr modellt:

• Ismerj meg minket – Keresse meg a Lyra-fr modellt a SageMaker AWS felügyeleti konzolján.
• Teszt – Tesztelje a modellt a webes felület segítségével.
• Telepítése – Használjon notebookot a modell fejlett képességeinek üzembe helyezéséhez és teszteléséhez.

Ismerj meg minket

Annak érdekében, hogy megkönnyítsük a Lyra-fr-hez hasonló alapozó modellek felfedezését, az összes alapozómodellt egy helyen gyűjtöttük össze. A Lyra-fr modell megtalálása:

1. Jelentkezzen be a AWS kezelőkonzol a SageMaker számára.
2. A bal oldali navigációs panelen egy szakasznak kell megjelennie ugrás indítás val vel Alapozó modellek alatta. Kérjen hozzáférést ehhez a funkcióhoz, ha még nem rendelkezik hozzáféréssel.
3. Miután fiókja felkerült az engedélyezési listára, a jobb oldalon megjelenik a modellek listája. Itt találja a Lyra-fr 10B modellt.
   
4. Kattintva Modell megtekintése megjeleníti a teljes modellkártyát további lehetőségekkel.
   

Teszt

Gyakori felhasználási eset az ad hoc tesztek futtatása, hogy megbizonyosodjon arról, hogy a modell megfelel az Ön igényeinek. A Lyra-fr modellt közvetlenül a SageMaker konzolról tesztelheti. Ebben a példában egy egyszerű szöveges promptot fogunk használni úgy, hogy megkérjük a modellt, hogy készítsen cikkötletek listáját a francia „akvarell” vagy „l'aquarelle” témához.

1. Az előző részben látható modellkártyáról válassza ki Próbálja ki a modellt. Ezzel egy új lapot nyit meg a tesztfelülettel.
2. Ezen a felületen adja meg azt a szövegbevitelt, amelyet át szeretne adni a modellnek. A jobb oldali csúszkák segítségével bármilyen kívánt paramétert beállíthat. Ha elégedett, válassza ki Szöveg generálása.
   

Vegye figyelembe, hogy az alapmodellek és kimeneteik a modellszolgáltatótól származnak, és az AWS nem vállal felelősséget a tartalomért vagy a pontosságért.

Telepítése

A szöveggenerálási modellek akkor működnek a legjobban, ha példákat ad meg azokra az információkra, amelyeket a modellnek biztosítani szeretne. Ezt nevezik néhány lépéses tanulásnak. Ezt a képességet a Lyra-fr mintafüzet segítségével fogjuk bemutatni. A mintafüzet bemutatja, hogyan telepíthető a Lyra-fr modell a SageMaker-re, hogyan lehet szöveget összefoglalni és generálni, és hogyan kell megtanulni néhány lépést.

Példákat is tartalmaz a következtetési kérések közvetlenül JSON használatával vagy a Lyra Python SDK használatával történő elkészítésére. A Lyra Python SDK gondoskodik a bemenet formázásáról, a végpont meghívásáról és a kimenet kicsomagolásáról. Végpontonként egy osztály van: Létrehozás, Elemzés, Kiválasztás, Beágyazás, Összehasonlítás és Tokenizálás. Vegye figyelembe, hogy ez a példa egy ml.p4d.24xlarge példányt használ. Ha az AWS-fiók alapértelmezett korlátja 0, kérnie kell a korlát növelését ehhez a GPU-példányhoz.

A SageMaker menedzselt notebook élményt kínál a SageMaker Studio segítségével. A SageMaker Studio beállításával kapcsolatos részletekért lásd a Amazon SageMaker fejlesztői útmutató. Ebben a demóban ezt a GitHub repót a SageMaker Stúdióba klónozzuk, de a notebook más környezetekben is működni fog.

Nézzük meg, hogyan kell futtatni a notebookot:

1. Nyissa meg a modellkártyát a blogbejegyzés Felfedezés szakaszában, és válassza ki Notebook megtekintése. Egy új lapnak kell megnyílnia a GitHubban a Lyra-fr notebook segítségével.
2. A GitHubban válassza ki a lehetőséget lightonmuse-sagemaker-sdk; ezzel eljut a repóhoz. Válaszd ki a Kód gombot, és másolja ki a HTTPS URL-t.
   
3. Nyissa meg a SageMaker Studio-t. Válassza ki Adattár klónozása majd illessze be a felülről másolt URL-t.
   
4. Navigáljon a Lyra-fr notebookhoz a bal oldali fájlböngésző segítségével.
5. Ez a jegyzetfüzet minden további nélkül fut, és megtisztítja az általa létrehozott erőforrásokat. Vessünk egy pillantást a „Létrehozás használata a hangulatelemzésre” példára. Ez a példa a Lyra Python SDK-t használja, és néhány példával bemutatja a modellt, hogy milyen szöveget kell pozitív (pozitív), negatív (négatifs) vagy vegyes (mitigés) kategóriába sorolni.
6. Látható, hogy a Lyra Python SDK-val mindössze annyit kell tennie, hogy megadja a SageMaker végpont nevét és a bemenetet. Az SDK kezeli az összes elemzést, formázást és beállítást.
   
7. A prompt futtatása azt adja vissza, hogy az utolsó állítás pozitív.
   

Tisztítsuk meg

A végpont tesztelése után feltétlenül törölje a SageMaker következtetési végpontot, és törölje a modellt, hogy elkerülje a költségeket.

Következtetés

Ebben a bejegyzésben megmutattuk, hogyan fedezheti fel, tesztelheti és telepítheti a Lyra-fr modellt az Amazon SageMaker segítségével. Kérjen hozzáférést a következőhöz próbálja ki az alapozó modellt a SageMakerben még ma, és ossza meg velünk visszajelzését!

---

A szerzőkről

Iacopo Poli a LightOn technológiai igazgatója, aki a vállalat stratégiai műszaki döntéseiért felelős a nagyon nagy nyelvi modellek felépítésében és a nyilvánosság számára történő felkínálásában. Szenvedélye a gépi tanulás demokratizálása az intuitív interfészek segítségével. Szabadidejében szívesen keresi Párizs legjobb éttermeit.

Alan Tan a SageMaker vezető termékmenedzsere, aki a nagy modellkövetkeztetések terén tett erőfeszítéseket vezeti. Szenvedélyesen szereti a gépi tanulást az analitika területén alkalmazni. Munkán kívül élvezi a szabad levegőt.