Ebben a bejegyzésben bemutatjuk, hogyan valósíthatja meg az egyik legtöbbet letöltött Hugging Face előképzett, szöveges összegzésre használt modellt, DistilBART-CNN-12-6, egy Jupyter notebookon belül használja Amazon SageMaker és a SageMaker Hugging Face Inference Toolkit. Az ebben a bejegyzésben bemutatott lépések alapján megpróbálhatja összefoglalni a szöveget a WikiText-2 adatbázisba a fast.ai által kezelt, elérhető a Nyílt adatok nyilvántartása az AWS-en.
A globális adatmennyiség zettabájtos léptékben növekszik, ahogy a vállalatok és a fogyasztók bővítik digitális termékek és online szolgáltatások használatát. A növekvő adatok jobb megértése érdekében a szövegelemzésre szolgáló gépi tanulási (ML) természetes nyelvi feldolgozási (NLP) technikákat fejlesztették ki, hogy kezeljék a szövegösszegzést, entitásfelismerést, osztályozást, fordítást stb. Az AWS előre kiképzett AWS AI szolgáltatások amelyek API-hívásokkal integrálhatók alkalmazásokba, és nem igényelnek ML-tapasztalatot. Például, Amazon Comprehend NLP-feladatokat hajthat végre, például egyéni entitásfelismerést, hangulatelemzést, kulcskifejezés-kivonást, témamodellezést és sok mást, hogy betekintést nyerjen a szövegből. Képes teljesíteni szövegelemzés sokféle nyelven különféle tulajdonságai miatt.
A szövegösszegzés hasznos technika nagy mennyiségű szöveges adat megértésében, mivel a forrásdokumentumokból kontextuálisan értelmes információk részhalmazát hozza létre. Alkalmazhatja ezt az NLP-technikát hosszabb formátumú szöveges dokumentumokra és cikkekre, ami gyorsabb felhasználást és hatékonyabb dokumentumindexelést tesz lehetővé, például az értekezletek hívási jegyzeteinek összegzéséhez.
Átölelő arc egy népszerű nyílt forráskódú könyvtár az NLP számára, több mint 49,000 185 előre betanított modellel több mint XNUMX nyelven, különböző keretrendszerek támogatásával. Az AWS és Hugging Face rendelkezik a partnerség amely lehetővé teszi a SageMakeren keresztüli zökkenőmentes integrációt az AWS Deep Learning Container (DLC) készletével a PyTorch vagy TensorFlow oktatáshoz és következtetésekhez, valamint Hugging Face becslésekhez és előrejelzőkhöz a SageMaker Python SDK számára. A SageMaker ezen képességei segítenek a fejlesztőknek és az adatkutatóknak könnyebben elkezdeni az NLP-t az AWS-en. A szövegek transzformátorokkal való feldolgozása mély tanulási keretrendszerekben, például a PyTorchban, jellemzően összetett és időigényes feladat az adattudósok számára, ami gyakran frusztrációhoz és hatékonysághiányhoz vezet az NLP-projektek fejlesztése során. Az AI-közösségek, például a Hugging Face térnyerése, valamint a felhőben található ML-szolgáltatások, például a SageMaker, felgyorsítja és leegyszerűsíti e szövegfeldolgozási feladatok fejlesztését. A SageMaker segít a Hugging Face modellek felépítésében, betanításában, üzembe helyezésében és üzembe helyezésében.
Szöveges összefoglaló áttekintése
Alkalmazhat szöveges összegzést a kulcsmondatok azonosítására egy dokumentumon belül, vagy azonosíthatja a kulcsmondatokat több dokumentumban. A szöveges összefoglalás kétféle összefoglalót készíthet: kivonatoló és absztrakciós. A kivonatolt összefoglalók nem tartalmaznak géppel generált szöveget, és a beviteli dokumentumból kiválasztott fontos mondatok gyűjteményei. Az absztrakt összefoglalók új, ember által olvasható kifejezéseket és mondatokat tartalmaznak, amelyeket a szövegösszegzési modell generál. A legtöbb szövegösszefoglaló rendszer kivonatoló összefoglaláson alapul, mivel nehéz pontos absztrakt szövegösszegzést elérni.
A Hugging Face több mint 400 előre kiképzett legmodernebb eszközzel rendelkezik szöveges összefoglaló modellek állnak rendelkezésre, az NLP technikák különböző kombinációinak megvalósítása. Ezeket a modelleket különböző adatkészletekre képezték ki, amelyeket technológiai cégek és a Hugging Face közösség tagjai töltöttek fel és tartanak fenn. A modelleket szűrheti a legtöbb letöltött vagy leginkább kedvelt szerint, és közvetlenül betöltheti őket a összefoglaló csővezeték Hugging Face transzformátor API. A Hugging Face transzformátor leegyszerűsíti az NLP megvalósítási folyamatát, így a nagy teljesítményű NLP modellek finomhangolhatók szöveges összefoglalók készítésére anélkül, hogy széleskörű ML műveleti ismeretekre lenne szükség.
Ölelőarc szövegösszefoglaló modellek az AWS-en
A SageMaker az üzleti elemzők, adattudósok és MLOps mérnökök számára különféle eszközöket kínál az ML munkaterhelések AWS-en történő tervezéséhez és működtetéséhez. Ezek az eszközök az ML modellek gyorsabb megvalósítását és tesztelését biztosítják az optimális eredmények elérése érdekében.
Tól SageMaker Hugging Face Inference Toolkit, amely egy nyílt forráskódú könyvtár, három különböző módot vázol fel a Hugging Face szövegösszegzési modellek megvalósítására és fogadására Jupyter notebook használatával:
- Átölelődő arc összefoglaló csővezeték - Hozzon létre egy Átölelődő arc összefoglaló csővezeték használni a "
summarization
” feladatazonosítót, hogy egy alapértelmezett szöveges összegzési modellt használjon a Jupyter-jegyzetfüzeten belüli következtetésekhez. Ezek a folyamatok elvonatkoztatják az összetett kódot, és a kezdő ML-gyakorlóknak egy egyszerű API-t kínálnak a szövegösszegzés gyors megvalósításához, következtetési végpont konfigurálása nélkül. A folyamat azt is lehetővé teszi az ML gyakorló számára, hogy válasszon egy adott előre betanított modellt és a kapcsolódó tokenizátort. A tokenizátorok a szöveget szavakra vagy részszavakra bontva készítik elő a szöveget, hogy készen álljon a modell bemenetére, amelyeket aztán egy keresőtáblázaton keresztül azonosítókká alakítanak át. Az egyszerűség kedvéért a következő kódrészlet biztosítja az alapértelmezett esetet a folyamatok használatakor. A DistilBART-CNN-12-6 modell a Hugging Face egyik legtöbbet letöltött összefoglaló modellje, és az az összegzési folyamat alapértelmezett modellje. Az utolsó sor meghívja az előre betanított modellt, hogy összefoglalót kapjon az átadott szövegről a megadott két argumentum mellett. - SageMaker végpont előre betanított modellel – Hozzon létre egy SageMaker végpontot egy előre betanított modellel a Átölelő arcmodell központ és telepítse azt egy következtetési végpontra, például a következő kódrészletben található ml.m5.xlarge példányra. Ez a módszer lehetővé teszi a tapasztalt ML-szakemberek számára, hogy gyorsan kiválasszanak bizonyos nyílt forráskódú modelleket, finomhangolják azokat, és telepítsék a modelleket a nagy teljesítményű következtetési példányokra.
- SageMaker végpont egy betanított modellel – Hozzon létre egy SageMaker-modell végpontot egy betanított modellel, amelyet egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) tárolót, és telepítse azt egy következtetési végponton. Ez a módszer lehetővé teszi a tapasztalt ML szakemberek számára, hogy gyorsan telepítsék az Amazon S3-on tárolt saját modelleiket a nagy teljesítményű következtetési példányokra. Magát a modellt a Hugging Face oldaláról töltik le és tömörítik, majd feltöltik az Amazon S3-ra. Ezt a lépést a következő kódrészlet mutatja be:
Az AWS számos erőforrással rendelkezik, amelyek segítenek az ML-munkaterhelések üzembe helyezésében. A Gépi tanulási objektív az AWS jól felépített keretrendszer az ML munkaterhelések bevált gyakorlatait ajánlja, beleértve az erőforrások optimalizálását és a költségek csökkentését. Ezek az ajánlott tervezési elvek biztosítják, hogy az AWS-en jól megtervezett ML-munkaterhelések kerüljenek a termelésbe. Amazon SageMaker Inference Recommender segít kiválasztani a megfelelő példányt az ML modellek optimális következtetési teljesítmény és költség melletti üzembe helyezéséhez. Az Inference Recommender felgyorsítja a modell üzembe helyezését és csökkenti a piacra kerülési időt azáltal, hogy automatizálja a terhelési tesztelést és optimalizálja a modell teljesítményét az ML példányokon.
A következő szakaszokban bemutatjuk, hogyan töltsünk be egy betanított modellt egy S3 tárolóból, és helyezzük üzembe egy megfelelő következtetési példányban.
Előfeltételek
Ehhez az áttekintéshez a következő előfeltételekkel kell rendelkeznie:
- An AWS-fiók.
- Egy Jupyter notebook belül Amazon SageMaker Studio or SageMaker notebook instances. In this post, we use the “Python 3 (PyTorch 1.4 Python 3.6 CPU Optimized)” image with the provided code snippets, but you can use any other higher version PyTorch image from the available SageMaker kernels.
- A dataset in your S3 bucket, such as the WikiText-2 adatkészlet a Nyílt adatok nyilvántartása az AWS-en.
Töltse be a Hugging Face modellt a SageMakerbe a szövegösszegzési következtetéshez
Használja a következő kódot a Hugging Face előre betanított szöveges összefoglaló modell letöltéséhez DistilBART-CNN-12-6 és annak tokenizátorát, és mentse el őket helyben a SageMakerben a Jupyter notebook könyvtárába:
Tömörítse a mentett szövegösszegző modellt és annak tokenizátorát tar.gz formátumba, és töltse fel a tömörített modell melléktermékét egy S3 tárolóba:
Válasszon ki egy következtetés Docker-tároló képe a szövegösszegzési következtetés végrehajtásához. Határozza meg a Linux operációs rendszert, a PyTorch keretrendszert és a Hugging Face Transformer verziót, és adja meg a Amazon rugalmas számítási felhő (Amazon EC2) példánytípus a tároló futtatásához.
A Docker kép elérhető a Amazon Elastic Container Registry (Amazon ECR) ugyanahhoz az AWS-fiókhoz, és az adott tárolókép hivatkozása URI-ként jelenik meg.
Határozza meg a szövegösszegzési modellt, amelyet a kiválasztott konténerkép következtetést hajt végre. A következő kódrészletben az Amazon S3-ra feltöltött tömörített modell kerül telepítésre:
Tesztelje a telepített szövegösszegzési modellt egy mintabevitelen:
Használja a Következtetési javaslatot a következtetési feladat optimális EC2 példányának kiértékeléséhez
Ezután hozzon létre több hasznos adatmintát a bemeneti szövegből JSON formátumban, és tömörítse őket egyetlen hasznos fájlba. Ezeket a hasznos adatmintákat az Inference Recommender használja a következtetések teljesítményének összehasonlítására a különböző EC2 példánytípusok között. A minta hasznos adatok mindegyikének meg kell egyeznie a korábban bemutatott JSON-formátummal. Példákat kaphat a WikiText-2 adatbázisba a fast.ai által kezelt, elérhető a Nyílt adatok nyilvántartása az AWS-en.
Töltse fel a tömörített szövegösszegzési modell melléktermékét és a tömörített minta hasznos fájlját az S3 tárolóba. A modellt egy korábbi lépésben töltöttük fel, de az egyértelműség kedvéért mellékeljük az újbóli feltöltéshez szükséges kódot:
Tekintse át a SageMaker-en elérhető szabványos ML modellek listáját közös modell állatkertek, mint például az NLP és a számítógépes látás. Válasszon ki egy NLP-modellt a szövegösszegzési következtetés végrehajtásához:
A következő példa a bert-base-cased
NLP modell. Regisztrálja a szöveges összefoglaló modellt a SageMaker modellnyilvántartás az előző lépésben helyesen azonosított domainnel, keretrendszerrel és feladattal. A példa paraméterei a következő kódrészlet elején láthatók.
Vegye figyelembe az Inference Recommender által kiértékelendő EC2-példánytípusok tartományát SupportedRealtimeInferenceInstanceTypes
a következő kódban. Győződjön meg arról, hogy a az AWS-fiók szolgáltatási korlátait lehetővé teszik az ilyen típusú következtetési csomópontok telepítését.
Hozzon létre egy Inference Recommender alapértelmezett feladatot a ModelPackageVersion
az előző lépés eredményeként. A uuid
A Python könyvtár a feladat egyedi nevének generálására szolgál.
Az Inference Recommender job állapotát a következő kód futtatásával érheti el:
Amikor a munka állapota COMPLETED
, hasonlítsa össze az Inference Recommender alapértelmezett job által kiértékelt EC2 példánytípusok következtetési késését, futási idejét és egyéb mérőszámait. Válassza ki a megfelelő csomóponttípust a használati eset követelményei alapján.
Következtetés
A SageMaker többféle módot kínál a Hugging Face modellek használatára; további példákért nézze meg a AWS minták GitHub. A használati eset összetettségétől és a modell finomhangolásának szükségességétől függően kiválaszthatja a modellek használatának optimális módját. A Hugging Face csővezetékek jó kiindulópontok lehetnek a gyors kísérletezéshez és a megfelelő modellek kiválasztásához. Ha testre kell szabnia és paramétereznie kell a kiválasztott modelleket, letöltheti a modelleket, és testreszabott következtetési végpontokra telepítheti őket. Ahhoz, hogy a modellt egy adott használati esetre jobban finomhangolhassa, a letöltés után betanítania kell a modellt.
Az NLP-modellek általában, beleértve a szöveges összegzési modelleket is, jobban teljesítenek, miután betanították őket egy adott használati esetre jellemző adatkészletre. A SageMaker MLOP-jai és modellfigyelő szolgáltatásai biztosítják, hogy a telepített modell továbbra is az elvárásokon belül teljesítsen. Ebben a bejegyzésben az Inference Recommender segítségével értékeltük ki a szövegösszegzési modell telepítéséhez legmegfelelőbb példánytípust. Ezek az ajánlások optimalizálhatják a teljesítményt és a költségeket az Ön ML használati esetéhez.
A szerzőkről
Dr. Nidal AlBeiruti az Amazon Web Services vezető megoldástervezője, szenvedélye a gépi tanulási megoldások iránt. A Nidal több mint 25 éves tapasztalattal rendelkezik számos globális IT-szerepkörben, különböző szinteken és ágazatokban. A Nidal sok AWS-ügyfél megbízható tanácsadójaként támogatja és felgyorsítja a felhőbe való áttérésüket.
Darren Ko londoni székhelyű Solutions Architect. Tanácsokat ad az Egyesült Királyságban és Írországban kis- és középvállalkozások ügyfeleinek a felhőben való újratervezéshez és innovációhoz. Darrent érdeklik a szerver nélküli architektúrákkal épített alkalmazások, és szenvedélyesen foglalkozik a fenntarthatósági kihívások gépi tanulással történő megoldásával.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Source: https://aws.amazon.com/blogs/machine-learning/text-summarization-with-amazon-sagemaker-and-hugging-face/
- '
- "
- 000
- 10
- 100
- 28
- a
- Rólunk
- KIVONAT
- gyorsul
- Fiók
- pontos
- Elérése
- át
- cím
- Örökbefogadás
- tanácsadó
- AI
- lehetővé teszi, hogy
- amazon
- Az Amazon Web Services
- Összegek
- elemzés
- api
- Apple
- alkalmazások
- alkalmaz
- érvek
- cikkek
- társult
- automatizálás
- elérhető
- Díjazott
- AWS
- mert
- Kezdet
- hogy
- BEST
- legjobb gyakorlatok
- között
- épít
- üzleti
- hívás
- Kaphat
- képességek
- eset
- esetek
- kihívások
- választás
- osztály
- besorolás
- felhő
- kód
- gyűjtemény
- kombinációk
- kombinált
- Közösségek
- közösség
- Companies
- bonyolult
- Kiszámít
- számítógép
- Configuration
- Fogyasztók
- fogyasztás
- Konténer
- Konténerek
- tovább
- teremt
- teremt
- szokás
- Ügyfelek
- testre
- dátum
- nap
- mély
- kézbesítés
- bizonyítani
- igazolták
- attól
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- Design
- fejlesztők
- fejlesztése
- Fejlesztés
- különböző
- nehéz
- digitális
- közvetlenül
- kijelző
- Dokkmunkás
- Orvos
- dokumentumok
- domain
- domainek
- letöltés
- minden
- könnyen
- Hatékony
- hatékonyság
- lehetővé téve
- Endpoint
- Mérnökök
- egység
- Környezet
- értékelni
- példa
- példák
- Bontsa
- várakozások
- tapasztalat
- tapasztalt
- kísérlet
- kiterjedt
- Arc
- GYORS
- gyorsabb
- Jellemzők
- következő
- formátum
- Keretrendszer
- keretek
- ból ből
- általános
- generál
- generált
- Globális
- jó
- Növekvő
- segít
- hasznos
- segít
- <p></p>
- Hogyan
- How To
- HTTPS
- Kerékagy
- ember által olvasható
- azonosítani
- kép
- végre
- végrehajtás
- végrehajtási
- fontos
- tartalmaz
- Beleértve
- információ
- újító
- bemenet
- meglátások
- példa
- integrált
- integráció
- érdekelt
- Írország
- IT
- maga
- Munka
- utazás
- Kulcs
- tudás
- nyelv
- Nyelvek
- nagy
- vezető
- tanulás
- szintek
- könyvtár
- határértékek
- vonal
- LINK
- linux
- Lista
- kiszámításának
- helyileg
- London
- lookup
- gép
- gépi tanulás
- csinál
- piacára
- Mérkőzés
- jelentőségteljes
- találkozók
- Partnerek
- Metrics
- ML
- modell
- modellek
- ellenőrzés
- több
- a legtöbb
- többszörös
- Természetes
- következő
- csomópontok
- jegyzetfüzet
- Megjegyzések
- felajánlás
- Ajánlatok
- online
- nyitva
- működik
- működés
- Optimalizálja
- optimalizált
- optimalizálása
- Más
- saját
- szenvedély
- szenvedélyes
- teljesítmény
- előadó
- kifejezés
- pont
- Népszerű
- hatalom
- Készít
- előző
- folyamat
- feldolgozás
- gyárt
- Termelés
- Termékek
- projektek
- ad
- feltéve,
- biztosít
- gyorsan
- hatótávolság
- ajánlja
- csökkentő
- vidék
- Regisztráció
- kérni
- szükség
- követelmények
- Tudástár
- kapott
- Szerep
- futás
- futás
- azonos
- Skála
- tudósok
- sdk
- zökkenőmentes
- kiválasztott
- érzés
- vagy szerver
- Szolgáltatások
- készlet
- számos
- mutatott
- Egyszerű
- egyetlen
- So
- Megoldások
- különleges
- sebesség
- standard
- kezdődött
- csúcs-
- Állapot
- tárolás
- támogatás
- Fenntarthatóság
- Systems
- feladatok
- technikák
- Technológia
- Tesztelés
- A
- három
- Keresztül
- idő
- időigényes
- szerszámok
- téma
- Képzések
- Fordítás
- Megbízható
- típusok
- jellemzően
- Uk
- alatt
- megért
- megértés
- egyedi
- használ
- fajta
- különféle
- változat
- függőlegesek
- látomás
- kötetek
- módon
- háló
- webes szolgáltatások
- belül
- nélkül
- szavak
- dolgozó
- X
- év
- A te