A gépi tanulási (ML) kísérletek felhőben futtatása számos szolgáltatásra és összetevőre kiterjedhet. Az ML-kísérletek szerkezetének, automatizálásának és nyomon követésének képessége elengedhetetlen az ML-modellek gyors fejlesztéséhez. Az automatizált gépi tanulás (AutoML) területén elért legújabb fejlesztésekkel, nevezetesen az ML-nek az ML folyamatok automatizálásával foglalkozó területén, pontos döntéshozatali modelleket építhet anélkül, hogy mélyreható ML-ismeretekre lenne szüksége. Ebben a bejegyzésben az AutoGluonnal foglalkozunk, egy nyílt forráskódú AutoML keretrendszerrel, amely lehetővé teszi pontos ML-modellek készítését néhány Python-sorral.
Az AWS szolgáltatások széles skáláját kínálja az ML-munkafolyamatok kezeléséhez és futtatásához, lehetővé téve, hogy készségei és alkalmazásai alapján válasszon megoldást. Például, ha már használja AWS lépésfunkciók az elosztott alkalmazások összetevőinek összehangolásához ugyanazt a szolgáltatást használhatja az ML-munkafolyamatok létrehozására és automatizálására. Az AWS által kínált egyéb MLOps eszközök közé tartozik Amazon SageMaker csővezetékek, amely lehetővé teszi ML modellek építését Amazon SageMaker Studio MLOps képességekkel (például CI/CD kompatibilitás, modellfigyelés és modelljóváhagyások). Nyílt forráskódú eszközök, mint pl apache légáramlás– AWS-en keresztül elérhető Amazon által felügyelt munkafolyamatok az Apache Airflow számára-és KubeFlow, valamint a hibrid megoldások is támogatottak. Például kezelheti az adatfeldolgozást és -feldolgozást a Step Functions segítségével, miközben betanítja és telepíti az ML-modelleket a SageMaker Pipelines segítségével.
Ebben a bejegyzésben bemutatjuk, hogy még az ML-szakértelemmel nem rendelkező fejlesztők is könnyedén építhetnek és tarthatnak karban a legkorszerűbb ML modelleket az AutoGluon segítségével. Amazon SageMaker és Step Functions a munkafolyamat-összetevők összehangolásához.
Az AutoGluon algoritmus áttekintése után bemutatjuk a munkafolyamat-definíciókat példákkal és egy kód oktatóanyag amit a saját adataidra alkalmazhatsz.
AutoGluon
Az AutoGluon egy nyílt forráskódú AutoML keretrendszer, amely felgyorsítja az ML átvételét azáltal, hogy pontos ML modelleket tanít néhány sor Python kóddal. Bár ez a bejegyzés a táblázatos adatokra összpontosít, az AutoGluon lehetővé teszi a legmodernebb modellek képzését a képosztályozáshoz, az objektumészleléshez és a szövegosztályozáshoz. Az AutoGluon táblázatos különféle modelleket hoz létre és kombinál, hogy megtalálja az optimális megoldást.
Az AWS AutoGluon csapata kiadott egy papír amely bemutatja a könyvtár felépítésének alapelveit:
- Egyszerűség – Osztályozási és regressziós modelleket hozhat létre közvetlenül nyers adatokból, anélkül, hogy elemeznie kellene az adatokat, vagy szolgáltatástervezést kellene végeznie
- robusztusság – Az általános képzési folyamatnak akkor is sikeresnek kell lennie, ha egyes modellek kudarcot vallanak
- Kiszámítható időzítés – Optimális eredményeket érhet el azon az időn belül, amennyit be szeretne fektetni az edzésbe
- Hibatűrés – Bármikor leállíthatja és folytathatja a képzést, ami optimalizálja a költségeket, ha a folyamat a felhőben lévő spot képeken fut.
Az algoritmussal kapcsolatos további részletekért lásd a papír az AWS AutoGluon csapata adta ki.
Miután telepítette a AutoGluon csomag és a függőségei miatt a modell betanítása olyan egyszerű, mint három sor kód írása:
Az AutoGluon csapata bizonyította a keret erejét azzal, hogy több Kaggle versenyen is a legjobb 10 ranglista közé jutott.
Megoldás áttekintése
A Step Functions segítségével olyan ML munkafolyamatot valósítunk meg, amely lefedi a képzést, az értékelést és a telepítést. A folyamattervezés gyors és konfigurálható kísérleteket tesz lehetővé azáltal, hogy módosítja a futás közben a folyamatba betáplált bemeneti paramétereket.
Beállíthatja a folyamatot különböző munkafolyamatok megvalósítására, például a következőkre:
- Tanítson meg egy új ML-modellt, és tárolja a SageMaker modellnyilvántartásban, ha jelenleg nincs szükség telepítésre
- Telepítsen egy előre betanított ML-modellt akár online (SageMaker végpont) vagy offline (SageMaker kötegelt transzformáció) következtetést
- Futtasson egy teljes folyamatot az ML modell betanításához, értékeléséhez és üzembe helyezéséhez
A megoldások egy általánosból állnak állapotgép (lásd a következő diagramot), amely a bemeneti paraméterek halmaza alapján hangszereli a végrehajtandó műveleteket.
Az állapotgép lépései a következők:
- Az első lépés
IsTraining
eldönti, hogy egy előre betanított modellt használunk, vagy egy modellt a semmiből tanítunk. Ha előre betanított modellt használ, az állapotgép a 7. lépésre ugrik. - Ha új ML modellre van szükség,
TrainSteps
elindít egy második állapotgépet, amely elvégzi az összes szükséges műveletet, és visszaküldi az eredményt az aktuális állapotgépnek. A következő részben részletesebben foglalkozunk a képzési állapotgéppel. - Ha az edzés befejeződött,
PassModelName
tárolja a betanítási feladat nevét az állapotgép-környezet egy meghatározott helyén, hogy a következő állapotokban újra felhasználható legyen. - Ha kiválasztunk egy értékelési szakaszt,
IsEvaluation
átirányítja az állapotgépet a kiértékelő ág felé. Ellenkező esetben a 7. lépésre ugrik. - Az értékelési szakaszt ezután egy AWS Lambda által meghívott függvény
ModelValidation
lépés. A Lambda funkció lekéri a modell teljesítményét egy tesztkészleten, és összehasonlítja azt a bemeneti paraméterekben megadott, felhasználó által konfigurálható küszöbértékkel. A következő kód egy példa az értékelési eredményekre: - Ha a modellértékelés at
EvaluationResults
sikeres, az állapotgép folytatja az esetleges telepítési lépésekkel. Ha a modell a felhasználó által meghatározott feltételek alatt teljesít, az állapotgép leáll, és a telepítés kimarad. - Ha a telepítést választja,
IsDeploy
keresztül elindít egy harmadik állapotú gépetDeploySteps
, amelyet ebben a bejegyzésben később ismertetünk. Ha nincs szükség telepítésre, az állapotgép itt megáll.
A bemeneti paraméter minták készlete elérhető a GitHub repo.
Képzési állapotgép
Az új ML-modell AutoGluon használatával betanítására szolgáló állapotgép két lépésből áll, amint azt a következő ábra szemlélteti. Az első lépés egy SageMaker képzési feladat, amely létrehozza a modellt. A második elmenti a bejegyzéseket a SageMaker modellnyilvántartásába.
Ezeket a lépéseket vagy automatikusan, a fő állapotgép részeként vagy önálló folyamatként futtathatja.
Telepítési állapot gép
Nézzük most a telepítési fázisnak szánt állapotgépet (lásd a következő ábrát). Mint korábban említettük, az architektúra támogatja az online és offline telepítést is. Az előbbi egy SageMaker végpont telepítéséből áll, míg az utóbbi egy SageMaker kötegelt átalakítási feladatot futtat.
A megvalósítás lépései a következők:
ChoiceDeploymentMode
megvizsgálja a bemeneti paramétereket, hogy meghatározza, melyik telepítési módra van szükség, és az állapotgépet a megfelelő ág felé irányítja.- Ha egy végpontot választunk, a
EndpointConfig
lépés határozza meg a konfigurációját, mígCreateEndpoint
elindítja a szükséges számítási erőforrások kiosztásának folyamatát. Ez a kiosztás több percig is eltarthat, ezért az állapotgép a következő időpontban áll leWaitForEndpoint
és egy Lambda függvényt használ a végpont állapotának lekérdezésére. - Amíg a végpont konfigurálva van,
ChoiceEndpointStatus
visszatér aWaitForEndpoint
állapotot, ellenkező esetben továbbra semDeploymentFailed
orDeploymentSucceeded
. - Ha az offline üzembe helyezést választja, az állapotgép egy SageMaker kötegelt átalakítási feladatot futtat, amely után az állapotgép leáll.
Következtetés
Ez a bejegyzés egy könnyen használható folyamatot mutat be az AutoML-munkafolyamatok összehangolására és a gyors felhőbeli kísérletek lehetővé tételére, lehetővé téve a pontos ML-megoldások elkészítését anélkül, hogy speciális ML-ismeretekre lenne szükség.
Biztosítunk egy általános csővezetéket, valamint két modulárist, amelyek lehetővé teszik, hogy szükség esetén külön-külön is végezzen oktatást és telepítést. Ezenkívül a megoldás teljes mértékben integrálva van a SageMakerrel, kihasználva annak szolgáltatásait és számítási erőforrásait.
Kezdje el most ezzel kód oktatóanyag hogy telepítse az ebben a bejegyzésben bemutatott erőforrásokat AWS-fiókjában, és futtassa az első AutoML-kísérleteket.
A szerzőkről
Federico Piccinini az Amazon Machine Learning Solutions Lab mélytanulási építésze. Szenvedélyesen rajong a gépi tanulásért, a megmagyarázható mesterséges intelligenciaért és az MLO-kért. Az AWS ügyfelek számára készült ML-csővezetékek tervezésére összpontosít. A munkán kívül szeret sportolni és pizzázni.
Paolo Irrera adattudós az Amazon Machine Learning Solutions Labnál, ahol segít az ügyfeleknek az ML és a felhőalapú képességekkel kapcsolatos üzleti problémák megoldásában. PhD fokozatot szerzett számítógépes látásból a párizsi Telecom ParisTech cégnél.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/manage-automl-workflows-with-aws-step-functions-and-autogluon-on-amazon-sagemaker/
- "
- 10
- 100
- 7
- a
- képesség
- Rólunk
- Fiók
- pontos
- át
- cselekvések
- cím
- Örökbefogadás
- fejlett
- fejlesztések
- AI
- algoritmus
- Minden termék
- kiosztás
- lehetővé téve
- lehetővé teszi, hogy
- már
- Bár
- amazon
- elemez
- Alkalmazás
- alkalmazások
- alkalmaz
- építészet
- TERÜLET
- automatizált
- Automatizált
- automatikusan
- Automatizálás
- elérhető
- AWS
- hogy
- lent
- épít
- üzleti
- Kaphat
- képességek
- választott
- besorolás
- felhő
- kód
- kompatibilitás
- Versenyek
- teljes
- alkatrészek
- számítógép
- számítástechnika
- Configuration
- tovább
- Megfelelő
- kiadások
- teremt
- teremt
- kritériumok
- Jelenlegi
- Jelenlegi állapot
- Ügyfelek
- dátum
- adattudós
- elszánt
- mély
- telepíteni
- bevezetéséhez
- bevetés
- leírni
- Design
- tervezés
- részlet
- részletek
- Érzékelés
- fejlesztők
- Fejlesztés
- különböző
- közvetlenül
- megosztott
- könnyen
- könnyen használható
- lehetővé
- lehetővé teszi
- Endpoint
- alapvető
- értékelni
- értékelés
- példa
- példák
- szakvélemény
- GYORS
- Funkció
- Jellemzők
- vezetéknév
- koncentrál
- következő
- következik
- Keretrendszer
- ból ből
- funkció
- funkciók
- általános
- tekintettel
- segít
- itt
- tart
- Hogyan
- HTTPS
- hibrid
- kép
- képek
- végre
- végrehajtás
- végre
- tartalmaz
- egyéni
- bemenet
- telepíteni
- integrált
- IT
- Munka
- tudás
- labor
- legutolsó
- tanulás
- könyvtár
- vonalak
- elhelyezkedés
- néz
- gép
- gépi tanulás
- fenntartása
- kezelése
- sikerült
- említett
- ML
- modell
- modellek
- moduláris
- ellenőrzés
- több
- többszörös
- ugyanis
- elengedhetetlen
- igénylő
- következő
- felajánlott
- Ajánlatok
- Nem elérhető
- online
- Más
- másképp
- átfogó
- saját
- Párizs
- rész
- szenvedélyes
- előadások
- előadó
- fázis
- Pizza
- szavazás
- be
- ajándékot
- problémák
- folyamat
- Folyamatok
- feldolgozás
- ad
- hatótávolság
- Nyers
- felszabaduló
- kötelező
- Tudástár
- Eredmények
- folytatás
- Visszatér
- futás
- azonos
- Tudós
- kiválasztott
- szolgáltatás
- Szolgáltatások
- készlet
- számos
- előadás
- készségek
- So
- megoldások
- Megoldások
- néhány
- Sport
- Spot
- önálló
- kezdődött
- kezdődik
- Állami
- csúcs-
- Államok
- Állapot
- tárolni
- árnyékolók
- erő
- sikeres
- Támogatott
- Támogatja
- csapat
- távközlési
- teszt
- A
- három
- küszöb
- Keresztül
- idő
- szerszámok
- felső
- felé
- vágány
- Vonat
- Képzések
- Átalakítás
- használ
- látomás
- vajon
- míg
- belül
- nélkül
- Munka
- munkafolyamatok
- írás
- A te