Ezt a bejegyzést Jayadeep Pabbisettyvel, a Merck Sr. Data Engineering specialistájával és Prabakaran Mathaiyannal, a Tiger Analytics Sr. ML mérnökével közösen írták.
A nagy gépi tanulási (ML) modellfejlesztési életciklus a szoftverfejlesztéshez hasonló, méretezhető modellkibocsátási folyamatot igényel. A modellfejlesztők gyakran dolgoznak együtt az ML-modellek fejlesztésében, és robusztus MLOps platformra van szükségük. A méretezhető MLOps platformnak tartalmaznia kell egy folyamatot az ML-modell-nyilvántartás munkafolyamatának kezelésére, jóváhagyására és a következő környezeti szintre (fejlesztés, tesztelés) történő előléptetésre. , UAT vagy termelés).
A modellfejlesztő általában egy egyedi ML fejlesztői környezetben kezd el dolgozni Amazon SageMaker. Ha egy modellt betanítottak és használatra kész, akkor azt jóvá kell hagyni, miután regisztrálták a rendszerben Amazon SageMaker Model Registry. Ebben a bejegyzésben megvitatjuk, hogyan működött együtt az AWS AI/ML csapata a Merck Human Health IT MLOps csapatával, hogy olyan megoldást hozzon létre, amely automatizált munkafolyamatot használ az ML modellek jóváhagyásához és promóciójához, emberi beavatkozással.
A megoldás áttekintése
Ez a bejegyzés egy olyan munkafolyamat-megoldásra összpontosít, amelyet az ML-modell fejlesztési életciklusa használhat a betanítási folyamat és a következtetési folyamat között. A megoldás skálázható munkafolyamatot biztosít az MLOps számára az ML modell jóváhagyási és promóciós folyamatának emberi beavatkozással történő támogatásában. Egy adattudós által regisztrált ML-modellnek egy jóváhagyóra van szüksége, aki felülvizsgálja és jóváhagyja, mielőtt azt egy következtetési folyamathoz és a következő környezeti szinten (teszt, UAT vagy termelés) használnák. A megoldás használ AWS Lambda, Amazon API átjáró, Amazon EventBridge, és a SageMaker a munkafolyamat automatizálásához emberi jóváhagyási beavatkozással középen. A következő architektúra diagram bemutatja a rendszer általános kialakítását, a használt AWS-szolgáltatásokat, valamint az ML-modellek emberi beavatkozással történő jóváhagyásának és népszerűsítésének munkafolyamatát a fejlesztéstől a gyártásig.
A munkafolyamat a következő lépéseket tartalmazza:
- A képzési folyamat egy modellt fejleszt és regisztrál a SageMaker modellnyilvántartásban. Ezen a ponton a modell állapota az
PendingManualApproval
. - Az EventBridge figyeli az állapotváltozási eseményeket, hogy egyszerű szabályok alapján automatikusan végrehajtsa a műveleteket.
- Az EventBridge modell regisztrációs eseményszabálya egy Lambda függvényt hív meg, amely egy e-mailt hoz létre egy hivatkozással a regisztrált modell jóváhagyására vagy elutasítására.
- A jóváhagyó e-mailben kap egy linket a modell áttekintésére és jóváhagyására vagy elutasítására.
- A jóváhagyó jóváhagyja a modellt az e-mailben található API-átjáró-végpontra mutató hivatkozás követésével.
- Az API Gateway egy Lambda függvényt hív meg a modellfrissítések kezdeményezéséhez.
- A modell-nyilvántartás frissül a modell állapotának megfelelően (
Approved
a fejlesztői környezet számára, dePendingManualApproval
teszthez, UAT-hoz és gyártáshoz). - A modell részleteit a rendszer tárolja AWS Paramétertár, képessége AWS rendszermenedzser, beleértve a modell verzióját, a jóváhagyott célkörnyezetet, a modellcsomagot.
- A következtetési folyamat lekéri a célkörnyezethez jóváhagyott modellt a Paramétertárból.
- A következtetés utáni értesítés Lambda funkciója összegyűjti a kötegelt következtetési mérőszámokat, és e-mailt küld a jóváhagyónak, hogy a modellt a következő környezetbe vigye át.
Előfeltételek
A bejegyzésben szereplő munkafolyamat feltételezi, hogy a képzési folyamat környezete a SageMakerben van beállítva, más erőforrásokkal együtt. A betanítási folyamat bemenete a szolgáltatások adatkészlete. A funkciók generálásának részleteit ez a bejegyzés nem tartalmazza, de az ML-modellek betanításuk utáni nyilvántartására, jóváhagyására és promóciójára összpontosít. A modell regisztrálva van a modellnyilvántartásban, és egy megfigyelési keretrendszer szabályozza Amazon SageMaker Model Monitor hogy észlelje az esetleges elsodródást, és modelleltolódás esetén folytassa az átképzést.
A munkafolyamat részletei
A jóváhagyási munkafolyamat egy oktatási folyamatból kifejlesztett modellel kezdődik. Amikor az adattudósok kifejlesztenek egy modellt, regisztrálják azt a SageMaker Model Registry-be a modell állapotával PendingManualApproval
. Az EventBridge figyeli a SageMaker-t a modellregisztrációs eseményre, és elindít egy eseményszabályt, amely egy Lambda-függvényt hív meg. A Lambda függvény dinamikusan létrehoz egy e-mailt a modell jóváhagyására, amely egy másik Lambda-függvény API-átjáró-végpontjára mutató hivatkozást tartalmaz. Amikor a jóváhagyó követi a hivatkozást a modell jóváhagyásához, az API Gateway továbbítja a jóváhagyási műveletet a Lambda függvénynek, amely frissíti a SageMaker Model Registry-t és a modell attribútumait a Parameter Store-ban. A jóváhagyónak hitelesítettnek kell lennie, és az Active Directory által kezelt jóváhagyói csoportnak kell lennie. Az első jóváhagyás a modellt így jelöli Approved
de fejlesztő számára PendingManualApproval
teszthez, UAT-hoz és gyártáshoz. A Paramétertárba mentett modellattribútumok magukban foglalják a modell verzióját, a modellcsomagot és a jóváhagyott célkörnyezetet.
Amikor egy következtetési folyamatnak le kell kérnie egy modellt, ellenőrzi a Paramétertárban a célkörnyezethez jóváhagyott legújabb modellverziót, és megkapja a következtetés részleteit. Amikor a következtetési folyamat befejeződött, a következtetés utáni értesítő e-mailt küldünk egy érdekelt félnek, amely jóváhagyást kér a modell következő környezeti szintre való előmozdításához. Az e-mail tartalmazza a modell és a metrikák részleteit, valamint egy jóváhagyási hivatkozást egy API-átjáró-végpontra egy Lambda-függvényhez, amely frissíti a modell attribútumait.
Az alábbiakban bemutatjuk az ML-modell jóváhagyási/előléptetési munkafolyamatának eseménysorozatát és megvalósítási lépéseit a modell létrehozásától a gyártásig. A modellt a fejlesztéstől a teszt-, UAT- és éles környezetekig juttatják el, minden lépésben kifejezett emberi jóváhagyással.
Kezdjük a képzési folyamattal, amely készen áll a modellfejlesztésre. A modellverzió 0-val kezdődik a SageMaker Model Registry-ben.
- A SageMaker képzési folyamat egy modellt fejleszt és regisztrál a SageMaker Model Registry-ben. A modell 1-es verziója regisztrálva van, és azzal kezdődik Kézi jóváhagyás függőben állapotát.A Model Registry metaadatai négy egyéni mezőt tartalmaznak a környezetekhez:
dev, test, uat
ésprod
. - Az EventBridge figyeli a SageMaker Model Registry-ben az állapotváltozást, hogy egyszerű szabályokkal automatikusan intézkedjen.
- A modell regisztrációs eseményszabálya egy Lambda függvényt hív meg, amely egy e-mailt hoz létre a regisztrált modell jóváhagyására vagy elutasítására szolgáló hivatkozással.
- A jóváhagyó e-mailben kap egy linket a modell áttekintésére és jóváhagyására (vagy elutasítására).
- A jóváhagyó jóváhagyja a modellt az e-mailben található API-átjáró-végpontra mutató hivatkozás követésével.
- Az API Gateway a Lambda függvényt hívja meg a modellfrissítések kezdeményezéséhez.
- A SageMaker Model Registry a modell állapotával frissül.
- A modell részleteit a Paramétertár tárolja, beleértve a modell verzióját, a jóváhagyott célkörnyezetet és a modellcsomagot.
- A következtetési folyamat lekéri a célkörnyezethez jóváhagyott modellt a Paramétertárból.
- A következtetés utáni értesítés Lambda funkciója összegyűjti a kötegelt következtetési mérőszámokat, és e-mailt küld a jóváhagyónak, hogy a modellt a következő környezetbe vigye át.
- A jóváhagyó jóváhagyja a modell előléptetését a következő szintre az API Gateway végpontra mutató hivatkozás követésével, amely elindítja a Lambda funkciót a SageMaker Model Registry és Parameter Store frissítéséhez.
A modell verziószámításának és jóváhagyásának teljes előzményét a rendszer a Paramétertárba menti áttekintésre.
Következtetés
A nagy ML-modell-fejlesztési életciklus méretezhető ML-modell-jóváhagyási folyamatot igényel. Ebben a bejegyzésben egy ML modellnyilvántartás, jóváhagyási és promóciós munkafolyamat megvalósítását osztottuk meg emberi beavatkozással a SageMaker Model Registry, EventBridge, API Gateway és Lambda segítségével. Ha méretezhető ML-modell-fejlesztési folyamatot fontolgat MLOps platformjához, kövesse az ebben a bejegyzésben található lépéseket egy hasonló munkafolyamat megvalósításához.
A szerzőkről
Tom Kim az AWS vezető megoldástervezője, ahol az AWS-re vonatkozó megoldások fejlesztésével segít ügyfeleinek üzleti céljaik elérésében. Nagy tapasztalattal rendelkezik a vállalati rendszerarchitektúra és -műveletek terén számos iparágban – különösen az egészségügy és az élettudomány területén. Tom mindig új technológiákat tanul, amelyek az ügyfelek számára kívánt üzleti eredményhez vezetnek – pl. AI/ML, GenAI és Data Analytics. Szeret új helyekre utazni és új golfpályákon játszani, amikor csak ideje van.
Shamika Ariyawansa, az Amazon Web Services (AWS) egészségügyi és élettudományi részlegének vezető AI/ML megoldások építésze, a generatív mesterséges intelligencia területére specializálódott, különös tekintettel a Large Language Model (LLM) képzésére, a következtetések optimalizálására és az MLOps-ra (gépi tanulásra). Tevékenységek). Segíti az ügyfeleket a fejlett generatív mesterségesintelligencia projektjeikbe való beágyazásához, biztosítva a robusztus képzési folyamatokat, a hatékony következtetési mechanizmusokat és az egyszerűsített MLOps gyakorlatokat a hatékony és méretezhető AI-megoldások érdekében. Szakmai elkötelezettségein túl Shamika szenvedélyesen űzi a síelést és a terepjáró kalandokat.
Jayadeep Pabbisetty Senior ML/Data Engineer a Mercknél, ahol ETL és MLOps megoldásokat tervez és fejleszt az adattudomány és az analitika feltárására az üzleti életben. Mindig lelkes az új technológiák elsajátítása, az új utak felfedezése és a folyamatosan változó IT-ipar fejlődéséhez szükséges készségek megszerzése. Szabadidejében a sport iránti szenvedélyét követi, szeret utazni és új helyeket felfedezni.
Prabakaran Mathaiyan Senior Machine Learning Engineer a Tiger Analytics LLC-nél, ahol segít ügyfeleinek üzleti céljaik elérésében azáltal, hogy megoldásokat kínál az AWS gépi tanulási megoldásainak modellépítéséhez, képzéséhez, validálásához, megfigyeléséhez, CICD-hez és fejlesztéséhez. A Prabakaran mindig új technológiákat tanul, amelyek az ügyfelek számára kívánt üzleti eredményhez vezetnek – pl. AI/ML, GenAI, GPT és LLM. Szívesen játszik krikettezni is, amikor csak ideje van.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :van
- :is
- :nem
- :ahol
- $ UP
- 1
- 100
- 116
- 7
- a
- Rólunk
- Elérése
- megszerzése
- át
- Akció
- cselekvések
- aktív
- fejlett
- kalandok
- Után
- AI
- AI / ML
- mentén
- Is
- mindig
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- Amazon Web Services (AWS)
- an
- analitika
- és a
- Másik
- bármilyen
- api
- jóváhagyás
- jóváhagy
- jóváhagyott
- építészet
- VANNAK
- AS
- feltételezi
- At
- attribútumok
- hitelesített
- automatizált
- Automatizált
- automatikusan
- utakat
- AWS
- BE
- előtt
- hogy
- között
- Túl
- Alsó
- épít
- Épület
- busz
- üzleti
- de
- by
- TUD
- képesség
- ami
- eset
- változik
- Ellenőrzések
- kód
- együtt
- kötelezettségvállalások
- teljes
- figyelembe véve
- konstrukciókat
- tanfolyamok
- teremtés
- krikett
- szokás
- Ügyfelek
- dátum
- Adatelemzés
- adat-tudomány
- adattudós
- Design
- tervek
- kívánatos
- részlet
- részletek
- kimutatására
- Dev
- Fejleszt
- fejlett
- Fejlesztő
- fejlesztők
- fejlesztése
- Fejlesztés
- fejleszt
- megvitatni
- osztály
- dinamikusan
- e
- minden
- Hatékony
- hatékony
- beágyazás
- Endpoint
- mérnök
- Mérnöki
- biztosítása
- Vállalkozás
- lelkes
- Környezet
- környezetek
- esemény
- események
- folyton változó
- fejlődik
- tapasztalat
- feltárása
- Feltárása
- kiterjedt
- Átfogó tapasztalat
- Funkció
- Jellemzők
- Fields
- Találjon
- Összpontosít
- koncentrál
- következik
- következő
- következik
- A
- négy
- Keretrendszer
- ból ből
- funkció
- gateway
- generáció
- nemző
- Generatív AI
- golf
- szabályozott
- Csoport
- Útmutatók
- Kezelés
- he
- Egészség
- Egészségügyi ellátás
- egészségügyi
- segít
- övé
- történelem
- Hogyan
- HTML
- HTTPS
- emberi
- if
- végre
- végrehajtás
- javulás
- in
- tartalmaz
- beleértve
- magában foglalja a
- Beleértve
- egyéni
- iparágak
- ipar
- információ
- kezdetben
- kezdeményez
- bemenet
- integráció
- beavatkozás
- bele
- behívja
- IT
- IT ipar
- jpg
- nyelv
- nagy
- legutolsó
- vezet
- tanulás
- szint
- élet
- Élettudományi
- Life Sciences
- életciklus
- Kedvencek
- LINK
- LLC
- LLM
- gép
- gépi tanulás
- sikerült
- kézikönyv
- mechanizmusok
- Metaadatok
- Metrics
- Középső
- ML
- MLOps
- modell
- modellek
- ellenőrzés
- monitorok
- kell
- elengedhetetlen
- igények
- Új
- Új technológiák
- következő
- bejelentés
- célok
- of
- gyakran
- on
- Művelet
- or
- Más
- Eredmény
- átfogó
- csomag
- paraméter
- rész
- különösen
- szenvedély
- Mintás
- csővezeték
- Helyek
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- játék
- pont
- portré
- állás
- gyakorlat
- folytassa
- folyamat
- Folyamatok
- Termelés
- szakmai
- projektek
- kellene támogatnia,
- promotált
- támogatása
- előléptetés
- biztosít
- amely
- folytatja
- kész
- Regisztráció
- nyilvántartott
- nyilvántartások
- Bejegyzés
- iktató hivatal
- engedje
- megkereső
- szükség
- megköveteli,
- Tudástár
- Kritika
- erős
- Útvonal
- Szabály
- szabályok
- s
- sagemaker
- mentett
- skálázható
- Tudomány
- TUDOMÁNYOK
- Tudós
- tudósok
- küld
- idősebb
- küldött
- Sorozat
- Szolgáltatások
- szolgáló
- készlet
- számos
- megosztott
- Műsorok
- hasonló
- Egyszerű
- készségek
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- szakember
- specializálódott
- Sport
- érdekeltek
- kezdet
- kezdődik
- Állapot
- Lépés
- Lépései
- tárolni
- memorizált
- áramvonalas
- Támogató
- rendszer
- Systems
- Vesz
- cél
- csapat
- Technologies
- teszt
- hogy
- A
- azok
- ők
- ezt
- tigris
- idő
- nak nek
- együtt
- Tomi
- kiképzett
- Képzések
- utazás
- Utazó
- jellemzően
- kinyit
- Frissítések
- frissítve
- Frissítés
- használ
- használt
- használ
- segítségével
- érvényesítés
- változat
- we
- háló
- webes szolgáltatások
- JÓL
- amikor
- bármikor
- ami
- val vel
- belül
- Munka
- együtt dolgozni
- munkafolyamat
- te
- A te
- zephyrnet