Amazon SageMaker modellkártyák lehetővé teszi a modellek dokumentálásának szabványosítását, ezáltal átláthatóbbá válik a modell életciklusa, a tervezéstől az építésen, a képzésen és az értékelésen át. A modellkártyák célja, hogy egyetlen igazságforrást adjanak a modellről szóló üzleti és műszaki metaadatok számára, amelyek megbízhatóan felhasználhatók auditálási és dokumentációs célokra. Tájékoztatót adnak a modellről, amely fontos a modellirányítás szempontjából.
Eddig a modellkártyákat logikusan egy modellhez társították a Amazon SageMaker Model Registry modellnév egyezés használatával. Amikor azonban egy üzleti problémát gépi tanulási (ML) modellen keresztül oldanak meg, miközben az ügyfelek a problémán iterálnak, a modell több verzióját hozzák létre, és több modellverziót kell operacionalizálniuk és irányítaniuk. Ezért szükségük van arra, hogy modellkártyát társítsanak egy adott modellváltozathoz.
Ebben a bejegyzésben egy új funkciót tárgyalunk, amely támogatja a modellkártyák integrálását a modellnyilvántartásba a telepített modellverzió szintjén. Megvitatjuk a megoldás architektúráját és a modellkártya-verziók kezelésének bevált gyakorlatait, és végigjárjuk, hogyan kell beállítani, működtetni és szabályozni a modellkártya-integrációt a modell-nyilvántartásban lévő modellverzióval.
Megoldás áttekintése
A SageMaker modellkártyák segítenek szabványosítani a modellek dokumentálását az irányítás szempontjából, a SageMaker modellnyilvántartás pedig segít az ML modellek telepítésében és működésében. A modellnyilvántartás támogatja a hierarchikus struktúrát az ML modellek rendszerezéséhez és tárolásához a modell metaadataival.
Ha egy szervezet ML segítségével old meg egy üzleti problémát, például az ügyfél lemorzsolódás előrejelzését, a következő lépéseket javasoljuk:
- Készítsen modellkártyát a megoldandó üzleti problémához.
- Hozzon létre egy modellcsomag-csoportot a megoldandó üzleti problémához.
- A modellcsomag-verzió első verziójának (például Customer Churn V1) összeállítása, betanítása, értékelése és regisztrálása.
- Frissítse a modellcsomag verzióját a modellkártyával összekapcsoló modellkártyát.
- Az új modellcsomag-verzió iterációja során klónozza a modellkártyát az előző verzióból, és hivatkozzon az új modellcsomag-verzióra (például Customer Churn V2).
A következő ábra azt szemlélteti, hogy a SageMaker modellkártya hogyan integrálódik a modellnyilvántartásba.
Amint az az előző diagramon látható, a SageMaker modellkártyák és a modellnyilvántartás integrációja lehetővé teszi, hogy egy modellkártyát társítson egy adott modellváltozathoz a modellnyilvántartásban. Ez lehetővé teszi, hogy egyetlen igazságforrást hozzon létre a regisztrált modellverziókhoz, átfogó és szabványosított dokumentációval a modell SageMaker-útjának minden szakaszában, megkönnyítve a felfedezhetőséget, valamint elősegítve az irányítást, a megfelelőséget és az elszámoltathatóságot a modell életciklusa során.
A modellkártyák kezelésének legjobb gyakorlatai
Manapság számos vállalati szervezet számára kritikus követelmény a gépi tanulás kormányzással történő működése, különösen a szigorúan szabályozott iparágakban. Ezen követelmények részeként az AWS számos olyan szolgáltatást kínál, amelyek lehetővé teszik az ML környezet megbízható működését.
A SageMaker modellkártyák egyetlen helyen dokumentálják az ML modellek kritikus részleteit az egyszerűsített irányítás és jelentéskészítés érdekében. A modellkártyák segítségével olyan részleteket rögzíthet, mint a modell tervezett felhasználása és kockázati besorolása, a képzés részletei és mérőszámai, az értékelési eredmények és megfigyelések, valamint további felhívások, például megfontolások, ajánlások és egyéni információk.
A modellkártyákat a fejlesztési folyamat részeként kell kezelni és frissíteni ML életciklus. Fontos részét képezik a folyamatos szállításnak és csővezetékeknek az ML-ben. Ugyanúgy, ahogy egy jól megtervezett ML projekt folyamatos integrációt és folyamatos szállítást (CI/CD) valósít meg az MLOps égisze alatt, a folyamatos ML dokumentációs folyamat kritikus képesség számos szabályozott iparágban vagy magasabb kockázatú felhasználási esetekben. A modellkártyák a felelős és átlátható ML fejlesztés legjobb gyakorlatainak részét képezik.
A következő diagram bemutatja, hogy a modellkártyáknak hogyan kell a fejlesztési életciklus részét képezniük.
Fontolja meg a következő bevált gyakorlatokat:
- Javasoljuk, hogy a projekt életciklusának elején készítsen modellkártyákat. A projekt első szakaszában, amikor éppen dolgozol az üzleti cél meghatározása és a az ML probléma megfogalmazása, akkor kezdeményeznie kell a modellkártya létrehozását. Miközben az üzleti követelmények és a fontos teljesítménymutatók különböző lépésein dolgozik, létrehozhatja a kártyamodell vázlatos állapotát, és meghatározhatja az üzleti részleteket és a tervezett felhasználásokat.
- Az ön részeként modell fejlesztési életciklus szakasza, használja a modellnyilvántartást a modellek gyártási célú katalogizálásához, a modellverziók kezeléséhez és a metaadatok modellhez társításához. A modell-nyilvántartás lehetővé teszi a származás követését.
- Miután sikeresen elvégezte az iterációt, és készen áll a modell éles üzembe helyezésére, ideje frissíteni a modellkártyát. Ban,-ben telepítési életciklus szakasz, frissítheti a modellkártya modelladatait. Ezenkívül frissítenie kell a képzés részleteit, az értékelés részleteit, az etikai megfontolásokat, valamint a figyelmeztetéseket és ajánlásokat.
A modellkártyákhoz verziók tartoznak. Egy adott modellváltozat a modellkártya állapotán kívül minden attribútumra változtathatatlan. Ha bármilyen más módosítást hajt végre a modellkártyán, például az értékelési mutatókat, leírást vagy a tervezett felhasználást, a SageMaker létrehozza a modellkártya új verzióját, hogy tükrözze a frissített információkat. Ez annak biztosítására szolgál, hogy a modellkártya létrehozása után ne lehessen manipulálni. Ezenkívül minden egyedi modellnévhez csak egy társított modellkártya tartozhat, és ez nem módosítható a modellkártya létrehozása után.
Az ML-modellek dinamikus és munkafolyamat-automatizálási komponensek, amelyek lehetővé teszik, hogy könnyedén skálázható legyen több száz modell gyártási, betanítási, tesztelési és üzembe helyezési képessége, gyorsabb az iteráció, csökkentse a kézi hangszerelésből adódó hibákat, és megismételhető mechanizmusokat építsen fel.
Ezért a modellkártyáinak életciklusa a következő ábrán látható módon fog kinézni. Minden alkalommal, amikor frissíti a modellkártyát a modell életciklusa során, automatikusan létrehozza a modellkártya új verzióját. Minden alkalommal, amikor egy új modellváltozaton iterál, új modellkártyát hoz létre, amely örökölheti a korábbi modellváltozatok bizonyos modellkártya-információit, és ugyanazt az életciklust követi.
Előfeltétele
Ez a bejegyzés feltételezi, hogy már vannak modellek a modellnyilvántartásban. Ha követni szeretné, használja a következő SageMaker példát a GitHubon a modell-nyilvántartás feltöltéséhez: SageMaker Pipelines integráció Model Monitor és Clarify szolgáltatásokkal.
Integráljon egy modellkártyát a modellváltozattal a modellnyilvántartásba
Ebben a példában a model-monitor-clarify-group
csomagot a modellnyilvántartásunkban.
Ebben a csomagban két modellváltozat érhető el.
Ebben a példában a modell 1-es verzióját egy új modellkártyához kapcsoljuk. A modell-nyilvántartásban láthatja az 1-es verzió részleteit.
Most már használhatjuk a SageMaker Python SDK új funkcióját. Tól sagemaker.model_card ModelPackage
modulban a modellnyilvántartásból kiválaszthat egy adott modellverziót, amelyhez a modellkártyát hozzá kívánja kapcsolni.
Most létrehozhat egy új modellkártyát a modell verziójához, és megadhatja a model_package_details
paramétert az előző modellcsomag lekérésével. A modellkártyát fel kell töltenie az összes szükséges további adattal. Ehhez a bejegyzéshez egy egyszerű mintakártyát készítünk példaként.
Ezt a meghatározást használhatja modellkártya létrehozásához a SageMaker Python SDK használatával.
A modellkártya újbóli betöltésekor a kapcsolódó modellt láthatja alatta "__model_package_details"
.
Lehetősége van egy meglévő modellkártya frissítésére is a model_package
az alábbi példakódrészletben látható módon:
Végül, amikor egy meglévő modellcsomagban új modellcsomag-verziót hoz létre vagy frissít, és ha egy modellkártya már létezik az adott modellcsomag-csoportban, bizonyos információk, például az üzleti adatok és a tervezett felhasználások átvihetők az új modellkártyára.
Tisztítsuk meg
A felhasználók felelősek az erőforrások megtisztításáért, ha azokat az előfeltételek részben említett notebook használatával hozták létre. Kérjük, kövesse a jegyzetfüzet utasításait az erőforrások tisztításához.
Következtetés
Ebben a bejegyzésben megvitattuk, hogyan lehet SageMaker modellkártyát modellváltozattal integrálni a modellnyilvántartásba. Megosztottuk a megoldás architektúráját a modellkártya megvalósításának bevált gyakorlataival, és megmutattuk, hogyan kell beállítani és működtetni egy modellkártyát a modell irányítási helyzetének javítása érdekében. Javasoljuk, hogy próbálja ki ezt a megoldást, és ossza meg visszajelzését a megjegyzések részben.
A szerzőkről
Ram Vittal az AWS vezető ML megoldások építésze. Több mint 20 éves tapasztalattal rendelkezik elosztott, hibrid és felhőalkalmazások tervezésében és építésében. Szenvedélyesen dolgozik a biztonságos és méretezhető AI/ML és big data megoldások kidolgozásában, hogy segítse a vállalati ügyfeleket a felhőbe való átvételben és az optimalizálási útjukban, hogy javítsák üzleti eredményeiket. Szabadidejében motorozik és sétál a 2 éves birkafirkájával!
Natacha erőd az Ausztrália és Új-Zéland közszféra állami adattudományi vezetője, az AWS igazgatója. Segít a szervezeteknek eligazodni a gépi tanulási útjukon, támogatja őket a gépi tanulási probléma megfogalmazásától az éles üzembe helyezésig, miközben gondoskodik arról, hogy a legjobb architektúra-gyakorlatok érvényesüljenek a sikerük érdekében. Natacha a szervezetekkel az MLO-kra és a felelős AI-ra összpontosít.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/integrate-amazon-sagemaker-model-cards-with-the-model-registry/
- :van
- :is
- $ UP
- 1
- 100
- 20
- 20 év
- 7
- 8
- a
- képesség
- Rólunk
- felelősségre vonhatóság
- elérése
- át
- További
- Ezen kívül
- Örökbefogadás
- Után
- újra
- AI
- AI / ML
- Minden termék
- lehetővé teszi, hogy
- mentén
- már
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- an
- és a
- bármilyen
- alkalmazások
- építészet
- VANNAK
- AS
- Társult
- társult
- feltételezi
- At
- attribútumok
- könyvvizsgálat
- Ausztrália
- automatikusan
- Automatizálás
- elérhető
- AWS
- BE
- lent
- BEST
- legjobb gyakorlatok
- Nagy
- Big adatok
- épít
- Épület
- üzleti
- TUD
- képesség
- elfog
- kártya
- Kártyák
- végrehajtott
- esetek
- katalógus
- megváltozott
- Változások
- Takarításra
- felhő
- felhő elfogadása
- kód
- Hozzászólások
- teljesítés
- alkatrészek
- átfogó
- megfontolások
- folyamatos
- teremt
- készítette
- teremt
- létrehozása
- teremtés
- kritikai
- szokás
- vevő
- Ügyfelek
- dátum
- adat-tudomány
- definíció
- kézbesítés
- telepíteni
- telepített
- bevezetéséhez
- leírt
- leírás
- tervezés
- részletek
- Határozzuk meg
- Fejlesztés
- különböző
- megvitatni
- tárgyalt
- megosztott
- dokumentum
- dokumentáció
- vázlat
- két
- dinamikus
- minden
- Korai
- könnyen
- lehetővé
- lehetővé teszi
- ösztönzése
- biztosítására
- Vállalkozás
- Környezet
- hibák
- létrehozni
- etikai
- értékelni
- értékelés
- Minden
- példa
- létező
- létezik
- tapasztalat
- megkönnyítését
- gyorsabb
- Funkció
- Visszacsatolás
- Ábra
- vezetéknév
- koncentrál
- következik
- következő
- A
- ból ből
- GitHub
- adott
- kormányzás
- Kormány
- Csoport
- Legyen
- he
- segít
- segít
- <p></p>
- nagyon
- övé
- Hogyan
- How To
- azonban
- HTML
- HTTPS
- Több száz
- hibrid
- if
- illusztrálja
- változhatatlan
- végrehajtási
- munkagépek
- fontos
- javul
- in
- iparágak
- információ
- kezdeményez
- utasítás
- integrálni
- integrál
- integrálása
- integráció
- szándékolt
- bele
- IT
- utazás
- jpg
- vezet
- tanulás
- szint
- életciklus
- mint
- leszármazás
- LINK
- Összekapcsolása
- betöltés
- néz
- Sok
- gép
- gépi tanulás
- csinál
- Gyártás
- kezelése
- sikerült
- kezelése
- kézikönyv
- sok
- Mérkőzés
- mechanizmusok
- említett
- Metaadatok
- Metrics
- ML
- MLOps
- modell
- modellek
- Modulok
- monitor
- motorkerékpár
- többszörös
- név
- Keresse
- elengedhetetlen
- Szükség
- Új
- Új-Zéland
- nevezetesen
- jegyzetfüzet
- Most
- of
- on
- egyszer
- ONE
- csak
- működés
- optimalizálás
- opció
- or
- hangszerelés
- szervezet
- szervezetek
- szervező
- Más
- mi
- ki
- eredmények
- felett
- csomag
- paraméter
- rész
- különös
- szenvedélyes
- teljesítmény
- perspektíva
- fázis
- Hely
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- állás
- gyakorlat
- előrejelzés
- előző
- Fő
- Probléma
- folyamat
- Termelés
- program
- támogatása
- ad
- biztosít
- nyilvános
- célokra
- Piton
- RAM
- értékelés
- kész
- ajánl
- ajánlások
- csökkenteni
- tükröznie
- Regisztráció
- nyilvántartott
- iktató hivatal
- szabályozott
- szabályozott iparágak
- megbízható
- megismételhető
- Jelentő
- követelmény
- követelmények
- Tudástár
- felelős
- Eredmények
- Kockázat
- SA
- sagemaker
- azonos
- skálázható
- Skála
- Tudomány
- sdk
- Rész
- szektor
- biztonság
- lát
- Szolgáltatások
- készlet
- számos
- Megosztás
- megosztott
- ő
- kellene
- kimutatta,
- mutatott
- Műsorok
- Egyszerű
- egyetlen
- töredék
- megoldások
- Megoldások
- Megoldja
- Megoldása
- néhány
- forrás
- különleges
- állapota
- Állapot
- Lépései
- tárolása
- áramvonalas
- struktúra
- siker
- sikeresen
- ilyen
- Támogató
- Támogatja
- biztos
- Műszaki
- teszt
- mint
- hogy
- A
- azok
- Őket
- akkor
- ezáltal
- ebből adódóan
- ők
- ezt
- azok
- Keresztül
- egész
- idő
- nak nek
- Ma
- Csomagkövetés
- Vonat
- Képzések
- átlátszó
- igazság
- megpróbál
- kettő
- esernyő
- alatt
- egyedi
- Frissítések
- frissítve
- frissítése
- használ
- használt
- használ
- segítségével
- v1
- változat
- verzió
- láthatóság
- akar
- Út..
- we
- háló
- webes szolgáltatások
- voltak
- amikor
- míg
- lesz
- val vel
- Munka
- munkafolyamat
- dolgozó
- lenne
- év
- te
- A te
- -Zéland
- zephyrnet