Javítsa gépi tanulási modelljei irányítását az Amazon SageMaker segítségével

Mivel a vállalatok egyre inkább alkalmazzák a gépi tanulást (ML) általános vállalati alkalmazásaikhoz, üzleti döntéseiket egyre inkább befolyásolják az ML modellek. Ennek eredményeként az összes ML-modell egyszerűsített hozzáférés-vezérlése és fokozott átláthatósága megkönnyíti annak ellenőrzését, hogy a modellek jól teljesítenek-e, és ha nem, akkor könnyebben megteheti a szükséges lépéseket.

Ebben a bejegyzésben megvizsgáljuk, hogyan javíthatják a vállalatok modelljeik láthatóságát központosított műszerfalakkal és modelljeik részletes dokumentációjával két új funkció segítségével: a SageMaker Model Cards és a SageMaker Model Dashboard segítségével. Mindkét funkció külön díj nélkül elérhető a SageMaker ügyfelei számára.

A modellirányítás áttekintése

A modellirányítás egy olyan keretrendszer, amely szisztematikus rálátást biztosít a modellfejlesztésre, érvényesítésre és használatára. A modellirányítás a teljes körű ML munkafolyamatban alkalmazható, kezdve az ML használati eset azonosításától a telepített modell folyamatos figyeléséig a riasztásokon, jelentéseken és irányítópulton keresztül. A jól megvalósított irányítási modell-keretrendszernek minimálisra kell csökkentenie az életciklus-feladatok megtekintéséhez, nyomon követéséhez és kezeléséhez szükséges interfészek számát, hogy megkönnyítse az ML-életciklus skálán történő nyomon követését.

Napjainkban a szervezetek jelentős technikai szakértelmet fektetnek be az eszközök kiépítésébe, hogy automatizálják irányítási és auditálhatósági munkafolyamataik nagy részét. Például a modellkészítőknek proaktívan rögzíteniük kell a modell specifikációit, például a modell tervezett felhasználását, a kockázati besorolást és a teljesítménykritériumokat, amelyek alapján a modellt mérni kell. Ezenkívül rögzíteniük kell a modell viselkedésére vonatkozó megfigyeléseket, és dokumentálniuk kell bizonyos kulcsfontosságú döntések meghozatalának okát, például azt a célfüggvényt, amelyre optimalizálták a modellt.

Gyakori, hogy a vállalatok olyan eszközöket használnak, mint például az Excel vagy az e-mail, hogy rögzítsék és megosszák az ilyen modelladatokat a termelési felhasználás jóváhagyásához. De ahogy az ML fejlesztés mértéke növekszik, az információk könnyen elveszhetnek vagy rossz helyre kerülhetnek, és ezeknek a részleteknek a nyomon követése gyorsan kivitelezhetetlenné válik. Ezen túlmenően ezeknek a modelleknek az üzembe helyezése után összeillesztheti a különböző forrásokból származó adatokat, hogy teljes áttekintést kapjon minden modelljéről, végpontjáról, megfigyelési előzményeiről és származásáról. Ilyen nézet nélkül könnyen elveszítheti a modellek nyomát, és nem biztos, hogy tudatában van annak, hogy mikor kell cselekednie velük. Ez a probléma felerősödik a szigorúan szabályozott iparágakban, mert olyan szabályozások vonatkoznak rád, amelyek előírják, hogy az ilyen intézkedéseket hatályban tartsa.

Ahogy a modellek mennyisége kezd skálázni, az egyedi szerszámok kezelése kihívássá válhat, és a szervezeteknek kevesebb idejük marad az alapvető üzleti szükségletekre összpontosítani. A következő szakaszokban azt vizsgáljuk meg, hogy a SageMaker Model Cards és a SageMaker Model Dashboard hogyan segítheti az irányítási erőfeszítéseit.

SageMaker modellkártyák

A modellkártyák lehetővé teszik a modellek dokumentálásának szabványosítását, ezáltal átláthatóbbá téve a modell életciklusát, a tervezéstől az építésen, a képzésen és az értékelésen át. A modellkártyák célja, hogy egyetlen igazságforrást adjanak a modellről szóló üzleti és műszaki metaadatok számára, amelyek megbízhatóan felhasználhatók auditálási és dokumentációs célokra. Tájékoztatót adnak a modellről, amely fontos a modellirányítás szempontjából.

A modellkártyák lehetővé teszik a felhasználók számára olyan döntések megalkotását és tárolását, mint például, hogy miért választottak célfüggvényt az optimalizáláshoz, valamint olyan részleteket, mint a tervezett használat és a kockázati besorolás. Ezenkívül csatolhatja és áttekintheti az értékelési eredményeket, és feljegyezheti a megfigyeléseket későbbi hivatkozás céljából.

A SageMakeren betanított modellek esetében a modellkártyák képesek felfedezni és automatikusan feltölteni az olyan részleteket, mint a betanítási feladat, a betanítási adatkészletek, a modelltermékek és a következtetési környezet, ezáltal felgyorsítva a kártyák létrehozásának folyamatát. A SageMaker Python SDK segítségével zökkenőmentesen frissítheti a Model kártyát kiértékelési mérőszámokkal.

A modellkártyák a modellkockázat-menedzserek, adattudósok és ML mérnökök számára a következő feladatok elvégzését biztosítják:

• A dokumentummodell-követelmények, például a kockázati besorolás, a tervezett használat, a korlátozások és a várható teljesítmény
• Modellkártyák automatikus kitöltése a SageMakerrel képzett modellekhez
• Hozd el saját adataidat (BYOI) a nem SageMaker modellekhez
• Modell- és adatértékelési eredmények feltöltése és megosztása
• Egyéni információk meghatározása és rögzítése
• Modellkártya állapotának rögzítése (vázlat, felülvizsgálatra vár vagy gyártásra jóváhagyva)
• A Model card hub elérése a következőről: AWS felügyeleti konzol
• Modellkártyák létrehozása, szerkesztése, megtekintése, exportálása, klónozása és törlése
• Indítsa el a munkafolyamatokat a használatával Amazon EventBridge modellkártya állapotváltozási események integrációja

Hozzon létre SageMaker modellkártyákat a konzol segítségével

A SageMaker konzol segítségével könnyen létrehozhat modellkártyákat. Itt láthatja az összes meglévő modellkártyát, és szükség szerint létrehozhat újakat.

Modellkártya létrehozásakor dokumentálhat olyan kritikus modellinformációkat, mint például, hogy ki építette a modellt, miért fejlesztették ki, hogyan teljesít a független értékeléseknél, és minden olyan megfigyelést, amelyet figyelembe kell venni a modell üzleti alkalmazásban való használata előtt.

Ha modellkártyát szeretne létrehozni a konzolon, kövesse az alábbi lépéseket:

1. Adja meg a modell áttekintésének részleteit.
2. Adja meg a képzés részleteit (automatikusan kitöltve, ha a modellt a SageMakeren betanították).
3. Az értékelési eredmények feltöltése.
4. Adjon hozzá további részleteket, például ajánlásokat és etikai megfontolásokat.

A modellkártya létrehozása után kiválaszthat egy verziót a megtekintéshez.

A következő képernyőképen a modellkártyánk részletei láthatók.

A modellkártyát PDF formátumban is megoszthatja.

Hozzon létre és fedezzen fel SageMaker modellkártyákat a SageMaker Python SDK segítségével

A modellkártyákkal való interakció nem korlátozódik a konzolra. A SageMaker Python SDK-t is használhatja modellkártyák létrehozásához és felfedezéséhez. A SageMaker Python SDK lehetővé teszi az adattudósok és az ML mérnökök számára, hogy könnyen kommunikáljanak a SageMaker összetevőkkel. A következő kódrészletek bemutatják a modellkártya létrehozásának folyamatát az újonnan hozzáadott SageMaker Python SDK funkcióval.

Győződjön meg arról, hogy a SageMaker Python SDK legújabb verziója van telepítve:

$ pip install --upgrade "sagemaker>=2"

Miután betanította és telepítette a modellt a SageMaker segítségével, a SageMaker modellből és a betanítási feladatból származó információk segítségével automatikusan feltöltheti az információkat a Model kártyára.

A SageMaker Python SDK használatával és a SageMaker modellnév átadásával automatikusan összegyűjthetjük az alapvető modellinformációkat. Információk, például a SageMaker modell ARN, a képzési környezet és a modell kimenet Amazon egyszerű tárolási szolgáltatás (Amazon S3) helyen minden automatikusan be van töltve. Hozzáadhatunk további modelltényeket, például leírást, problématípust, algoritmustípust, modell létrehozóját és tulajdonosát. Lásd a következő kódot:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Automatikusan gyűjthetünk olyan alapvető képzési információkat is, mint a képzési munka ARN, a képzési környezet és a képzési mutatók. További képzési részletek is hozzáadhatók, például a képzési célfüggvény és a megfigyelések. Lásd a következő kódot:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Ha rendelkezésre állnak értékelési mérőszámaink, akkor ezeket is hozzáadhatjuk a Model kártyához:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

További információkat is hozzáadhatunk a modellhez, amelyek segíthetik a modellirányítást:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

Miután megadtuk az összes szükséges adatot, elkészíthetjük a Model kártyát az előző konfigurációval:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

A SageMaker SDK lehetőséget biztosít a modellkártya frissítésére, betöltésére, listázására, exportálására és törlésére is.

Ha többet szeretne megtudni a modellkártyákról, tekintse meg a fejlesztői útmutató és kövesse ezt példa jegyzetfüzet a kezdéshez.

SageMaker Model Dashboard

A Modell irányítópult a fiókban létrehozott összes modell központi tárháza. A modelleket általában a SageMaker képzésével hozzák létre, vagy elhozhatja máshol betanított modelljeit a SageMaker tárhelyére.

A Modell irányítópult egyetlen felületet biztosít az IT-adminisztrátorok, modellkockázat-menedzserek vagy üzleti vezetők számára, hogy megtekintsék az összes telepített modellt és azok teljesítményét. Megtekintheti a végpontjait, kötegelt átalakítási feladatokat és figyelheti a feladatokat, hogy betekintést nyerjen a modell teljesítményébe. A szervezetek mélyre áshatnak, hogy azonosítsák, mely modellek rendelkeznek hiányzó vagy inaktív monitorokkal, és hozzáadhatják azokat a SageMaker API-k segítségével, így biztosítva, hogy minden modellnél megtörténjen az adatsodródás, a modelleltolódás, a torzítás eltolódás és a funkció-hozzárendelés eltolódása.

A következő képernyőképen egy példa látható a Modell irányítópultra.

A Modell irányítópult áttekintést nyújt az összes modellről, mi a kockázati besorolásuk, és hogyan teljesítenek a gyártás során. Ezt úgy teszi, hogy információkat gyűjt a SageMakerről. A teljesítményfigyelési információkat rögzíti Amazon SageMaker Model Monitor, és információkat láthat a SageMaker kötegelt átalakítási feladatokon keresztül kötegelt előrejelzésekhez meghívott modellekről is. A rendszer rögzíti a származási adatokat, például a modell betanításának módját, a felhasznált adatokat és még sok mást, és a modellkártyákról is lekéri az információkat.

A Model Monitor figyeli a gyártásban használt SageMaker modellek minőségét kötegelt következtetésekhez vagy valós idejű végpontokhoz. Folyamatos figyelést vagy ütemezett monitorokat állíthat be a SageMaker API-kon keresztül, és szerkesztheti a riasztási beállításokat a Modell irányítópulton keresztül. Beállíthat olyan riasztásokat, amelyek értesítik, ha eltérések vannak a modell minőségében. Ezeknek az eltéréseknek a korai és proaktív észlelése lehetővé teszi a korrekciós intézkedések megtételét, például a modellek átképzését, az upstream rendszerek auditálását vagy a minőségi problémák kijavítását anélkül, hogy manuálisan kellene figyelnie a modelleket, vagy további szerszámokat kellene készítenie. A Modell irányítópult gyors betekintést nyújt abba, hogy mely modelleket figyelik és hogyan teljesítenek. A Model Monitorról további információért látogasson el a webhelyre Figyelje a modelleket az adatok és a modellek minősége, torzítása és magyarázhatósága szempontjából.

Amikor kiválaszt egy modellt a Modell irányítópulton, mélyebb betekintést nyerhet a modellbe, például a Modell kártyába (ha van ilyen), a modell származásába, a végpont részleteibe, amelyre a modell telepítve lett, és a megfigyelési ütemezést. modell.

Ebben a nézetben szükség esetén modellkártyát hozhat létre. A megfigyelési ütemezés aktiválható, deaktiválható vagy szerkeszthető a Modell műszerfalon keresztül is.

Azon modellek esetében, amelyek nem rendelkeznek megfigyelési ütemezéssel, ezt úgy állíthatja be, hogy engedélyezi a Model Monitort a modellt telepített végponthoz. A riasztás részletein és állapotán keresztül értesítést kap azokról a modellekről, amelyek adatsodródást, modelleltolódást, torzítást vagy funkcióeltolódást mutatnak, attól függően, hogy melyik monitort állítja be.

Nézzünk egy példa munkafolyamatot a modellfigyelés beállítására. Ennek a folyamatnak a legfontosabb lépései a következők:

1. A végpontnak küldött adatok rögzítése (vagy kötegelt átalakítási feladat).
2. Állítson fel egy alapvonalat (minden egyes megfigyelési típushoz).
3. Hozzon létre egy Model Monitor ütemezést, hogy összehasonlítsa az élő előrejelzéseket az alapvonallal, és jelentse a szabálysértéseket és riasztásokat indítson el.

A riasztások alapján olyan műveleteket hajthat végre, mint a végpont visszaállítása egy korábbi verzióra, vagy a modell új adatokkal való átképzése. Ennek során előfordulhat, hogy nyomon kell követni, hogyan képezték ki a modellt, ami a modell leszármazásának megjelenítésével tehető meg.

A Modell irányítópult a fiókban található átfogó modell ökoszisztémával kapcsolatos információk gazdag készletét kínálja, amellett, hogy a modell konkrét részleteibe is bele lehet ásni. Ha többet szeretne megtudni a Modell irányítópultról, tekintse meg a következőt: fejlesztői útmutató.

Következtetés

A modellirányítás összetett, és gyakran egy szervezetre vagy iparágra jellemző testreszabott igényeket foglal magában. Ez alapulhat azokon a szabályozási követelményeken, amelyeknek a szervezetnek meg kell felelnie, a szervezetben jelen lévő személyek típusán és a használt modellek típusán. A kormányzásnak nincs mindenkire érvényes megközelítése, és fontos, hogy megfelelő eszközök álljanak rendelkezésre ahhoz, hogy egy robusztus irányítási folyamatot lehessen bevezetni.

A SageMaker erre a célra kialakított ML irányítási eszközeivel a szervezetek bevezethetik a megfelelő mechanizmusokat az ML projektek ellenőrzésének és láthatóságának javítására az adott felhasználási eseteikben. Próbálja ki a Model kártyákat és a Modell irányítópultot, és tegye meg észrevételeit kérdéseivel és visszajelzéseivel. Ha többet szeretne megtudni a modellkártyákról és a modell irányítópultjáról, lásd: fejlesztői útmutató.

A szerzőkről

Kirit Thadaka egy ML Solutions Architect, aki a SageMaker Service SA csapatában dolgozik. Mielőtt csatlakozott volna az AWS-hez, Kirit korai szakaszban induló mesterséges intelligenciával foglalkozó vállalkozásokban dolgozott, majd egy ideig tanácsadóként különböző szerepkörökben MI-kutatásban, MLOps-ban és műszaki vezetésben dolgozott.

Marc Karp ML építész a SageMaker Service csapatánál. Arra összpontosít, hogy segítse az ügyfeleket az ML-munkaterhelések nagyszabású tervezésében, telepítésében és kezelésében. Szabadidejében szívesen utazik és új helyeket fedez fel.

Raghu Ramesha ML Solutions Architect az Amazon SageMaker Service csapatánál. Arra összpontosít, hogy segítse az ügyfeleket az ML termelési munkaterhelések nagyarányú SageMaker-be való létrehozásában, telepítésében és migrálásában. A gépi tanulás, a mesterséges intelligencia és a számítógépes látás tartományaira specializálódott, és az UT Dallas Egyetemen szerzett mesterfokozatot számítástechnikából. Szabadidejében szívesen utazik és fotózik.

Ram Vittal ML Specialist Solutions Architect az AWS-nél. Több mint 20 éves tapasztalattal rendelkezik elosztott, hibrid és felhőalkalmazások tervezésében és építésében. Szenvedélyesen dolgozik a biztonságos és méretezhető AI/ML és big data megoldások kidolgozásában, hogy segítse a vállalati ügyfeleket a felhőbe való átvételben és az optimalizálási útjukban, hogy javítsák üzleti eredményeiket. Szabadidejében szereti a teniszt, a fotózást és az akciófilmeket.

Sahil Saini az Amazon Web Services ISV megoldástervezője. Együttműködik az AWS stratégiai ügyfelei termék- és mérnöki csapataival, hogy segítse őket az AI/ML, a konténerek, a HPC és az IoT AWS-szolgáltatásait használó technológiai megoldásokban. Segített AI/ML platformok létrehozásában a vállalati ügyfelek számára.