Parandage oma masinõppemudelite juhtimist Amazon SageMakeriga

Kuna ettevõtted võtavad oma tavapäraste ettevõtterakenduste jaoks üha enam kasutusele masinõppe (ML), mõjutavad rohkem nende äriotsuseid ML mudelid. Selle tulemusel on kõigi ML-mudelite lihtsustatud juurdepääsukontroll ja suurem läbipaistvus lihtsam kontrollida, kas teie mudelid toimivad hästi, ja võtta meetmeid, kui need ei toimi.

Selles postituses uurime, kuidas ettevõtted saavad parandada oma mudelite nähtavust tsentraliseeritud armatuurlaudade ja mudelite üksikasjaliku dokumentatsiooni abil, kasutades kahte uut funktsiooni: SageMakeri mudelikaarte ja SageMakeri mudeli armatuurlauda. Mõlemad funktsioonid on SageMakeri klientidele lisatasuta saadaval.

Ülevaade juhtimismudelist

Mudeli juhtimine on raamistik, mis annab süstemaatilise ülevaate mudelite arendamisest, valideerimisest ja kasutamisest. Mudeli juhtimine on rakendatav kogu ML-i töövoos, alustades ML-i kasutusjuhtumi tuvastamisest kuni juurutatud mudeli pideva jälgimiseni hoiatuste, aruannete ja armatuurlaudade kaudu. Hästi rakendatud mudelhaldusraamistik peaks minimeerima elutsükliülesannete vaatamiseks, jälgimiseks ja haldamiseks vajalike liideste arvu, et hõlbustada ML elutsükli ulatuslikku jälgimist.

Tänapäeval investeerivad organisatsioonid märkimisväärseid tehnilisi teadmisi tööriistade loomisesse, et automatiseerida suur osa oma juhtimise ja auditeeritavuse töövoost. Näiteks peavad mudeliehitajad ennetavalt registreerima mudeli spetsifikatsioonid, nagu mudeli kasutusotstarve, riskihinnang ja toimivuskriteeriumid, mille alusel mudelit tuleks mõõta. Lisaks peavad nad registreerima ka vaatlused mudeli käitumise kohta ja dokumenteerima põhjuse, miks nad tegid teatud võtmeotsuseid, näiteks objektiivse funktsiooni, mille järgi nad mudelit optimeerisid.

On tavaline, et ettevõtted kasutavad selliseid tööriistu nagu Excel või meil, et koguda ja jagada sellist mudeliteavet tootmiskasutuse heakskiitmiseks. Kuid ML-i arendamise ulatuse suurenedes võib teave kergesti kaduda või valesti minna ning nende üksikasjade jälgimine muutub kiiresti võimatuks. Lisaks võite pärast nende mudelite kasutuselevõttu ühendada erinevatest allikatest pärit andmed, et saada täielik ülevaade kõigist oma mudelitest, lõpp-punktidest, jälgimisajaloost ja põlvnemisest. Ilma sellise vaateta võite oma mudelite jälgimise kergesti kaotada ja ei pruugi olla teadlik, millal peate nendega midagi ette võtma. See probleem süveneb rangelt reguleeritud tööstusharudes, kuna teie suhtes kehtivad eeskirjad, mis nõuavad selliste meetmete jätmist.

Kuna mudelite maht hakkab mastaapima, võib kohandatud tööriistade haldamine muutuda väljakutseks ja jätta organisatsioonidele vähem aega põhitegevusele keskendumiseks. Järgmistes jaotistes uurime, kuidas SageMakeri mudelikaardid ja SageMakeri mudeli armatuurlaud aitavad teil oma juhtimisalaseid jõupingutusi suurendada.

SageMakeri mudelikaardid

Mudelikaardid võimaldavad standardida mudelite dokumenteerimist, saavutades seeläbi nähtavuse mudeli elutsüklist alates projekteerimisest, ehitamisest, koolitusest ja hindamisest. Mudelkaardid on mõeldud mudeli äri- ja tehniliste metaandmete ühtseks tõeallikaks, mida saab usaldusväärselt kasutada auditeerimisel ja dokumenteerimisel. Need annavad mudeli teabelehe, mis on mudeli juhtimise jaoks oluline.

Mudelkaardid võimaldavad kasutajatel koostada ja salvestada otsuseid, näiteks miks valiti optimeerimiseks objektiivne funktsioon, ja üksikasju, nagu kavandatud kasutus ja riskihinnang. Samuti saate lisada ja üle vaadata hindamistulemused ning märkused edaspidiseks kasutamiseks üles märkida.

SageMakeris koolitatud mudelite puhul saavad mudelikaardid avastada ja automaatselt täita üksikasju, nagu koolitustöö, koolitusandmekogumid, mudeliartefaktid ja järelduskeskkond, kiirendades seeläbi kaartide loomise protsessi. SageMaker Python SDK abil saate mudelikaarti hindamismõõdikutega sujuvalt värskendada.

Mudelkaardid võimaldavad mudeli riskihalduritel, andmeteadlastel ja ML-inseneridel täita järgmisi ülesandeid.

• Dokumendimudeli nõuded, nagu riskireiting, kavandatud kasutus, piirangud ja eeldatav jõudlus
• Täitke SageMakeri koolitatud mudelite mudelikaardid automaatselt
• Tooge oma teave (BYOI) mitte-SageMakeri mudelite jaoks
• Laadige üles ja jagage mudeli ja andmete hindamise tulemusi
• Määratlege ja jäädvustage kohandatud teave
• Jäädvusta mudeli kaardi olek (mustand, ülevaatuse ootel või tootmiseks heaks kiidetud)
• Juurdepääs mudelikaardi jaoturile AWS-i juhtimiskonsool
• Looge, redigeerige, vaadake, eksportige, kloonige ja kustutage mudelikaarte
• Käivitage töövood kasutades Amazon EventBridge Mudelkaardi oleku muutmise sündmuste integreerimine

Looge konsooli abil SageMakeri mudelikaarte

Mudelkaarte saate hõlpsasti luua SageMakeri konsooli abil. Siin saate näha kõiki olemasolevaid mudelikaarte ja vajadusel luua uusi.

Mudelikaardi loomisel saate dokumenteerida kriitilist mudeliteavet, näiteks kes mudeli koostas, miks see välja töötati, kuidas see sõltumatute hindamiste jaoks toimib ja mis tahes tähelepanekuid, mida tuleb enne mudeli kasutamist ärirakenduses arvesse võtta.

Mudelkaardi loomiseks konsoolil toimige järgmiselt.

1. Sisestage mudeli ülevaate üksikasjad.
2. Sisestage koolituse üksikasjad (täidetakse automaatselt, kui mudelit õpetati SageMakeris).
3. Laadige üles hindamistulemused.
4. Lisage täiendavaid üksikasju, nagu soovitused ja eetilised kaalutlused.

Pärast mudelikaardi loomist saate selle vaatamiseks valida versiooni.

Järgmine ekraanipilt näitab meie mudelikaardi üksikasju.

Mudelkaardi saate eksportida ka PDF-vormingus jagamiseks.

Looge ja uurige SageMakeri mudelkaarte SageMaker Python SDK kaudu

Mudelkaartidega suhtlemine ei piirdu ainult konsooliga. Mudelkaartide loomiseks ja uurimiseks saate kasutada ka SageMaker Python SDK-d. SageMaker Python SDK võimaldab andmeteadlastel ja ML-inseneridel hõlpsasti SageMakeri komponentidega suhelda. Järgmised koodilõigud tutvustavad mudelikaardi loomise protsessi, kasutades äsja lisatud SageMaker Python SDK funktsiooni.

Veenduge, et teil oleks installitud SageMaker Python SDK uusim versioon:

$ pip install --upgrade "sagemaker>=2"

Kui olete mudeli SageMakeri abil välja õpetanud ja juurutanud, saate kasutada SageMakeri mudeli teavet ja koolitustööd, et sisestada teave automaatselt mudelikaardile.

Kasutades SageMaker Python SDK-d ja edastades SageMakeri mudeli nime, saame automaatselt koguda mudeli põhiteavet. Teave, nagu SageMakeri mudel ARN, koolituskeskkond ja mudeli väljund Amazoni lihtne salvestusteenus (Amazon S3) asukoht täidetakse automaatselt. Saame lisada muid mudeli fakte, nagu kirjeldus, probleemi tüüp, algoritmi tüüp, mudeli looja ja omanik. Vaadake järgmist koodi:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Samuti saame automaatselt koguda põhikoolitusteavet, nagu koolitustöö ARN, koolituskeskkond ja koolitusmõõdikud. Saate lisada täiendavaid koolituse üksikasju, nagu koolituse eesmärgi funktsioon ja vaatlused. Vaadake järgmist koodi:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Kui meil on hindamismõõdikud saadaval, saame need lisada ka mudelikaardile:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

Samuti saame mudeli kohta lisada lisateavet, mis võib aidata mudeli haldamisel:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

Kui oleme esitanud kõik vajalikud üksikasjad, saame luua mudelikaardi, kasutades eelmist konfiguratsiooni:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SageMaker SDK pakub ka võimalust mudelikaarte värskendada, laadida, loetleda, eksportida ja kustutada.

Mudelikaartide kohta lisateabe saamiseks vaadake arendaja juhend ja järgige see alustuseks märkmiku näide.

SageMakeri mudeli armatuurlaud

Mudeli armatuurlaud on kõigi kontol loodud mudelite tsentraliseeritud hoidla. Mudelid luuakse tavaliselt SageMakeri koolituse kaudu või võite tuua oma mujal koolitatud mudelid SageMakeris majutamiseks.

Mudeli armatuurlaud pakub ühtset liidest IT-administraatoritele, mudeliriskihalduritele või ettevõtete juhtidele, et vaadata kõiki juurutatud mudeleid ja nende toimivust. Saate vaadata oma lõpp-punkte, pakkteisendustöid ja jälgida töid, et saada ülevaadet mudeli jõudlusest. Organisatsioonid saavad sukelduda sügavale, et teha kindlaks, millistel mudelitel on puuduvad või passiivsed monitorid, ja lisada need SageMaker API-de abil, et tagada kõigi mudelite andmete triivimise, mudelitriivi, nihke ja funktsioonide omistamise triivimise kontrollimine.

Järgmine ekraanipilt näitab mudeli armatuurlaua näidet.

Mudeli armatuurlaud annab ülevaate kõigist teie mudelitest, nende riskihinnangust ja nende mudelite toimivusest tootmises. See teeb seda, tõmmates teavet kogu SageMakerist. Toimivuse jälgimise teave kogutakse läbi Amazon SageMakeri mudelimonitorja näete ka teavet SageMakeri partii teisendustööde kaudu partiiprognooside jaoks käivitatud mudelite kohta. Jäädvustatakse liiniteave, nagu mudeli väljaõpe, kasutatud andmed ja muu, ning samuti tõmmatakse teavet mudelikaartidelt.

Model Monitor jälgib tootmises kasutatavate SageMakeri mudelite kvaliteeti partii järelduste või reaalajas lõpp-punktide jaoks. Saate seadistada pideva jälgimise või ajastatud monitorid SageMaker API-de kaudu ja muuta hoiatusseadeid mudeli armatuurlaua kaudu. Saate määrata hoiatusi, mis teavitavad teid, kui mudeli kvaliteedis on kõrvalekaldeid. Nende kõrvalekallete varajane ja ennetav tuvastamine võimaldab teil võtta parandusmeetmeid, nagu mudelite ümberõpe, varasemate süsteemide auditeerimine või kvaliteediprobleemide parandamine, ilma et peaksite mudeleid käsitsi jälgima või lisatööriistu looma. Mudeli armatuurlaud annab teile kiire ülevaate sellest, milliseid mudeleid jälgitakse ja kuidas need toimivad. Mudelimonitori kohta lisateabe saamiseks külastage Jälgige mudelite andmete ja mudelite kvaliteeti, eelarvamusi ja seletatavust.

Kui valite mudeli armatuurlaual mudeli, saate mudelist põhjalikuma ülevaate, nagu mudeli kaart (kui see on olemas), mudeli päritolu, üksikasjad lõpp-punkti kohta, kuhu mudel on juurutatud, ja mudeli jälgimise ajakava. mudel.

See vaade võimaldab vajadusel luua mudelikaardi. Seiregraafikut saab aktiveerida, deaktiveerida või redigeerida ka mudeli armatuurlaua kaudu.

Mudelite puhul, millel pole seiregraafikut, saate selle seadistada, lubades Model Monitori lõpp-punkti jaoks, kuhu mudel on juurutatud. Hoiatuste üksikasjade ja oleku kaudu teavitatakse teid mudelitest, mis näitavad andmete triivi, mudeli triivi, nihke triivi või funktsioonide triivi, olenevalt sellest, millised monitorid olete seadistanud.

Vaatame mudeli jälgimise seadistamise töövoo näidet. Selle protsessi põhietapid on järgmised:

1. Jäädvustage lõpp-punktile saadetud andmed (või pakkteisendustöö).
2. Määrake lähtejoon (iga seiretüübi jaoks).
3. Looge mudelimonitori ajakava, et võrrelda reaalajas ennustusi algtasemega, et teavitada rikkumistest ja käivitada hoiatusi.

Hoiatuste põhjal saate teha selliseid toiminguid nagu lõpp-punkti tagasipööramine eelmisele versioonile või mudeli ümberõpetamine uute andmetega. Seda tehes võib osutuda vajalikuks jälgida, kuidas mudelit koolitati, mida saab teha mudeli põlvnemist visualiseerides.

Mudeli armatuurlaud pakub rikkalikku teavet kogu mudeli ökosüsteemi kohta kontol, lisaks võimalusele uurida mudeli konkreetseid üksikasju. Mudeli armatuurlaua kohta lisateabe saamiseks vaadake arendaja juhend.

Järeldus

Mudeljuhtimine on keeruline ja hõlmab sageli palju organisatsioonile või tööstusele spetsiifilisi kohandatud vajadusi. See võib põhineda regulatiivsetel nõuetel, mida teie organisatsioon peab järgima, organisatsioonis esinevate isikute tüüpidel ja kasutatavatel mudelitel. Juhtimisel ei ole universaalset lähenemisviisi ja on oluline, et käepärast oleksid õiged tööriistad, et saaks käivitada tugeva juhtimisprotsessi.

SageMakeri spetsiaalselt loodud ML-i haldustööriistade abil saavad organisatsioonid rakendada õigeid mehhanisme, et parandada ML-projektide kontrolli ja nähtavust nende konkreetsete kasutusjuhtude jaoks. Proovige mudelikaarte ja mudeli armatuurlauda ning jätke oma kommentaarid küsimuste ja tagasisidega. Mudelikaartide ja mudeli armatuurlaua kohta lisateabe saamiseks vaadake arendaja juhend.

Autoritest

Kirit Thadaka on ML Solutionsi arhitekt, kes töötab SageMaker Service SA meeskonnas. Enne AWS-iga liitumist töötas Kirit varajases staadiumis tehisintellekti idufirmades, millele järgnes mõnda aega nõustamine erinevates rollides tehisintellekti uurimise, MLO-de ja tehnilise juhtimise alal.

Marc Karp on SageMaker Service meeskonnaga ML arhitekt. Ta keskendub klientide abistamisele ML-töökoormuste ulatuslikul kavandamisel, juurutamisel ja haldamisel. Vabal ajal meeldib talle reisida ja avastada uusi kohti.

Raghu Ramesha on Amazon SageMaker Service meeskonnaga ML Solutionsi arhitekt. Ta keskendub sellele, et aidata klientidel luua, juurutada ja ML-i tootmise töökoormust SageMakerile ulatuslikult üle viia. Ta on spetsialiseerunud masinõppele, tehisintellektile ja arvutinägemisvaldkondadele ning tal on magistrikraadi arvutiteaduses TÜ Dallases. Vabal ajal meeldib talle reisida ja pildistada.

Ram Vital on AWS-i ML-i spetsialistilahenduste arhitekt. Tal on üle 20-aastane kogemus hajutatud, hübriid- ja pilverakenduste kujundamisel ja ehitamisel. Ta on kirglik turvaliste ja skaleeritavate tehisintellekti/ML-i ja suurandmete lahenduste loomise vastu, et aidata ettevõtte klientidel pilveteenuste kasutuselevõtul ja optimeerimisel oma äritulemusi parandada. Vabal ajal naudib ta tennist, fotograafiat ja märulifilme.

Sahil Saini on Amazon Web Servicesi ISV lahenduste arhitekt. Ta teeb koostööd AWS-i strateegiliste klientide toote- ja insenerimeeskondadega, et aidata neid tehnoloogiliste lahendustega, kasutades AWS-i teenuseid AI/ML-i, konteinerite, HPC ja asjade Interneti jaoks. Ta on aidanud luua AI/ML platvorme ettevõtete klientidele.