Paranna koneoppimismalliesi hallintaa Amazon SageMakerin avulla

Kun yritykset ottavat yhä enemmän koneoppimista (ML) käyttöön tavanomaisissa yrityssovelluksissaan, ML-mallit vaikuttavat yhä useammin niiden liiketoimintapäätöksiin. Tämän seurauksena yksinkertaistettu kulunvalvonta ja parannettu läpinäkyvyys kaikissa ML-malleissasi helpottaa mallien suorituskyvyn varmistamista ja toimenpiteitä, kun ne eivät toimi.

Tässä viestissä tutkimme, kuinka yritykset voivat parantaa malliensa näkyvyyttä keskitetyillä kojelaudoilla ja mallien yksityiskohtaisella dokumentaatiolla käyttämällä kahta uutta ominaisuutta: SageMaker Model Cards ja SageMaker Model Dashboard. Molemmat ominaisuudet ovat SageMaker-asiakkaiden käytettävissä ilman lisämaksua.

Yleiskatsaus mallin hallintoon

Mallin hallinta on viitekehys, joka antaa järjestelmällistä näkyvyyttä mallien kehittämiseen, validointiin ja käyttöön. Mallin hallintaa voidaan soveltaa päästä päähän ML-työnkulussa alkaen ML-käyttötapauksen tunnistamisesta käyttöön otetun mallin jatkuvaan seurantaan hälytysten, raporttien ja kojelaudoiden kautta. Hyvin toteutetun mallinhallintakehyksen pitäisi minimoida elinkaaren tehtävien tarkastelemiseen, seurantaan ja hallintaan tarvittavien rajapintojen lukumäärä, jotta ML-elinkaarin mittakaavassa on helpompi seurata.

Nykyään organisaatiot investoivat merkittävää teknistä asiantuntemusta työkalujen rakentamiseen automatisoidakseen suuren osan hallinnon ja tarkastettavuuden työnkulusta. Mallinrakentajien on esimerkiksi tallennettava ennakoivasti mallin tekniset tiedot, kuten mallin käyttötarkoitus, riskiluokitus ja suorituskykykriteerit, joiden mukaan mallia tulisi mitata. Lisäksi heidän on myös kirjattava havaintoja mallin käyttäytymisestä ja dokumentoitava syy, miksi he tekivät tiettyjä keskeisiä päätöksiä, kuten tavoitefunktio, jota vastaan ​​he optimoivat mallin.

On tavallista, että yritykset käyttävät Excelin tai sähköpostin kaltaisia ​​työkaluja tällaisten mallitietojen tallentamiseen ja jakamiseen käytettäväksi tuotantokäytön hyväksynnässä. Mutta kun ML-kehityksen laajuus kasvaa, tiedot voivat helposti kadota tai kadota, ja näiden yksityiskohtien seuraaminen käy nopeasti mahdottomaksi. Lisäksi näiden mallien käyttöönoton jälkeen voit yhdistää tietoja eri lähteistä saadaksesi täydellisen näkyvyyden kaikkiin malleihin, päätepisteisiin, seurantahistoriaan ja sukujuureen. Ilman tällaista näkymää voit helposti kadota mallisi etkä välttämättä tiedä, milloin sinun on ryhdyttävä toimiin niiden suhteen. Tämä ongelma pahenee tiukasti säännellyillä toimialoilla, koska sinua koskevat määräykset, jotka edellyttävät sinun pitämään tällaiset toimenpiteet voimassa.

Kun mallien määrä alkaa skaalata, räätälöityjen työkalujen hallinta voi muodostua haasteeksi ja antaa organisaatioille vähemmän aikaa keskittyä ydinliiketoiminnan tarpeisiin. Seuraavissa osioissa tutkimme, kuinka SageMaker-mallikortit ja SageMaker-mallin hallintapaneeli voivat auttaa sinua skaalaamaan hallintotoimiasi.

SageMaker-mallikortit

Mallikorttien avulla voit standardoida mallien dokumentointia ja näin saada näkyvyyttä mallin elinkaareen suunnittelusta, rakentamisesta, koulutuksesta ja arvioinnista. Mallikortit on tarkoitettu yhdeksi totuuden lähteeksi mallin liiketoiminnalle ja tekniselle metadatalle, jota voidaan luotettavasti käyttää auditointi- ja dokumentointitarkoituksiin. Ne tarjoavat mallin tietosivun, joka on tärkeä mallin hallinnan kannalta.

Mallikorttien avulla käyttäjät voivat tehdä ja tallentaa päätöksiä, kuten miksi tavoitefunktio valittiin optimointiin, sekä yksityiskohtia, kuten käyttötarkoitus ja riskiluokitus. Voit myös liittää ja tarkastella arviointituloksia ja kirjoittaa muistiin havaintoja myöhempää tarvetta varten.

SageMakerilla koulutettujen mallien mallikortit voivat löytää ja täyttää automaattisesti yksityiskohtia, kuten koulutustyötä, koulutustietojoukkoja, malliartefaktteja ja päättelyympäristöä, mikä nopeuttaa korttien luontiprosessia. SageMaker Python SDK:n avulla voit päivittää mallikortin saumattomasti arviointitiedoilla.

Mallikortit tarjoavat mallin riskien hallintaan, datatieteilijöille ja ML-insinööreille mahdollisuuden suorittaa seuraavat tehtävät:

• Asiakirjamallin vaatimukset, kuten riskiluokitus, käyttötarkoitus, rajoitukset ja odotettu suorituskyky
• Täytä mallikortit automaattisesti SageMaker-koulutetuille malleille
• Tuo omat tietosi (BYOI) muille kuin SageMaker-malleille
• Lataa ja jaa mallin ja tietojen arviointitulokset
• Määritä ja tallenna mukautettuja tietoja
• Capture Model -kortin tila (luonnos, odottaa tarkistusta tai hyväksytty tuotantoon)
• Käytä mallikorttikeskusta AWS-hallintakonsoli
• Luo, muokkaa, tarkastele, vie, kloonaa ja poista mallikortteja
• Käynnistä työnkulkuja käyttämällä Amazon EventBridge integrointi mallikortin tilan muutostapahtumiin

Luo SageMaker-mallikortteja konsolin avulla

Voit luoda mallikortteja helposti SageMaker-konsolin avulla. Täältä näet kaikki olemassa olevat mallikortit ja voit luoda uusia tarpeen mukaan.

Kun luot mallikorttia, voit dokumentoida kriittisiä mallitietoja, kuten kuka mallin on rakentanut, miksi se on kehitetty, kuinka se toimii riippumattomissa arvioinneissa ja mahdolliset havainnot, jotka on otettava huomioon ennen mallin käyttöä yrityssovelluksessa.

Luo mallikortti konsolissa seuraavasti:

1. Anna mallin yleiskatsauksen tiedot.
2. Anna koulutustiedot (täytetään automaattisesti, jos malli on koulutettu SageMakerilla).
3. Lataa arviointitulokset.
4. Lisää lisätietoja, kuten suosituksia ja eettisiä näkökohtia.

Kun olet luonut mallikortin, voit valita version nähdäksesi sen.

Seuraava kuvakaappaus näyttää mallikorttimme tiedot.

Voit myös viedä mallikortin jaettavaksi PDF-tiedostona.

Luo ja tutki SageMaker-mallikortteja SageMaker Python SDK:n avulla

Vuorovaikutus mallikorttien kanssa ei rajoitu konsoliin. Voit myös käyttää SageMaker Python SDK:ta mallikorttien luomiseen ja tutkimiseen. SageMaker Python SDK:n avulla datatieteilijät ja ML-insinöörit voivat olla helposti vuorovaikutuksessa SageMaker-komponenttien kanssa. Seuraavat koodinpätkät esittelevät mallikortin luomisprosessia käyttämällä äskettäin lisättyä SageMaker Python SDK -toimintoa.

Varmista, että sinulla on asennettuna SageMaker Python SDK:n uusin versio:

$ pip install --upgrade "sagemaker>=2"

Kun olet kouluttanut ja ottanut käyttöön mallin SageMakerilla, voit käyttää SageMaker-mallin tietoja ja koulutustyötä tietojen automaattiseen täyttämiseen mallikorttiin.

Käyttämällä SageMaker Python SDK:ta ja välittämällä SageMaker-mallin nimeä voimme kerätä automaattisesti mallin perustiedot. Tiedot, kuten SageMaker-malli ARN, koulutusympäristö ja mallin tulos Amazonin yksinkertainen tallennuspalvelu (Amazon S3) sijainti täytetään automaattisesti. Voimme lisätä muita mallitietoja, kuten kuvauksen, ongelman tyypin, algoritmin tyypin, mallin luojan ja omistajan. Katso seuraava koodi:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Voimme myös kerätä automaattisesti peruskoulutuksen tietoja, kuten koulutustyön ARN, koulutusympäristön ja koulutusmittareita. Harjoitukseen voidaan lisätä muita yksityiskohtia, kuten harjoituksen tavoitefunktio ja havainnot. Katso seuraava koodi:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Jos meillä on saatavilla arviointimittareita, voimme lisätä ne myös Mallikorttiin:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

Voimme myös lisätä mallista lisätietoja, jotka voivat auttaa mallin hallinnassa:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

Kun olemme toimittaneet kaikki tarvitsemamme tiedot, voimme luoda mallikortin käyttämällä edellistä kokoonpanoa:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SageMaker SDK tarjoaa myös mahdollisuuden päivittää, ladata, luetteloida, viedä ja poistaa mallikorttia.

Lisätietoja mallikorteista on kohdassa kehittäjän opas ja noudata tätä esimerkkimuistikirja aloittaaksesi.

SageMaker mallin hallintapaneeli

Mallin hallintapaneeli on kaikkien tilille luotujen mallien keskitetty arkisto. Mallit luodaan yleensä SageMaker-koulutuksella, tai voit tuoda muualla koulutetut mallisi isännöimään SageMakerissa.

Mallin hallintapaneeli tarjoaa yhden käyttöliittymän IT-järjestelmänvalvojille, malliriskien johtajille tai yritysjohtajille, joilla he voivat tarkastella kaikkia käyttöön otettuja malleja ja niiden suorituskykyä. Voit tarkastella päätepisteitäsi, muuttaa erämuunnostöitä ja seurata töitä saadaksesi tietoa mallin suorituskyvystä. Organisaatiot voivat sukeltaa syvälle tunnistaakseen, missä malleissa on puuttuvia tai ei-aktiivisia näyttöjä, ja lisätä ne SageMaker-sovellusliittymien avulla varmistaakseen, että kaikki mallit tarkistetaan tietojen ajautumisen, mallien poikkeaman, poikkeaman ja ominaisuuksien attribuutioliikkeen varalta.

Seuraavassa kuvakaappauksessa on esimerkki mallin kojelaudasta.

Mallin hallintapaneeli tarjoaa yleiskatsauksen kaikista malleistasi, niiden riskiluokituksen ja mallien suorituskyvyn tuotannossa. Se tekee tämän hakemalla tietoa SageMakerista. Suorituskyvyn seurantatiedot kaapataan Amazon SageMaker -mallimonitori, ja voit myös nähdä tietoja malleista, joita kutsutaan eräennusteille SageMakerin erämuunnostöiden kautta. Sukuperätiedot, kuten mallin koulutus, käytetyt tiedot ja paljon muuta, kerätään, ja tietoja myös mallikorteista vedetään.

Model Monitor valvoo tuotannossa käytettyjen SageMaker-mallien laatua eräpäätelmien tai reaaliaikaisten päätepisteiden tekemiseksi. Voit määrittää jatkuvan seurannan tai ajoitetut monitorit SageMaker-sovellusliittymien kautta ja muokata hälytysasetuksia Mallin hallintapaneelin kautta. Voit asettaa hälytyksiä, jotka ilmoittavat sinulle, kun mallin laadussa on poikkeamia. Näiden poikkeamien varhainen ja ennakoiva havaitseminen mahdollistaa korjaavien toimenpiteiden suorittamisen, kuten mallien uudelleenkoulutuksen, alkuvaiheen järjestelmien auditoinnin tai laatuongelmien korjaamisen ilman, että sinun tarvitsee valvoa malleja manuaalisesti tai rakentaa lisätyökaluja. Mallin hallintapaneeli tarjoaa nopean käsityksen siitä, mitä malleja valvotaan ja miten ne toimivat. Lisätietoja Model Monitorista on osoitteessa Tarkkaile malleja tietojen ja mallien laadun, harhan ja selitettävyyden suhteen.

Kun valitset mallin Malli-hallintapaneelista, saat tarkempia tietoja mallista, kuten mallikortista (jos sellainen on), mallin sukulinjasta, tiedot päätepisteestä, johon malli on otettu käyttöön, ja mallin valvontaaikataulun. malli.

Tämän näkymän avulla voit tarvittaessa luoda mallikortin. Valvontaaikataulu voidaan aktivoida, deaktivoida tai muokata myös mallin kojelaudan kautta.

Malleille, joilla ei ole valvontaaikataulua, voit määrittää tämän ottamalla Model Monitorin käyttöön päätepisteessä, johon malli on otettu käyttöön. Hälytystietojen ja tilan kautta saat ilmoituksen malleista, jotka näyttävät tietojen ajautumista, mallipoikkeamaa, harhaa tai ominaisuuspoikkeamaa määrittämiesi monitorien mukaan.

Katsotaanpa esimerkkityönkulkua mallin valvonnan määrittämisestä. Tämän prosessin tärkeimmät vaiheet ovat:

1. Sieppaa päätepisteeseen (tai erämuunnostyöhön) lähetetyt tiedot.
2. Määritä perusviiva (jokaiselle seurantatyypille).
3. Luo Model Monitor -aikataulu, jonka avulla voit verrata reaaliaikaisia ​​ennusteita lähtötilanteeseen raportoidaksesi rikkomuksista ja käynnistääksesi hälytyksiä.

Hälytysten perusteella voit ryhtyä toimiin, kuten palauttaa päätepiste aiempaan versioon tai kouluttaa malli uudelleen uusilla tiedoilla. Tätä tehdessä saattaa olla tarpeen jäljittää mallin koulutusta, mikä voidaan tehdä visualisoimalla mallin sukulinja.

Mallin hallintapaneeli tarjoaa runsaasti tietoa tilin kokonaismallin ekosysteemistä sekä mahdollisuuden perehtyä mallin tiettyihin yksityiskohtiin. Lisätietoja mallin hallintapaneelista on kohdassa kehittäjän opas.

Yhteenveto

Mallinhallinta on monimutkaista ja sisältää usein paljon räätälöityjä tarpeita organisaatiolle tai toimialalle. Tämä voi perustua sääntelyvaatimuksiin, joita organisaatiosi on noudatettava, organisaatiossa olevien henkilöiden tyyppeihin ja käytettäviin malleihin. Ei ole olemassa yhtä kattavaa lähestymistapaa hallintoon, ja on tärkeää, että käytettävissä on oikeat työkalut, jotta vankka hallintoprosessi voidaan ottaa käyttöön.

SageMakerin tarkoitukseen rakennetuilla ML-hallintatyökaluilla organisaatiot voivat ottaa käyttöön oikeat mekanismit parantaakseen ML-projektien valvontaa ja näkyvyyttä omissa käyttötapauksissaan. Kokeile Mallikortteja ja mallin hallintapaneelia ja jätä kommentteihin kysymyksiä ja palautetta. Lisätietoja mallikorteista ja mallin hallintapaneelista on kohdassa kehittäjän opas.

Tietoja kirjoittajista

Kirit Thadaka on ML Solutions -arkkitehti, joka työskentelee SageMaker Service SA -tiimissä. Ennen AWS:ään liittymistä Kirit työskenteli varhaisen vaiheen tekoälyn startup-yrityksissä, minkä jälkeen hän konsultoi jonkin aikaa erilaisissa tekoälytutkimuksen, MLOps- ja teknisen johtajuuden rooleissa.

Marc Karp on ML-arkkitehti SageMaker Service -tiimin kanssa. Hän keskittyy auttamaan asiakkaita suunnittelemaan, ottamaan käyttöön ja hallitsemaan ML-työkuormia mittakaavassa. Vapaa-ajallaan hän nauttii matkustamisesta ja uusien paikkojen tutkimisesta.

Raghu Ramesha on ML Solutions -arkkitehti Amazon SageMaker Service -tiimin kanssa. Hän keskittyy auttamaan asiakkaita rakentamaan, ottamaan käyttöön ja siirtämään ML-tuotannon työmäärät SageMakeriin suuressa mittakaavassa. Hän on erikoistunut koneoppimiseen, tekoälyyn ja tietokonenäköalueisiin, ja hänellä on tietojenkäsittelytieteen maisterin tutkinto UT Dallasista. Vapaa-ajallaan hän nauttii matkustamisesta ja valokuvaamisesta.

Ram Vital on ML Specialist Solutions -arkkitehti AWS:ssä. Hänellä on yli 20 vuoden kokemus hajautettujen, hybridi- ja pilvisovellusten arkkitehtuurista ja rakentamisesta. Hän on intohimoinen turvallisten ja skaalautuvien AI/ML- ja big data -ratkaisujen rakentamiseen auttaakseen yritysasiakkaita heidän pilvipalveluiden käyttöönotto- ja optimointimatkallaan parantaakseen liiketoimintansa tuloksia. Vapaa-ajallaan hän harrastaa tennistä, valokuvausta ja toimintaelokuvia.

Sahil Saini on ISV-ratkaisuarkkitehti Amazon Web Services -palvelussa. Hän työskentelee AWS:n strategisten asiakkaiden tuote- ja suunnittelutiimien kanssa auttaakseen heitä teknologiaratkaisuissa käyttämällä AWS-palveluita AI/ML:lle, konteille, HPC:lle ja IoT:lle. Hän on auttanut luomaan AI/ML-alustoja yritysasiakkaille.