Seuraavan sukupolven Amazon SageMaker Experiments – Järjestä, seuraa ja vertaile koneoppimiskoulutuksiasi laajasti

Tänään meillä on ilo ilmoittaa päivityksistämme Amazon SageMaker -kokeilut kyky Amazon Sage Maker jonka avulla voit järjestää, seurata, vertailla ja arvioida koneoppimiskokeita (ML) ja malliversioita mistä tahansa integroidusta kehitysympäristöstä (IDE) käyttämällä SageMaker Python SDK:ta tai boto3:a, mukaan lukien paikalliset Jupyter-muistikirjat.

Koneoppiminen (ML) on iteratiivinen prosessi. Ratkaiseessaan uutta käyttötapausta datatieteilijät ja ML-insinöörit iteroivat eri parametrien kautta löytääkseen parhaat mallikonfiguraatiot (alias hyperparametrit), joita voidaan käyttää tuotannossa ratkaisemaan tunnistettua liiketoimintahaastetta. Ajan mittaan useiden mallien ja hyperparametrien kokeilun jälkeen ML-tiimien on vaikea hallita malliajoja tehokkaasti löytääkseen optimaalisen mallin ilman työkalua, jolla seurataan erilaisia ​​kokeita. Kokeiden seurantajärjestelmät virtaviivaistavat prosesseja eri iteraatioiden vertailemiseksi ja auttavat yksinkertaistamaan yhteistyötä ja viestintää tiimissä, mikä lisää tuottavuutta ja säästää aikaa. Tämä saavutetaan organisoimalla ja hallitsemalla ML-kokeita vaivattomasti, jotta niistä voidaan tehdä johtopäätöksiä, esimerkiksi löytää harjoitusajo parhaalla tarkkuudella.

Tämän haasteen ratkaisemiseksi SageMaker tarjoaa SageMaker Experimentsin, täysin integroidun SageMaker-ominaisuuden. Se tarjoaa joustavuuden kirjata mallin mittareita, parametreja, tiedostoja, artefakteja, piirtää kaavioita eri mittareista, kaapata erilaisia ​​metatietoja, etsiä niitä ja tukea mallin toistettavuutta. Tietotutkijat voivat nopeasti vertailla suorituskykyä ja hyperparametreja mallin arvioimiseksi visuaalisten kaavioiden ja taulukoiden avulla. He voivat myös ladata luotuja kaavioita SageMaker Experimentsin avulla ja jakaa mallin arvioinnin sidosryhmiensä kanssa.

SageMaker Experimentsin uusien päivitysten myötä se on nyt osa SageMaker SDK:ta, mikä yksinkertaistaa tietotutkijan työtä ja poistaa tarpeen asentaa ylimääräistä kirjastoa useiden mallien suoritusten hallintaan. Esittelemme seuraavat uudet ydinkonseptit:

• Kokeilu: Kokoelma ajoja, jotka on ryhmitelty yhteen. Kokeilu sisältää ajoja useille tyypeille, jotka voidaan aloittaa mistä tahansa SageMaker Python SDK:n avulla.
• ajaa: Mallin koulutusprosessin jokainen suoritusvaihe. Ajo koostuu kaikista syötteistä, parametreista, konfiguroinneista ja tuloksista yhtä malliharjoittelun iteraatiota varten. Mukautetut parametrit ja mittarit voidaan kirjata lokiin käyttämällä log_parameter, log_parametersja log_metric toimintoja. Mukautettu tulo ja tulos voidaan kirjata käyttämällä log_file toiminto.

Käsitteet, jotka toteutetaan osana a Run luokka on saatavilla mistä tahansa IDE:stä, johon SageMaker Python SDK on asennettu. SageMaker-koulutukseen, -käsittelyyn ja

Transform Jobs, SageMaker Experiment Run välitetään automaattisesti työhön, jos työtä kutsutaan ajon kontekstissa. Voit palauttaa suoritettavan objektin käyttämällä load_run() työstäsi. Lopuksi uusien toimintojen integroinnin avulla datatieteilijät voivat myös automaattisesti kirjata sekavuusmatriisin, tarkkuus- ja palautuskaaviot sekä ROC-käyrän luokituksen käyttötapauksia varten käyttämällä run.log_confusion_matrix, run.log_precision_recallja run.log_roc_curve toimintoja vastaavasti.

Tässä blogiviestissä annamme esimerkkejä uusien SageMaker Experiments -toimintojen käyttämisestä Jupyter-muistikirjassa SageMaker SDK:n kautta. Esittelemme nämä ominaisuudet käyttämällä a PyTorch esimerkki MNIST-käsinkirjoitettujen numeroiden luokitteluesimerkin kouluttamiseen. Kokeilu järjestetään seuraavasti:

1. Kokeilun ajojen luominen ja parametrien kirjaaminen lokiin: Luomme ensin uuden kokeilun, aloitamme uuden ajon tälle kokeilulle ja kirjaamme siihen parametrit.
2. Kirjaa mallin suorituskykymittarit:Kirjaamme mallin suorituskykymittauksia ja piirrämme metriikkakaavioita.
3. Mallin ajojen vertailu:Vertailemme eri malliajoja mallin hyperparametrien mukaan. Keskustelemme siitä, miten näitä ajoja voidaan verrata ja kuinka käyttää SageMaker Experiments -ohjelmaa parhaan mallin valitsemiseen.
4. Kokeilujen suorittaminen SageMaker-töistä: Annamme myös esimerkin siitä, kuinka voit automaattisesti jakaa kokeilusi kontekstin SageMaker-käsittelyn, koulutuksen tai erämuunnostyön kanssa. Tämän avulla voit automaattisesti palauttaa ajokontekstin load_run toimia työsi sisällä.
5. SageMaker Clarify -raporttien integrointi: Näytämme, kuinka voimme nyt integroida SageMaker Selvennä harha- ja selitettävyysraportit yhteen näkymään koulutetun malliraportin kanssa.

Edellytykset

Tässä blogikirjoituksessa käytämme Amazon SageMaker Studio esitelläksesi kuinka kirjata mittareita Studio-muistikirjasta käyttämällä päivitettyjä SageMaker Experiments -toimintoja. Esimerkissämme olevien komentojen suorittamiseksi tarvitset seuraavat edellytykset:

• SageMaker Studio -verkkotunnus
• SageMaker Studio -käyttäjäprofiili, jossa on SageMakerin täysi käyttöoikeus
• SageMaker Studio -muistikirja, jossa on vähintään ml.t3.medium esiintymätyyppi

Jos sinulla ei ole SageMaker-verkkotunnusta ja käyttäjäprofiilia saatavilla, voit luoda sellaisen käyttämällä tätä pika-asennusopas.

Kirjausparametrit

Tätä harjoitusta varten käytämme soihtunäkö, PyTorch-paketti, joka tarjoaa suosittuja tietojoukkoja, malliarkkitehtuureja ja yleisiä kuvamuunnoksia tietokonenäköön. SageMaker Studio tarjoaa joukon Telakkakuvat tavallisiin datatieteen käyttötapauksiin, jotka ovat saatavilla Amazon ECR:ssä. PyTorchissa voit valita CPU- tai GPU-koulutukseen optimoituja kuvia. Tässä esimerkissä valitsemme kuvan PyTorch 1.12 Python 3.8 CPU Optimized ja Python 3 ydin. Alla kuvatut esimerkit keskittyvät SageMaker Experiments -toimintoihin, eivätkä ne ole täydellisiä.

Ladataan tiedot torchvision Pakkaa ja seuraa junan datanäytteiden määrää ja testaa tietojoukkoja parametreina SageMaker Experimentsin avulla. Tässä esimerkissä oletetaan train_set ja test_set kuten jo ladattu torchvision aineistot.

from sagemaker.session import Session
from sagemaker.experiments.run import Run
import os

# create an experiment and start a new run
experiment_name = "local-experiment-example"
run_name = "experiment-run"

with Run(experiment_name=experiment_name, sagemaker_session=Session(), run_name=run_name) as run:
    run.log_parameters({
        "num_train_samples": len(train_set.data),
        "num_test_samples": len(test_set.data)
    })
    for f in os.listdir(train_set.raw_folder):
        print("Logging", train_set.raw_folder+"/"+f)
        run.log_file(train_set.raw_folder+"/"+f, name=f, is_output=False)

Tässä esimerkissä käytämme run.log_parameters kirjata juna- ja testitietonäytteiden lukumäärä ja run.log_file ladata raakatietojoukot Amazon S3:een ja kirjata ne syötteinä kokeiluamme.

Mallin koulutus ja mallin mittareiden kirjaaminen

Nyt kun olemme ladaneet MNIST-tietojoukon, harjoitellaan a CNN malli tunnistaaksesi numerot. Mallia opetettaessa haluamme ladata olemassa olevan kokeiluajon, kirjata siihen uusia parametreja ja seurata mallin suorituskykyä kirjaamalla mallin mittareita.

Voimme käyttää load_run toiminto ladataksesi edellisen ajomme ja käyttää sitä malliharjoittelumme kirjaamiseen

with load_run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=Session()) as run:
    train_model(
        run=run,
        train_set=train_set,
        test_set=test_set,
        epochs=10,
        hidden_channels=5,
        optimizer="adam"
    )

Voimme sitten käyttää run.log_parameter ja run.log_parameters kirjaamaan yhden tai useamman malliparametrin ajoon.

# log the parameters of your model
run.log_parameter("device", "cpu")
run.log_parameters({
    "data_dir": data_dir,
    "optimizer": optimizer,
    "epochs": epochs,
    "hidden_channels": hidden_channels
})

Ja voimme käyttää run.log_metric kirjaamaan suorituskykymittarit kokeiluamme.

run.log_metric(name=metric_type+":loss", value=loss, step=epoch)
run.log_metric(name=metric_type+":accuracy", value=accuracy, step=epoch)

Luokitusmalleissa voit myös käyttää run.log_confusion_matrix, run.log_precision_recallja run.log_roc_curve, piirtääksesi automaattisesti mallisi sekavuusmatriisin, tarkkuuskutsukaavion ja ROC-käyrän. Koska mallimme ratkaisee moniluokkaisen luokitteluongelman, kirjataan vain sen sekaannusmatriisi.

# log confusion matrix
with torch.no_grad():
    for data, target in test_loader:
        data, target = data.to(device), target.to(device)
        output = model(data)
        pred = output.max(1, keepdim=True)[1] 
        run.log_confusion_matrix(target, pred, "Confusion-Matrix-Test-Data")

Kun tarkastelemme ajotietojamme, voimme nyt nähdä luodut tiedot alla olevan kuvakaappauksen mukaisesti:

Ajon tiedot -sivulla on lisätietoja mittareista.

Ja uusia malliparametreja seurataan parametrien yleiskatsaussivulla.

Voit myös analysoida malliesi suorituskykyä luokittain käyttämällä automaattisesti piirrettyä sekaannusmatriisia, jota voidaan myös ladata ja käyttää eri raporteissa. Voit myös piirtää ylimääräisiä kaavioita analysoidaksesi mallisi suorituskykyä kirjattujen mittareiden perusteella.

Useiden malliparametrien vertailu

Datatieteilijänä haluat löytää parhaan mahdollisen mallin. Tämä sisältää mallin harjoittamisen useita kertoja eri hyperparametreillä ja mallin suorituskyvyn vertaamisen näihin hyperparametreihin. Tätä varten SageMaker Experiments antaa meille mahdollisuuden luoda useita ajoja samassa kokeilussa. Tutkitaan tätä konseptia kouluttamalla malliamme erilaisilla num_hidden_channels ja optimizers.

# define the list of parameters to train the model with
num_hidden_channel_param = [5, 10, 20]
optimizer_param = ["adam", "sgd"]
run_id = 0
# train the model using SageMaker Experiments to track the model parameters, 
# metrics and performance
sm_session = Session()
for i, num_hidden_channel in enumerate(num_hidden_channel_param):
    for k, optimizer in enumerate(optimizer_param):
        run_id += 1
        run_name = "experiment-run-"+str(run_id)
        print(run_name)
        print(f"Training model with: {num_hidden_channel} hidden channels and {optimizer} as optimizer")
        # Defining an experiment run for each model training run
        with Run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=sm_session) as run:
            train_model(
                run=run, 
                train_set=train_set,
                test_set=test_set,
                epochs=10, 
                hidden_channels=num_hidden_channel,
                optimizer=optimizer
            )

Luomme nyt kuusi uutta ajoa kokeilullemme. Jokainen kirjaa mallin parametrit, mittarit ja hämmennysmatriisin. Voimme sitten vertailla ajoja valitaksemme ongelman parhaiten toimivan mallin. Kun analysoimme juoksuja, voimme piirtää eri ajojen metrikaaviot yhtenä kaaviona vertaamalla juoksujen suorituskykyä eri harjoitusvaiheiden (tai aikakausien) välillä.

SageMaker Experimentsin käyttäminen SageMaker-koulutuksen, -käsittelyn ja erämuunnostöiden kanssa

Yllä olevassa esimerkissä käytimme SageMaker Experiments -ohjelmaa mallin suorituskyvyn kirjaamiseen SageMaker Studio -muistikirjasta, jossa malli opetettiin paikallisesti muistikirjassa. Voimme tehdä saman kirjataksemme mallin suorituskyvyn SageMaker-käsittely-, koulutus- ja erämuunnostöistä. Uusien automaattisten kontekstin välitysominaisuuksien ansiosta meidän ei tarvitse erikseen jakaa kokeilun kokoonpanoa SageMaker-työn kanssa, koska se kaapataan automaattisesti.

Alla oleva esimerkki keskittyy SageMaker Experiments -toimintoihin, eikä se ole täydellinen koodi.

from sagemaker.pytorch import PyTorch
from sagemaker.experiments.run import Run
from sagemaker.session import Session
from sagemaker import get_execution_role
role = get_execution_role()

# set new experiment configuration
exp_name = "training-job-experiment-example"
run_name = "experiment-run-example"

# Start training job with experiment setting
with Run(experiment_name=exp_name, run_name=run_name, sagemaker_session=Session()) as run:
    est = PyTorch(
        entry_point="",
        dependencies=[""],
        role=role,
        model_dir=False,
        framework_version="1.12",
        py_version="py38",
        instance_type='ml.c5.xlarge',
        instance_count=1,
            hyperparameters={
            "epochs": 10,
            "hidden_channels":5,
            "optimizer": "adam",
        },
        keep_alive_period_in_seconds=3600
    )
    
    est.fit()

Mallin komentosarjatiedostossamme voimme saada ajon kontekstin käyttämällä load_run(). SageMaker-käsittely- ja koulutustöissä meidän ei tarvitse antaa kokeilumäärityksiä kokoonpanon lataamista varten. Erämuunnostöitä varten meidän on tarjottava experiment_name ja run_name ladataksesi kokeilun asetukset.

with load_run() as run:
    run.log_parameters({...})
    train_model(run, ...)

Niiden tietojen lisäksi, joita saamme suoritettaessa SageMaker-kokeiluja muistikirjan komentosarjasta, SageMaker-työstä suoritettu ajo täyttää automaattisesti työn parametrit ja tulosteet.

Uusi SageMaker Experiments SDK varmistaa myös taaksepäin yhteensopivuuden edellisen version kanssa käyttämällä kokeilujen ja kokeilukomponenttien käsitteitä. Kaikki aiemmalla SageMaker Experiments -versiolla käynnistetyt kokeilut tulevat automaattisesti saataville uudessa käyttöliittymässä kokeilujen analysointia varten.

SageMaker Clarify- ja koulutusraporttien mallintaminen

SageMaker Clarify auttaa parantamaan ML-mallejamme havaitsemalla mahdollinen puolueellisuus ja auttaa selittää miten nämä mallit tekevät ennusteita. Clarify tarjoaa valmiiksi rakennettuja säilöjä, jotka toimivat SageMaker-käsittelytöinä sen jälkeen, kun mallisi on koulutettu ja jotka käyttävät tietojasi (datakonfiguraatio), mallin (mallin kokoonpano) ja arkaluontoisia tietosarakkeita, joita haluamme analysoida mahdollisen harhan (bias) varalta. kokoonpano). Tähän asti SageMaker Experiments näytti mallikoulutus- ja Clarify-raporttejamme yksittäisinä kokeilukomponentteina, jotka oli yhdistetty kokeilun kautta.

Uusien SageMaker Experimentsin avulla voimme myös integroida SageMaker Clarify -raportit mallikoulutukseemme, jossa on yksi totuuden lähde, jonka avulla voimme paremmin ymmärtää malliamme. Integroitua raporttia varten tarvitsemme vain, että koulutus- ja selkeyttämistyömme on sama. Seuraava esimerkki osoittaa, kuinka voimme integroida raportit käyttämällä XGBoost -malli ennustaa aikuisten tuloja kaikkialla Yhdysvalloissa. Mallissa käytetään UCI Adult -tietojoukko. Tätä harjoitusta varten oletamme, että malli on jo koulutettu ja että olemme jo laskeneet datan, mallin ja bias-konfiguraatiot.

with Run(
    experiment_name='clarify-experiment',
    run_name="joint-run",
    sagemaker_session=sagemaker_session,
) as run:
    xgb.fit({"train": train_input}, logs=False)
    clarify_processor.run_bias(
        data_config=bias_data_config,
        bias_config=bias_config,
        model_config=model_config,
        model_predicted_label_config=predictions_config,
        pre_training_methods="all",
        post_training_methods="all",
    )
    clarify_processor.run_explainability(
        data_config=explainability_data_config,
        model_config=model_config,
        explainability_config=shap_config,
    )

Tällä asetuksella saamme yhdistetyn näkymän, joka sisältää mallin metriikkatiedot, yhteiset syötteet ja lähdöt sekä Selvitys-raportit mallin tilastollista harhaa ja selitettävyyttä varten.

Yhteenveto

Tässä viestissä tutkimme uuden sukupolven SageMaker Experiments -ohjelmaa, joka on integroitu osa SageMaker SDK:ta. Osoitimme kuinka kirjata ML-työnkulkusi mistä tahansa uuden Run-luokan avulla. Esittelimme uuden Experiments-käyttöliittymän, jonka avulla voit seurata kokeilujasi ja piirtää kaavioita yhdelle ajomittarille sekä verrata useita ajoja uuden analyysitoiminnon avulla. Annoimme esimerkkejä kirjauskokeista SageMaker Studion muistikirjasta ja SageMaker Studion koulutustyöstä. Lopuksi näytimme kuinka integroida mallikoulutus ja SageMaker Clarify -raportit yhtenäiseen näkymään, jotta voit paremmin ymmärtää malliasi.

Suosittelemme kokeilemaan uusia Experimentsin toimintoja ja muodostamaan yhteyttä Koneoppimis- ja tekoälyyhteisö jos sinulla on kysyttävää tai palautetta!

Tietoja Tekijät

Maira Ladeira Tanke on koneoppimisen asiantuntija AWS:ssä. Hänellä on datatieteen tausta, ja hänellä on 9 vuoden kokemus ML-sovellusten suunnittelusta ja rakentamisesta asiakkaiden kanssa eri toimialoilla. Teknisenä johtajana hän auttaa asiakkaita nopeuttamaan liiketoiminnan arvon saavuttamista uusien teknologioiden ja innovatiivisten ratkaisujen avulla. Vapaa-ajallaan Maira matkustaa ja viettää aikaa perheen kanssa jossain lämpimässä paikassa.

Mani Khanuja on tekoälyn ja koneoppimisen asiantuntija SA Amazon Web Servicesissä (AWS). Hän auttaa koneoppimista käyttäviä asiakkaita ratkaisemaan liiketoiminnan haasteita AWS:n avulla. Hän viettää suurimman osan ajastaan ​​sukeltamalla syvälle ja opettamalla asiakkaita AI/ML-projekteissa, jotka liittyvät tietokonenäön, luonnollisen kielen prosessointiin, ennustamiseen, ML reunaan ja muuhun. Hän on intohimoinen ML at edgestä, joten hän on luonut oman laboratorion itseohjautuvalla sarjalla ja prototyyppien valmistuslinjalla, jossa hän viettää suuren osan vapaa-ajastaan.

Dewen Qi on AWS:n ohjelmistokehitysinsinööri. Hän osallistuu tällä hetkellä AWS SageMakerin alustapalveluiden ja työkalujen kokoelman rakentamiseen auttaakseen asiakkaita onnistumaan ML-projekteissaan. Hän on myös intohimoinen tuomaan MLOps-konseptin laajemmalle yleisölle. Työn ulkopuolella Dewen nauttii sellon harjoittelusta.

Abhishek Agarwal on Amazon SageMakerin vanhempi tuotepäällikkö. Hän on intohimoinen työskennellä asiakkaiden kanssa ja tehdä koneoppimisesta helpompaa. Vapaa-ajallaan Abhishek nauttii maalaamisesta, pyöräilystä ja innovatiivisten teknologioiden oppimisesta.

Dana Benson on ohjelmistosuunnittelija, joka työskentelee Amazon SageMaker Experiments-, Lineage- ja Search -tiimissä. Ennen AWS:ään liittymistään Dana käytti aikaa mahdollistaakseen älykkään kodin toimivuuden Alexassa ja mobiilitilauksen Starbucksissa.