Käytä Amazon SageMaker Studio -muistikirjaasi ajoitettuina muistikirjatöinä

Amazon SageMaker Studio tarjoaa täysin hallitun ratkaisun datatieteilijöille koneoppimismallien (ML) interaktiiviseen rakentamiseen, kouluttamiseen ja käyttöönottoon. Vuorovaikutteisen ML-kokemuksen lisäksi datatyöntekijät etsivät ratkaisuja kannettavien tietokoneiden käyttämiseen lyhytaikaisina töinä ilman, että sinun tarvitsee muuttaa koodia Python-moduuleiksi tai oppia DevOps-työkaluja ja parhaita käytäntöjä käyttöönottoinfrastruktuurinsa automatisoimiseksi. Joitakin yleisiä käyttötapauksia tämän tekemiseen ovat:

• Säännöllisesti käynnissä oleva mallipäätelmä raporttien luomiseksi
• Ominaisuuden suunnitteluvaiheen skaalaus sen jälkeen, kun se on testattu Studiossa pienessä ilmentymässä olevien tietojen osajoukkoa vastaan
• Mallien uudelleenkoulutus ja käyttöönotto tietyllä tahdilla
• Analysoi joukkuettasi Amazon Sage Maker säännöllisessä käytössä

Aiemmin, kun datatieteilijät halusivat käyttää vuorovaikutteisesti muistikirjoille rakentamaansa koodia ja käyttää niitä erätöinä, he kohtasivat jyrkän oppimiskäyrän käyttämällä Amazon SageMaker -putkistot, AWS Lambda, Amazon EventBridgetai muita ratkaisuja joita on vaikea määrittää, käyttää ja hallita.

Kanssa SageMaker muistikirjatyöt, voit nyt käyttää muistikirjojasi sellaisenaan tai parametroidulla tavalla vain muutamalla yksinkertaisella napsautuksella SageMaker Studiosta tai SageMaker Studio Lab käyttöliittymä. Voit käyttää näitä muistikirjoja aikataulun mukaan tai välittömästi. Loppukäyttäjän ei tarvitse muuttaa olemassa olevaa muistikirjakoodiaan. Kun työ on valmis, voit tarkastella muistikirjan täytettyjä soluja, mukaan lukien kaikki visualisoinnit!

Tässä viestissä kerromme, kuinka voit käyttää SageMaker Studio -muistikirjojasi ajoitettuina muistikirjatöinä.

Ratkaisun yleiskatsaus

Seuraava kaavio havainnollistaa ratkaisumme arkkitehtuuria. Käytämme esiasennettua SageMaker-laajennusta ajaaksemme kannettavia tietokoneita työtehtävinä välittömästi tai aikataulun mukaan.

Seuraavissa osioissa käymme läpi muistikirjan luomisen, solujen parametroinnin, lisäasetusten mukauttamisen ja työn ajoituksen vaiheet. Mukana on myös esimerkki käyttötapauksesta.

Edellytykset

SageMaker-muistikirjatöiden käyttäminen edellyttää, että Studiossa on käynnissä JupyterLab 3 JupyterServer -sovellus. Lisätietoja JupyterLab 3:een päivittämisestä on kohdassa Tarkastele ja päivitä sovelluksen JupyterLab-versio konsolista. Olla varma Sammuta ja päivitä SageMaker Studio saadaksesi viimeisimmät päivitykset.

Jos haluat määrittää työmääritykset, jotka ajavat muistikirjoja aikataulussa, saatat joutua lisäämään lisäoikeuksia SageMaker-suoritusrooliisi.

Lisää ensin SageMaker-suoritusrooliisi luottamussuhde, joka sallii events.amazonaws.com ottaaksesi roolisi:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Lisäksi sinun on ehkä luotava ja liitettävä suoritinrooliisi sisäinen käytäntö. Alla oleva käytäntö täydentää erittäin sallivaa AmazonSageMakerFullAccess käytäntö. Katso täydelliset ja minimaaliset käyttöoikeudet Asenna käytännöt ja käyttöoikeudet.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

Luo muistikirjatyö

Jos haluat käyttää muistikirjaasi SageMaker-muistikirjatyönä, valitse Luo muistikirjatyö kuvaketta.

Vaihtoehtoisesti voit valita (napsauttaa hiiren oikealla painikkeella) muistikirjasi tiedostojärjestelmässä ja valita Luo muistikirjatyö.

In Luo työpaikka -osiossa, valitse ajoitetulle työllesi oikea ilmentymätyyppi työkuormasi perusteella: vakioinstanssit, laskennallisesti optimoidut ilmentymät tai nopeutetut laskentaesiintymät, jotka sisältävät GPU:ita. Voit valita minkä tahansa SageMaker-koulutustöihin käytettävissä olevista esiintymistä. Täydellinen luettelo käytettävissä olevista esiintymistä on kohdassa Amazon SageMaker -hinnoittelu.

Kun työ on valmis, voit tarkastella tulostemuistikirjatiedostoa sen täytetyineen soluineen sekä työn suorittamisen taustalla olevia lokeja.

Parametrioi solut

Kun siirrät kannettavan tietokoneen tuotantotyönkulkuun, on tärkeää pystyä käyttämään samaa muistikirjaa uudelleen eri parametrijoukoilla modulaarisuuden vuoksi. Saatat esimerkiksi haluta parametroida tietojoukon sijainnin tai mallisi hyperparametrit, jotta voit käyttää samaa muistikirjaa uudelleen useissa eri mallin harjoituksissa. SageMaker-muistikirjatyöt tukevat tätä solutunnisteiden avulla. Valitse vain kaksoisrataskuvake oikeanpuoleisesta ruudusta ja valitse Lisää merkintä. Merkitse sitten tunniste parametreiksi.

Oletusarvoisesti Notebook-työajo käyttää muistikirjassa määritettyjä parametriarvoja, mutta vaihtoehtoisesti voit muokata niitä kannettavan työsi määritykseksi.

Määritä lisäasetukset

Kun luot muistikirjatyötä, voit laajentaa Lisävaihtoehtoja -osion mukauttaaksesi työsi määritelmää. Studio tunnistaa automaattisesti muistikirjassasi käyttämäsi kuvan tai ytimen ja esivalitsee sen puolestasi. Varmista, että olet vahvistanut tämän valinnan.

Voit myös määrittää ympäristömuuttujia tai käynnistyskomentosarjoja mukauttaaksesi kannettavan tietokoneen käyttöympäristöä. Katso täydellinen luettelo kokoonpanoista, katso Lisävarusteet.

Varaa työaikataulusi

Ajoita työsi valitsemalla Juokse aikataulun mukaan ja aseta sopiva väli ja aika. Sitten voit valita Muistikirjatyöt -välilehti, joka tulee näkyviin, kun olet valinnut kotikuvakkeen. Kun muistikirja on ladattu, valitse Muistikirjan työn määritelmät -välilehteä keskeyttääksesi tai poistaaksesi aikataulusi.

Esimerkki käyttötapauksesta

Esittelemme esimerkissämme päästä päähän ML-työnkulkua, joka valmistelee dataa totuuslähteestä, kouluttaa päivitetyn mallin kyseiseltä ajanjaksolta ja tekee sitten päätelmiä uusimmasta tiedosta käyttökelpoisten oivallusten luomiseksi. Käytännössä voit suorittaa täydellisen päästä päähän työnkulun tai yksinkertaisesti ottaa käyttöön yhden työnkulun vaiheen. Voit ajoittaa an AWS-liima vuorovaikutteinen istunto päivittäiseen tietojen valmisteluun tai suorita eräpäättelytyö, joka tuottaa graafisia tuloksia suoraan tulostemuistikirjaasi.

Tämän esimerkin koko muistikirja löytyy meidän SageMaker-esimerkkejä GitHub-arkisto. Käyttötapauksessa oletetaan, että olemme televiestintäyritys, joka haluaa ajoittaa muistikirjan, joka ennustaa todennäköisen asiakkaiden vaihtuvuuden mallin perusteella, joka on koulutettu uusimmalla saatavilla olevilla tiedoilla.

Aluksi keräämme viimeisimmät saatavilla olevat asiakastiedot ja suoritamme niiden esikäsittelyn:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

Koulutamme päivitettyä malliamme näiden päivitettyjen harjoitustietojen perusteella, jotta voimme tehdä tarkkoja ennusteita todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

Koska aiomme ajoittaa tämän muistikirjan päivittäiseksi raportiksi, haluamme tallentaa, kuinka hyvin päivitetty mallimme toimi validointisarjassamme, jotta voimme luottaa sen tuleviin ennusteisiin. Seuraavan kuvakaappauksen tulokset ovat ajoitetusta päättelyraportistamme.

Lopuksi haluat kaapata tämän päivän tietojen ennustetut tulokset tietokantaan, jotta tämän mallin tulosten perusteella voidaan ryhtyä toimiin.

Kun muistikirja on ymmärretty, suorita tämä lyhytaikainen työ käyttämällä Juokse nyt aiemmin kuvattu vaihtoehto tai testaa ajoitustoimintoa.

Puhdistaa

Jos noudatit esimerkkiämme, muista keskeyttää tai poistaa muistikirjan työaikataulu välttääksesi jatkuvia kuluja.

Yhteenveto

Muistikirjojen tuominen tuotantoon SageMaker-kannettavien töiden avulla yksinkertaistaa huomattavasti datatyöntekijöiden vaatimaa erilaista raskaiden nostoa. Suunnitteletpa sitten päästä päähän ML-työnkulkuja tai palapeliä, suosittelemme ottamaan muistikirjoja tuotantoon SageMaker Studion tai SageMaker Studio Labin avulla! Lisätietoja on kohdassa Muistikirjapohjaiset työnkulut.

Tietoja kirjoittajista

Sean Morgan on vanhempi ML Solutions -arkkitehti AWS:ssä. Hänellä on kokemusta puolijohteiden ja akateemisen tutkimuksen aloilta, ja hän käyttää kokemustaan ​​auttaakseen asiakkaita saavuttamaan tavoitteensa AWS:ssä. Vapaa-ajallaan Sean toimii aktiivisena avoimen lähdekoodin avustajana/ylläpitäjänä ja on TensorFlow Addonsin erityissidosryhmien johtaja.

Sumedha Swamy on päätuotepäällikkö Amazon Web Servicesissä. Hän johtaa SageMaker Studio -tiimiä rakentamaan sen interaktiivisten datatieteen ja tietotekniikan työnkulkujen IDE:ksi. Hän on käyttänyt viimeiset 15 vuotta rakentaen asiakaslähtöisiä kuluttaja- ja yritystuotteita koneoppimisen avulla. Vapaa-ajallaan hän tykkää valokuvata Amerikan lounaisosan hämmästyttävää geologiaa.

Edward Sun on vanhempi SDE, joka työskentelee SageMaker Studiossa Amazon Web Services -palvelussa. Hän on keskittynyt rakentamaan interaktiivista ML-ratkaisua ja yksinkertaistamaan asiakaskokemusta integroidakseen SageMaker Studion suosittuihin tietotekniikan ja ML-ekosysteemin teknologioihin. Vapaa-ajallaan Edward on suuri retkeily-, vaellus- ja kalastusfani ja nauttii perheensä kanssa viettämisestä.