Kasutage oma Amazon SageMaker Studio sülearvutid planeeritud sülearvutitöödena

Amazon SageMaker Studio pakub andmeteadlastele täielikult hallatavat lahendust masinõppe (ML) mudelite interaktiivseks koostamiseks, koolitamiseks ja juurutamiseks. Lisaks interaktiivsele ML-kogemusele otsivad andmetöötajad ka lahendusi sülearvutite käitamiseks lühiajaliste töödena, ilma et oleks vaja koodi ümber kujundada Pythoni mooduliteks või õppida DevOpsi tööriistu ja parimaid tavasid juurutamise infrastruktuuri automatiseerimiseks. Mõned levinumad kasutusjuhud selle tegemiseks on järgmised:

• Regulaarselt töötav mudeli järeldus aruannete loomiseks
• Funktsiooni kavandamise etapi suurendamine pärast katsetamist Studios väikese eksemplari andmete alamhulgaga
• Mudelite ümberõpe ja juurutamine teatud kadentsil
• Oma meeskonna analüüsimine Amazon SageMaker regulaarne kasutamine

Varem, kui andmeteadlased soovisid kasutada sülearvutitele interaktiivselt loodud koodi ja käitada neid partiitöödena, seisid nad silmitsi järsu õppimiskõveraga, Amazon SageMakeri torujuhtmed, AWS Lambda, Amazon EventBridgevõi muud lahendused mida on keeruline seadistada, kasutada ja hallata.

koos SageMakeri sülearvutite töökohad, saate nüüd oma märkmikuid käivitada nii nagu on või parameetritega vaid mõne lihtsa klõpsuga SageMaker Studio või SageMakeri stuudio labor liides. Saate neid märkmikke ajakava alusel või kohe käivitada. Lõppkasutaja ei pea oma olemasolevat sülearvuti koodi muutma. Kui töö on lõpetatud, saate vaadata täidetud märkmiku lahtreid, sealhulgas kõiki visualiseerimisi!

Selles postituses jagame, kuidas oma SageMaker Studio märkmikke ajastatud märkmikutöödena kasutada.

Lahenduse ülevaade

Järgmine diagramm illustreerib meie lahenduse arhitektuuri. Kasutame eelinstallitud SageMakeri laiendust, et käivitada sülearvutid kohe või ajakava järgi.

Järgmistes jaotistes käsitleme märkmiku loomise, lahtrite parameetrite määramise, lisavalikute kohandamise ja teie töö ajastamise samme. Lisame ka näidiskasutusjuhtumi.

Eeldused

SageMakeri märkmikutööde kasutamiseks peate Studios kasutama JupyterLab 3 JupyterServeri rakendust. JupyterLab 3 versioonile ülemineku kohta lisateabe saamiseks vaadake Vaadake ja värskendage konsoolist rakenduse JupyterLabi versiooni. Ole kindel Lülitage välja ja värskendage SageMaker Studio et saada uusimaid värskendusi.

Märkmikuid ajakava järgi käitavate töömääratluste määratlemiseks peate võib-olla lisama oma SageMakeri täitmisrollile täiendavaid õigusi.

Esiteks lisage oma SageMakeri täitmisrollile usaldussuhe, mis seda võimaldab events.amazonaws.com oma rolli täitma:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Lisaks peate võib-olla looma ja oma täitmisrollile lisama tekstisisese poliitika. Allpool toodud poliitika täiendab väga lubavat AmazonSageMakerFullAccess poliitika. Täieliku ja minimaalse õiguste komplekti leiate siit Installige eeskirjad ja load.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

Looge märkmikutöö

Sülearvuti SageMakeri märkmikutööna kasutamiseks valige Looge märkmikutöö ikoon.

Teise võimalusena saate valida (paremklõpsata) oma märkmiku failisüsteemis ja valida Looge märkmiku töö.

aasta Loo töökoht Valige lihtsalt oma töökoormuse põhjal oma ajastatud töö jaoks õige eksemplari tüüp: standardeksemplarid, arvutamiseks optimeeritud eksemplarid või kiirendatud andmetöötluseksemplarid, mis sisaldavad GPU-sid. Saate valida mis tahes SageMakeri koolitustööde jaoks saadaolevatest eksemplaridest. Saadaolevate eksemplaride täieliku loendi leiate aadressilt Amazon SageMakeri hinnakujundus.

Kui töö on lõpetatud, saate vaadata väljundmärkmiku faili koos selle asustatud lahtritega, samuti töö käivitamise aluseks olevaid logisid.

Parameetristage lahtrid

Sülearvuti tootmistöövoogu teisaldamisel on oluline, et modulaarsuse tagamiseks oleks võimalik sama sülearvutit erinevate parameetrite komplektidega uuesti kasutada. Näiteks võite soovida parameetriseerida oma mudeli andmestiku asukohta või hüperparameetreid, et saaksite kasutada sama sülearvutit mitme erineva mudelikoolituse jaoks. SageMakeri märkmikutööd toetavad seda lahtri siltide kaudu. Valige lihtsalt parempoolsel paanil topeltkäigu ikoon ja valige Lisa silt. Seejärel märgistage silt parameetritena.

Vaikimisi kasutab sülearvuti töökäivitus sülearvutis määratud parameetrite väärtusi, kuid teise võimalusena saate neid oma sülearvuti töö konfiguratsioonina muuta.

Konfigureerige lisavalikud

Märkmiku töö loomisel saate laiendada Lisavalikud jaotist, et kohandada oma töö määratlust. Studio tuvastab automaatselt pildi või tuuma, mida märkmikus kasutate, ja eelvalib selle teie eest. Veenduge, et olete selle valiku kinnitanud.

Sülearvuti töökeskkonna kohandamiseks saate määrata ka keskkonnamuutujaid või käivitusskripte. Täieliku konfiguratsioonide loendi vaatamiseks vt Additional Options.

Planeerige oma töö

Töö ajastamiseks valige Jookse graafiku alusel ning määrake sobiv intervall ja aeg. Seejärel saate valida Märkmiku töökohad vahekaart, mis on nähtav pärast koduikooni valimist. Pärast märkmiku laadimist valige Märkmiku töö määratlused ajakava peatamiseks või eemaldamiseks.

Kasutusjuhtumi näide

Meie näites tutvustame täielikku ML-i töövoogu, mis valmistab ette andmed põhitõeallikast, treenib selle ajaperioodi värskendatud mudelit ja teeb seejärel kõige värskemate andmete põhjal järeldusi, et luua kasulikke teadmisi. Praktikas võite käivitada täieliku otsast lõpuni töövoo või lihtsalt rakendada oma töövoo ühe etapi. Saate ajastada an AWS liim interaktiivne seanss igapäevaseks andmete ettevalmistamiseks või käivitage partii järeldamistöö, mis genereerib graafilised tulemused otse teie väljundmärkmikus.

Selle näite täieliku märkmiku leiate meie veebisaidilt SageMakeri näited GitHubi hoidla. Kasutusjuhtum eeldab, et oleme telekommunikatsiooniettevõte, kes soovib ajastada sülearvutit, mis ennustab tõenäolist klientide vähenemist mudeli põhjal, mis on koolitatud kõige värskemate saadaolevate andmetega.

Alustuseks kogume kõige värskemad saadaolevad kliendiandmed ja teostame nende eeltöötluse:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

Koolitame oma värskendatud mudelit nende värskendatud treeningandmete põhjal, et teha täpseid ennustusi todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

Kuna plaanime selle märkmiku igapäevase aruandena, tahame jäädvustada, kui hästi meie värskendatud mudel meie valideerimiskomplektis toimis, et saaksime olla kindlad selle tulevikuennustustes. Järgmisel ekraanipildil olevad tulemused pärinevad meie kavandatud järelduste aruandest.

Lõpuks soovite salvestada tänaste andmete prognoositud tulemused andmebaasi, et saaksite selle mudeli tulemuste põhjal toiminguid teha.

Kui märkmik on selgeks saanud, võite seda teha lühiajalise tööna, kasutades Jookse nüüd varem kirjeldatud suvandit või testige ajastamisfunktsiooni.

Koristage

Kui järgisite meie näidet, peatage või kustutage kindlasti märkmiku töö ajakava, et vältida jooksvate tasude tekkimist.

Järeldus

Sülearvutite tootmisse toomine SageMakeri sülearvutitöödega lihtsustab oluliselt andmetöötajate jaoks vajalikku raskete raskuste tõstmist. Olenemata sellest, kas plaanite täielikke ML-i töövooge või pusletükki, soovitame teil mõned märkmikud SageMaker Studio või SageMaker Studio Labi abil tootmisse panna! Lisateabe saamiseks vaadake Märkmikupõhised töövood.

Autoritest

Sean Morgan on AWS-i ML-lahenduste vanemarhitekt. Tal on kogemusi pooljuhtide ja akadeemilise uurimistöö valdkonnas ning ta kasutab oma kogemusi, et aidata klientidel AWS-is oma eesmärke saavutada. Vabal ajal on Sean avatud lähtekoodiga kaasautor/hooldaja ja TensorFlow Addonsi erihuvirühma juht.

Sumedha Swamy on Amazon Web Servicesi peamine tootejuht. Ta juhib SageMaker Studio meeskonda, et ehitada see interaktiivsete andmeteaduse ja andmetehnika töövoogude jaoks valitud IDE-sse. Ta on viimased 15 aastat veetnud masinõppe abil klientidest huvitatud tarbija- ja ettevõttetooteid. Vabal ajal meeldib talle pildistada Ameerika edelaosa hämmastavat geoloogiat.

Edward Päike on vanem SDE, kes töötab Amazon Web Servicesis SageMaker Studios. Ta on keskendunud interaktiivse ML-lahenduse loomisele ja kliendikogemuse lihtsustamisele, et integreerida SageMaker Studio populaarsete tehnoloogiatega andmetöötluses ja ML-ökosüsteemis. Vabal ajal on Edward suur telkimise, matkamise ja kalapüügi fänn ning naudib perega koos veedetud aega.