Käitage märkmikke Amazon SageMaker Studio Labis paketttöödena

Hiljuti Amazon SageMaker Studio käivitas lihtsa viisi sülearvutite käitamiseks pakktöödena, mis võivad töötada korduva ajakava alusel. Amazon SageMaker Studio Lab toetab ka seda funktsiooni, võimaldades teil oma AWS-i kontol käitada SageMaker Studio Labis arendatud märkmikke. See võimaldab teil masinõppe (ML) katseid kiiresti skaleerida suuremate andmekogumite ja võimsamate eksemplaridega, ilma et peaksite midagi uut õppima või üht koodirida muutma.

Selles postituses tutvustame teile ühekordset eeltingimust Studio Labi keskkonna ühendamiseks AWS-i kontoga. Pärast seda juhendame teid Studio Labi paketttööna sülearvutite käitamiseks.

Lahenduse ülevaade

Studio Lab hõlmas sama laienduse kui Studio, mis põhineb Jupyteri avatud lähtekoodiga laiendusel ajastatud märkmikud. Sellel laiendusel on täiendavad AWS-i spetsiifilised parameetrid, nagu arvutustüüp. Studio Labis kopeeritakse ajastatud märkmik esmalt seadmesse Amazoni lihtne salvestusteenus (Amazon S3) ämbrisse oma AWS-i kontol, seejärel käivitage valitud arvutustüübiga määratud ajal. Kui töö on lõpetatud, kirjutatakse väljund S3 ämbrisse ja AWS-i arvutus peatatakse täielikult, vältides jätkuvaid kulusid.

Eeldused

Studio Labi märkmikutööde kasutamiseks vajate administraatorijuurdepääsu AWS-i kontole, millega soovite ühenduse luua (või abi kelleltki, kellel on see juurdepääs). Selle postituse ülejäänud osas eeldame, et olete AWS-i administraator. Kui see nii ei ole, paluge oma administraatoril või konto omanikul need sammud koos teiega üle vaadata.

Looge SageMakeri täitmisroll

Peame tagama, et AWS-i kontol on AWS-i identiteedi- ja juurdepääsuhaldus (IAM) SageMakeri täitmise roll. Seda rolli kasutavad konto SageMakeri ressursid ja see annab SageMakerilt juurdepääsu teistele AWS-i konto ressurssidele. Meie puhul töötavad meie sülearvutitööd nende lubadega. Kui SageMakerit on sellel kontol varem kasutatud, võib roll juba olemas olla, kuid sellel ei pruugi olla kõiki vajalikke õigusi. Nii et lähme edasi ja teeme uue.

Järgmised toimingud tuleb teha ainult üks kord, olenemata sellest, mitu SageMaker Studio Labi keskkonda sellele AWS-i kontole juurde pääseb.

1. Valige IAM-konsoolil rollid navigeerimispaanil.
2. Vali Loo roll.
3. eest Usaldusväärse üksuse tüüpvalige AWS-teenus.
4. eest Kasutamisjuhtumid muude AWS-teenuste jaoks, vali SageMaker.
5. valima SageMaker – täitmine.
6. Vali järgmine.
7. Vaadake load üle ja seejärel valige järgmine.
8. eest Rolli nimi, sisestage nimi (selle postituse jaoks kasutame sagemaker-execution-role-notebook-jobs).
9. Vali Loo roll.
10. Märkige üles roll ARN.

ARN-i roll on vormingus arn:aws:iam::[account-number]:role/service-role/[role-name] ja see on Studio Labi seadistuses nõutav.

Looge IAM-i kasutaja

Studio Labi keskkonnale AWS-ile juurde pääsemiseks peame looma AWS-is IAM-i kasutaja ja andma talle vajalikud load. Seejärel peame selle kasutaja jaoks looma juurdepääsuvõtmete komplekti ja andma need Studio Labi keskkonda.

Seda sammu tuleks korrata iga SageMaker Studio Labi keskkonna puhul, millel on juurdepääs sellele AWS-i kontole.

Pange tähele, et administraatorid ja AWS-i kontode omanikud peaksid tagama, et võimalikult suurel määral järgitakse hästi läbimõeldud turvatavasid. Näiteks tuleks kasutajaõigusi alati piirata ja juurdepääsuvõtmeid tuleks regulaarselt vahetada, et minimeerida mandaadi kahjustamise mõju.

Selles ajaveebis näitame, kuidas kasutada AmazonSageMakerFullAccess juhitud poliitika. See poliitika pakub laialdast juurdepääsu Amazon SageMakerile, mis võib minna nõutust kaugemale. Üksikasjad selle kohta AmazonSageMakerFullAccess võib leida siin.

Kuigi Studio Lab kasutab ettevõtte turvalisust, tuleb arvestada, et Studio Labi kasutajamandaadid ei kuulu teie AWS-i konto alla ja seetõttu ei kehti neile näiteks teie AWS-i parool ega MFA-poliitika.

Lubade võimalikult suureks piiramiseks loome spetsiaalselt selle juurdepääsu jaoks kasutajaprofiili.

1. Valige IAM-konsoolil kasutajad navigeerimispaanil.
2. Vali Kasutajate lisamine.
3. eest kasutajanimi, sisestage nimi. Hea tava on kasutada nime, mis on lingitud konkreetse isikuga, kes seda kontot kasutama hakkab; see aitab auditilogide ülevaatamisel.
4. eest Valige AWS-i juurdepääsu tüüpvalige Juurdepääsuvõti – programmiline juurdepääs.
5. Vali Järgmine: load.
6. Vali Manustage olemasolevad eeskirjad otse.
7. Otsige ja valige AmazonSageMakerFullAccess.
8. Otsige ja valige AmazonEventBridgeFullAccess.
9. Vali Järgmine: sildid.
10. Vali Järgmine: ülevaade.
11. Kinnitage oma eeskirjad ja seejärel valige Loo kasutaja.Kasutaja loomise protsessi viimane leht peaks näitama teile kasutaja juurdepääsuvõtmeid. Jätke see vahekaart avatuks, sest me ei saa siia tagasi navigeerida ja vajame neid üksikasju.
12. Avage Studio Labis uus brauseri vahekaart.
13. Kohta fail menüüst valige Uus käivitaja, siis vali terminal.
14. Sisestage käsureale järgmine kood:

    aws configure

15. Sisestage järgmine kood:
    1. Sisestage IAM-konsooli lehel olevad väärtused oma juurdepääsuvõtme ID ja salajase juurdepääsuvõtme jaoks.
    2. eest Default region name, sisenema us-west-2.
    3. Lahkuma Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

Õnnitleme, teie Studio Labi keskkond peaks nüüd olema konfigureeritud AWS-i kontole juurdepääsuks. Ühenduse testimiseks andke järgmine käsk:

aws sts get-caller-identity

See käsk peaks tagastama üksikasjad teie konfigureeritud IAM-i kasutaja kohta.

Looge märkmikutöö

Märkmikutööd luuakse Studio Labi Jupyteri sülearvutite abil. Kui teie sülearvuti töötab Studio Labis, saab seda töötada sülearvuti tööna (rohkemate ressursside ja juurdepääsuga AWS-i teenustele). Siiski on paar asja, mida jälgida.

Kui olete sülearvuti tööle panemiseks installinud pakette, lisage nende pakettide laadimiseks käsud sülearvuti ülaosas olevasse lahtrisse. Kui kasutate iga rea ​​alguses sümbolit &, saadetakse kood käivitamiseks käsureale. Järgmises näites kasutab esimene lahter PyTorchi teekide installimiseks pipi:

%%capture
%pip install torch
%pip install torchvision

Meie sülearvuti loob koolitatud PyTorchi mudeli. Tavalise koodiga salvestame mudeli Studio Labsi failisüsteemi.

Kui käitame seda sülearvuti tööna, peame mudeli salvestama kuhugi, kus sellele hiljem juurde pääseme. Lihtsaim viis seda teha on salvestada mudel Amazon S3-sse. Lõime oma mudelite salvestamiseks S3 ämbri ja kasutasime objekti kopeerimiseks ämbrisse teist käsurea lahtrit.

Me kasutame AWS-i käsurea liides (AWS CLI) siin objekti kopeerimiseks. Võiksime kasutada ka AWS SDK Pythoni jaoks (Boto3) kui soovime failinime keerukamat või automaatsemat juhtimist. Praegu tagame, et muudame failinime iga kord, kui sülearvuti käitame, et mudeleid üle ei kirjutataks.

Nüüd oleme valmis märkmiku tööd looma.

1. Valige (paremklõpsake) märkmiku nimi ja seejärel valige Looge märkmiku töö.
   Kui see menüüvalik puudub, peate võib-olla oma Studio Labi keskkonda värskendama. Selleks avage käivitusprogrammis Terminal ja käivitage järgmine kood:

   conda deactivate && conda env remove —name studiolab

2. Järgmisena taaskäivitage JupyterLabi eksemplar, valides Amazon SageMaker Studio Lab ülemisest menüüst, seejärel valige Taaskäivitage JupyterLab. Teise võimalusena minge projekti lehele ning sulgege ja taaskäivitage käitusaeg.
3. Kohta Loo töökoht leht, jaoks Arvutustüüp, valige oma töökohale sobiv arvutustüüp.

   Lisateavet arvutusvõimsuse eri tüüpide, sealhulgas kulude kohta leiate artiklist Amazon SageMakeri hinnakujundus (vali Nõudmisel hinnakujundus ja navigeerige koolitus sakk. Võimalik, et peate oma AWS-i kontol kontrollima ka arvutustüübi kvoodi saadavust. Teenuste kvootide kohta lisateabe saamiseks vaadake: AWS-i teenusekvoodid.Selle näite jaoks valisime ml.p3.2xlarge eksemplari, mis pakub 8 vCPU-d, 61 GB mälu ja Tesla V100 GPU-d.

   Kui sellel lehel pole hoiatusi, peaksite olema valmis minema. Kui on hoiatusi, kontrollige, kas ARN-i roll on õigesti määratud Lisavalikud. See roll peaks ühtima meie varem loodud SageMakeri täitmisrolli ARN-iga. ARN on vormingus arn:aws:iam::[account-number]:role/service-role/[role-name].

   Sees on saadaval ka muid valikuid Lisavalikud; Näiteks saate valida konkreetse pildi ja kerneli, millel võib olla juba vajalik konfiguratsioon, ilma et peaksite installima täiendavaid teeke.

4. Kui soovite seda märkmikku ajakava alusel käitada, valige Jookse graafiku alusel ja määrake, kui sageli soovite tööd teha.Tahame, et see märkmik töötaks ühe korra, seega valime selle Jookse nüüd.
5. Vali Looma.
   

Märkmiku tööde loend

. Märkmiku töökohad lehel on loetletud kõik praegu käimasolevad ja varem tehtud tööd. Selle loendi leiate käivitusprogrammist (valige, fail, Uus käivitaja), seejärel valige Märkmiku töökohad aasta Muu sektsiooni.

Kui märkmiku töö on lõpetatud, näete, et olek muutub järgmiseks Completed (kasuta Reload vajadusel valik). Seejärel saate väljundfailidele juurdepääsuks valida allalaadimisikooni.

Kui failid on alla laaditud, saate sülearvuti koos koodiväljundi ja väljundlogi vaadata. Meie puhul, kuna lisasime koodi treeninglahtri käitamise ajastamiseks, näeme, kui kaua koolitus kestis – 16 minutit ja 21 sekundit, mis on palju kiirem kui siis, kui kood oleks jooksnud Studio Labis (1 tund , 38 minutit, 55 sekundit). Tegelikult töötas kogu sülearvuti 1,231 sekundiga (veidi üle 20 minuti) ja maksis alla 1.30 dollari (USD).

W saab nüüd suurendada epohhide arvu ja kohandada hüperparameetreid, et parandada mudeli kaduväärtust, ning esitada uue sülearvuti töö.

Järeldus

Selles postituses näitasime, kuidas kasutada Studio Labi märkmikutöid Studio Labis välja töötatud koodi skaleerimiseks ja AWS-i kontol rohkemate ressurssidega käitamiseks.

Lisades AWS-i mandaadid meie Studio Labi keskkonda, pääseme lisaks sülearvuti töödele juurde ka teistele AWS-i konto ressurssidele otse meie Studio Labi sülearvutitest. Heitke pilk Pythoni jaoks mõeldud AWS SDK-le.

See Studio Labi lisavõimalus tõstab võimalike projektide tüüpide ja suuruste piire. Andke meile teada, mida te selle uue võimalusega ehitate!

Autoritest

Mike Chambers on AWS-i AI ja ML arendaja advokaat. Viimased 7 aastat on ta aidanud ehitajatel õppida pilve, turvalisust ja ML-i. Ühendkuningriigist pärit Mike on kirglik teejooja ja legoehitaja.

Michele Monclova on AWS-i peamine tootejuht SageMakeri meeskonnas. Ta on põline New Yorki ja Silicon Valley veteran. Ta on kirglik uuenduste vastu, mis parandavad meie elukvaliteeti.