Suorita muistikirjoja erätöinä Amazon SageMaker Studio Labissa

Äskettäin Amazon SageMaker Studio lanseerasi helpon tavan käyttää muistikirjoja erätöinä, jotka voivat toimia toistuvasti. Amazon SageMaker Studio Lab tukee myös tätä ominaisuutta, jolloin voit käyttää SageMaker Studio Labissa kehittämiäsi muistikirjoja AWS-tililläsi. Tämän avulla voit nopeasti skaalata koneoppimiskokeilujasi suuremmilla tietojoukoilla ja tehokkaammilla instansseilla ilman, että sinun tarvitsee oppia mitään uutta tai muuttaa yhtä koodiriviä.

Tässä viestissä opastamme sinut läpi kertaluonteisen edellytyksen, jonka avulla voit yhdistää Studio Lab -ympäristösi AWS-tiliin. Sen jälkeen opastamme sinut suorittamaan muistikirjoja erätyönä Studio Labista.

Ratkaisun yleiskatsaus

Studio Lab sisälsi saman laajennuksen kuin Studio, joka perustuu Jupyterin avoimen lähdekoodin laajennukseen aikataulutetut muistikirjat. Tällä laajennuksella on AWS-kohtaisia ​​lisäparametreja, kuten laskentatyyppi. Studio Labissa ajoitettu muistikirja kopioidaan ensin Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -säilössä AWS-tililläsi ja suorita sitten aikataulun mukaan valitulla laskentatyypillä. Kun työ on valmis, tulos kirjoitetaan S3-säilöön ja AWS-laskenta pysäytetään kokonaan, mikä estää jatkuvat kustannukset.

Edellytykset

Studio Labin muistikirjatöiden käyttäminen edellyttää järjestelmänvalvojan käyttöoikeuksia AWS-tilille, johon aiot muodostaa yhteyden (tai apua joltakin, jolla on tämä käyttöoikeus). Tämän viestin loppuosassa oletamme, että olet AWS-järjestelmänvalvoja. Jos näin ei ole, pyydä järjestelmänvalvojaasi tai tilisi omistajaa tarkistamaan nämä vaiheet kanssasi.

Luo SageMaker-suoritusrooli

Meidän on varmistettava, että AWS-tilillä on AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) SageMaker-suoritusrooli. Tätä roolia käyttävät tilin SageMaker-resurssit, ja se tarjoaa SageMakerilta pääsyn muihin AWS-tilin resursseihin. Meidän tapauksessamme muistikirjatyömme suoritetaan näillä luvilla. Jos SageMakeria on käytetty aiemmin tällä tilillä, rooli saattaa jo olla olemassa, mutta sillä ei välttämättä ole kaikkia vaadittuja käyttöoikeuksia. Joten mennään eteenpäin ja tehdään uusi.

Seuraavat vaiheet tarvitsee tehdä vain kerran riippumatta siitä, kuinka monta SageMaker Studio Lab -ympäristöä käyttää tätä AWS-tiliä.

1. Valitse IAM-konsolista Roolit navigointipaneelissa.
2. Valita Luo rooli.
3. varten Luotettu kokonaisuustyyppivalitse AWS-palvelu.
4. varten Käyttötapaukset muille AWS-palveluille, valitse SageMaker.
5. valita SageMaker – Suoritus.
6. Valita seuraava.
7. Tarkista käyttöoikeudet ja valitse sitten seuraava.
8. varten Roolinimi, kirjoita nimi (tälle viestille käytämme sagemaker-execution-role-notebook-jobs).
9. Valita Luo rooli.
10. Merkitse muistiin rooli ARN.

Rooli ARN on muodossa arn:aws:iam::[account-number]:role/service-role/[role-name] ja se vaaditaan Studio Lab -asetuksissa.

Luo IAM-käyttäjä

Jotta Studio Lab -ympäristö voi käyttää AWS:ää, meidän on luotava IAM-käyttäjä AWS:ssä ja myönnettävä sille tarvittavat käyttöoikeudet. Meidän on sitten luotava tälle käyttäjälle joukko pääsyavaimia ja annettava ne Studio Lab -ympäristöön.

Tämä vaihe on toistettava jokaiselle SageMaker Studio Lab -ympäristölle, joka käyttää tätä AWS-tiliä.

Huomaa, että järjestelmänvalvojien ja AWS-tilien omistajien tulee varmistaa, että hyvin suunniteltuja tietoturvakäytäntöjä noudatetaan mahdollisimman suuressa määrin. Esimerkiksi käyttäjien käyttöoikeuksia tulee aina rajoittaa ja pääsyavaimia tulee kiertää säännöllisesti, jotta tunnistetietojen vaarantumisen vaikutus voidaan minimoida.

Tässä blogissa näytämme kuinka käyttää AmazonSageMakerFullAccess hallittua politiikkaa. Tämä käytäntö tarjoaa laajan pääsyn Amazon SageMakeriin, joka voi ylittää sen, mitä vaaditaan. Tietoja aiheesta AmazonSageMakerFullAccess voidaan löytää tätä.

Vaikka Studio Lab käyttää yritysturvallisuutta, on huomattava, että Studio Labin käyttäjätunnukset eivät ole osa AWS-tiliäsi, eivätkä ne siksi esimerkiksi ole AWS-salasanaasi tai MFA-käytäntöjen alaisia.

Jotta käyttöoikeuksia rajoitetaan mahdollisimman paljon, luomme käyttäjäprofiilin erityisesti tätä käyttöoikeutta varten.

1. Valitse IAM-konsolista käyttäjät navigointipaneelissa.
2. Valita Lisää käyttäjiä.
3. varten käyttäjätunnus, kirjoita nimi. On hyvä käytäntö käyttää nimeä, joka on linkitetty yksittäiseen henkilöön, joka tulee käyttämään tätä tiliä. tämä auttaa tarkasteltaessa tarkastuslokeja.
4. varten Valitse AWS -käyttötyyppivalitse Pääsyavain – Ohjelmallinen pääsy.
5. Valita Seuraava: Luvat.
6. Valita Liitä olemassa olevat käytännöt suoraan.
7. Etsi ja valitse AmazonSageMakerFullAccess.
8. Etsi ja valitse AmazonEventBridgeFullAccess.
9. Valita Seuraava: Tunnisteet.
10. Valita Seuraava: Arvostelu.
11. Vahvista käytäntösi ja valitse sitten Luo käyttäjä.Käyttäjän luontiprosessin viimeisellä sivulla pitäisi näkyä käyttäjän pääsyavaimet. Jätä tämä välilehti auki, koska emme voi navigoida takaisin tänne ja tarvitsemme nämä tiedot.
12. Avaa uusi selainvälilehti Studio Labissa.
13. On filee valikosta, valitse Uusi käynnistin, valitse sitten terminaali.
14. Kirjoita komentoriville seuraava koodi:

    aws configure

15. Kirjoita seuraava koodi:
    1. Syötä IAM-konsolisivulta pääsyavaimen tunnuksen ja salaisen pääsyavaimen arvot.
    2. varten Default region name, tulla sisään us-west-2.
    3. jättää Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

Onnittelut, Studio Lab -ympäristösi pitäisi nyt olla määritetty käyttämään AWS-tiliä. Voit testata yhteyden antamalla seuraavan komennon:

aws sts get-caller-identity

Tämän komennon pitäisi palauttaa tiedot IAM-käyttäjästä, jonka olet määrittänyt käyttämään.

Luo muistikirjatyö

Muistikirjatyöt luodaan Studio Labin Jupyter-muistikirjoilla. Jos muistikirjasi toimii Studio Labissa, sitä voidaan käyttää muistikirjatyönä (lisää resursseja ja pääsyä AWS-palveluihin). On kuitenkin pari asiaa, joita kannattaa tarkkailla.

Jos olet asentanut paketteja saadaksesi kannettavan tietokoneen toimimaan, lisää komennot ladataksesi nämä paketit muistikirjan yläosassa olevaan soluun. Käyttämällä &-symbolia jokaisen rivin alussa, koodi lähetetään komentoriville suoritettavaksi. Seuraavassa esimerkissä ensimmäinen solu käyttää pip-komentoa PyTorch-kirjastojen asentamiseen:

%%capture
%pip install torch
%pip install torchvision

Muistikirjamme luo koulutetun PyTorch-mallin. Tavallisella koodillamme tallennamme mallin Studio Labsin tiedostojärjestelmään.

Kun käytämme tätä muistikirjatyönä, meidän on tallennettava malli jonnekin, josta voimme käyttää sitä myöhemmin. Helpoin tapa tehdä tämä on tallentaa malli Amazon S3:een. Loimme S3-ämpärimme mallien tallentamista varten ja kopioimme kohteen toisella komentorivisolulla ämpäriin.

Käytämme AWS-komentoriviliitäntä (AWS CLI) tästä kopioidaksesi objektin. Voisimme myös käyttää AWS SDK Pythonille (Boto3) jos halusimme tiedostonimen tarkemman tai automatisoidun hallinnan. Toistaiseksi varmistamme, että vaihdamme tiedostonimen joka kerta, kun käytämme muistikirjaa, jotta mallit eivät kirjoiteta päälle.

Nyt olemme valmiita luomaan muistikirjatyön.

1. Valitse (napsauta hiiren kakkospainikkeella) muistikirjan nimi ja valitse sitten Luo muistikirjatyö.
   Jos tämä valikkovaihtoehto puuttuu, sinun on ehkä päivitettävä Studio Lab -ympäristö. Voit tehdä tämän avaamalla terminaalin käynnistysohjelmasta ja suorittamalla seuraavan koodin:

   conda deactivate && conda env remove —name studiolab

2. Käynnistä seuraavaksi JupyterLab-instanssi uudelleen valitsemalla Amazon SageMaker Studio Lab ylävalikosta ja valitse sitten Käynnistä JupyterLab uudelleenVaihtoehtoisesti voit siirtyä projektisivulle ja sulkea ja käynnistää suoritusajan uudelleen.
3. On Luo työpaikka sivua varten Lasketyyppi, valitse työhösi sopiva laskentatyyppi.

   Lisätietoja erityyppisistä laskentakapasiteeteista, mukaan lukien kustannukset, on kohdassa Amazon SageMaker -hinnoittelu (valita On-demand -hinnoittelu ja siirry kohtaan koulutus -välilehti. Sinun on ehkä myös tarkistettava AWS-tilisi laskentatyypin kiintiön saatavuus. Lisätietoja palvelukiintiöistä on osoitteessa: AWS-palvelukiintiöt.Tätä esimerkkiä varten olemme valinneet ml.p3.2xlarge-esiintymän, joka tarjoaa 8 vCPU:ta, 61 Gt muistia ja Tesla V100 GPU:n.

   Jos tällä sivulla ei ole varoituksia, sinun pitäisi olla valmis lähtemään. Jos varoituksia on, tarkista, että oikea rooli ARN on määritetty Lisävaihtoehtoja. Tämän roolin tulee vastata aiemmin luomamme SageMaker-suoritusroolin ARN-numeroa. ARN on muodossa arn:aws:iam::[account-number]:role/service-role/[role-name].

   Sisällä on muitakin vaihtoehtoja Lisävaihtoehtoja; Voit esimerkiksi valita tietyn kuvan ja ytimen, joilla voi jo olla tarvitsemasi kokoonpano ilman, että sinun tarvitsee asentaa lisäkirjastoja.

4. Jos haluat käyttää tätä muistikirjaa aikataulussa, valitse Juokse aikataulun mukaan ja määritä, kuinka usein haluat työn olevan käynnissä.Haluamme tämän muistikirjan toimivan kerran, joten valitsemme Juokse nyt.
5. Valita luoda.
   

Muistikirjan työlista

- Muistikirjatyöt sivulla luetellaan kaikki tällä hetkellä käynnissä olevat työt ja aiemmin suoritetut työt. Löydät tämän luettelon käynnistysohjelmasta (valitse, filee, Uusi käynnistin), valitse sitten Muistikirjatyöt vuonna Muut osiossa.

Kun muistikirjan työ on valmis, näet tilan muuttuvan muotoon Completed (Käytä ladata vaihtoehto tarvittaessa). Voit sitten käyttää tulostustiedostoja valitsemalla latauskuvakkeen.

Kun tiedostot on ladattu, voit tarkastella muistikirjaa yhdessä koodin tulosteen ja tuloslokin kanssa. Tässä tapauksessa, koska lisäsimme koodin koulutussolun ajon ajoitukseen, voimme nähdä kuinka kauan koulutustyö kesti – 16 minuuttia ja 21 sekuntia, mikä on paljon nopeampaa kuin jos koodi olisi ajettu Studio Labissa (1 tunti , 38 minuuttia, 55 sekuntia). Itse asiassa koko muistikirja juoksi 1,231 20 sekunnissa (hieman yli 1.30 minuutissa) ja maksoi alle XNUMX dollaria (USD).

W voi nyt lisätä aikakausien määrää ja säätää hyperparametreja parantaakseen mallin häviöarvoa ja lähettää toisen muistikirjatyön.

Yhteenveto

Tässä viestissä osoitimme, kuinka Studio Labin muistikirjatöiden avulla voidaan skaalata Studio Labissa kehittämäämme koodia ja käyttää sitä enemmän resursseja käyttämällä AWS-tilillä.

Kun lisäämme AWS-tunnistetiedot Studio Lab -ympäristöömme, voimme käyttää muistikirjatöitä, mutta voimme myös käyttää muita resursseja AWS-tililtä suoraan Studio Lab -muistikirjoistamme. Katso Pythonin AWS SDK.

Tämä Studio Labin lisäominaisuus nostaa saavutettavien projektien lajien ja kokojen rajoja. Kerro meille, mitä rakennat tällä uudella ominaisuudella!

Tietoja kirjoittajista

Mike Chambers on AWS:n AI- ja ML-kehittäjäadvocate. Hän on viettänyt viimeiset 7 vuotta auttaen rakentajia oppimaan pilvi-, tietoturva- ja ML-tekniikkaa. Iso-Britanniasta kotoisin oleva Mike on intohimoinen teen juoja ja legojen rakentaja.

Michele Monclova on AWS:n päätuotepäällikkö SageMaker-tiimissä. Hän on syntyperäinen newyorkilainen ja Piilaakson veteraani. Hän on intohimoinen innovaatioista, jotka parantavat elämänlaatuamme.