. Amazon SageMaker Python SDK on avatud lähtekoodiga raamatukogu masinõppe (ML) mudelite koolitamiseks ja juurutamiseks Amazon SageMaker. Ettevõtluskliendid rangelt kontrollitud tööstusharudes, nagu tervishoid ja rahandus, seavad turvapiirded tagamaks, et nende andmed on krüptitud ja liiklus ei liiguks Internetti. Tagamaks, et SageMakeri koolitus ja ML-mudelite kasutuselevõtt järgivad neid kaitsepiirdeid, on tavaline tava seada kontole või piirangud. AWS-i organisatsioonid tasemel teenuse kontrolli poliitikate ja AWS-i identiteedi- ja juurdepääsuhaldus (IAM) poliitikad konkreetsete IAM-i rollide kasutamise jõustamiseks, Amazoni virtuaalne privaatpilv (Amazon VPC) konfiguratsioonid ja AWS-i võtmehaldusteenus (AWS KMS) võtmed. Sellistel juhtudel peavad andmeteadlased andma need parameetrid oma ML-mudeli koolitus- ja juurutuskoodile käsitsi, märkides üles alamvõrgud, turvarühmad ja KMS-võtmed. See paneb andmeteadlaste ülesandeks meeles pidada nende konfiguratsioonide täpsustamist, oma tööde edukat käivitamist ja juurdepääsu keelamise vigade ilmnemist.
Alates SageMaker Python SDK versioonist 2.148.0 saate nüüd konfigureerida vaikeväärtusi sellistele parameetritele nagu IAM-rollid, VPC-d ja KMS-võtmed. Administraatorid ja lõppkasutajad saavad lähtestada AWS-i infrastruktuuri primitiivid YAML-vormingus konfiguratsioonifailis määratud vaikeväärtustega. Pärast seadistamist pärib Pythoni SDK need väärtused automaatselt ja edastab need aluseks olevatele SageMaker API kutsetele, näiteks CreateProcessingJob()
, CreateTrainingJob()
ja CreateEndpointConfig()
, ilma lisatoiminguteta. SDK toetab ka mitut konfiguratsioonifaili, võimaldades administraatoritel seada konfiguratsioonifaili kõikidele kasutajatele ja kasutajad saavad selle alistada kasutajataseme konfiguratsiooni kaudu, mida saab salvestada Amazoni lihtne salvestusteenus (Amazon S3), Amazon elastne failisüsteem (Amazon EFS) jaoks Amazon SageMaker Studiovõi kasutaja kohalik failisüsteem.
Selles postituses näitame teile, kuidas luua ja salvestada Studios vaikekonfiguratsioonifaili ning kasutada SageMakeri ressursside loomiseks SDK vaikeseadete funktsiooni.
Lahenduse ülevaade
Näitame seda uut funktsiooni läbivalt AWS CloudFormation mall, mis loob vajaliku infrastruktuuri ja loob juurutatud VPC-s Studio domeeni. Lisaks loome koolitustel ja tööde töötlemisel kasutatavate mahtude krüptimiseks KMS võtmed. Toimingud on järgmised.
- Käivitage oma kontol virn CloudFormation. Teise võimalusena jätke see samm vahele, kui soovite seda funktsiooni olemasolevas SageMakeri domeenis või sülearvutis uurida.
- Asustada
config.yaml
faili ja salvestage fail vaikekohta. - Käivitage näidismärkmik koos täieliku ML-i kasutusjuhtumiga, sealhulgas andmetöötluse, mudelikoolituse ja järeldustega.
- Alista vaikekonfiguratsiooniväärtused.
Eeldused
Enne alustamist veenduge, et teil oleks AWS-i konto ja administraatoriõigustega IAM-i kasutaja või roll. Kui olete andmeteadlane, kes edastab praegu oma sülearvuti ressurssidele infrastruktuuri parameetreid, võite järgmise keskkonna seadistamise sammu vahele jätta ja alustada konfiguratsioonifaili loomist.
Selle funktsiooni kasutamiseks uuendage kindlasti oma SageMakeri SDK versiooni, käivitades selle pip install --upgrade sagemaker
.
Seadistage keskkond
Täieliku infrastruktuuri, sealhulgas võrgu ja Studio domeeni juurutamiseks toimige järgmiselt.
- Kloonige GitHubi hoidla.
- Logige sisse oma AWS-i kontole ja avage AWS CloudFormationi konsool.
- Võrguressursside juurutamiseks valige Loo virn.
- Laadige mall alla
setup/vpc_mode/01_networking.yaml
. - Sisestage virnale nimi (näiteks
networking-stack
) ja lõpetage virna loomiseks ülejäänud sammud. - Studio domeeni juurutamiseks valige Loo virn uuesti.
- Laadige mall alla
setup/vpc_mode/02_sagemaker_studio.yaml
. - Sisestage virnale nimi (näiteks
sagemaker-stack
) ja sisestage võrgupinu nimi, kui seda küsitakseCoreNetworkingStackName
parameeter. - Jätkake ülejäänud sammudega, valige IAM-i ressursside kinnitused ja looge virn.
Kui mõlema virna olek värskendatakse CREATE_COMPLETE, jätkake järgmise sammuga.
Looge konfiguratsioonifail
SageMaker Pythoni SDK vaikekonfiguratsiooni kasutamiseks loote faili config.yaml SDK eeldatud vormingus. Faili config.yaml vormingu kohta vaadake jaotist Konfiguratsioonifaili struktuur. Olenevalt teie töökeskkonnast, nagu Studio sülearvutid, SageMakeri märkmiku eksemplarid või kohalik IDE, saate konfiguratsioonifaili salvestada vaikekohta või vaikeväärtused alistada, edastades konfiguratsioonifaili asukoha. Teiste keskkondade vaikeasukohtade kohta vaadake jaotist Konfiguratsioonifailide asukohad. Järgmised sammud tutvustavad Studio sülearvuti keskkonna seadistust.
Et hõlpsasti luua config.yaml
faili, käivitage Studio süsteemiterminalis järgmised lahtrid, asendades kohahoidjad eelmises etapis CloudFormationi virna nimedega:
See skript täidab automaatselt YAML-faili, asendades kohahoidjad infrastruktuuri vaikeväärtustega ja salvestab faili kodukausta. Seejärel kopeerib see faili Studio sülearvutite vaikekohta. Saadud konfiguratsioonifail peaks välja nägema sarnane järgmise vorminguga:
Kui teil on olemasolev domeen ja võrgukonfiguratsioon seadistatud, looge config.yaml
faili vajalikus vormingus ja salvestage see Studio märkmike vaikekohta.
Pange tähele, et need vaikeseaded täidavad lihtsalt automaatselt vastavate SageMaker SDK-kutsete konfiguratsiooniväärtused ega sunni kasutajat kasutama ühtegi konkreetset VPC-d, alamvõrku ega rolli. Kui soovite, et teie kasutajad kasutaksid teatud konfiguratsiooni või rolli, kasutage administraatorina IAM-i tingimuste võtmed vaikeväärtuste jõustamiseks.
Lisaks võivad igal API-kõnel olla oma konfiguratsioonid. Näiteks eelmises konfiguratsioonifaili näidises saate määrata vpc-a
ja subnet-a
koolitustööde jaoks ja täpsustage vpc-b
ja subnet-c
, subnet-d
tööde töötlemiseks.
Käivitage näidismärkmik
Nüüd, kui olete konfiguratsioonifaili määranud, saate alustada oma mudeli koostamist ja sülearvutite koolitamist nagu tavaliselt, ilma et peaksite enamiku SDK funktsioonide jaoks võrgu- ja krüpteerimisparameetreid selgelt määrama. Vaata Toetatud API-d ja parameetrid toetatud API-kõnede ja parameetrite täieliku loendi jaoks.
Studios valige navigeerimispaanil File Exploreri ikoon ja avage 03_feature_engineering/03_feature_engineering.ipynb
, nagu on näidatud järgmisel ekraanipildil.
Käivitage märkmiku lahtrid ükshaaval ja pange tähele, et te ei määra täiendavat konfiguratsiooni. Protsessoriobjekti loomisel näete lahtri väljundeid nagu järgmine näide.
Nagu näete väljundis, rakendatakse töötlemistööle automaatselt vaikekonfiguratsiooni, ilma kasutajalt täiendavaid sisestusi vajamata.
Kui käivitate protsessori käivitamiseks järgmise lahtri, saate kontrollida ka vaikeseadete määramist, vaadates tööd SageMakeri konsoolil. Vali Tööde töötlemine all Töötlemine navigeerimispaanil, nagu on näidatud järgmisel ekraanipildil.
Valige eesliitega töötlemistöö end-to-end-ml-sm-proc
ja teil peaks olema võimalik vaadata juba konfigureeritud võrku ja krüptimist.
Mudeli koolitamiseks ja juurutamiseks võite jätkata ülejäänud sülearvutite käitamist ning märkate, et infrastruktuuri vaikesätteid rakendatakse automaatselt nii koolitustööde kui ka mudelite jaoks.
Alista vaikekonfiguratsioonifail
Võib juhtuda, et kasutaja peab vaikekonfiguratsiooni alistama, näiteks avaliku Interneti-juurdepääsu katsetamiseks või võrgukonfiguratsiooni värskendamiseks, kui alamvõrgu IP-aadressid saavad otsa. Sellistel juhtudel võimaldab Pythoni SDK teil määrata ka konfiguratsioonifaili jaoks kohandatud asukoha kas kohalikus salvestusruumis või osutada asukohale Amazon S3-s. Selles jaotises uurime näidet.
avage user-configs.yaml
faili oma kodukataloogi ja värskendage EnableNetworkIsolation
väärtuseks True
All TrainingJob
sektsiooni.
Nüüd avage sama märkmik ja lisage märkmiku algusesse järgmine lahter:
Selle lahtriga suunate konfiguratsioonifaili asukoha SDK-le. Nüüd, kui loote protsessoriobjekti, märkate, et vaikekonfiguratsioon on võrgu eraldamise lubamiseks alistatud ja töötlemistöö ebaõnnestub võrgu eraldamise režiimis.
Kui kasutate kohalikku keskkonda (nt VSCode), saate konfiguratsioonifaili asukoha määramiseks kasutada sama alistamiskeskkonna muutujat.
Silumine ja vaikeseadete toomine
Kiireks tõrkeotsinguks, kui teil tekivad sülearvutist API-kutsete käivitamisel vead, kuvatakse lahtri väljundis rakendatud vaikekonfiguratsioonid, nagu on näidatud eelmises jaotises. Vaikimisi konfiguratsioonifailist edastatud atribuutide väärtuste vaatamiseks loodud täpse Boto3-kõne vaatamiseks saate siluda, lülitades sisse Boto3 logimise. Logimise sisselülitamiseks käivitage märkmiku ülaosas järgmine lahter:
Kõik järgnevad Boto3 kõned logitakse koos täieliku päringuga, mis on nähtav logi põhiosa all.
Vaikekonfiguratsioonide kogumit saate vaadata ka kasutades session.sagemaker_config
väärtus, nagu on näidatud järgmises näites.
Lõpuks, kui kasutate SageMakeri ressursside loomiseks Boto3, saate vaikekonfiguratsiooniväärtused hankida, kasutades sagemaker_config
muutuv. Näiteks töötlemistöö käivitamiseks 03_feature_engineering.ipynb
Boto3 abil saate sisestada samasse märkmikku järgmise lahtri sisu ja käivitada lahtri:
Konfiguratsioonifailide loomise automatiseerimine
Administraatorite jaoks võib konfiguratsioonifaili loomine ja faili salvestamine igasse SageMakeri märkmiku eksemplari või Studio kasutajaprofiili olla hirmutav ülesanne. Ehkki võite soovitada kasutajatel kasutada tavalist faili, mis on salvestatud vaike-S3 asukohta, paneb see andmeteadlastele alistamise määramisega kaasneva lisakulu.
Selle automatiseerimiseks saavad administraatorid kasutada SageMaker Lifecycle Configurations (LCC). Studio kasutajaprofiilide või märkmiku eksemplaride jaoks saate kasutaja Jupyter Serveri vaikerakenduse LCC-na manustada järgmise LCC näidisskripti.
nägema Kasutage Amazon SageMaker Studio elutsükli konfiguratsioone or Kohandage sülearvuti eksemplari elutsükli vaikeskripti loomise ja seadistamise juhiste saamiseks.
Koristage
Kui olete selle funktsiooniga katsetamise lõpetanud, puhastage oma ressursse, et vältida lisakulude maksmist. Kui olete selles postituses kirjeldatud viisil varustanud uusi ressursse, tehke ressursside puhastamiseks järgmised sammud.
- Lülitage oma Studio rakendused kasutajaprofiili jaoks välja. Vaata Lülitage välja ja värskendage SageMaker Studio ja Studio rakendused juhiste saamiseks. Enne virna kustutamist veenduge, et kõik rakendused oleksid kustutatud.
- Kustutage Studio domeeni jaoks loodud EFS-köide. Saate vaadata domeeniga lisatud EFS-i köidet, kasutades a Kirjelda domeeni API kõne.
- Kustutage Studio domeeni virn.
- Kustutage Studio domeeni jaoks loodud turberühmad. Need leiate aadressilt Amazon Elastic Compute Cloud (Amazon EC2) konsool, mille nimed on turvarühm sissetuleva-nfs-d-xxx ja turvarühm väljamineva-nfs-d-xxx jaoks
- Kustutage võrgupakk.
Järeldus
Selles postituses arutasime SageMaker Python SDK abil infrastruktuuri põhiparameetrite vaikeväärtuste konfigureerimist ja kasutamist. See võimaldab administraatoritel määrata andmeteadlaste jaoks vaikekonfiguratsioone, säästes seeläbi kasutajate ja administraatorite aega, kõrvaldades parameetrite korduva täpsustamise koormuse ning tulemuseks on õhem ja paremini hallatav kood. Toetatud parameetrite ja API-de täieliku loendi leiate artiklist Vaikeseadete konfigureerimine ja kasutamine SageMaker Python SDK-ga. Kõigi küsimuste ja arutelude korral liituge Masinõppe ja AI kogukond.
Autoritest
Giuseppe Angelo Porcelli on Amazoni veebiteenuste peamine masinõppespetsialisti lahenduste arhitekt. Mitmeaastase tarkvaratehnoloogia ja ML-taustaga teeb ta koostööd igas suuruses klientidega, et mõista põhjalikult nende äri- ja tehnilisi vajadusi ning kavandada tehisintellekti ja masinõppe lahendusi, mis kasutavad AWS-i pilve ja Amazoni masinõppe pinu kõige paremini ära. Ta on töötanud projektide kallal erinevates valdkondades, sealhulgas MLOps, Computer Vision, NLP ja kaasates laia AWS-teenuste hulka. Vabal ajal mängib Giuseppe jalgpalli.
Bruno Pistone on Milanos asuv AWS-i AI/ML-i spetsialistilahenduste arhitekt. Ta töötab igas suuruses klientidega, et aidata neil põhjalikult mõista nende tehnilisi vajadusi ning kavandada tehisintellekti ja masinõppe lahendusi, mis kasutavad parimal viisil ära AWS-i pilve ja Amazoni masinõppe pinu. Tema valdkonnad on masinõpe otsast lõpuni, masinõppe industrialiseerimine ja MLOps. Talle meeldib veeta aega oma sõpradega ja avastada uusi kohti, aga ka reisida uutesse sihtkohtadesse.
Durga Sury on ML Solutionsi arhitekt Amazon SageMaker Service SA meeskonnas. Ta on kirglik masinõppe kõigile kättesaadavaks tegemise vastu. Nelja aasta jooksul AWS-is on ta aidanud luua AI/ML platvorme ettevõtete klientidele. Kui ta ei tööta, armastab ta mootorrattasõite, mõistatusromaane ja pikki jalutuskäike oma 4-aastase huskyga.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/configure-and-use-defaults-for-amazon-sagemaker-resources-with-the-sagemaker-python-sdk/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 20
- 30
- 60
- 7
- 9
- a
- Võimalik
- MEIST
- juurdepääs
- juurdepääsetav
- konto
- meetmete
- lisama
- lisamine
- Täiendavad lisad
- aadressid
- administraatorid
- jälle
- AI
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- võimaldab
- juba
- Ka
- Kuigi
- Amazon
- Amazon EC2
- Amazoni masinõpe
- Amazon SageMaker
- Amazon Web Services
- an
- ja
- mistahes
- API
- API-liidesed
- app
- rakendatud
- asjakohane
- apps
- OLEME
- AS
- At
- kinnitage
- automatiseerima
- automaatselt
- vältima
- AWS
- AWS CloudFormation
- tagapõhi
- põhineb
- BE
- olnud
- enne
- Algus
- BEST
- keha
- mõlemad
- lai
- Ehitus
- koormus
- äri
- by
- helistama
- Kutsub
- CAN
- juhul
- juhtudel
- CD
- Rakke
- Vali
- klient
- Cloud
- kood
- kogumine
- ühine
- täitma
- Arvutama
- arvuti
- Arvuti visioon
- seisund
- konfiguratsioon
- konsool
- sisu
- jätkama
- kontrollida
- kontrollitud
- kulud
- võiks
- looma
- loodud
- loob
- loomine
- Praegu
- tava
- Kliendid
- andmed
- andmetöötlus
- andmeteadlane
- vaikimisi
- vaikimisi
- näitama
- Olenevalt
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- Disain
- sihtkohtadesse
- erinev
- arutatud
- arutelud
- Näidikute
- Ei tee
- domeen
- Domeenid
- tehtud
- Ära
- alla
- iga
- kergesti
- miss
- kumbki
- kõrvaldades
- võimaldama
- krüpteeritud
- krüpteerimist
- lõpp
- Lõpuks-lõpuni
- Lõpp-punkt
- jõustada
- Inseneriteadus
- tagama
- sisene
- ettevõte
- keskkond
- keskkondades
- vead
- igaüks
- näide
- olemasolevate
- ootab
- eksperiment
- teadmised
- uurima
- uurija
- Avastades
- FAIL
- vale
- tunnusjoon
- väli
- fail
- Faile
- rahastama
- leidma
- järgima
- Järel
- järgneb
- jalgpall
- eest
- formaat
- tasuta
- sõbrad
- Alates
- täis
- funktsioonid
- saama
- saamine
- Git
- Grupi omad
- Olema
- võttes
- he
- tervishoid
- aitas
- aidates
- siin
- tema
- Avaleht
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- ICON
- Identity
- if
- import
- in
- Kaasa arvatud
- tööstusharudes
- Infrastruktuur
- sisend
- paigaldama
- Näiteks
- juhised
- Interface
- Internet
- internetiühendus
- sisse
- kaasates
- IP
- IP-aadressid
- isolatsioon
- IT
- ITS
- töö
- Tööturg
- liituma
- jpg
- Võti
- võtmed
- suur
- õppimine
- Tase
- Raamatukogu
- eluring
- nagu
- nimekiri
- kohalik
- liising
- kohad
- logi
- loginud
- metsaraie
- Pikk
- Vaata
- armastab
- masin
- masinõpe
- tegema
- Tegemine
- juhtimine
- käsitsi
- MILAN
- ML
- MLOps
- viis
- mudel
- mudelid
- rohkem
- kõige
- mootorratas
- mitmekordne
- Mõistatus
- nimi
- nimed
- NAVIGATSIOON
- Vajadus
- vaja
- vajav
- vajadustele
- võrk
- võrgustike loomine
- Uus
- järgmine
- nlp
- ei
- märkmik
- Märka..
- märkides
- nüüd
- objekt
- of
- on
- kunagi
- ONE
- avatud
- avatud lähtekoodiga
- or
- OS
- Muu
- välja
- väljund
- ignoreerimine
- enda
- pane
- parameeter
- parameetrid
- Vastu võetud
- Mööduv
- kirglik
- pöörates
- Kohad
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- Punkt
- Poliitika
- post
- tava
- eelmine
- Peamine
- era-
- privileegid
- töötlemine
- Protsessor
- profiil
- profiilid
- projektid
- anda
- avalik
- Paneb
- Python
- Küsimused
- Kiire
- soovitama
- ülejäänud
- meeles pidama
- taotleda
- nõutav
- Vahendid
- vastus
- piirangud
- tulemuseks
- Roll
- rollid
- jooks
- jooksmine
- s
- SA
- salveitegija
- sama
- Säästa
- säästmine
- teadlane
- teadlased
- SDK
- Osa
- turvalisus
- vaata
- teenus
- Teenused
- istung
- komplekt
- kehtestamine
- seade
- mitu
- ta
- peaks
- näitama
- presentatsioon
- näidatud
- sarnane
- lihtne
- lihtsalt
- SUURUS
- tarkvara
- tarkvaraarendus
- Lahendused
- midagi
- spetsialist
- konkreetse
- määratletud
- Kulutused
- Kestab
- Hoidla
- algus
- alustatud
- olek
- Samm
- Sammud
- ladustamine
- salvestada
- ladustatud
- stuudio
- alamvõrgu
- alamvõrgud
- järgnev
- Edukalt
- selline
- Toetatud
- Toetab
- süsteem
- Ülesanne
- meeskond
- Tehniline
- šabloon
- terminal
- et
- .
- oma
- Neile
- SIIS
- sellega
- Need
- see
- Läbi
- tihedalt
- aeg
- et
- ülemine
- liiklus
- Rong
- koolitus
- Pöörake
- Pööramine
- all
- aluseks
- mõistma
- Värskendused
- upgrade
- Kasutus
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- väärtus
- Väärtused
- kontrollima
- versioon
- kaudu
- vaade
- vaatamine
- virtuaalne
- nähtav
- nägemus
- maht
- mahud
- tahan
- we
- web
- veebiteenused
- Hästi
- millal
- will
- koos
- ilma
- Töö
- töötas
- töö
- töötab
- yaml
- aastat
- sa
- Sinu
- sephyrnet