Zagotavljanje in upravljanje okolij ML z Amazon SageMaker Canvas z uporabo AWS CDK in AWS Service Catalog

Širjenje strojnega učenja (ML) v širokem spektru primerov uporabe postaja razširjeno v vsaki industriji. Vendar to prehiteva povečanje števila izvajalcev strojnega upravljanja, ki so bili tradicionalno odgovorni za izvajanje teh tehničnih rešitev za doseganje poslovnih rezultatov.

V današnjem podjetju obstaja potreba po strojnem učenju, ki ga bodo uporabljali strokovnjaki, ki niso ML in so vešči podatkov, kar je temelj ML. Da bi to uresničili, se vrednost ML uresničuje v celotnem podjetju prek platform ML brez kode. Te platforme omogočajo različnim osebam, na primer poslovnim analitikom, uporabo strojnega jezika brez pisanja ene same vrstice kode in ponujajo rešitve za poslovne težave na hiter, preprost in intuitiven način. Amazon SageMaker Canvas je vizualna storitev »pokaži in klikni«, ki poslovnim analitikom omogoča uporabo strojnega jezika za reševanje poslovnih težav s samostojnim ustvarjanjem natančnih napovedi – ne da bi potrebovali kakršne koli izkušnje z jezikovnim učenjem ali napisali eno vrstico kode. Canvas je razširil uporabo ML v podjetju z intuitivnim vmesnikom, preprostim za uporabo, ki podjetjem pomaga hitro uvesti rešitve.

Čeprav je Canvas omogočil demokratizacijo strojnega pisanja, še vedno ostaja izziv zagotavljanja in uvajanja okolij strojnega pisanja na varen način. Običajno so za to odgovorne osrednje IT ekipe v večini velikih podjetij. V tem prispevku razpravljamo o tem, kako lahko ekipe IT upravljajo, zagotavljajo in upravljajo varna okolja ML z uporabo Amazon SageMaker Canvas, Komplet za razvoj oblaka AWS (AWS CDK) in Katalog storitev AWS. Objava predstavlja vodnik po korakih za skrbnike IT, da to dosežejo hitro in v velikem obsegu.

Pregled AWS CDK in kataloga storitev AWS

AWS CDK je odprtokodno ogrodje za razvoj programske opreme za definiranje virov vaših aplikacij v oblaku. Uporablja poznavanje in izrazno moč programskih jezikov za modeliranje vaših aplikacij, hkrati pa zagotavlja vire na varen in ponovljiv način.

Katalog storitev AWS vam omogoča centralno upravljanje razporejenih storitev IT, aplikacij, virov in metapodatkov. Z AWS Service Catalog lahko ustvarite, delite, organizirate in upravljate vire v oblaku s predlogami infrastrukture kot kode (IaC) ter omogočite hitro in preprosto zagotavljanje.

Pregled rešitev

Omogočamo zagotavljanje okolij ML z uporabo Canvasa v treh korakih:

1. Najprej delimo, kako lahko upravljate portfelj virov, potrebnih za odobreno uporabo Canvasa, z uporabo kataloga storitev AWS.
2. Nato uvedemo primer portfelja kataloga storitev AWS za Canvas z uporabo AWS CDK.
3. Na koncu pokažemo, kako lahko v nekaj minutah zagotovite okolja Canvas na zahtevo.

Predpogoji

Če želite zagotoviti okolja ML s Canvas, AWS CDK in AWS Service Catalog, morate narediti naslednje:

1. Imeti dostop do računa AWS, kjer bo uveden portfelj storitvenega kataloga. Prepričajte se, da imate poverilnice in dovoljenja za uvedbo sklada AWS CDK v svoj račun. The Delavnica AWS CDK je koristen vir, na katerega se lahko obrnete, če potrebujete podporo.
2. Priporočamo, da upoštevate nekatere najboljše prakse, ki so poudarjene s koncepti, ki so podrobno opisani v naslednjih virih:
3. Clone tem repozitoriju GitHub v svoje okolje.

Zagotovite odobrena okolja ML z Amazon SageMaker Canvas z uporabo AWS Service Catalog

V reguliranih panogah in večini velikih podjetij se morate držati zahtev, ki jih za zagotavljanje in upravljanje okolij strojnega pisanja zahtevajo ekipe IT. Ti lahko vključujejo varno, zasebno omrežje, šifriranje podatkov, nadzor, ki omogoča samo pooblaščenim in overjenim uporabnikom, kot je AWS upravljanje identitete in dostopa (IAM) za dostop do rešitev, kot je Canvas, ter strogo beleženje in spremljanje za namene revizije.

Kot skrbnik IT lahko uporabite katalog storitev AWS za ustvarjanje in organiziranje varnih, ponovljivih okolij ML s SageMaker Canvas v portfelj izdelkov. To se upravlja z uporabo kontrolnikov IAC, ki so vgrajeni za izpolnjevanje prej omenjenih zahtev in jih je mogoče na zahtevo zagotoviti v nekaj minutah. Prav tako lahko ohranite nadzor nad tem, kdo lahko dostopa do tega portfelja za lansiranje izdelkov.

Naslednji diagram prikazuje to arhitekturo.

Primer toka

V tem razdelku prikazujemo primer portfelja storitvenega kataloga AWS s SageMaker Canvas. Portfelj je sestavljen iz različnih vidikov okolja Canvas, ki so del portfelja kataloga storitev:

• Studio domena – Canvas je aplikacija, ki deluje znotraj Studio domene. Domena je sestavljena iz Elastični datotečni sistem Amazon (Amazon EFS), seznam pooblaščenih uporabnikov in vrsto varnosti, aplikacij, pravilnikov in Navidezni zasebni oblak Amazon (VPC) konfiguracije. Račun AWS je povezan z eno domeno na regijo.
• Vedro Amazon S3 – Ko je domena Studio ustvarjena, se an Preprosta storitev shranjevanja Amazon (Amazon S3) vedro je na voljo za Canvas, da omogoči uvoz naborov podatkov iz lokalnih datotek, znan tudi kot nalaganje lokalnih datotek. To vedro je v računu stranke in je omogočeno enkrat.
• Uporabnik platna – SageMaker Canvas je aplikacija, v kateri lahko dodate uporabniške profile znotraj domene Studio za vsakega uporabnika Canvas, ki lahko nadaljuje z uvozom podatkovnih nizov, gradnjo in usposabljanjem modelov ML brez pisanja kode in izvaja napovedi na modelu.
• Načrtovana zaustavitev sej Canvas – Uporabniki Canvas se lahko odjavijo iz vmesnika Canvas, ko končajo s svojimi nalogami. Druga možnost je, skrbniki lahko zaustavijo seje Canvas Iz Konzola za upravljanje AWS kot del vodenja sej Canvas. V tem delu portfelja kataloga storitev AWS je an AWS Lambda funkcija je ustvarjen in omogočen za samodejno zaustavitev sej Canvas v določenih načrtovanih intervalih. To pomaga upravljati odprte seje in jih zapreti, ko niso v uporabi.

Ta primer poteka lahko najdete v GitHub repozitorij za hitro referenco.

Razmestite tok z AWS CDK

V tem razdelku uvajamo prej opisani tok z uporabo AWS CDK. Ko je uveden, lahko izvajate tudi sledenje različicam in upravljate portfelj.

Sklad portfelja je na voljo v app.py in izdelek zloži pod products/ mapo. Ponavljate lahko vloge IAM, AWS Service Key Management (AWS KMS) in nastavitev VPC v studio_constructs/ mapo. Preden namestite sklad v svoj račun, lahko uredite naslednje vrstice app.py in dodelite dostop do portfelja vlogi IAM po vaši izbiri.

Upravljate lahko dostop do portfelja za ustrezne uporabnike, skupine in vloge IAM. glej Podeljevanje dostopa uporabnikom Za več podrobnosti.

Razporedite portfelj v svoj račun

Zdaj lahko zaženete naslednje ukaze za namestitev AWS CDK in zagotovite, da imate prave odvisnosti za uvedbo portfelja:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Zaženite naslednje ukaze za namestitev portfelja v svoj račun:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Prva dva ukaza pridobita ID vašega računa in trenutno regijo z uporabo Vmesnik ukazne vrstice AWS (AWS CLI) v vašem računalniku. Po tem, cdk bootstrap in cdk deploy gradite sredstva lokalno in razporedite sklad v nekaj minutah.

Portfelj je zdaj mogoče najti v katalogu storitev AWS, kot je prikazano na naslednjem posnetku zaslona.

Oskrba na zahtevo

Izdelke v portfelju je mogoče hitro in enostavno lansirati na zahtevo podjetja Provisioning meni na konzoli kataloga storitev AWS. Tipičen tok je, da najprej zaženete domeno Studio in samodejno zaustavite Canvas, ker je to običajno enkratno dejanje. Nato lahko v domeno dodate uporabnike Canvas. ID domene in uporabniška vloga IAM ARN sta shranjena v Upravitelj sistemov AWS in se samodejno zapolnijo z uporabniškimi parametri, kot je prikazano na naslednjem posnetku zaslona.

Uporabite lahko tudi oznake za dodelitev stroškov, ki so pritrjene vsakemu uporabniku. na primer UserCostCenter je vzorčna oznaka, kamor lahko dodate ime vsakega uporabnika.

Ključni vidiki upravljanja okolij ML z uporabo Canvasa

Zdaj, ko smo zagotovili in uvedli portfelj kataloga storitev AWS, osredotočen na Canvas, bi radi poudarili nekaj premislekov za upravljanje okolij ML, ki temeljijo na Canvasu in so osredotočena na domeno in uporabniški profil.

V zvezi z domeno Studio so naslednji premisleki:

• Omrežje za Canvas se upravlja na ravni domene Studio, kjer je domena nameščena v zasebnem podomrežju VPC za varno povezljivost. glej Zagotovitev povezljivosti Amazon SageMaker Studio z zasebnim VPC Če želite izvedeti več.
• Privzeta vloga izvajanja IAM je definirana na ravni domene. Ta privzeta vloga je dodeljena vsem uporabnikom Canvas v domeni.
• Šifriranje poteka z uporabo AWS KMS s šifriranjem nosilca EFS v domeni. Za dodatne kontrole lahko določite svoj upravljani ključ, znan tudi kot ključ, ki ga upravlja stranka (CMK). glej Zaščitite podatke v mirovanju s šifriranjem Če želite izvedeti več.
• Zmožnost nalaganja datotek z vašega lokalnega diska je dosežena s priložitvijo pravilnika o skupni rabi virov navzkrižnega izvora (CORS) v vedro S3, ki ga uporablja Canvas. glej Dajte svojim uporabnikom dovoljenja za nalaganje lokalnih datotek Če želite izvedeti več.

Glede uporabniškega profila je treba upoštevati naslednje:

• Preverjanje pristnosti v Studiu je mogoče izvesti prek enotne prijave (SSO) in IAM. Če imate obstoječega ponudnika identitete za združevanje uporabnikov za dostop do konzole, lahko dodelite uporabniški profil Studio vsaki zvezni identiteti z uporabo IAM. Glej razdelek Dodeljevanje pravilnika uporabnikom Studia in Konfiguriranje Amazon SageMaker Studio za skupine in skupine s popolno izolacijo virov Če želite izvedeti več.
• Vsakemu uporabniškemu profilu lahko dodelite izvajalske vloge IAM. Med uporabo programa Studio uporabnik prevzame vlogo, preslikano v njegov uporabniški profil, ki preglasi privzeto vlogo izvajanja. To lahko uporabite za natančen nadzor dostopa znotraj skupine.
• Izolacijo lahko dosežete z uporabo kontrol dostopa na podlagi atributov (ABAC), da zagotovite, da lahko uporabniki dostopajo samo do virov za svojo ekipo. glej Konfiguriranje Amazon SageMaker Studio za skupine in skupine s popolno izolacijo virov Če želite izvedeti več.
• Izvedete lahko natančno sledenje stroškov z uporabo oznak za dodelitev stroškov uporabniškim profilom.

Čiščenje

Če želite počistiti vire, ki jih je ustvaril zgornji sklad AWS CDK, se pomaknite na stran skladov AWS CloudFormation in izbrišite sklade Canvas. Lahko tudi tečeš cdk destroy iz mape repozitorija, da storite enako.

zaključek

V tej objavi smo delili, kako lahko hitro in preprosto zagotovite okolja ML s Canvasom z uporabo kataloga storitev AWS in CDK AWS. Razpravljali smo o tem, kako lahko ustvarite portfelj na AWS Service Catalog, zagotovite portfelj in ga uvedete v svoj račun. Skrbniki IT lahko uporabljajo to metodo za uvajanje in upravljanje uporabnikov, sej in povezanih stroškov med zagotavljanjem Canvasa.

Več o Canvasu na Stran izdelka in Vodnik za razvijalce. Za nadaljnje branje se lahko naučite, kako omogočite poslovnim analitikom dostop do SageMaker Canvas z uporabo AWS SSO brez konzole. Lahko se tudi naučite, kako poslovni analitiki in podatkovni znanstveniki lahko hitreje sodelujejo s programoma Canvas in Studio.

O avtorjih

Davide Gallitelli je specializirani arhitekt rešitev za AI/ML v regiji EMEA. Ima sedež v Bruslju in tesno sodeluje s strankami po vsem Beneluksu. Razvijalec je že od malih nog, kodirati je začel pri 7 letih. AI/ML se je začel učiti na univerzi in od takrat se je vanj zaljubil.

Sofian Hamiti je strokovnjak za rešitve AI / ML za rešitve pri AWS. Strankam v različnih panogah pomaga, da pospešijo svojo umetno inteligenco / ML, tako da jim pomaga zgraditi in operacionalizirati rešitve strojnega učenja od konca do konca.

Shyam Srinivasan je glavni produktni vodja v ekipi AWS AI/ML, ki vodi upravljanje izdelkov za Amazon SageMaker Canvas. Shyam skrbi za izboljšanje sveta s tehnologijo in navdušen nad tem, kako sta lahko AI in ML katalizatorja na tem potovanju.

Avi Patel dela kot programski inženir v ekipi Amazon SageMaker Canvas. Njegovo ozadje je sestavljeno iz dela celotnega sklada s poudarkom na frontendu. V prostem času rad prispeva k odprtokodnim projektom v kripto prostoru in spoznava nove protokole DeFi.

Jared Heywood je višji vodja poslovnega razvoja pri AWS. Je globalni strokovnjak za AI/ML, ki strankam pomaga pri strojnem učenju brez kode. Zadnjih 5 let je delal v prostoru AutoML in pri Amazonu lansiral izdelke, kot sta Amazon SageMaker JumpStart in Amazon SageMaker Canvas.