Varustage ja hallake ML-keskkondi Amazon SageMaker Canvasiga, kasutades AWS CDK-d ja AWS-i teenusekataloogi

Masinõppe (ML) levik paljudes kasutusjuhtudes on muutumas valdavaks igas tööstusharus. See ületab aga nende tehniliste lahenduste juurutamise eest äritulemuste saavutamiseks traditsiooniliselt vastutavate ML-i praktikute arvu kasvu.

Tänapäeva ettevõttes on vajadus masinõppe järele, mida saaksid kasutada mitte-ML-praktikud, kes valdavad andmeid, mis on ML-i aluseks. Selle reaalsuseks muutmiseks realiseeritakse ML väärtust kogu ettevõttes koodita ML platvormide kaudu. Need platvormid võimaldavad erinevatel isikutel, näiteks ärianalüütikutel, kasutada ML-i ilma ühtki koodirida kirjutamata ning pakkuda äriprobleemidele kiireid, lihtsaid ja intuitiivseid lahendusi. Amazon SageMakeri lõuend on visuaalne point-and-click teenus, mis võimaldab ärianalüütikutel kasutada ML-i äriprobleemide lahendamiseks, luues iseseisvalt täpseid ennustusi – ilma ML-i kogemusteta või ühtki koodirida kirjutamata. Canvas on laiendanud ML kasutamist ettevõttes lihtsalt kasutatava intuitiivse liidesega, mis aitab ettevõtetel lahendusi kiiresti juurutada.

Kuigi Canvas on võimaldanud ML-i demokratiseerimist, on ML-keskkondade turvalisel viisil varustamise ja juurutamise väljakutse endiselt alles. Tavaliselt vastutavad selle eest enamiku suurettevõtete kesksed IT-meeskonnad. Selles postituses arutame, kuidas IT-meeskonnad saavad turvalisi ML-keskkondi kasutades hallata, pakkuda ja hallata Amazon SageMakeri lõuend, AWS pilvearenduskomplekt (AWS CDK) ja AWS-i teenuste kataloog. Postitus esitab IT-administraatoritele samm-sammult juhise selle kiireks ja ulatuslikuks saavutamiseks.

Ülevaade AWS CDK-st ja AWS-i teenusekataloogist

AWS CDK on avatud lähtekoodiga tarkvara arendusraamistik teie pilverakenduste ressursside määratlemiseks. See kasutab teie rakenduste modelleerimiseks programmeerimiskeelte tuttavlikkust ja väljendusvõimet, tagades samal ajal ressursse turvalisel ja korrataval viisil.

AWS-i teenusekataloog võimaldab teil keskselt hallata juurutatud IT-teenuseid, rakendusi, ressursse ja metaandmeid. AWS-i teenusekataloogi abil saate luua, jagada, korraldada ja hallata pilveressursse koos infrastruktuuriga koodi (IaC) mallidena ning võimaldada kiiret ja arusaadavat varustamise.

Lahenduse ülevaade

Võimaldame ML-keskkondade loomist Canvase abil kolmes etapis:

1. Esiteks jagame, kuidas saate hallata ressursside portfelli, mis on vajalik Canvase heakskiidetud kasutamiseks, kasutades AWS-i teenusekataloogi.
2. Seejärel juurutame AWS-i teenusekataloogi näidisportfelli Canvase jaoks, kasutades AWS-i CDK-d.
3. Lõpuks demonstreerime, kuidas saate mõne minuti jooksul nõudmisel luua Canvas-keskkondi.

Eeldused

ML-keskkondade loomiseks Canvase, AWS CDK ja AWS-i teenusekataloogiga peate tegema järgmist.

1. Teil on juurdepääs AWS-i kontole, kus teenusekataloogi portfell juurutatakse. Veenduge, et teil oleks AWS CDK virna oma kontole juurutamiseks mandaadid ja load. The AWS CDK töötuba on abistav allikas, millele saate viidata, kui vajate tuge.
2. Soovitame järgida teatud parimaid tavasid, mis on esile tõstetud järgmistes ressurssides üksikasjalikult kirjeldatud kontseptsioonide kaudu.
3. Kloonide see GitHubi hoidla oma keskkonda.

Kinnitatud ML-keskkondade loomine Amazon SageMaker Canvasiga, kasutades AWS-i teenusekataloogi

Reguleeritud tööstusharudes ja enamikus suurettevõtetes peate järgima IT-meeskondade poolt ML-keskkondade pakkumise ja haldamise nõudeid. Need võivad hõlmata turvalist privaatvõrku, andmete krüptimist, juhtelemente, mis lubavad ainult volitatud ja autentitud kasutajaid, näiteks AWS-i identiteedi- ja juurdepääsuhaldus (IAM), et pääseda juurde sellistele lahendustele nagu Canvas ning auditi eesmärgil range logimine ja jälgimine.

IT-administraatorina saate kasutada AWS-i teenusekataloogi, et luua ja korraldada tooteportfelli SageMaker Canvasiga turvalisi reprodutseeritavaid ML-keskkondi. Seda hallatakse eelnevalt mainitud nõuete täitmiseks manustatud IaC-juhtelementide abil ja mida saab nõudmisel mõne minuti jooksul varustada. Samuti saate säilitada kontrolli selle üle, kes pääseb sellele portfellile juurde, et tooteid turule tuua.

Järgmine diagramm illustreerib seda arhitektuuri.

Voo näide

Selles jaotises näitame näidet AWS-i teenusekataloogi portfellist koos SageMaker Canvasega. Portfell koosneb erinevatest Canvas keskkonna aspektidest, mis kuuluvad teenusekataloogi portfelli:

• Stuudio domeen - Canvas on rakendus, mis töötab sees Stuudio domeenid. Domeen koosneb an Amazon elastne failisüsteem (Amazon EFS) köite, volitatud kasutajate loendi ning turvalisuse, rakenduse, poliitika ja Amazoni virtuaalne privaatpilv (VPC) konfiguratsioonid. AWS-i konto on lingitud ühe domeeniga piirkonna kohta.
• Amazon S3 kopp – Pärast Studio domeeni loomist an Amazoni lihtne salvestusteenus (Amazon S3) ämber on ette nähtud Canvase jaoks, et võimaldada kohalikest failidest andmekogumite importimist, mida nimetatakse ka kohalikuks faili üleslaadimiseks. See salm on kliendi kontol ja see on ette nähtud üks kord.
• Lõuendi kasutaja – SageMaker Canvas on rakendus, kus saate Studio domeenis lisada kasutajaprofiilid iga Canvase kasutaja jaoks, kes saavad importida andmekogumeid, luua ja koolitada ML-mudeleid ilma koodi kirjutamata ning käivitada mudelil ennustusi.
• Canvase seansside plaanitud sulgemine – Lõuendi kasutajad saavad oma ülesanded lõpetades Canvase liidesest välja logida. Teise võimalusena administraatorid saavad lõuendiseansid sulgeda alates AWS-i juhtimiskonsool osana Canvase seansside haldamisest. AWS-i teenusekataloogi portfelli selles osas on an AWS Lambda funktsioon on loodud ja ette nähtud Canvase seansside automaatseks sulgemiseks määratud ajastatud ajavahemike järel. See aitab hallata avatud seansse ja sulgeda need, kui neid ei kasutata.

Selle näidisvoo leiate jaotisest GitHubi hoidla kiireks teabeks.

Juurutage voog AWS CDK-ga

Selles jaotises juurutame varem kirjeldatud voo, kasutades AWS CDK-d. Pärast selle juurutamist saate ka versioonijälgida ja portfelli hallata.

Portfelli virna leiate aadressilt app.py ja toode on virna all products/ kausta. Saate korrata IAM-i rolle, AWS-i võtmehaldusteenus (AWS KMS) võtmed ja VPC seadistus studio_constructs/ kausta. Enne virna oma kontole juurutamist saate redigeerida järgmisi ridu app.py ja andke portfelli juurdepääs teie valitud IAM-i rollile.

Saate hallata asjakohaste IAM-i kasutajate, rühmade ja rollide juurdepääsu portfellile. Vaata Kasutajatele juurdepääsu võimaldamine rohkem üksikasju.

Juurutage portfell oma kontole

Nüüd saate AWS CDK installimiseks käivitada järgmised käsud ja veenduda, et teil on portfelli juurutamiseks õiged sõltuvused:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Portfelli oma kontole juurutamiseks käivitage järgmised käsud.

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Esimesed kaks käsku saavad teie konto ID ja praeguse piirkonna, kasutades AWS-i käsurea liides (AWS CLI) arvutisse. Pärast seda, cdk bootstrap ja cdk deploy looge varasid kohapeal ja juurutage virn mõne minutiga.

Portfelli leiate nüüd AWS-i teenusekataloogist, nagu on näidatud järgmisel ekraanipildil.

Nõudmisel varustamine

Portfellis olevaid tooteid saab nõudmisel kiiresti ja lihtsalt turule tuua Catering menüü AWS-i teenusekataloogi konsoolil. Tüüpiline voog on kõigepealt Studio domeeni ja Canvase automaatse väljalülitamise käivitamine, kuna see on tavaliselt ühekordne toiming. Seejärel saate domeenile lisada Canvase kasutajaid. Domeeni ID ja kasutaja IAM-i roll ARN salvestatakse AWS-i süsteemihaldur ja need täidetakse automaatselt kasutaja parameetritega, nagu on näidatud järgmisel ekraanipildil.

Võite kasutada ka kulude jaotamise silte, mis on lisatud igale kasutajale. Näiteks, UserCostCenter on näidismärgend, kuhu saate lisada iga kasutaja nime.

Peamised kaalutlused ML-keskkondade juhtimisel Canvase abil

Nüüd, kui oleme loonud ja juurutanud AWS-i teenusekataloogi portfelli, mis keskendub lõuendile, tahaksime esile tõsta mõned kaalutlused, mis puudutavad domeenile ja kasutajaprofiilile keskendunud lõuendipõhiseid ML-keskkondi.

Järgmised on Studio domeeniga seotud kaalutlused.

• Canvase võrgundust hallatakse Studio domeeni tasemel, kus domeen on turvalise ühenduse tagamiseks juurutatud privaatses VPC alamvõrgus. Vaata Amazon SageMaker Studio ühenduvuse kindlustamine privaatse VPC abil rohkem teada saada.
• IAM-i vaikekäitusroll on määratletud domeeni tasemel. See vaikeroll on määratud kõigile domeeni Canvase kasutajatele.
• Krüptimine toimub AWS KMS-i abil, krüpteerides domeeni EFS-i köite. Täiendavate juhtelementide jaoks saate määrata oma hallatava võtme, mida nimetatakse ka kliendi hallatavaks võtmeks (CMK). Vaata Kaitske andmeid puhkeolekus krüptimise abil rohkem teada saada.
• Faile saab kohalikult kettalt üles laadida, lisades allikaülese ressursside jagamise (CORS) poliitika Canvase kasutatavale S3 ämbrile. Vaata Andke oma kasutajatele luba kohalike failide üleslaadimiseks rohkem teada saada.

Järgmised on kasutajaprofiiliga seotud kaalutlused.

• Studios saab autentida nii ühekordse sisselogimise (SSO) kui ka IAM-i kaudu. Kui teil on olemasolev identiteedi pakkuja, kes ühendab kasutajad konsoolile juurdepääsuks, saate IAM-i abil määrata igale ühendatud identiteedile Studio kasutajaprofiili. Vaadake jaotist Reegli määramine Studio kasutajatele in Amazon SageMaker Studio konfigureerimine meeskondade ja rühmade jaoks täieliku ressursiisolatsiooniga rohkem teada saada.
• Saate määrata igale kasutajaprofiilile IAM-i täitmisrollid. Studiot kasutades võtab kasutaja oma kasutajaprofiiliga vastendatud rolli, mis alistab vaikekäitusrolli. Saate seda kasutada meeskonnasisese juurdepääsu kontrollimiseks.
• Saate saavutada isolatsiooni atribuudipõhiste juurdepääsukontrollide (ABAC) abil, et tagada kasutajatele juurdepääs ainult oma meeskonna ressurssidele. Vaata Amazon SageMaker Studio konfigureerimine meeskondade ja rühmade jaoks täieliku ressursiisolatsiooniga rohkem teada saada.
• Saate teostada täpset kulude jälgimist, rakendades kasutajaprofiilidele kulujaotuse silte.

Koristage

Ülaltoodud AWS CDK virna loodud ressursside puhastamiseks liikuge AWS CloudFormationi virnade lehele ja kustutage lõuendi virnad. Saab ka joosta cdk destroy hoidla kaustast, et teha sama.

Järeldus

Selles postituses jagasime, kuidas saate AWS-i teenusekataloogi ja AWS-i CDK abil kiiresti ja hõlpsalt luua ML-keskkondi Canvasiga. Arutasime, kuidas saate AWS-i teenusekataloogis portfelli luua, portfelli ette valmistada ja oma kontole juurutada. IT-administraatorid saavad seda meetodit kasutada kasutajate, seansside ja seotud kulude juurutamiseks ja haldamiseks Canvase ettevalmistamisel.

Lisateavet Canvase kohta leiate veebisaidilt Toote leht ja Arendaja juhend. Edasiseks lugemiseks saate teada, kuidas seda teha võimaldab ärianalüütikutel pääseda juurde SageMaker Canvasele, kasutades AWS SSO-d ilma konsoolita. Samuti saate õppida, kuidas ärianalüütikud ja andmeteadlased saavad Canvas ja Studio abil kiiremini koostööd teha.

Autoritest

Davide Gallitelli on tehisintellekti/ML-i spetsialiseerunud lahenduste arhitekt EMEA piirkonnas. Ta asub Brüsselis ja teeb tihedat koostööd klientidega üle kogu Beneluxi. Ta on olnud arendaja juba väga noorest peale, alustades kodeerimisega 7-aastaselt. Ta alustas AI/ML-i õppimist ülikoolis ja on sellest ajast peale sellesse armunud.

Sofian Hamiti on AI/ML-i spetsialist lahenduste arhitekt AWSis. Ta aitab klientidel erinevates tööstusharudes kiirendada nende tehisintellekti/ML-i teekonda, aidates neil luua ja kasutusele võtta täielikud masinõppelahendused.

Shyam Srinivasan on AWS AI/ML meeskonna peamine tootejuht, kes juhib Amazon SageMaker Canvase tootehaldust. Shyam hoolib maailma muutmisest tehnoloogia abil paremaks kohaks ja tunneb kirglikult, kuidas tehisintellekt ja ML saavad sellel teekonnal katalüsaatoriks olla.

Avi Patel töötab tarkvarainsenerina Amazon SageMaker Canvas meeskonnas. Tema taust koosneb täispinust töötamisest koos esiserva fookusega. Vabal ajal meeldib talle panustada krüptoruumi avatud lähtekoodiga projektidesse ja tutvuda uute DeFi protokollidega.

Jared Heywood on AWSi äriarendusjuht. Ta on ülemaailmne AI/ML spetsialist, kes aitab kliente koodita masinõppes. Ta on töötanud AutoML-i ruumis viimased 5 aastat ja toonud Amazonis turule selliseid tooteid nagu Amazon SageMaker JumpStart ja Amazon SageMaker Canvas.