Tarjoa ja hallitse ML-ympäristöjä Amazon SageMaker Canvasilla AWS CDK:n ja AWS Service Catalogin avulla

Koneoppimisen (ML) yleistyminen useissa eri käyttötapauksissa on yleistymässä kaikilla toimialoilla. Tämä kuitenkin ylittää niiden ML-harjoittajien määrän kasvun, jotka ovat perinteisesti olleet vastuussa näiden teknisten ratkaisujen toteuttamisesta liiketoiminnan tulosten saavuttamiseksi.

Nykypäivän yrityksissä tarvitaan koneoppimista muiden kuin ML-ammattilaisten, jotka ovat taitavia tietojen kanssa, käytettäväksi, mikä on ML:n perusta. Jotta tämä toteutuisi, ML:n arvo toteutuu koko yrityksessä koodittomien ML-alustojen kautta. Näiden alustojen avulla eri henkilöt, esimerkiksi yritysanalyytikot, voivat käyttää ML:ää kirjoittamatta riviäkään koodia ja tarjota ratkaisuja liiketoiminnan ongelmiin nopeasti, yksinkertaisesti ja intuitiivisesti. Amazon SageMaker Canvas on visuaalinen osoita ja napsauta -palvelu, jonka avulla yritysanalyytikot voivat käyttää ML:ää liiketoimintaongelmien ratkaisemiseen luomalla itse tarkkoja ennusteita ilman ML-kokemusta tai yhden koodirivin kirjoittamista. Canvas on laajentanut ML:n käyttöä yrityksessä helppokäyttöisellä intuitiivisella käyttöliittymällä, joka auttaa yrityksiä toteuttamaan ratkaisuja nopeasti.

Vaikka Canvas on mahdollistanut ML-ympäristön demokratisoinnin, ML-ympäristöjen turvallisen hallinnan ja käyttöönoton haaste on edelleen olemassa. Yleensä tämä on useimpien suurten yritysten keskeisten IT-tiimien vastuulla. Tässä viestissä keskustelemme siitä, kuinka IT-tiimit voivat hallita, tarjota ja hallita turvallisia ML-ympäristöjä käyttämällä Amazon SageMaker Canvas, AWS Cloud Development Kit (AWS CDK) ja AWS-palveluluettelo. Viesti tarjoaa vaiheittaisen oppaan IT-järjestelmänvalvojille, jotta he voivat saavuttaa tämän nopeasti ja laajasti.

Yleiskatsaus AWS CDK:sta ja AWS Service Catalogista

AWS CDK on avoimen lähdekoodin ohjelmistokehityskehys pilvisovellusresurssien määrittämiseen. Se käyttää ohjelmointikielten tuttua ja ilmaisuvoimaa sovellusten mallintamiseen samalla, kun se tarjoaa resursseja turvallisella ja toistettavissa olevalla tavalla.

AWS Service Catalogin avulla voit hallita keskitetysti käyttöön otettuja IT-palveluita, sovelluksia, resursseja ja metatietoja. AWS-palvelukatalogin avulla voit luoda, jakaa, järjestää ja hallita pilviresursseja infrastruktuurin avulla koodimalleina (IaC) ja mahdollistaa nopean ja suoraviivaisen provisioinnin.

Ratkaisun yleiskatsaus

Otamme käyttöön ML-ympäristöjen provisioinnin Canvasilla kolmessa vaiheessa:

1. Ensin kerromme, kuinka voit hallita Canvasin hyväksyttyä käyttöä varten tarvittavaa resurssiportfoliota AWS-palvelukatalogin avulla.
2. Tämän jälkeen otamme käyttöön esimerkin AWS-palvelukatalogista Canvasille AWS CDK:n avulla.
3. Lopuksi esittelemme, kuinka voit tarjota Canvas-ympäristöjä pyynnöstä muutamassa minuutissa.

Edellytykset

Jos haluat käyttää ML-ympäristöjä Canvasilla, AWS CDK:lla ja AWS Service Catalogilla, sinun on tehtävä seuraava:

1. Sinulla on pääsy AWS-tilille, jolla palveluluettelo otetaan käyttöön. Varmista, että sinulla on kirjautumistiedot ja oikeudet ottaa AWS CDK -pino käyttöön tililläsi. The AWS CDK -työpaja on hyödyllinen resurssi, johon voit viitata, jos tarvitset tukea.
2. Suosittelemme noudattamaan tiettyjä parhaita käytäntöjä, jotka on korostettu seuraavissa resursseissa kuvattujen käsitteiden kautta:
3. klooni tämä GitHub-arkisto ympäristöösi.

Tarjoa hyväksyttyjä ML-ympäristöjä Amazon SageMaker Canvasilla käyttämällä AWS-palvelukatalogia

Säännellyillä toimialoilla ja useimmissa suurissa yrityksissä sinun on noudatettava IT-tiimien määräämiä vaatimuksia ML-ympäristöjen tarjoamiseksi ja hallitsemiseksi. Näihin voi kuulua suojattu yksityinen verkko, tietojen salaus, säätimet, jotka sallivat vain valtuutetut ja todennetut käyttäjät, kuten AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) pääsyä ratkaisuihin, kuten Canvas, ja tiukkaa kirjaamista ja seurantaa tarkastustarkoituksiin.

IT-järjestelmänvalvojana voit käyttää AWS-palvelukatalogia luodaksesi ja järjestääksesi suojattuja, toistettavia ML-ympäristöjä SageMaker Canvasin avulla tuotevalikoimaksi. Tätä hallitaan käyttämällä IaC-ohjaimia, jotka on upotettu täyttämään edellä mainitut vaatimukset, ja ne voidaan valmistaa pyynnöstä muutamassa minuutissa. Voit myös hallita sitä, kuka voi käyttää tätä portfoliota tuotteiden lanseeraamiseksi.

Seuraava kaavio kuvaa tätä arkkitehtuuria.

Esimerkkivirtaus

Tässä osiossa esittelemme esimerkin AWS-palvelukatalogiportfoliosta SageMaker Canvasin kanssa. Portfolio koostuu erilaisista Canvas-ympäristön osa-alueista, jotka ovat osa Service Catalog -portfoliota:

• Studion verkkotunnus – Canvas on sovellus, joka toimii sisällä Studio-verkkotunnukset. Verkkotunnus koostuu Amazonin elastinen tiedostojärjestelmä (Amazon EFS) -taltio, luettelo valtuutetuista käyttäjistä ja valikoima tietoturva-, sovellus-, käytäntö- ja Amazonin virtuaalinen yksityinen pilvi (VPC) kokoonpanoissa. AWS-tili on linkitetty yhteen verkkotunnukseen aluetta kohden.
• Amazon S3 -kauha – Kun Studio-toimialue on luotu, an Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -ämpäri on suunniteltu Canvasille, jotta tietojoukkoja voidaan tuoda paikallisista tiedostoista. Tämä tunnetaan myös nimellä paikallisten tiedostojen lataus. Tämä ämpäri on asiakkaan tilillä, ja se varataan kerran.
• Canvas-käyttäjä – SageMaker Canvas on sovellus, jossa voit lisätä Studio-toimialueen käyttäjäprofiileja kullekin Canvas-käyttäjälle, joka voi tuoda tietojoukkoja, rakentaa ja kouluttaa ML-malleja ilman koodia ja suorittaa ennusteita mallille.
• Canvas-istuntojen ajoitettu sulkeminen – Canvas-käyttäjät voivat kirjautua ulos Canvas-käyttöliittymästä, kun he ovat tehneet tehtävänsä. Vaihtoehtoisesti järjestelmänvalvojat voivat sulkea Canvas-istunnot mistä AWS-hallintakonsoli osana Canvas-istuntojen hallintaa. Tässä AWS-palveluluettelon osassa an AWS Lambda toiminto luodaan ja valmistetaan sulkemaan Canvas-istunnot automaattisesti määritetyin ajoitetuin aikavälein. Tämä auttaa hallitsemaan avoimia istuntoja ja sulkemaan ne, kun niitä ei käytetä.

Tämä esimerkkikulku löytyy kohdasta GitHub-arkisto pikaohjeita varten.

Ota kulku käyttöön AWS CDK:n avulla

Tässä osiossa otamme käyttöön aiemmin kuvatun kulun AWS CDK:n avulla. Kun se on otettu käyttöön, voit myös seurata versiota ja hallita portfoliota.

Portfoliopino löytyy osoitteesta app.py ja tuote pinoaa alla products/ kansio. Voit toistaa IAM-rooleja, AWS-avainhallintapalvelu (AWS KMS) -avaimet ja VPC-asetukset studio_constructs/ kansio. Ennen kuin otat pinon käyttöön tililläsi, voit muokata seuraavia rivejä app.py ja myönnä portfolion käyttöoikeus valitsemaasi IAM-rooliin.

Voit hallita asiaankuuluvien IAM-käyttäjien, ryhmien ja roolien pääsyä portfolioon. Katso Käyttöoikeuden myöntäminen käyttäjille lisätietoja.

Ota portfolio käyttöön tilillesi

Voit nyt suorittaa seuraavat komennot asentaaksesi AWS CDK:n ja varmistaaksesi, että sinulla on oikeat riippuvuudet portfolion käyttöönottamiseksi:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Suorita seuraavat komennot ottaaksesi portfolio käyttöön tililläsi:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Kaksi ensimmäistä komentoa saavat tilisi tunnuksen ja nykyisen alueen käyttämällä AWS-komentoriviliitäntä (AWS CLI) tietokoneellesi. Tämän jälkeen, cdk bootstrap ja cdk deploy rakenna omaisuutta paikallisesti ja ota pino käyttöön muutamassa minuutissa.

Portfolio löytyy nyt AWS-palvelukatalogista, kuten seuraavassa kuvakaappauksessa näkyy.

Varaustilaus

Portfolion tuotteet voidaan lanseerata nopeasti ja helposti pyynnöstä provisioinnin valikko AWS-palveluluettelokonsolissa. Tyypillinen prosessi on käynnistää Studio-toimialue ja Canvasin automaattinen sammutus ensin, koska tämä on yleensä kertaluonteinen toiminto. Voit sitten lisätä Canvas-käyttäjiä verkkotunnukseen. Toimialueen tunnus ja käyttäjän IAM-rooli ARN tallennetaan AWS-järjestelmien päällikkö ja ne täytetään automaattisesti käyttäjän parametreilla seuraavan kuvakaappauksen mukaisesti.

Voit myös käyttää kuhunkin käyttäjään liitettyjä kustannusten allokointitunnisteita. Esimerkiksi, UserCostCenter on esimerkkitunniste, johon voit lisätä jokaisen käyttäjän nimen.

Tärkeimmät näkökohdat ML-ympäristöjen hallinnassa Canvasilla

Nyt kun olemme luoneet ja ottaneet käyttöön Canvasiin keskittyvän AWS-palvelukatalogiportfolion, haluamme korostaa muutamia näkökohtia, jotka koskevat toimialueeseen ja käyttäjäprofiiliin keskittyvien Canvas-pohjaisten ML-ympäristöjen hallintaa.

Seuraavat ovat Studio-verkkotunnukseen liittyviä huomioita:

• Canvasin verkkotoimintaa hallitaan Studio-toimialuetasolla, jossa toimialue otetaan käyttöön yksityisessä VPC-aliverkossa suojattua yhteyttä varten. Katso Amazon SageMaker Studio -yhteyksien suojaaminen yksityisellä VPC: llä lisätietoja.
• Toimialuetasolla on määritetty oletusarvoinen IAM-suoritusrooli. Tämä oletusrooli on määritetty kaikille toimialueen Canvas-käyttäjille.
• Salaus tapahtuu AWS KMS:n avulla salaamalla toimialueen EFS-taltio. Lisähallintaa varten voit määrittää oman hallitun avaimesi, joka tunnetaan myös nimellä CMK (Customer Management Key). Katso Suojaa tiedot lepotilassa salauksella lisätietoja.
• Mahdollisuus ladata tiedostoja paikalliselta levyltä tehdään liittämällä resurssien välisen jakamisen (CORS) käytäntö Canvasin käyttämään S3-alueeseen. Katso Anna käyttäjillesi lupa ladata paikallisia tiedostoja lisätietoja.

Seuraavat huomiot käyttäjäprofiilista:

• Todennus Studiossa voidaan tehdä sekä kertakirjautumisen (SSO) että IAM:n kautta. Jos sinulla on olemassa identiteetin tarjoaja, joka yhdistää käyttäjät konsoliin, voit määrittää Studio-käyttäjäprofiilin kullekin liitetylle identiteetille IAM:n avulla. Katso kohta Käytännön määrittäminen Studio-käyttäjille in Amazon SageMaker Studion määrittäminen ryhmille ja ryhmille, joissa resurssit on täysin eristetty lisätietoja.
• Voit määrittää kullekin käyttäjäprofiilille IAM-suoritusrooleja. Studioa käyttäessään käyttäjä ottaa käyttöön käyttäjäprofiiliin yhdistetyn roolin, joka ohittaa oletusarvoisen suoritusroolin. Voit käyttää tätä hienorakeisiin pääsynhallintaan ryhmän sisällä.
• Voit saavuttaa eristyksen attribuuttipohjaisilla käyttöoikeuksilla (ABAC) varmistaaksesi, että käyttäjät voivat käyttää vain tiiminsä resursseja. Katso Amazon SageMaker Studion määrittäminen ryhmille ja ryhmille, joissa resurssit on täysin eristetty lisätietoja.
• Voit suorittaa tarkkaa kustannusseurantaa lisäämällä kustannusten kohdistustunnisteita käyttäjäprofiileihin.

Puhdistaa

Jos haluat puhdistaa yllä olevan AWS CDK -pinon luomat resurssit, siirry AWS CloudFormation -pinot -sivulle ja poista Canvas-pinot. Voit myös juosta cdk destroy arkistokansiosta tehdäksesi samoin.

Yhteenveto

Tässä viestissä jaoimme kuinka voit luoda ML-ympäristöjä nopeasti ja helposti Canvasilla AWS-palvelukatalogin ja AWS CDK:n avulla. Keskustelimme siitä, kuinka voit luoda portfolion AWS-palvelukatalogiin, luoda portfolion ja ottaa sen käyttöön tililläsi. IT-järjestelmänvalvojat voivat käyttää tätä menetelmää käyttäjien, istuntojen ja niihin liittyvien kustannusten käyttöönotossa ja hallinnassa Canvasin valmistelun aikana.

Lue lisää Canvasista osoitteessa Tuotesivu ja Kehittäjän opas. Jos haluat lukea lisää, voit oppia kuinka mahdollistaa yritysanalyytikoiden pääsyn SageMaker Canvasiin AWS SSO:n avulla ilman konsolia. Voit myös oppia kuinka Yritysanalyytikot ja datatieteilijät voivat tehdä yhteistyötä nopeammin Canvaksen ja Studion avulla.

Tietoja Tekijät

Davide Gallitelli on AI/ML:n erikoisratkaisuarkkitehti EMEA-alueella. Hänen kotipaikkansa on Bryssel ja työskentelee tiiviisti asiakkaiden kanssa kaikkialla Benelux-maissa. Hän on ollut kehittäjä pienestä pitäen, aloitti koodaamisen 7-vuotiaana. Hän aloitti tekoälyn/ML:n opiskelun yliopistossa ja on siitä lähtien rakastunut siihen.

Sofian Hamiti on AI / ML-asiantuntijaratkaisuarkkitehti AWS: llä. Hän auttaa asiakkaita kaikilla toimialoilla nopeuttamaan tekoälyn / ML-matkansa auttamalla heitä rakentamaan ja operoimaan kokonaisvaltaisia ​​koneoppimisratkaisuja.

Shyam Srinivasan on AWS AI/ML -tiimin päätuotepäällikkö, joka johtaa Amazon SageMaker Canvasin tuotehallintaa. Shyam välittää maailmasta paremman paikan tekemisestä tekniikan avulla ja on intohimoinen siitä, kuinka tekoäly ja ML voivat toimia katalysaattorina tällä matkalla.

Avi Patel työskentelee ohjelmistosuunnittelijana Amazon SageMaker Canvas -tiimissä. Hänen taustansa koostuu työskentelystä täyden pinon kanssa etupäässä. Vapaa-ajallaan hän osallistuu mielellään avoimen lähdekoodin projekteihin kryptoavaruudessa ja oppii uusia DeFi-protokollia.

Jared Heywood on AWS:n Senior Business Development Manager. Hän on maailmanlaajuinen AI/ML-asiantuntija, joka auttaa asiakkaita koodittomassa koneoppimisessa. Hän on työskennellyt AutoML-tilassa viimeiset 5 vuotta ja julkaissut Amazonissa tuotteita, kuten Amazon SageMaker JumpStart ja Amazon SageMaker Canvas.