Furnizați și gestionați mediile ML cu Amazon SageMaker Canvas folosind AWS CDK și AWS Service Catalog

Proliferarea învățării automate (ML) într-o gamă largă de cazuri de utilizare devine predominantă în fiecare industrie. Cu toate acestea, acest lucru depășește creșterea numărului de practicieni ML care au fost în mod tradițional responsabili pentru implementarea acestor soluții tehnice pentru a obține rezultate de afaceri.

În întreprinderea de astăzi, este nevoie ca învățarea automată să fie utilizată de către practicieni non-ML, care sunt competenți cu datele, care este fundamentul ML. Pentru ca acest lucru să devină realitate, valoarea ML este realizată în întreaga întreprindere prin platforme ML fără cod. Aceste platforme permit diferitelor persoane, de exemplu analiștilor de afaceri, să folosească ML fără a scrie o singură linie de cod și să ofere soluții la problemele de afaceri într-un mod rapid, simplu și intuitiv. Amazon SageMaker Canvas este un serviciu vizual punct-and-click care le permite analiștilor de afaceri să folosească ML pentru a rezolva problemele de afaceri prin generarea de predicții precise pe cont propriu – fără a necesita nicio experiență ML sau a fi nevoie să scrie o singură linie de cod. Canvas a extins utilizarea ML în întreprindere cu o interfață intuitivă simplu de utilizat, care ajută companiile să implementeze soluții rapid.

Deși Canvas a permis democratizarea ML, provocarea de a furniza și implementa medii ML într-o manieră sigură încă rămâne. De obicei, aceasta este responsabilitatea echipelor IT centrale din majoritatea întreprinderilor mari. În această postare, discutăm despre modul în care echipele IT pot administra, furniza și gestiona medii ML securizate folosind Amazon SageMaker Canvas, Kit AWS Cloud Development (AWS CDK) și Catalog de servicii AWS. Postarea prezintă un ghid pas cu pas pentru administratorii IT pentru a realiza acest lucru rapid și la scară.

Prezentare generală a AWS CDK și AWS Service Catalog

AWS CDK este un cadru de dezvoltare software open-source pentru a defini resursele aplicației dvs. cloud. Folosește familiaritatea și puterea expresivă a limbajelor de programare pentru modelarea aplicațiilor dvs., furnizând în același timp resurse într-un mod sigur și repetabil.

AWS Service Catalog vă permite să gestionați centralizat serviciile IT, aplicațiile, resursele și metadatele implementate. Cu AWS Service Catalog, puteți crea, partaja, organiza și guverna resursele cloud cu șabloane de infrastructură ca cod (IaC) și puteți permite furnizarea rapidă și simplă.

Prezentare generală a soluțiilor

Activem furnizarea de medii ML folosind Canvas în trei pași:

1. În primul rând, vă împărtășim cum puteți gestiona un portofoliu de resurse necesare pentru utilizarea aprobată a Canvas folosind AWS Service Catalog.
2. Apoi, implementăm un exemplu de portofoliu AWS Service Catalog pentru Canvas utilizând AWS CDK.
3. În cele din urmă, demonstrăm cum puteți furniza medii Canvas la cerere în câteva minute.

Cerințe preliminare

Pentru a furniza medii ML cu Canvas, AWS CDK și AWS Service Catalog, trebuie să faceți următoarele:

1. Aveți acces la contul AWS în care va fi implementat portofoliul Service Catalog. Asigurați-vă că aveți acreditările și permisiunile pentru a implementa stiva AWS CDK în contul dvs. The Atelier AWS CDK este o resursă utilă la care vă puteți referi dacă aveți nevoie de sprijin.
2. Vă recomandăm să urmați anumite bune practici care sunt evidențiate prin conceptele detaliate în următoarele resurse:
3. Clone acest depozit GitHub în mediul tău.

Furnizați medii ML aprobate cu Amazon SageMaker Canvas folosind AWS Service Catalog

În industriile reglementate și în majoritatea întreprinderilor mari, trebuie să respectați cerințele impuse de echipele IT pentru furnizarea și gestionarea mediilor ML. Acestea pot include o rețea securizată, privată, criptarea datelor, controale pentru a permite numai utilizatorilor autorizați și autentificați, cum ar fi Gestionarea identității și accesului AWS (IAM) pentru accesarea soluțiilor precum Canvas și înregistrarea și monitorizarea strictă în scopuri de audit.

În calitate de administrator IT, puteți utiliza AWS Service Catalog pentru a crea și organiza medii ML sigure și reproductibile cu SageMaker Canvas într-un portofoliu de produse. Acest lucru este gestionat folosind controale IaC care sunt încorporate pentru a îndeplini cerințele menționate anterior și pot fi furnizate la cerere în câteva minute. De asemenea, puteți menține controlul asupra cine poate accesa acest portofoliu pentru a lansa produse.

Următoarea diagramă ilustrează această arhitectură.

Exemplu de flux

În această secțiune, demonstrăm un exemplu de portofoliu AWS Service Catalog cu SageMaker Canvas. Portofoliul constă din diferite aspecte ale mediului Canvas care fac parte din portofoliul Service Catalog:

• Domeniul studio – Canvas este o aplicație care rulează în interior Domenii studio. Domeniul este format dintr-un Sistem de fișiere elastice Amazon (Amazon EFS), o listă de utilizatori autorizați și o serie de securitate, aplicații, politici și Cloud virtual virtual Amazon configurații (VPC). Un cont AWS este conectat la un domeniu per regiune.
• găleată Amazon S3 – După ce domeniul Studio este creat, an Serviciul Amazon de stocare simplă Bucket-ul (Amazon S3) este prevăzut pentru Canvas pentru a permite importarea seturilor de date din fișiere locale, cunoscute și sub numele de încărcare locală de fișiere. Această găleată se află în contul clientului și este furnizată o singură dată.
• Utilizator canvas – SageMaker Canvas este o aplicație în care puteți adăuga profiluri de utilizator în domeniul Studio pentru fiecare utilizator Canvas, care poate continua să importe seturi de date, să construiască și să antreneze modele ML fără a scrie cod și să ruleze predicții pe model.
• Închiderea programată a sesiunilor Canvas – Utilizatorii Canvas se pot deconecta din interfața Canvas când au terminat sarcinile. Alternativ, administratorii pot închide sesiunile Canvas de la Consola de administrare AWS ca parte a gestionării sesiunilor Canvas. În această parte a portofoliului AWS Service Catalog, an AWS Lambdas funcţie este creat și furnizat pentru a închide automat sesiunile Canvas la intervale programate definite. Acest lucru vă ajută să gestionați sesiunile deschise și să le închideți atunci când nu sunt utilizate.

Acest exemplu de flux poate fi găsit în GitHub depozit pentru referință rapidă.

Implementați fluxul cu AWS CDK

În această secțiune, implementăm fluxul descris mai devreme folosind AWS CDK. După ce este implementat, puteți, de asemenea, să urmăriți versiunea și să gestionați portofoliul.

Stiva de portofoliu poate fi găsită în app.py iar produsul se stive sub products/ pliant. Puteți repeta rolurile IAM, AWS Service Management Service (AWS KMS) și configurarea VPC în studio_constructs/ pliant. Înainte de a implementa stiva în contul dvs., puteți edita următoarele rânduri în app.py și acordați acces la portofoliu la un rol IAM la alegerea dvs.

Puteți gestiona accesul la portofoliu pentru utilizatorii, grupurile și rolurile relevante IAM. Vedea Acordarea accesului utilizatorilor pentru mai multe detalii.

Implementați portofoliul în contul dvs

Acum puteți rula următoarele comenzi pentru a instala AWS CDK și vă asigurați că aveți dependențele potrivite pentru a implementa portofoliul:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Rulați următoarele comenzi pentru a implementa portofoliul în contul dvs.:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Primele două comenzi obțin ID-ul contului și Regiunea actuală folosind Interfața liniei de comandă AWS (AWS CLI) pe computerul dvs. În urma acesteia, cdk bootstrap și cdk deploy construiți active la nivel local și implementați stiva în câteva minute.

Portofoliul poate fi găsit acum în AWS Service Catalog, așa cum se arată în următoarea captură de ecran.

Aprovizionare la cerere

Produsele din portofoliu pot fi lansate rapid și ușor la cerere de la provizionare meniul de pe consola AWS Service Catalog. Un flux tipic este lansarea domeniului Studio și închiderea automată Canvas mai întâi, deoarece aceasta este de obicei o acțiune unică. Apoi puteți adăuga utilizatori Canvas la domeniu. ID-ul domeniului și ARN-ul rolului IAM al utilizatorului sunt salvate Manager sistem AWS și sunt completate automat cu parametrii utilizatorului, așa cum se arată în următoarea captură de ecran.

De asemenea, puteți utiliza etichete de alocare a costurilor atașate fiecărui utilizator. De exemplu, UserCostCenter este un exemplu de etichetă în care puteți adăuga numele fiecărui utilizator.

Considerații cheie pentru guvernarea mediilor ML folosind Canvas

Acum că am furnizat și implementat un portofoliu AWS Service Catalog axat pe Canvas, am dori să evidențiem câteva considerații pentru a guverna mediile ML bazate pe Canvas axate pe domeniu și pe profilul utilizatorului.

Următoarele sunt considerații referitoare la domeniul Studio:

• Rețeaua pentru Canvas este gestionată la nivel de domeniu Studio, unde domeniul este implementat pe o subrețea VPC privată pentru conectivitate sigură. Vedea Securizarea conectivității Amazon SageMaker Studio folosind un VPC privat pentru a afla mai multe.
• Un rol implicit de execuție IAM este definit la nivel de domeniu. Acest rol implicit este atribuit tuturor utilizatorilor Canvas din domeniu.
• Criptarea se realizează folosind AWS KMS prin criptarea volumului EFS din domeniu. Pentru controale suplimentare, puteți specifica propria cheie gestionată, cunoscută și sub numele de cheie gestionată de client (CMK). Vedea Protejați datele în repaus folosind criptarea pentru a afla mai multe.
• Capacitatea de a încărca fișiere de pe discul local se realizează prin atașarea unei politici de partajare a resurselor între origini (CORS) la compartimentul S3 utilizat de Canvas. Vedea Oferiți-le utilizatorilor dvs. permisiuni de a încărca fișiere locale pentru a afla mai multe.

Următoarele sunt considerații referitoare la profilul de utilizator:

• Autentificarea în Studio se poate face atât prin conectare unică (SSO) cât și prin IAM. Dacă aveți un furnizor de identitate existent pentru a federa utilizatorii pentru a accesa consola, puteți atribui un profil de utilizator Studio fiecărei identități federate folosind IAM. Vezi secțiunea Atribuirea politicii utilizatorilor Studio in Configurarea Amazon SageMaker Studio pentru echipe și grupuri cu izolare completă a resurselor pentru a afla mai multe.
• Puteți atribui roluri de execuție IAM fiecărui profil de utilizator. În timpul utilizării Studio, un utilizator își asumă rolul mapat la profilul său de utilizator care înlocuiește rolul de execuție implicit. Puteți utiliza acest lucru pentru controale precise de acces în cadrul unei echipe.
• Puteți obține izolarea utilizând controale de acces bazate pe atribute (ABAC) pentru a vă asigura că utilizatorii pot accesa doar resursele pentru echipa lor. Vedea Configurarea Amazon SageMaker Studio pentru echipe și grupuri cu izolare completă a resurselor pentru a afla mai multe.
• Puteți efectua o urmărire precisă a costurilor aplicând etichete de alocare a costurilor profilurilor de utilizator.

A curăța

Pentru a curăța resursele create de stiva AWS CDK de mai sus, navigați la pagina stivelor AWS CloudFormation și ștergeți stivele Canvas. De asemenea, puteți alerga cdk destroy din interiorul folderului de depozit, pentru a face același lucru.

Concluzie

În această postare, am împărtășit cum puteți furniza rapid și ușor medii ML cu Canvas folosind AWS Service Catalog și AWS CDK. Am discutat despre cum puteți crea un portofoliu pe AWS Service Catalog, furnizați portofoliul și implementați-l în contul dvs. Administratorii IT pot folosi această metodă pentru a implementa și gestiona utilizatorii, sesiunile și costurile asociate în timp ce furnizează Canvas.

Aflați mai multe despre Canvas pe pagina produsului si Ghid pentru dezvoltatori. Pentru a citi mai departe, puteți învăța cum permiteți analiștilor de afaceri să acceseze SageMaker Canvas folosind AWS SSO fără consolă. De asemenea, puteți învăța cum Analiștii de afaceri și oamenii de știință de date pot colabora mai rapid folosind Canvas și Studio.

Despre Autori

Davide Gallitelli este arhitect specializat în soluții pentru AI/ML în regiunea EMEA. Are sediul la Bruxelles și lucrează îndeaproape cu clienții din Benelux. Este dezvoltator încă de când era foarte mic, începând să codeze la vârsta de 7 ani. A început să învețe AI/ML la universitate și de atunci s-a îndrăgostit de el.

Sofian Hamiti este un specialist în AI / ML soluție arhitect la AWS. El îi ajută pe clienții din toate industriile să-și accelereze călătoria AI / ML, ajutându-i să construiască și să pună în funcțiune soluții de învățare automată end-to-end.

Shyam Srinivasan este manager de produs principal în echipa AWS AI/ML, lider în managementul produselor pentru Amazon SageMaker Canvas. Lui Shyam îi pasă să facă lumea un loc mai bun prin tehnologie și este pasionat de modul în care AI și ML pot fi un catalizator în această călătorie.

Avi Patel lucrează ca inginer software în echipa Amazon SageMaker Canvas. Contextul său constă în lucrul cu stiva completă, cu accent pe front-end. În timpul liber, îi place să contribuie la proiecte open source în spațiul cripto și să învețe despre noile protocoale DeFi.

Jared Heywood este Senior Business Development Manager la AWS. Este un specialist global în AI/ML care ajută clienții cu învățare automată fără cod. El a lucrat în spațiul AutoML în ultimii 5 ani și a lansat produse pe Amazon precum Amazon SageMaker JumpStart și Amazon SageMaker Canvas.