Pe măsură ce tehnologiile de inteligență artificială (AI) și de învățare automată (ML) au devenit curente, multe întreprinderi au reușit să construiască aplicații de afaceri critice bazate pe modele ML la scară în producție. Cu toate acestea, deoarece aceste modele ML iau decizii de afaceri critice pentru afacere, este important ca întreprinderile să adauge balustrade adecvate pe parcursul ciclului de viață ML. Paravanele asigură că securitatea, confidențialitatea și calitatea codului, a configurației și a datelor și a configurației modelului utilizate în ciclul de viață al modelului sunt versionate și păstrate.
Implementarea acestor balustrade devine din ce în ce mai dificilă pentru întreprinderi, deoarece procesele și activitățile ML din cadrul întreprinderilor devin din ce în ce mai complexe datorită includerii proceselor profund implicate care necesită contribuții din partea mai multor părți interesate și persoane. Pe lângă inginerii de date și oamenii de știință de date, au existat incluziuni de procese operaționale pentru automatizarea și simplificarea ciclului de viață ML. În plus, creșterea numărului de părți interesate de afaceri și, în unele cazuri, revizuirile legale și de conformitate au nevoie de capabilități pentru a adăuga transparență pentru gestionarea controlului accesului, urmărirea activității și raportarea pe parcursul ciclului de viață ML.
Cadrul care oferă vizibilitate sistematică în dezvoltarea, validarea și utilizarea modelului ML se numește guvernare ML. În timpul AWS re:Invent 2022, AWS a introdus noi instrumente de guvernare ML pentru Amazon SageMaker care simplifică controlul accesului și îmbunătățește transparența proiectelor dumneavoastră ML. Unul dintre instrumentele disponibile ca parte a guvernării ML este Carduri de model Amazon SageMaker, care are capacitatea de a crea o singură sursă de adevăr pentru informațiile despre model prin centralizarea și standardizarea documentației pe parcursul ciclului de viață al modelului.
Cardurile de model SageMaker vă permit să standardizați modul în care sunt documentate modelele, obținând astfel vizibilitate asupra ciclului de viață al unui model, de la proiectare, construcție, instruire și evaluare. Cardurile de model sunt destinate să fie o singură sursă de adevăr pentru metadate de afaceri și tehnice despre model, care pot fi utilizate în mod fiabil în scopuri de auditare și documentare. Ele furnizează o fișă informativă a modelului care este importantă pentru guvernarea modelului.
Pe măsură ce vă scalați modelele, proiectele și echipele, ca cea mai bună practică, vă recomandăm să adoptați o strategie cu mai multe conturi care oferă izolarea proiectelor și a echipelor pentru dezvoltarea și implementarea modelului ML. Pentru mai multe informații despre îmbunătățirea guvernanței modelelor dvs. ML, consultați Îmbunătățiți guvernarea modelelor dvs. de învățare automată cu Amazon SageMaker.
Privire de ansamblu asupra arhitecturii
Arhitectura este implementată după cum urmează:
- Contul Data Science – Oamenii de știință ai datelor își desfășoară experimentele în SageMaker Studio și construiți o configurație MLOps pentru a implementa modele în medii de realizare/producție folosind Proiecte SageMaker.
- Cont de servicii partajate ML – MLOps-urile configurate din contul Data Science vor declanșa conducte de integrare continuă și livrare continuă (CI/CD) folosind AWS CodeCommit și AWS CodePipeline.
- Cont de dezvoltare – Conductele CI/CD vor declanșa în continuare conducte ML în acest cont, acoperind preprocesarea datelor, instruirea modelului și postprocesarea, cum ar fi evaluarea și înregistrarea modelului. Ieșirea acestor conducte va implementa modelul în Puncte finale SageMaker pentru a fi consumate în scopuri de inferență. În funcție de cerințele dvs. de guvernare, conturile Data Science & Dev pot fi îmbinate într-un singur cont AWS.
- Cont de date – Conductele ML care rulează în contul Dev vor extrage datele din acest cont.
- Conturi de testare și de producție – conductele CI/CD vor continua implementarea după Contul Dev pentru a configura configurația punctului final SageMaker în aceste conturi.
- Securitate și guvernare – Servicii precum AWS Identity and Access Management (IAM), AWS IAM Identity Center, AWS CloudTrail, AWS Key Management Service (AWS KMS), Amazon CloudWatch și AWS Security Hub vor fi utilizate în aceste conturi ca parte a securității și guvernare.
Următoarea diagramă ilustrează această arhitectură.
Pentru mai multe informații despre setarea arhitecturii ML scalabile cu mai multe conturi, consultați Fundație MLOps pentru întreprinderi cu Amazon SageMaker.
Clienții noștri au nevoie de capacitatea de a partaja carduri model între conturi pentru a îmbunătăți vizibilitatea și guvernarea modelelor lor prin informațiile partajate în cardul model. Acum, cu partajarea cardurilor model pe mai multe conturi, clienții se pot bucura de beneficiile strategiei cu mai multe conturi, având în același timp accesibilitate la cardurile model disponibile în organizația lor, astfel încât să poată accelera colaborarea și să asigure guvernanța.
În această postare, arătăm cum să configurați și să accesați carduri model pe conturile Model Development Lifecycle (MDLC) folosind noua funcție de partajare între conturi a cardului model. În primul rând, vom descrie un scenariu și o arhitectură pentru configurarea funcției de partajare a mai multor conturi a cardului model, apoi vom explora în profunzime fiecare componentă a modului de configurare și accesare a cardurilor de model partajate în toate conturile pentru a îmbunătăți vizibilitatea și guvernarea modelului.
Prezentare generală a soluțiilor
Când construiți modele ML, vă recomandăm să configurați o arhitectură cu mai multe conturi pentru a oferi izolarea sarcinii de lucru, îmbunătățind securitatea, fiabilitatea și scalabilitatea. Pentru această postare, vom presupune construirea și implementarea unui model pentru cazul de utilizare Customer Churn. Diagrama de arhitectură care urmează arată una dintre abordările recomandate – card model centralizat – pentru gestionarea unui card model într-o arhitectură MDLC (Machine Learning Model-Development Lifecycle) cu mai multe conturi. Cu toate acestea, puteți adopta și o altă abordare, un card model hub-and-spoke. În această postare, ne vom concentra doar pe o abordare centralizată a cardului model, dar aceleași principii pot fi extinse la o abordare hub-and-spoke. Principala diferență este că fiecare cont spoke își va menține propria versiune a modelului de card și va avea procese de agregat și copiat într-un cont centralizat.
Următoarea diagramă ilustrează această arhitectură.
Arhitectura este implementată după cum urmează:
- Lead Data Scientist este notificat să rezolve cazul de utilizare Customer Churn folosind ML și pornește proiectul ML prin crearea unui card model pentru modelul Customer Churn V1 în starea Schiță în contul de servicii partajate ML
- Prin automatizare, acel model de card este partajat cu ML Dev Account
- Data Scientist construiește modelul și începe să populeze informații prin intermediul API-urilor în cardul model pe baza rezultatelor experimentelor, iar starea cardului model este setată la Pending Review.
- Prin automatizare, acel card model este partajat cu contul de test ML
- ML Engineer (MLE) rulează teste de integrare și validare în contul ML Test, iar modelul din registrul central este marcat Pending Approval
- Model Approver examinează rezultatele modelului cu documentația de susținere furnizată în cardul de model central și aprobă cardul de model pentru implementarea în producție.
- Prin automatizare, acel model de card este partajat cu contul ML Prod în modul doar citire.
Cerințe preliminare
Înainte de a începe, asigurați-vă că aveți următoarele cerințe preliminare:
- Doi Conturi AWS.
- În ambele conturi AWS, un rol de federație IAM cu acces de administrator pentru a face următoarele:
- Creați, editați, vizualizați și ștergeți carduri model în Amazon SageMaker.
- Creați, editați, vizualizați și ștergeți partajarea resurselor din AWS RAM.
Pentru mai multe informații, consultați Exemple de politici IAM pentru RAM AWS.
Configurarea partajării modelului de carduri
Contul în care sunt create cardurile model este contul cardului model. Utilizatorii din contul de card model le partajează cu conturile partajate unde pot fi actualizate. Utilizatorii din contul de card model își pot partaja cardurile model prin intermediul Manager de acces la resurse AWS (AWS RAM). AWS RAM vă ajută să partajați resurse între conturile AWS.
În secțiunea următoare, arătăm cum să partajați carduri model.
Mai întâi, creați un model de card pentru un caz de utilizare Customer Churn, așa cum este descris anterior. Pe consola Amazon SageMaker, extindeți secțiunea Guvernare și alegeți Carduri model.
Creăm cardul model în Proiect status cu numele Client-Churn-Model-Card. Pentru mai multe informații, consultați Creați un model de card. În această demonstrație, puteți lăsa restul câmpurilor necompletate și puteți crea cardul model.
Alternativ, puteți utiliza următoarea comandă AWS CLI pentru a crea cardul model:
Acum, creați partajarea între conturi folosind RAM AWS. În consola AWS RAM, selectați Creați o partajare a resurselor.
Introduceți un nume pentru partajarea resurselor, de exemplu „Customer-Churn-Model-Card-Share”. În Resurse - facultativ secțiunea, selectați tipul de resursă ca Carduri de model SageMaker. Cardul model pe care l-am creat la pasul anterior va apărea în listare.
Selectați acel model și va apărea în secțiunea Resurse selectate. Selectați din nou resursa, așa cum se arată în pașii următori și alegeți Pagina Următoare →.
Pe pagina următoare, puteți selecta permisiunile gestionate. Puteți crea permisiuni personalizate sau puteți utiliza opțiunea implicită „AWSRAMPermissionSageMakerModelCards
”Și selectați Pagina Următoare →. Pentru mai multe informații, consultați Gestionarea permisiunilor în RAM AWS.
Pe pagina următoare, puteți selecta Directori. Sub Selectare tip principal, alegeți Cont AWS și introduceți ID-ul contului de partajare a cardului model. Selectați Adăuga și continuați la pagina următoare.
Pe ultima pagină, examinați informațiile și selectați „Creați partajarea resurselor”. Alternativ, puteți utiliza următoarele AWS CLI comandă pentru a crea o partajare de resurse:
Pe consola RAM AWS, vedeți atributele partajării resurselor. Asigurați-vă că resursele partajate, permisiunile gestionate și principalele partajate sunt în „Associated
" stare.
După ce utilizați AWS RAM pentru a crea o partajare de resurse, directorilor specificati în partajarea de resurse li se poate acorda acces la resursele partajării.
- Dacă activați partajarea RAM AWS cu organizațiile AWS și directorii cu care partajați sunt în aceeași organizație cu contul de partajare, acești directori pot primi acces imediat ce administratorul contului le acordă permisiuni.
- Dacă nu activați partajarea RAM AWS cu organizațiile, puteți partaja în continuare resurse cu conturile AWS individuale care se află în organizația dvs. Administratorul din contul consumator primește o invitație de a se alătura partajării resurselor și trebuie să accepte invitația înainte ca directorii specificati în partajarea resurselor să poată accesa resursele partajate.
- De asemenea, puteți partaja cu conturi din afara organizației dvs., dacă tipul de resursă îl acceptă. Administratorul din contul consumator primește o invitație de a se alătura partajării resurselor și trebuie să accepte invitația înainte ca directorii specificati în partajarea resurselor să poată accesa resursele partajate.
Pentru mai multe informații despre RAM AWS, consultați Termeni și concepte pentru AWS RAM.
Accesarea cardurilor de model partajate
Acum ne putem conecta la contul AWS partajat pentru a accesa cardul model. Asigurați-vă că accesați consola AWS folosind permisiuni IAM (rol IAM) care permit accesul la AWS RAM.
Cu AWS RAM, puteți vedea partajările de resurse la care ați fost adăugat, resursele partajate pe care le puteți accesa și conturile AWS care au partajat resurse cu dvs. De asemenea, puteți lăsa o partajare de resurse atunci când nu mai aveți nevoie de acces la resursele partajate.
Pentru a vizualiza cardul model în contul AWS partajat:
- Navigați către Partajat cu mine: resurse partajate pagina din consola AWS RAM.
- Asigurați-vă că operați în aceeași regiune AWS în care a fost creată partajarea.
- Modelul partajat din contul de model va fi disponibil în listare. Dacă există o listă lungă de resurse, atunci puteți aplica un filtru pentru a găsi anumite resurse partajate. Puteți aplica mai multe filtre pentru a restrânge căutarea.
- Următoarele informații sunt disponibile:
- ID resursă – ID-ul resursei. Acesta este numele cardului model pe care l-am creat mai devreme în contul cardului model.
- Tipul de resurse – Tipul de resursă.
- Ultima dată de distribuire – Data la care ți-a fost partajată resursa.
- Distribuirea resurselor – Numărul de partajări de resurse în care este inclusă resursa. Alegeți valoarea pentru a vizualiza partajarea resurselor.
- ID proprietar – ID-ul principalului care deține resursa.
De asemenea, puteți accesa cardul model utilizând opțiunea AWS CLI. Pentru politica AWS IAM configurată cu acreditările corecte, asigurați-vă că aveți permisiuni de a crea, edita și șterge modele de carduri în Amazon SageMaker. Pentru mai multe informații, consultați Configurați AWS CLI.
Puteți utiliza următoarea politică de permisiuni AWS IAM ca șablon:
Puteți rula următoarea comandă AWS CLI pentru a accesa detaliile cardului model partajat.
Acum puteți face modificări acestui model de card din acest cont.
După ce faceți modificări, reveniți la contul de card model pentru a vedea modificările pe care le-am făcut în acest cont comun.
Tipul de problemă a fost actualizat la „Customer Churn Model
” pe care le furnizasem ca parte a comenzii AWS CLI.
A curăța
Acum puteți șterge cardul model pe care l-ați creat. Asigurați-vă că ștergeți partajarea resurselor RAM AWS pe care ați creat-o pentru a partaja cardul model.
Concluzie
În această postare, am oferit o prezentare generală a arhitecturii cu mai multe conturi pentru scalarea și guvernarea încărcăturilor de lucru ML în mod sigur și fiabil. Am discutat despre modelele de arhitectură pentru configurarea partajării modelelor de carduri și am ilustrat cum funcționează modelele centralizate de partajare a cardurilor de model. În cele din urmă, am configurat partajarea cardurilor de model în mai multe conturi pentru a îmbunătăți vizibilitatea și guvernanța în ciclul de viață al dezvoltării modelului. Vă încurajăm să încercați noua funcție de partajare a cardurilor de model și să ne transmiteți feedbackul dvs.
Despre autori
Vishal Naik este arhitect senior de soluții la Amazon Web Services (AWS). Este un constructor căruia îi place să ajute clienții să-și îndeplinească nevoile de afaceri și să rezolve provocări complexe cu soluții și bune practici AWS. Domeniul său principal de interes include Machine Learning, DevOps și Containers. În timpul său liber, Vishal îi place să facă scurtmetraje despre călătoriile în timp și despre alte teme ale universului.
Ram Vittal este arhitect principal de soluții ML la AWS. Are peste 20 de ani de experiență în arhitectura și construirea de aplicații distribuite, hibride și cloud. El este pasionat de construirea de soluții sigure și scalabile de AI/ML și de date mari pentru a ajuta clienții întreprinderilor în călătoria lor de adoptare și optimizare a cloud-ului pentru a-și îmbunătăți rezultatele în afaceri. În timpul liber, se plimbă cu motocicleta și se plimbă cu oaie-a-doodle-ul lui de 2 ani!
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- ChartPrime. Crește-ți jocul de tranzacționare cu ChartPrime. Accesați Aici.
- BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-model-cards-sharing-to-improve-model-governance/
- :are
- :este
- :Unde
- $UP
- 10
- 100
- 20
- ani 20
- 2022
- 361
- 7
- 700
- 9
- a
- Despre Noi
- accelera
- Accept
- acces
- accesibilitate
- accesarea
- realiza
- Cont
- Conturi
- realizarea
- peste
- Acțiune
- activităţi de
- activitate
- adăuga
- adăugat
- plus
- În plus,
- adopta
- Adoptare
- După
- din nou
- agregat
- AI
- AI / ML
- permite
- de asemenea
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- și
- O alta
- API-uri
- apărea
- aplicatii
- Aplică
- abordare
- abordari
- arhitectură
- SUNT
- ZONĂ
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- AS
- asuma
- At
- atribute
- audit
- automatizarea
- Automatizare
- disponibil
- AWS
- AWS Identity and Access Management (IAM)
- AWS re: Inventează
- înapoi
- bazat
- BE
- deoarece
- deveni
- devenire
- fost
- înainte
- Beneficiile
- CEL MAI BUN
- Cele mai bune practici
- Mare
- Datele mari
- atât
- construi
- constructor
- Clădire
- construiește
- afaceri
- Aplicații pentru afaceri
- dar
- by
- denumit
- CAN
- capacități
- capacitate
- card
- Carduri
- caz
- cazuri
- Centru
- central
- centralizat
- provocări
- Modificări
- Alege
- Cloud
- adoptarea norului
- cod
- colaborare
- complex
- conformitate
- component
- Concepte
- Conduce
- Configuraţie
- configurat
- Consoleze
- consumate
- Containere
- continua
- continuu
- contribuţii
- Control
- Nucleu
- corecta
- acoperire
- crea
- a creat
- creaţie
- scrisori de acreditare
- critic
- personalizat
- client
- clienţii care
- de date
- știința datelor
- om de știință de date
- Data
- Deciziile
- adânc
- Mod implicit
- livrare
- În funcție
- implementa
- Implementarea
- desfășurarea
- descrie
- descris
- proiect
- detalii
- dev
- Dezvoltare
- diferenţă
- discutat
- distribuite
- scufunda
- do
- documentaţie
- Dont
- proiect
- două
- în timpul
- fiecare
- Mai devreme
- efect
- permite
- încuraja
- Punct final
- inginer
- inginerii
- Îmbunătăţeşte
- se bucura
- asigura
- Intrați
- Afacere
- Companii
- medii
- evaluare
- exemplu
- Extinde
- experienţă
- experimente
- fapt
- Caracteristică
- Federaţie
- feedback-ul
- Domenii
- filme
- filtru
- Filtre
- În cele din urmă
- Găsi
- First
- Concentra
- următor
- urmează
- Pentru
- Fundație
- Cadru
- din
- mai mult
- obține
- obtinerea
- oferă
- Go
- guvernare
- guvernare
- acordate
- subvenții
- HAD
- Mai tare
- Avea
- având în
- he
- ajutor
- ajutor
- ajută
- lui
- Cum
- Cum Pentru a
- Totuși
- HTML
- HTTPS
- Butuc
- Hibrid
- ID
- Identitate
- if
- ilustrează
- implementat
- important
- îmbunătăţi
- îmbunătățirea
- in
- inclus
- include
- includere
- individ
- informații
- intrare
- integrare
- Inteligență
- destinate
- în
- introdus
- invitație
- implicat
- izolare
- IT
- ESTE
- alătura
- călătorie
- jpg
- Cheie
- Cunoaște
- Nume
- învăţare
- Părăsi
- Legal
- lăsa
- ciclu de viață
- ca
- Listă
- listare
- log
- Lung
- mai lung
- iubeste
- maşină
- masina de învățare
- făcut
- Principal
- Mainstream
- menține
- face
- Efectuarea
- gestionate
- administrare
- manager
- de conducere
- multe
- marcat
- me
- Metadata
- ML
- MLOps
- mod
- model
- Modele
- mai mult
- motocicletă
- Multicolor
- multiplu
- trebuie sa
- nume
- îngust
- Nevoie
- nevoilor
- Nou
- următor
- Nu.
- acum
- număr
- of
- on
- ONE
- afară
- de operare
- operațional
- optimizare
- Opțiune
- or
- organizație
- organizații
- afară
- rezultate
- producție
- exterior
- peste
- Prezentare generală
- propriu
- deține
- pagină
- parte
- pasionat
- modele
- în așteptarea
- permisiuni
- Plato
- Informații despre date Platon
- PlatoData
- Politicile
- Politica
- Post
- alimentat
- practică
- practicile
- premise
- precedent
- în prealabil
- Principal
- directori
- Principiile
- intimitate
- Problemă
- procese
- prelucrare
- producere
- proiect
- Proiecte
- adecvat
- furniza
- prevăzut
- furnizează
- scopuri
- calitate
- RAM
- RE
- Mod numai citire
- a primi
- primește
- recomanda
- recomandat
- trimite
- regiune
- Înscriere
- registru
- încredere
- rest
- Raportarea
- necesita
- Cerinţe
- resursă
- Resurse
- REZULTATE
- revizuiască
- Recenzii
- Rol
- Alerga
- funcţionare
- ruleaza
- sagemaker
- acelaşi
- scalabilitate
- scalabil
- Scară
- scalare
- scenariu
- Ştiinţă
- Om de stiinta
- oamenii de stiinta
- Caută
- Secțiune
- sigur
- în siguranță,
- securitate
- vedea
- selectate
- serviciu
- Servicii
- set
- instalare
- configurarea
- Distribuie
- comun
- Acțiuni
- partajarea
- coală
- Pantaloni scurți
- Arăta
- indicat
- Emisiuni
- întrucât
- singur
- So
- soluţii
- REZOLVAREA
- unele
- curând
- Sursă
- specific
- specificată
- părțile interesate
- standardizarea
- Începe
- început
- începe
- Declarație
- Stare
- Pas
- paşi
- Încă
- Strategie
- simplifica
- de succes
- De sprijin
- Sprijină
- sigur
- apare
- echipă
- echipe
- Tehnic
- Tehnologii
- șablon
- test
- teste
- acea
- informațiile
- lor
- Lor
- tematică
- apoi
- Acolo.
- astfel
- Acestea
- ei
- acest
- aceste
- Prin
- de-a lungul
- timp
- timp de călătorie
- la
- Unelte
- Urmărire
- Pregătire
- Transparență
- călătorie
- declanşa
- Adevăr
- încerca
- ÎNTORCĂ
- tip
- în
- Univers
- actualizat
- us
- Folosire
- utilizare
- carcasa de utilizare
- utilizat
- utilizatorii
- folosind
- v1
- validare
- valoare
- versiune
- de
- Vizualizare
- visal
- vizibilitate
- a fost
- we
- web
- servicii web
- cand
- care
- în timp ce
- OMS
- voi
- cu
- în
- Apartamente
- ani
- Tu
- Ta
- zephyrnet