I takt med att tekniker för artificiell intelligens (AI) och maskininlärning (ML) har blivit vanliga, har många företag lyckats bygga kritiska affärsapplikationer som drivs av ML-modeller i stor skala i produktionen. Men eftersom dessa ML-modeller fattar viktiga affärsbeslut för verksamheten är det viktigt för företag att lägga till ordentliga skyddsräcken under hela sin ML-livscykel. Skyddsräcken säkerställer att säkerhet, integritet och kvalitet på koden, konfigurationen och data- och modellkonfigurationen som används under modellens livscykel är versionerade och bevarade.
Att implementera dessa skyddsräcken blir svårare för företag eftersom ML-processerna och aktiviteterna inom företagen blir mer komplexa på grund av inkluderingen av djupt involverade processer som kräver bidrag från flera intressenter och personer. Förutom dataingenjörer och datavetare har det funnits inkludering av operativa processer för att automatisera och effektivisera ML-livscykeln. Dessutom behöver ökningen av företagsintressenter och i vissa fall juridiska och efterlevnadsgranskningar kapacitet för att lägga till transparens för hantering av åtkomstkontroll, aktivitetsspårning och rapportering över ML:s livscykel.
Ramverket som ger systematisk synlighet i utveckling, validering och användning av ML-modeller kallas ML-styrning. Under AWS re:Invent 2022, AWS introducerade nya ML-styrningsverktyg för Amazon SageMaker vilket förenklar åtkomstkontrollen och förbättrar transparensen över dina ML-projekt. Ett av verktygen som finns som en del av ML-styrningen är Amazon SageMaker modellkort, som har förmågan att skapa en enda sanningskälla för modellinformation genom att centralisera och standardisera dokumentation under hela modellens livscykel.
SageMaker modellkort gör att du kan standardisera hur modeller dokumenteras, och därigenom uppnå insyn i en modells livscykel, från design, konstruktion, utbildning och utvärdering. Modellkort är avsedda att vara en enda källa till sanning för affärsmässiga och tekniska metadata om modellen som på ett tillförlitligt sätt kan användas för revisions- och dokumentationsändamål. De ger ett faktablad över modellen som är viktig för modellstyrning.
När du skalar dina modeller, projekt och team rekommenderar vi som bästa praxis att du använder en strategi för flera konton som ger projekt- och teamisolering för utveckling och implementering av ML-modeller. För mer information om hur du förbättrar styrningen av dina ML-modeller, se Förbättra styrningen av dina maskininlärningsmodeller med Amazon SageMaker.
Arkitekturöversikt
Arkitekturen är implementerad enligt följande:
- Data Science Account – Dataforskare genomför sina experiment i SageMaker Studio och bygga en MLOps-inställning för att distribuera modeller till iscensättning/produktionsmiljöer med hjälp av SageMaker-projekt.
- ML Shared Services Account – MLOps som ställs in från Data Science-kontot kommer att utlösa kontinuerlig integration och kontinuerlig leverans (CI/CD) pipelines med AWS CodeCommit och AWS CodePipeline.
- Utvecklarkonto – CI/CD-pipelines kommer ytterligare att utlösa ML-pipelines i detta konto som täcker dataförbearbetning, modellträning och efterbearbetning som modellutvärdering och registrering. Utdata från dessa pipelines kommer att distribuera modellen i SageMaker slutpunkter att konsumeras i slutledningssyfte. Beroende på dina styrningskrav kan Data Science & Dev-konton slås samman till ett enda AWS-konto.
- Datakonto – ML-pipelines som körs i Dev-kontot hämtar data från detta konto.
- Test- och produktionskonton – CI/CD-pipelines kommer att fortsätta driftsättningen efter utvecklingskontot för att konfigurera SageMaker-slutpunktskonfigurationen i dessa konton.
- Säkerhet och styrning – Tjänster som AWS Identity and Access Management (IAM), AWS IAM Identity Center, AWS CloudTrail, AWS Key Management Service (AWS KMS), Amazon CloudWatch och AWS Security Hub kommer att användas över dessa konton som en del av säkerheten och styrning.
Följande diagram illustrerar denna arkitektur.
För mer information om att ställa in skalbar multi-konto ML-arkitektur, se MLOps grund för företag med Amazon SageMaker.
Våra kunder behöver förmågan att dela modellkort mellan konton för att förbättra synlighet och styrning av sina modeller genom information som delas i modellkortet. Nu, med delning av modellkort över flera konton, kan kunderna dra nytta av fördelarna med strategi för flera konton samtidigt som de har tillgång till de tillgängliga modellkorten i sin organisation, så att de kan påskynda samarbetet och säkerställa styrning.
I det här inlägget visar vi hur du ställer in och får åtkomst till modellkort över Model Development Lifecycle-konton (MDLC) med hjälp av den nya funktionen för delning över flera konton på modellkortet. Först kommer vi att beskriva ett scenario och arkitektur för att ställa in funktionen för delning över flera konton på modellkortet, och sedan dyka djupt ner i varje komponent i hur man konfigurerar och får åtkomst till delade modellkort över konton för att förbättra synlighet och modellstyrning.
Lösningsöversikt
När du bygger ML-modeller rekommenderar vi att du konfigurerar en arkitektur för flera konton för att ge arbetsbelastningsisolering som förbättrar säkerhet, tillförlitlighet och skalbarhet. För det här inlägget kommer vi att anta att vi bygger och distribuerar en modell för Customer Churn-användningsfall. Arkitekturdiagrammet som följer visar ett av de rekommenderade tillvägagångssätten – centraliserat modellkort – för att hantera ett modellkort i en maskininlärningsmodell-utvecklingslivscykelarkitektur för flera konton (MDLC). Men du kan också använda ett annat tillvägagångssätt, ett modellkort med nav och eker. I det här inlägget kommer vi bara att fokusera på en centraliserad modellkortsmetod, men samma principer kan utvidgas till ett nav-och-eker-upplägg. Den största skillnaden är att varje ekerkonto kommer att ha sin egen version av modellkortet och det kommer att ha processer för att aggregera och kopiera till ett centraliserat konto.
Följande diagram illustrerar denna arkitektur.
Arkitekturen är implementerad enligt följande:
- Lead Data Scientist meddelas att lösa Customer Churn-användningsfallet med ML, och de startar ML-projektet genom att skapa ett modellkort för Customer Churn V1-modellen i utkaststatus i ML Shared Services-kontot
- Genom automatisering delas det modellkortet med ML Dev Account
- Data Scientist bygger modellen och börjar fylla i information via API:er i modellkortet baserat på deras experimentresultat och modellkortets status är inställd på Väntar på granskning
- Genom automatisering delas det modellkortet med ML-testkontot
- ML Engineer (MLE) kör integrations- och valideringstester i ML Testkonto och modellen i det centrala registret är märkt Pending Approval
- Modellgodkännare granskar modellresultaten med den stödjande dokumentationen som finns på det centrala modellkortet och godkänner modellkortet för produktionsinstallation.
- Genom automatisering delas det modellkortet med ML Prod-kontot i skrivskyddat läge.
Förutsättningar
Se till att du har följande förutsättningar innan du sätter igång:
- Två AWS-konton.
- I båda AWS-kontona, en IAM-federationsroll med administratörsbehörighet för att göra följande:
- Skapa, redigera, visa och ta bort modellkort i Amazon SageMaker.
- Skapa, redigera, visa och ta bort resursdelning inom AWS RAM.
Mer information finns i Exempel på IAM-policyer för AWS RAM.
Ställa in modellkortsdelning
Kontot där modellkorten skapas är modellkortkontot. Användare i modellkortkontot delar dem med de delade kontona där de kan uppdateras. Användare i modellkortkontot kan dela sina modellkort genom AWS Resource Access Manager (AWS RAM). AWS RAM hjälper dig att dela resurser mellan AWS-konton.
I följande avsnitt visar vi hur man delar modellkort.
Skapa först ett modellkort för ett Customer Churn-användningsfall som tidigare beskrivits. På Amazon SageMaker-konsolen expanderar du avsnittet Styrning och väljer Modellkort.
Vi skapar modellkortet i Förslag status med namnet Kund-Churn-Modell-Card. För mer information, se Skapa ett modellkort. I den här demonstrationen kan du lämna resten av fälten tomma och skapa modellkortet.
Alternativt kan du använda följande AWS CLI-kommando för att skapa modellkortet:
Skapa nu andelen över flera konton med AWS RAM. I AWS RAM-konsolen väljer du Skapa en resursdelning.
Ange ett namn för resursandelen, till exempel "Customer-Churn-Model-Card-Share". I resurserna – valfritt väljer du resurstyp som SageMaker modellkort. Modellkortet vi skapade i föregående steg kommer att visas i listan.
Välj den modellen så visas den i avsnittet Valda resurser. Välj resursen igen som visas i följande steg och välj Nästa.
På nästa sida kan du välja hanterade behörigheter. Du kan skapa anpassade behörigheter eller använda standardalternativet "AWSRAMPermissionSageMakerModelCards
”Och välj Nästa. För mer information, se Hantera behörigheter i AWS RAM.
På nästa sida kan du välja Rektorer. Välj under Välj huvudtyp AWS-konto och ange ID för kontot för dela modellkortet. Välj Lägg till och fortsätt till nästa sida.
På sista sidan, granska informationen och välj "Skapa resursdelning". Alternativt kan du använda följande AWS CLI kommando för att skapa en resursdelning:
På AWS RAM-konsolen ser du attributen för resursandelen. Se till att delade resurser, hanterade behörigheter och delade principer finns i "Associated
”Status.
När du har använt AWS RAM för att skapa en resursresurs kan de principer som anges i resursdelningen ges åtkomst till resursresursen.
- Om du aktiverar AWS RAM-delning med AWS-organisationer och dina huvudmän som du delar med är i samma organisation som delningskontot, kan dessa huvudmän få åtkomst så snart deras kontoadministratör ger dem behörighet.
- Om du inte aktiverar AWS RAM-delning med organisationer kan du fortfarande dela resurser med individuella AWS-konton som finns i din organisation. Administratören på det konsumerande kontot får en inbjudan att gå med i resursdelningen och de måste acceptera inbjudan innan de huvudmän som anges i resursdelningen kan komma åt de delade resurserna.
- Du kan också dela med konton utanför din organisation om resurstypen stöder det. Administratören på det konsumerande kontot får en inbjudan att gå med i resursdelningen och de måste acceptera inbjudan innan de huvudmän som anges i resursdelningen kan komma åt de delade resurserna.
För mer information om AWS RAM, se Termer och koncept för AWS RAM.
Tillgång till delade modellkort
Nu kan vi logga in på det delade AWS-kontot för att komma åt modellkortet. Se till att du har åtkomst till AWS-konsolen med IAM-behörigheter (IAM-roll) som tillåter åtkomst till AWS RAM.
Med AWS RAM kan du se de resursandelar som du har lagts till, de delade resurserna som du kan komma åt och de AWS-konton som har delat resurser med dig. Du kan också lämna en resursdelning när du inte längre behöver åtkomst till dess delade resurser.
Så här visar du modellkortet i det delade AWS-kontot:
- Navigera till Delad med mig: Delade resurser sida i AWS RAM-konsolen.
- Se till att du arbetar i samma AWS-region där andelen skapades.
- Modellen som delas från modellkontot kommer att finnas tillgänglig i listan. Om det finns en lång lista med resurser kan du använda ett filter för att hitta specifika delade resurser. Du kan använda flera filter för att begränsa din sökning.
- Följande information är tillgänglig:
- Resurs-ID – Resursens ID. Detta är namnet på modellkortet som vi skapade tidigare i modellkortskontot.
- Resurstyp – Typen av resurs.
- Sista delningsdatum – Datumet då resursen delades med dig.
- Resursandelar – Antalet resursandelar som resursen ingår i. Välj värdet för att visa resursdelarna.
- Ägar-ID – ID för huvudmannen som äger resursen.
Du kan också komma åt modellkortet med AWS CLI-alternativet. För AWS IAM-policyn konfigurerad med rätt referenser, se till att du har behörighet att skapa, redigera och ta bort modellkort inom Amazon SageMaker. För mer information, se Konfigurera AWS CLI.
Du kan använda följande AWS IAM-behörighetspolicy som mall:
Du kan köra följande AWS CLI-kommando för att komma åt detaljerna för det delade modellkortet.
Nu kan du göra ändringar i detta modellkort från det här kontot.
När du har gjort ändringar går du tillbaka till modellkortkontot för att se ändringarna som vi har gjort i det här delade kontot.
Problemtypen har uppdaterats till "Customer Churn Model
” som vi hade tillhandahållit som en del av AWS CLI-kommandoinmatningen.
Städa upp
Du kan nu ta bort modellkortet du skapade. Se till att du tar bort AWS RAM-resursdelningen som du skapade för att dela modellkortet.
Slutsats
I det här inlägget gav vi en översikt över flera kontons arkitektur för att skala och styra dina ML-arbetsbelastningar säkert och tillförlitligt. Vi diskuterade arkitekturmönstren för att ställa in modellkortdelning och illustrerade hur centraliserade modellkortdelningsmönster fungerar. Slutligen ställer vi in modellkortsdelning över flera konton för att förbättra synlighet och styrning i din modellutvecklingslivscykel. Vi rekommenderar att du testar den nya funktionen för delning av modellkort och låter oss veta din feedback.
Om författarna
Vishal Naik är Sr. Solutions Architect på Amazon Web Services (AWS). Han är en byggare som tycker om att hjälpa kunder att uppfylla sina affärsbehov och lösa komplexa utmaningar med AWS-lösningar och bästa praxis. Hans kärnfokusområde inkluderar Machine Learning, DevOps och Containers. På sin fritid älskar Vishal att göra kortfilmer om tidsresor och omväxlande teman i universum.
Ram Vittal är Principal ML Solutions Architect på AWS. Han har över 20 års erfarenhet av att bygga och bygga distribuerade, hybrid- och molnapplikationer. Han brinner för att bygga säkra och skalbara AI/ML- och big data-lösningar för att hjälpa företagskunder med deras molnintroduktion och optimeringsresa för att förbättra deras affärsresultat. På fritiden kör han motorcykel och går med sin 2-åriga sheep-a-doodle!
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
- BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-model-card-sharing-to-improve-model-governance/
- : har
- :är
- :var
- $UPP
- 10
- 100
- 20
- 20 år
- 2022
- 361
- 7
- 700
- 9
- a
- Om oss
- accelerera
- Acceptera
- tillgång
- tillgänglighet
- åtkomst
- åstadkomma
- Konto
- konton
- uppnå
- tvärs
- Handling
- aktiviteter
- aktivitet
- lägga till
- lagt till
- Dessutom
- Dessutom
- anta
- Antagande
- Efter
- igen
- aggregat
- AI
- AI / ML
- tillåter
- också
- amason
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- och
- Annan
- API: er
- visas
- tillämpningar
- Ansök
- tillvägagångssätt
- tillvägagångssätt
- arkitektur
- ÄR
- OMRÅDE
- konstgjord
- artificiell intelligens
- Konstgjord intelligens (AI)
- AS
- utgå ifrån
- At
- attribut
- revision
- automatisera
- Automation
- tillgänglig
- AWS
- AWS Identity and Access Management (IAM)
- AWS re: Invent
- tillbaka
- baserat
- BE
- därför att
- blir
- passande
- varit
- innan
- Fördelarna
- BÄST
- bästa praxis
- Stor
- Stora data
- båda
- SLUTRESULTAT
- byggare
- Byggnad
- bygger
- företag
- Business Applications
- men
- by
- kallas
- KAN
- kapacitet
- kapacitet
- kortet
- Kort
- Vid
- fall
- Centrum
- centrala
- centraliserad
- utmaningar
- Förändringar
- Välja
- cloud
- moln adoption
- koda
- samverkan
- komplex
- Efterlevnad
- komponent
- Begreppen
- Genomför
- konfiguration
- konfigurerad
- Konsol
- konsumeras
- Behållare
- fortsätta
- kontinuerlig
- bidrag
- kontroll
- Kärna
- korrekt
- beläggning
- skapa
- skapas
- skapande
- referenser
- kritisk
- beställnings
- kund
- Kunder
- datum
- datavetenskap
- datavetare
- Datum
- beslut
- djup
- Standard
- leverans
- beroende
- distribuera
- utplacera
- utplacering
- beskriva
- beskriven
- design
- detaljer
- dev
- Utveckling
- Skillnaden
- diskuteras
- distribueras
- Dyk
- do
- dokumentation
- inte
- utkast
- grund
- under
- varje
- Tidigare
- effekt
- möjliggöra
- uppmuntra
- Slutpunkt
- ingenjör
- Ingenjörer
- Förbättrar
- njuta
- säkerställa
- ange
- Företag
- företag
- miljöer
- utvärdering
- exempel
- Bygga ut
- erfarenhet
- experiment
- Faktum
- Leverans
- Federation
- återkoppling
- Fält
- filmer
- filtrera
- filter
- Slutligen
- hitta
- Förnamn
- Fokus
- efter
- följer
- För
- fundament
- Ramverk
- från
- ytterligare
- skaffa sig
- få
- ger
- Go
- styrning
- styrande
- beviljats
- bidrag
- hade
- hårdare
- Har
- har
- he
- hjälpa
- hjälpa
- hjälper
- hans
- Hur ser din drömresa ut
- How To
- Men
- html
- HTTPS
- Nav
- Hybrid
- ID
- Identitet
- if
- illustrerar
- genomföras
- med Esport
- förbättra
- förbättra
- in
- ingår
- innefattar
- integration
- individuellt
- informationen
- ingång
- integrering
- Intelligens
- avsedd
- in
- introducerade
- inbjudan
- involverade
- isolering
- IT
- DESS
- delta
- resa
- jpg
- Nyckel
- Vet
- Efternamn
- inlärning
- Lämna
- Adress
- Låt
- livscykel
- tycka om
- Lista
- lista
- log
- Lång
- längre
- älskar
- Maskinen
- maskininlärning
- gjord
- Huvudsida
- Vanliga
- bibehålla
- göra
- Framställning
- förvaltade
- ledning
- chef
- hantera
- många
- markant
- me
- metadata
- ML
- MLOps
- Mode
- modell
- modeller
- mer
- mc
- flera
- multipel
- måste
- namn
- smal
- Behöver
- behov
- Nya
- Nästa
- Nej
- nu
- antal
- of
- on
- ONE
- endast
- drift
- operativa
- optimering
- Alternativet
- or
- organisation
- organisationer
- ut
- utfall
- produktion
- utanför
- över
- Översikt
- egen
- äger
- sida
- del
- brinner
- mönster
- väntan
- behörigheter
- plato
- Platon Data Intelligence
- PlatonData
- Strategier
- policy
- Inlägg
- drivs
- praktiken
- praxis
- förutsättningar
- föregående
- tidigare
- Principal
- uppdragsgivare
- Principerna
- privatpolicy
- Problem
- processer
- bearbetning
- Produktion
- projektet
- projekt
- rätt
- ge
- förutsatt
- ger
- syfte
- kvalitet
- RAM
- RE
- Skrivskyddat läge
- motta
- erhåller
- rekommenderar
- rekommenderas
- region
- Registrering
- register
- tillförlitlighet
- resten
- Rapportering
- kräver
- Krav
- resurs
- Resurser
- Resultat
- översyn
- Omdömen
- Roll
- Körning
- rinnande
- kör
- sagemaker
- Samma
- skalbarhet
- skalbar
- Skala
- skalning
- scenario
- Vetenskap
- Forskare
- vetenskapsmän
- Sök
- §
- säkra
- säkert
- säkerhet
- se
- vald
- service
- Tjänster
- in
- inställning
- inställning
- Dela
- delas
- aktier
- delning
- ark
- Kort
- show
- visas
- Visar
- eftersom
- enda
- So
- Lösningar
- LÖSA
- några
- snart
- Källa
- specifik
- specificerade
- intressenter
- standardisera
- starta
- igång
- startar
- .
- status
- Steg
- Steg
- Fortfarande
- Strategi
- effektivisera
- framgångsrik
- Stödjande
- Stöder
- säker
- uppstår
- grupp
- lag
- Teknisk
- Tekniken
- mall
- testa
- tester
- den där
- Smakämnen
- den information
- deras
- Dem
- teman
- sedan
- Där.
- vari
- Dessa
- de
- detta
- de
- Genom
- hela
- tid
- tidsresor
- till
- verktyg
- Spårning
- Utbildning
- Öppenhet
- färdas
- utlösa
- sanningen
- prova
- SVÄNG
- Typ
- under
- Universum
- uppdaterad
- us
- Användning
- användning
- användningsfall
- Begagnade
- användare
- med hjälp av
- v1
- godkännande
- värde
- version
- via
- utsikt
- vishal
- synlighet
- var
- we
- webb
- webbservice
- när
- som
- medan
- VEM
- kommer
- med
- inom
- Arbete
- år
- Om er
- Din
- zephyrnet