Ker sta tehnologiji umetne inteligence (AI) in strojnega učenja (ML) postali glavni tok, so bila številna podjetja uspešna pri gradnji kritičnih poslovnih aplikacij, ki jih poganjajo modeli ML, v velikem obsegu proizvodnje. Ker pa ti modeli ML sprejemajo ključne poslovne odločitve za podjetje, je pomembno, da podjetja dodajo ustrezne zaščitne ograje v celotnem življenjskem ciklu ML. Zaščitne ograje zagotavljajo, da so varnost, zasebnost in kakovost kode, konfiguracije ter konfiguracije podatkov in modela, ki se uporabljajo v življenjskem ciklu modela, različice in ohranjeni.
Izvajanje teh varovalnih ograj postaja vse težje za podjetja, ker procesi in dejavnosti ML v podjetjih postajajo bolj zapleteni zaradi vključevanja globoko vpletenih procesov, ki zahtevajo prispevke več deležnikov in oseb. Poleg podatkovnih inženirjev in podatkovnih znanstvenikov so bili vključeni tudi operativni procesi za avtomatizacijo in poenostavitev življenjskega cikla ML. Poleg tega naval poslovnih deležnikov in v nekaterih primerih pravni pregledi in pregledi skladnosti potrebujejo zmogljivosti za dodajanje preglednosti za upravljanje nadzora dostopa, sledenje dejavnosti in poročanje v celotnem življenjskem ciklu strojnega upravljanja.
Ogrodje, ki daje sistematičen vpogled v razvoj, potrjevanje in uporabo modela ML, se imenuje upravljanje ML. Med AWS re:Invent 2022, AWS je predstavil nova orodja za upravljanje ML za Amazon SageMaker ki poenostavlja nadzor dostopa in povečuje preglednost nad vašimi projekti ML. Eno od orodij, ki je na voljo kot del upravljanja ML, je Kartice modelov Amazon SageMaker, ki ima zmožnost ustvariti en sam vir resnice za informacije o modelu s centralizacijo in standardizacijo dokumentacije v celotnem življenjskem ciklu modela.
Kartice modelov SageMaker vam omogočajo, da standardizirate, kako so modeli dokumentirani, s čimer dosežete vpogled v življenjski cikel modela, od načrtovanja, gradnje, usposabljanja in vrednotenja. Kartice modela naj bi bile en sam vir resnice za poslovne in tehnične metapodatke o modelu, ki jih je mogoče zanesljivo uporabiti za namene revizije in dokumentacije. Zagotavljajo informativni list o modelu, ki je pomemben za upravljanje modela.
Ko širite svoje modele, projekte in ekipe, kot najboljšo prakso priporočamo, da sprejmete strategijo z več računi, ki zagotavlja izolacijo projekta in ekipe za razvoj in uvajanje modela ML. Za več informacij o izboljšanju upravljanja vaših modelov ML glejte Izboljšajte upravljanje svojih modelov strojnega učenja z Amazon SageMaker.
Pregled arhitekture
Arhitektura je implementirana na naslednji način:
- Račun podatkovne znanosti – Podatkovni znanstveniki izvajajo svoje poskuse v Studio SageMaker in zgradite nastavitev MLOps za uvajanje modelov v uprizoritvena/produkcijska okolja z uporabo Projekti SageMaker.
- Račun za skupne storitve ML – MLOps, nastavljen iz računa Data Science, bodo sprožili neprekinjeno integracijo in neprekinjeno dostavo (CI/CD) cevovodov z uporabo AWS CodeCommit in AWS CodePipeline.
- Račun za razvijalce – Cevovodi CI/CD bodo dodatno sprožili cevovode ML v tem računu, ki zajemajo predhodno obdelavo podatkov, usposabljanje modela in naknadno obdelavo, kot sta vrednotenje in registracija modela. Izhod teh cevovodov bo uvedel model Končne točke SageMaker porabiti za namene sklepanja. Odvisno od vaših zahtev glede upravljanja je mogoče račune Data Science & Dev združiti v en sam račun AWS.
- Podatkovni račun – cevovodi ML, ki se izvajajo v računu razvijalca, bodo črpali podatke iz tega računa.
- Preizkusni in proizvodni računi – cevovodi CI/CD bodo nadaljevali uvajanje po računu razvijalca za nastavitev konfiguracije končne točke SageMaker v teh računih.
- Varnost in upravljanje – Storitve, kot so AWS Identity and Access Management (IAM), AWS IAM Identity Center, AWS CloudTrail, AWS Key Management Service (AWS KMS), Amazon CloudWatch in AWS Security Hub, bodo uporabljene v teh računih kot del varnosti in upravljanje.
Naslednji diagram prikazuje to arhitekturo.
Za več informacij o nastavitvi razširljive arhitekture ML z več računi glejte Osnova MLOps za podjetja z Amazon SageMaker.
Naše stranke potrebujejo možnost skupne rabe modelnih kartic med računi, da izboljšajo vidnost in upravljanje svojih modelov prek informacij, ki so v skupni rabi na modelni kartici. Zdaj lahko stranke s skupno rabo modelnih kartic za več računov uživajo prednosti strategije več računov, hkrati pa imajo dostop do razpoložljivih modelnih kartic v svoji organizaciji, tako da lahko pospešijo sodelovanje in zagotovijo upravljanje.
V tej objavi prikazujemo, kako nastaviti in dostopati do kartic modelov v računih življenjskega cikla razvoja modela (MDLC) z uporabo nove funkcije skupne rabe med računi kartice modela. Najprej bomo opisali scenarij in arhitekturo za nastavitev funkcije skupne rabe med računi vzorčne kartice, nato pa se poglobili v vsako komponento, kako nastaviti in dostopati do skupnih modelnih kartic med računi, da izboljšamo vidnost in upravljanje modela.
Pregled rešitev
Pri izdelavi modelov ML priporočamo, da nastavite arhitekturo z več računi, da zagotovite izolacijo delovne obremenitve, ki izboljša varnost, zanesljivost in razširljivost. Za to objavo bomo predpostavili izdelavo in uvedbo modela za primer uporabe Customer Churn. Arhitekturni diagram, ki sledi, prikazuje enega od priporočenih pristopov – centralizirano kartico modela – za upravljanje kartice modela v arhitekturi življenjskega cikla razvoja modela strojnega učenja (MDLC) z več računi. Vendar pa lahko uporabite tudi drug pristop, kartico modela pesta in napere. V tem prispevku se bomo osredotočili le na centraliziran model kartičnega pristopa, vendar se lahko ista načela razširijo na pristop vozlišča in krakov. Glavna razlika je v tem, da bo vsak razdeljeni račun vzdrževal svojo različico vzorčne kartice in bo imel postopke za združevanje in kopiranje v centraliziran račun.
Naslednji diagram prikazuje to arhitekturo.
Arhitektura je implementirana na naslednji način:
- Vodilni podatkovni znanstvenik je obveščen, da reši primer uporabe Customer Churn z uporabo ML, in začne projekt ML z ustvarjanjem kartice modela za model Customer Churn V1 v statusu osnutka v računu storitev v skupni rabi ML
- Z avtomatizacijo se ta kartica modela deli z računom ML Dev
- Data Scientist zgradi model in začne vnašati informacije prek API-jev v kartico modela na podlagi rezultatov eksperimentiranja, status kartice modela pa je nastavljen na Pregled v čakanju
- Z avtomatizacijo se ta model kartice deli s testnim računom ML
- ML Engineer (MLE) izvaja integracijske in validacijske teste v računu ML Test in model v osrednjem registru je označen kot čaka na odobritev
- Odobritelj modela pregleda rezultate modela s podporno dokumentacijo na osrednji kartici modela in odobri kartico modela za uvedbo v proizvodnjo.
- Z avtomatizacijo je ta model kartice v skupni rabi z računom ML Prod v načinu samo za branje.
Predpogoji
Preden začnete, se prepričajte, da imate naslednje predpogoje:
- dve Računi AWS.
- V obeh računih AWS zvezna vloga IAM s skrbniškim dostopom za naslednje:
- Ustvarite, uredite, oglejte si in izbrišite kartice modelov znotraj Amazon SageMaker.
- Ustvarite, uredite, oglejte si in izbrišite skupno rabo virov znotraj AWS RAM.
Za več informacij glejte Primer pravilnikov IAM za AWS RAM.
Nastavitev deljenja kartice modela
Račun, na katerem so ustvarjene modelne kartice, je račun modelne kartice. Uporabniki v modelnem kartičnem računu jih delijo z računi v skupni rabi, kjer jih je mogoče posodobiti. Uporabniki v računu vzorčne kartice lahko delijo svoje vzorčne kartice prek AWS Resource Access Manager (AWS RAM). AWS RAM vam pomaga deliti vire med računi AWS.
V naslednjem razdelku pokažemo, kako deliti kartice modelov.
Najprej ustvarite model kartice za primer uporabe Customer Churn, kot je opisano prej. Na konzoli Amazon SageMaker razširite razdelek Governance in izberite Karte z modeli.
Izdelamo modelno kartico Osnutek stanje z imenom Customer-Churn-Model-Card. Za več informacij glejte Ustvarite model kartice. V tej predstavitvi lahko pustite preostala polja prazna in ustvarite kartico modela.
Lahko pa uporabite naslednji ukaz AWS CLI za ustvarjanje kartice modela:
Zdaj ustvarite skupno rabo med računi z uporabo AWS RAM. V konzoli AWS RAM izberite Ustvarite skupno rabo virov.
Vnesite ime za skupno rabo vira, na primer »Customer-Churn-Model-Card-Share«. V virih – opcijsko izberite vrsto vira kot Modelne kartice SageMaker. Kartica modela, ki smo jo ustvarili v prejšnjem koraku, se bo pojavila na seznamu.
Izberite ta model in prikazal se bo v razdelku Izbrani viri. Ponovno izberite ta vir, kot je prikazano v naslednjih korakih, in izberite Naslednji.
Na naslednji strani lahko izberete Upravljana dovoljenja. Ustvarite lahko dovoljenja po meri ali uporabite privzeto možnost "AWSRAMPermissionSageMakerModelCards
”In izberite Naslednji. Za več informacij glejte Upravljanje dovoljenj v AWS RAM.
Na naslednji strani lahko izberete ravnatelje. V razdelku Izberi glavno vrsto izberite Račun AWS in vnesite ID računa skupne kartice modela. Izberite Dodaj in nadaljujte na naslednjo stran.
Na zadnji strani preglejte informacije in izberite »Ustvari skupno rabo virov«. Druga možnost je, da uporabite naslednje AWS CLI ukaz za ustvarjanje skupne rabe virov:
Na konzoli AWS RAM vidite atribute skupne rabe virov. Prepričajte se, da so viri v skupni rabi, upravljana dovoljenja in principali v skupni rabi v »Associated
" stanje.
Ko uporabite AWS RAM za ustvarjanje skupne rabe vira, lahko glavnim osebam, navedenim v skupni rabi vira, omogočite dostop do virov skupne rabe.
- Če vklopite skupno rabo pomnilnika AWS RAM z organizacijami AWS in so vaši principali, s katerimi delite, v isti organizaciji kot račun za skupno rabo, lahko ti principali prejmejo dostop takoj, ko jim skrbnik računa podeli dovoljenja.
- Če ne vklopite skupne rabe pomnilnika AWS RAM z organizacijami, lahko še vedno delite vire s posameznimi računi AWS, ki so v vaši organizaciji. Skrbnik v uporabniškem računu prejme povabilo, da se pridruži skupni rabi vira, in mora sprejeti povabilo, preden lahko principali, navedeni v skupni rabi vira, dostopajo do virov v skupni rabi.
- Delite lahko tudi z računi zunaj vaše organizacije, če vrsta vira to podpira. Skrbnik v uporabniškem računu prejme povabilo, da se pridruži skupni rabi vira, in mora sprejeti povabilo, preden lahko principali, navedeni v skupni rabi vira, dostopajo do virov v skupni rabi.
Za več informacij o AWS RAM glejte Izrazi in pojmi za AWS RAM.
Dostop do skupnih modelnih kartic
Zdaj se lahko prijavimo v skupni račun AWS za dostop do kartice modela. Prepričajte se, da do konzole AWS dostopate z dovoljenji IAM (vloga IAM), ki omogočajo dostop do RAM-a AWS.
Z AWS RAM si lahko ogledate skupne rabe virov, ki ste jim bili dodani, skupne vire, do katerih lahko dostopate, in račune AWS, ki imajo vire v skupni rabi z vami. Skupno rabo vira lahko zapustite tudi, ko ne potrebujete več dostopa do njenih virov v skupni rabi.
Za ogled kartice modela v skupnem računu AWS:
- Pomaknite se na V skupni rabi z mano: viri v skupni rabi stran v konzoli AWS RAM.
- Prepričajte se, da delujete v isti regiji AWS, kjer je bila ustvarjena skupna raba.
- Model v skupni rabi iz računa modela bo na voljo na seznamu. Če je seznam virov dolg, lahko uporabite filter za iskanje določenih virov v skupni rabi. Uporabite lahko več filtrov, da zožite iskanje.
- Na voljo so naslednje informacije:
- ID vira – ID vira. To je ime modela kartice, ki smo ga prej ustvarili v računu modela kartice.
- Vrste virov – Vrsta vira.
- Zadnji datum skupne rabe – Datum, ko je bil vir v skupni rabi z vami.
- Deleži virov – Število skupnih rab virov, v katere je vir vključen. Izberite vrednost za ogled deležev virov.
- ID lastnika – ID glavnega lastnika vira.
Do kartice modela lahko dostopate tudi z možnostjo AWS CLI. Če je pravilnik AWS IAM konfiguriran s pravilnimi poverilnicami, se prepričajte, da imate dovoljenja za ustvarjanje, urejanje in brisanje kartic modelov znotraj Amazon SageMaker. Za več informacij glejte Konfigurirajte AWS CLI.
Kot predlogo lahko uporabite naslednji pravilnik o dovoljenjih AWS IAM:
Za dostop do podrobnosti kartice modela v skupni rabi lahko zaženete naslednji ukaz AWS CLI.
Zdaj lahko spreminjate ta model kartice iz tega računa.
Ko naredite spremembe, se vrnite na račun modela kartice in si oglejte spremembe, ki smo jih naredili v tem skupnem računu.
Vrsta težave je bila posodobljena na »Customer Churn Model
«, ki smo ga zagotovili kot del vnosa ukaza AWS CLI.
Čiščenje
Zdaj lahko izbrišete kartico modela, ki ste jo ustvarili. Prepričajte se, da ste izbrisali skupno rabo vira AWS RAM, ki ste jo ustvarili za skupno rabo kartice modela.
zaključek
V tej objavi smo zagotovili pregled arhitekture z več računi za varno in zanesljivo prilagajanje in upravljanje delovnih obremenitev ML. Razpravljali smo o arhitekturnih vzorcih za nastavitev deljenja kartic modela in prikazali, kako delujejo vzorci deljenja centraliziranih kartic modela. Končno smo vzpostavili skupno rabo kartice modela med več računi za izboljšanje prepoznavnosti in upravljanja v življenjskem ciklu razvoja vašega modela. Svetujemo vam, da preizkusite nov model funkcije deljenja kartic in nam sporočite svoje povratne informacije.
O avtorjih
Vishal Naik je starejši arhitekt rešitev pri Amazon Web Services (AWS). Je graditelj, ki z veseljem pomaga strankam pri izpolnjevanju njihovih poslovnih potreb in reševanju kompleksnih izzivov z rešitvami in najboljšimi praksami AWS. Njegovo osrednje področje pozornosti vključuje strojno učenje, DevOps in vsebnike. V prostem času Vishal rad snema kratke filme o potovanju skozi čas in temah iz alternativnega vesolja.
Ram Vittal je glavni arhitekt rešitev ML pri AWS. Ima več kot 20 let izkušenj z arhitekturo in gradnjo porazdeljenih, hibridnih in oblačnih aplikacij. Navdušen je nad gradnjo varnih in razširljivih rešitev AI/ML in velikih podatkovnih rešitev, da bi podjetniškim strankam pomagal pri sprejemanju oblaka in optimizaciji za izboljšanje njihovih poslovnih rezultatov. V prostem času se vozi z motorjem in se sprehaja s svojo 2-letno ovco-a-doodle!
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- ChartPrime. Izboljšajte svojo igro trgovanja s ChartPrime. Dostopite tukaj.
- BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-model-card-sharing-to-improve-model-governance/
- :ima
- : je
- :kje
- $GOR
- 10
- 100
- 20
- 20 let
- 2022
- 361
- 7
- 700
- 9
- a
- O meni
- pospeši
- Sprejmi
- dostop
- dostopnost
- Dostop
- doseganje
- Račun
- računi
- doseganju
- čez
- Ukrep
- dejavnosti
- dejavnost
- dodajte
- dodano
- Poleg tega
- Poleg tega
- sprejme
- Sprejetje
- po
- spet
- agregat
- AI
- AI / ML
- omogočajo
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazonske spletne storitve (AWS)
- an
- in
- Še ena
- API-ji
- zdi
- aplikacije
- Uporabi
- pristop
- pristopi
- Arhitektura
- SE
- OBMOČJE
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- domnevati
- At
- lastnosti
- revidiranje
- avtomatizirati
- Avtomatizacija
- Na voljo
- AWS
- AWS upravljanje identitete in dostopa (IAM)
- AWS re: Izum
- nazaj
- temeljijo
- BE
- ker
- postanejo
- postajajo
- bilo
- pred
- Prednosti
- BEST
- najboljše prakse
- Big
- Big Podatki
- tako
- izgradnjo
- builder
- Building
- Gradi
- poslovni
- Poslovne aplikacije
- vendar
- by
- se imenuje
- CAN
- Zmogljivosti
- zmožnost
- kartice
- Kartice
- primeru
- primeri
- center
- Osrednji
- centralizirano
- izzivi
- Spremembe
- Izberite
- Cloud
- sprejem v oblak
- Koda
- sodelovanje
- kompleksna
- skladnost
- komponenta
- koncepti
- Ravnanje
- konfiguracija
- konfigurirano
- Konzole
- porabi
- Zabojniki
- naprej
- neprekinjeno
- prispevkov
- nadzor
- Core
- popravi
- kritje
- ustvarjajo
- ustvaril
- Oblikovanje
- Mandatno
- kritično
- po meri
- stranka
- Stranke, ki so
- datum
- znanost o podatkih
- podatkovni znanstvenik
- Datum
- odločitve
- globoko
- privzeto
- dostava
- Odvisno
- razporedi
- uvajanja
- uvajanje
- opisati
- opisano
- oblikovanje
- Podrobnosti
- dev
- Razvoj
- Razlika
- razpravljali
- porazdeljena
- potop
- do
- Dokumentacija
- dont
- Osnutek
- 2
- med
- vsak
- prej
- učinek
- omogočajo
- spodbujanje
- Končna točka
- inženir
- Inženirji
- Izboljša
- uživajte
- zagotovitev
- Vnesite
- Podjetje
- podjetja
- okolja
- Ocena
- Primer
- Razširi
- izkušnje
- Poskusi
- Dejstvo
- Feature
- Federacija
- povratne informacije
- Področja
- filmi
- filter
- Filtri
- končno
- Najdi
- prva
- Osredotočite
- po
- sledi
- za
- Fundacija
- Okvirni
- iz
- nadalje
- dobili
- pridobivanje
- daje
- Go
- upravljanje
- upravljanje
- odobreno
- nepovratna sredstva
- imel
- težje
- Imajo
- ob
- he
- pomoč
- pomoč
- Pomaga
- njegov
- Kako
- Kako
- Vendar
- HTML
- HTTPS
- Hub
- Hybrid
- ID
- identiteta
- if
- ponazarja
- izvajali
- Pomembno
- izboljšanje
- izboljšanju
- in
- vključeno
- vključuje
- vključitev
- individualna
- Podatki
- vhod
- integracija
- Intelligence
- namenjen
- v
- Uvedeno
- povabilo
- vključeni
- izolacija
- IT
- ITS
- pridružite
- Potovanje
- jpg
- Ključne
- Vedite
- Zadnja
- učenje
- pustite
- Pravne informacije
- Naj
- življenski krog
- kot
- Seznam
- seznam
- prijavi
- Long
- več
- ljubi
- stroj
- strojno učenje
- je
- Glavne
- Mainstream
- vzdrževati
- Znamka
- Izdelava
- upravlja
- upravljanje
- upravitelj
- upravljanje
- več
- označeno
- me
- metapodatki
- ML
- MLOps
- način
- Model
- modeli
- več
- motorno kolo
- več
- več
- morajo
- Ime
- ozek
- Nimate
- potrebe
- Novo
- Naslednja
- št
- zdaj
- Številka
- of
- on
- ONE
- samo
- deluje
- operativno
- optimizacija
- Možnost
- or
- Organizacija
- organizacije
- ven
- rezultatov
- izhod
- zunaj
- več
- pregled
- lastne
- lastnik
- Stran
- del
- strastno
- vzorci
- dokler
- Dovoljenja
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- politika
- Prispevek
- poganja
- praksa
- vaje
- predpogoji
- prejšnja
- prej
- , ravnateljica
- ravnateljev
- Načela
- zasebnost
- problem
- Procesi
- obravnavati
- proizvodnja
- Projekt
- projekti
- pravilno
- zagotavljajo
- če
- zagotavlja
- namene
- kakovost
- RAM
- RE
- Način samo za branje
- prejeti
- prejme
- Priporočamo
- priporočeno
- okolica
- registracija
- registra
- zanesljivost
- preostanek
- Poročanje
- zahteva
- Zahteve
- vir
- viri
- Rezultati
- pregleda
- Mnenja
- vloga
- Run
- tek
- deluje
- sagemaker
- Enako
- Prilagodljivost
- razširljive
- Lestvica
- skaliranje
- Scenarij
- Znanost
- Znanstvenik
- Znanstveniki
- Iskalnik
- Oddelek
- zavarovanje
- Varno
- varnost
- glej
- izbran
- Storitev
- Storitve
- nastavite
- nastavitev
- nastavitev
- Delite s prijatelji, znanci, družino in partnerji :-)
- deli
- Delnice
- delitev
- stanja
- Kratke Hlače
- Prikaži
- pokazale
- Razstave
- saj
- sam
- So
- rešitve
- SOLVE
- nekaj
- Kmalu
- vir
- specifična
- določeno
- interesne skupine
- standardiziranje
- Začetek
- začel
- začne
- Izjava
- Status
- Korak
- Koraki
- Še vedno
- Strategija
- racionalizirati
- uspešno
- Podpora
- Podpira
- Preverite
- prenapetost
- skupina
- Skupine
- tehnični
- Tehnologije
- Predloga
- Test
- testi
- da
- O
- informacije
- njihove
- Njih
- teme
- POTEM
- Tukaj.
- s tem
- te
- jih
- ta
- tisti,
- skozi
- vsej
- čas
- Čas potovanja
- do
- orodja
- Sledenje
- usposabljanje
- Preglednost
- potovanja
- sprožijo
- Resnica
- poskusite
- OBRAT
- tip
- pod
- Vesolje
- posodobljeno
- us
- Uporaba
- uporaba
- primeru uporabe
- Rabljeni
- Uporabniki
- uporabo
- v1
- potrjevanje
- vrednost
- različica
- preko
- Poglej
- Vishal
- vidljivost
- je
- we
- web
- spletne storitve
- kdaj
- ki
- medtem
- WHO
- bo
- z
- v
- delo
- let
- Vi
- Vaša rutina za
- zefirnet