Amazon SageMakeri mudelikaardid võimaldab teil standardida mudelite dokumenteerimist, saavutades seeläbi nähtavuse mudeli elutsüklist alates projekteerimisest, ehitamisest, koolitusest ja hindamisest. Mudelkaardid on mõeldud mudeli äri- ja tehniliste metaandmete ühtseks tõeallikaks, mida saab usaldusväärselt kasutada auditeerimisel ja dokumenteerimisel. Need annavad mudeli teabelehe, mis on mudeli juhtimise jaoks oluline.
Seni olid mudelikaardid loogiliselt seotud mudeliga Amazon SageMakeri mudeliregister kasutades mudeli nime vastet. Kui aga lahendades äriprobleemi masinõppemudeli (ML) abil, loovad kliendid probleemi kordamise ajal mudelist mitu versiooni ning nad peavad mitut mudeliversiooni kasutama ja juhtima. Seetõttu vajavad nad võimalust mudelikaarti konkreetse mudeliversiooniga seostada.
Selles postituses käsitleme uut funktsiooni, mis toetab mudelikaartide integreerimist mudeliregistriga juurutatud mudeliversiooni tasemel. Arutame lahenduse arhitektuuri ja mudelikaardi versioonide haldamise parimaid tavasid ning kirjeldame, kuidas seadistada, kasutada ja juhtida mudelikaardi integreerimist mudeliregistris oleva mudeliversiooniga.
Lahenduse ülevaade
SageMakeri mudelikaardid aitavad teil standardida oma mudelite dokumenteerimist juhtimise vaatenurgast ning SageMakeri mudeliregister aitab teil ML-mudeleid juurutada ja kasutusele võtta. Mudeliregister toetab hierarhilist struktuuri mudelite metaandmete teabega ML-mudelite korraldamiseks ja salvestamiseks.
Kui organisatsioon lahendab ML-i abil äriprobleemi, näiteks klientide vähenemise prognoosi, soovitame teha järgmisi samme.
- Koostage lahendatava äriprobleemi näidiskaart.
- Looge lahendatava äriprobleemi jaoks mudelpaketi rühm.
- Mudelpaketi versiooni (nt Customer Churn V1) esimese versiooni koostamine, koolitamine, hindamine ja registreerimine.
- Värskendage mudelikaarti, mis seob mudelipaketi versiooni mudelikaardiga.
- Uue mudelipaketi versiooni itereerimisel kloonige mudelikaart eelmisest versioonist ja linkige uue mudelipaketi versiooniga (nt Customer Churn V2).
Järgmine joonis illustreerib SageMakeri mudelikaardi integreerimist mudeliregistriga.
Nagu on näidatud eelneval diagrammil, võimaldab SageMakeri mudelikaartide ja mudeliregistri integreerimine mudeliregistris seostada mudelikaardi konkreetse mudeliversiooniga. See võimaldab teil luua oma registreeritud mudeliversioonide jaoks ühtse tõeallika koos põhjaliku ja standardiseeritud dokumentatsiooniga SageMakeri mudeli teekonna kõigis etappides, hõlbustades leitavust ning edendades juhtimist, vastavust ja vastutust kogu mudeli elutsükli jooksul.
Mudelkaartide haldamise parimad tavad
Masinõppes töötamine koos juhtimisega on tänapäeval paljude ettevõtete organisatsioonide jaoks kriitiline nõue, eriti rangelt reguleeritud tööstusharudes. Nende nõuete osana pakub AWS mitmeid teenuseid, mis võimaldavad ML-keskkonna usaldusväärset toimimist.
SageMakeri mudelikaardid dokumenteerivad teie ML-mudelite olulised üksikasjad ühes kohas, et muuta juhtimine ja aruandlus sujuvamaks. Mudelikaardid aitavad teil jäädvustada selliseid üksikasju nagu mudeli kavandatud kasutus ja riskihinnang, koolituse üksikasjad ja mõõdikud, hindamistulemused ja tähelepanekud ning täiendavad viited, nagu kaalutlused, soovitused ja kohandatud teave.
Mudelkaarte tuleb kogu arendusprotsessi osana hallata ja värskendada ML elutsükkel. Need on ML-i pideva tarnimise ja torujuhtmete oluline osa. Samamoodi nagu hästi arhitektuurne ML-projekt rakendab pidevat integreerimist ja pidevat tarnimist (CI/CD) MLO-de katuse all, on pidev ML-dokumentatsiooniprotsess paljudes reguleeritud tööstusharudes või suurema riskiga kasutusjuhtudel kriitilise tähtsusega. Mudelkaardid on osa vastutustundliku ja läbipaistva ML arendamise parimatest tavadest.
Järgmine diagramm näitab, kuidas mudelikaardid peaksid olema arenduse elutsükli osa.
Kaaluge järgmisi parimaid tavasid.
- Soovitame luua mudelikaardid projekti elutsükli alguses. Projekti esimeses etapis, kui töötate ärieesmärgi tuvastamine ja ML probleemi kujundamine, peaksite algatama mudelikaardi loomise. Kui töötate läbi ärinõuete ja oluliste toimivusmõõdikute eri etappe, saate luua mudelikaardi mustandi olekus ning määrata ettevõtte üksikasjad ja kavandatud kasutusalad.
- Osana teie mudeli arendamise elutsükli faas, peaksite mudeliregistrit kasutama mudelite kataloogimiseks tootmiseks, mudeliversioonide haldamiseks ja metaandmete seostamiseks mudeliga. Mudeliregister võimaldab põlvnemise jälgimist.
- Kui olete itereerinud edukalt ja olete valmis oma mudelit tootmisse juurutama, on aeg mudelikaarti värskendada. Aastal juurutamise elutsükli etapp, saate värskendada mudelikaardi mudeli üksikasju. Samuti peaksite värskendama koolituse üksikasju, hindamise üksikasju, eetilisi kaalutlusi ning hoiatusi ja soovitusi.
Mudelkaartidel on nendega seotud versioonid. Antud mudeliversioon on muutumatu kõigi muude atribuutide puhul peale mudelikaardi oleku. Kui teete mudelikaardil muid muudatusi, nagu hindamismõõdikud, kirjeldus või kavandatud kasutus, loob SageMaker mudelikaardi uue versiooni, et kajastada värskendatud teavet. Selle eesmärk on tagada, et kord juba loodud mudelkaarti ei saaks rikkuda. Lisaks saab igal ainulaadsel mudelinimel olla ainult üks seotud mudelikaart ja seda ei saa pärast mudelikaardi loomist muuta.
ML-mudelid on dünaamilised ja töövoo automatiseerimise komponendid võimaldavad teil hõlpsasti skaleerida oma võimet ehitada, koolitada, testida ja kasutusele võtta sadu tootmismudeleid, itereerida kiiremini, vähendada käsitsi orkestreerimisest tulenevaid vigu ja luua korratavaid mehhanisme.
Seetõttu näeb teie mudelikaartide elutsükkel välja selline, nagu on kirjeldatud järgmisel diagrammil. Iga kord, kui värskendate oma mudelikaarti mudeli elutsükli jooksul, loote mudelikaardist automaatselt uue versiooni. Iga kord, kui itereerite uut mudeliversiooni, loote uue mudelikaardi, mis võib pärida eelmiste mudeliversioonide mudelikaardi teabe ja järgida sama elutsüklit.
Eeltingimused
See postitus eeldab, et teie mudeliregistris on juba mudelid. Kui soovite järgida, saate mudeliregistri täitmiseks kasutada GitHubis järgmist SageMakeri näidet: SageMakeri torujuhtmete integreerimine Model Monitori ja Clarifyga.
Integreerige mudelikaart mudeliversiooniga mudeliregistris
Selles näites on meil model-monitor-clarify-group
pakett meie mudeliregistris.
Selles paketis on saadaval kaks mudeliversiooni.
Selle näite puhul seome mudeli 1. versiooni uue mudelikaardiga. Mudeliregistris näete versiooni 1 üksikasju.
Nüüd saame kasutada SageMaker Python SDK uut funktsiooni. Alates sagemaker.model_card ModelPackage
moodul, saate mudeliregistrist valida konkreetse mudeliversiooni, millega soovite mudelikaardi linkida.
Nüüd saate mudeli versiooni jaoks luua uue mudelikaardi ja määrata selle model_package_details
parameeter koos eelmise mudelipaketiga. Peate sisestama mudelikaardile kõik vajalikud lisaandmed. Selle postituse jaoks loome näitena lihtsa mudelikaardi.
Seejärel saate seda määratlust kasutada mudelikaardi loomiseks, kasutades SageMaker Python SDK-d.
Mudelikaardi uuesti laadimisel näete allolevat seotud mudelit "__model_package_details"
.
Samuti on teil võimalus olemasolevat mudelikaarti värskendada model_package
nagu on näidatud allolevas koodilõigu näites:
Lõpuks, uue mudelipaketi versiooni loomisel või värskendamisel olemasolevas mudelipaketis, kui mudelikaart on selles mudelipaketi rühmas juba olemas, saab osa teabest, näiteks ettevõtte üksikasjadest ja kavandatud kasutusviisidest, üle kanda uuele mudelikaardile.
Koristage
Kasutajad vastutavad ressursside puhastamise eest, kui need on loodud eeltingimuste jaotises nimetatud märkmiku abil. Järgige ressursside puhastamiseks märkmiku juhiseid.
Järeldus
Selles postituses arutasime, kuidas integreerida SageMakeri mudelikaart mudeliversiooniga mudeliregistrisse. Jagasime lahenduse arhitektuuri mudelikaardi rakendamise parimate tavadega ning näitasime, kuidas seadistada ja kasutusele võtta mudelkaart, et parandada oma mudeli juhtimisasendit. Soovitame teil seda lahendust proovida ja kommentaaride jaotises oma tagasisidet jagada.
Autoritest
Ram Vital on AWS-i peamine ML-lahenduste arhitekt. Tal on üle 20-aastane kogemus hajutatud, hübriid- ja pilverakenduste kujundamisel ja ehitamisel. Ta on kirglik turvaliste ja skaleeritavate tehisintellekti/ML-i ja suurandmete lahenduste loomise vastu, et aidata ettevõtte klientidel pilveteenuste kasutuselevõtul ja optimeerimisel oma äritulemusi parandada. Vabal ajal sõidab ta mootorrattaga ja kõnnib oma 2-aastase lamba-doodle'iga!
Natacha kindlus on Austraalia ja Uus-Meremaa avaliku sektori andmeteaduse juht, AWS-i peadirektor. Ta aitab organisatsioonidel masinõppe teekonnal navigeerida, toetades neid masinõppeprobleemi kujundamisest kuni tootmisesse juurutamiseni, tagades samal ajal, et nende edu tagamiseks on paigas parimad arhitektuuritavad. Natacha keskendub organisatsioonidega MLO-dele ja vastutustundlikule tehisintellektile.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/integrate-amazon-sagemaker-model-cards-with-the-model-registry/
- :on
- :on
- $ UP
- 1
- 100
- 20
- 20 aastat
- 7
- 8
- a
- võime
- MEIST
- aruandekohustus
- saavutamisel
- üle
- Täiendavad lisad
- Lisaks
- Vastuvõtmine
- pärast
- jälle
- AI
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- mööda
- juba
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- ja
- mistahes
- rakendused
- arhitektuur
- OLEME
- AS
- Partner
- seotud
- oletab
- At
- atribuudid
- auditeerimine
- Austraalia
- automaatselt
- Automaatika
- saadaval
- AWS
- BE
- alla
- BEST
- parimaid tavasid
- Suur
- Big andmed
- ehitama
- Ehitus
- äri
- CAN
- võime
- lüüa
- kaart
- Kaardid
- kaasas
- juhtudel
- kataloog
- muutunud
- Vaidluste lahendamine
- puhastamine
- Cloud
- pilve adopteerimine
- kood
- kommentaarid
- Vastavus
- komponendid
- terviklik
- kaalutlused
- pidev
- looma
- loodud
- loob
- loomine
- loomine
- kriitiline
- tava
- klient
- Kliendid
- andmed
- andmeteadus
- määratlus
- tarne
- juurutada
- lähetatud
- juurutamine
- kirjeldatud
- kirjeldus
- projekteerimine
- detailid
- Määrama
- & Tarkvaraarendus
- erinev
- arutama
- arutatud
- jagatud
- dokument
- dokumentatsioon
- eelnõu
- kaks
- dünaamiline
- iga
- Varajane
- kergesti
- võimaldama
- võimaldab
- julgustama
- tagama
- ettevõte
- keskkond
- vead
- looma
- eetiline
- hindama
- hindamine
- Iga
- näide
- olemasolevate
- olemas
- kogemus
- hõlbustades
- kiiremini
- tunnusjoon
- tagasiside
- Joonis
- esimene
- keskendub
- järgima
- Järel
- eest
- Alates
- GitHub
- antud
- valitsemistava
- Valitsus
- Grupp
- Olema
- he
- aitama
- aitab
- rohkem
- kõrgelt
- tema
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- sajad
- hübriid
- if
- illustreerib
- muutumatu
- rakendamisel
- tööriistad
- oluline
- parandama
- in
- tööstusharudes
- info
- algatama
- juhised
- integreerima
- Integreerib
- Integreerimine
- integratsioon
- ette nähtud
- sisse
- IT
- teekond
- jpg
- viima
- õppimine
- Tase
- eluring
- nagu
- sugupuu
- LINK
- sidumine
- laadimine
- Vaata
- Partii
- masin
- masinõpe
- tegema
- Tegemine
- juhtima
- juhitud
- juhtiv
- käsiraamat
- palju
- Vastama
- mehhanismid
- mainitud
- Metaandmed
- Meetrika
- ML
- MLOps
- mudel
- mudelid
- moodulid
- Jälgida
- mootorratas
- mitmekordne
- nimi
- Navigate
- vajalik
- Vajadus
- Uus
- Uus-Meremaa
- eelkõige
- märkmik
- nüüd
- of
- on
- kunagi
- ONE
- ainult
- töö
- optimeerimine
- valik
- or
- Korraldus
- organisatsioon
- organisatsioonid
- korraldamine
- Muu
- meie
- välja
- tulemusi
- üle
- pakend
- parameeter
- osa
- eriline
- kirglik
- jõudlus
- perspektiiv
- faas
- Koht
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- post
- tavad
- ennustus
- eelmine
- Peamine
- Probleem
- protsess
- Produktsioon
- projekt
- Edendamine
- anda
- annab
- avalik
- eesmärkidel
- Python
- RAM
- hinnang
- valmis
- soovitama
- soovitused
- vähendama
- kajastama
- registreerima
- registreeritud
- registri
- reguleeritud
- reguleeritud tööstusharud
- usaldusväärne
- korratav
- Aruandlus
- nõue
- Nõuded
- Vahendid
- vastutav
- Tulemused
- Oht
- SA
- salveitegija
- sama
- skaalautuvia
- Skaala
- teadus
- SDK
- Osa
- sektor
- kindlustama
- vaata
- Teenused
- komplekt
- mitu
- Jaga
- jagatud
- ta
- peaks
- näitas
- näidatud
- Näitused
- lihtne
- ühekordne
- jupp
- lahendus
- Lahendused
- Lahendab
- Lahendamine
- mõned
- allikas
- konkreetse
- etappidel
- olek
- Sammud
- ladustamine
- Sujuvamaks
- struktuur
- edu
- Edukalt
- selline
- Toetamine
- Toetab
- kindel
- Tehniline
- test
- kui
- et
- .
- oma
- Neile
- SIIS
- sellega
- seetõttu
- nad
- see
- need
- Läbi
- läbi kogu
- aeg
- et
- täna
- Jälgimine
- Rong
- koolitus
- läbipaistev
- Tõde
- püüdma
- kaks
- vihmavari
- all
- ainulaadne
- Värskendused
- ajakohastatud
- ajakohastamine
- kasutama
- Kasutatud
- kasutusalad
- kasutamine
- v1
- versioon
- versioonid
- nähtavus
- tahan
- Tee..
- we
- web
- veebiteenused
- olid
- millal
- kuigi
- will
- koos
- Töö
- töövoog
- töö
- oleks
- aastat
- sa
- Sinu
- Meremaa
- sephyrnet