To je gostujoča objava v blogu, ki sta jo napisala skupaj z Vikom Pantom in Kylom Bassettom iz PwC.
Ker organizacije vedno bolj vlagajo v strojno učenje (ML), je sprejetje ML postalo sestavni del strategij poslovne preobrazbe. Nedavni generalni direktor PwC Raziskava je razkrilo, da se 84 % kanadskih izvršnih direktorjev strinja, da bo umetna inteligenca (AI) v naslednjih 5 letih bistveno spremenila njihovo poslovanje, zaradi česar bo ta tehnologija bolj kritična kot kdaj koli prej. Vendar pa je pri implementaciji ML v produkcijo treba upoštevati različne vidike, predvsem možnost varnega, strateškega in odgovornega krmarjenja po svetu umetne inteligence. Eden od prvih korakov in predvsem velik izziv, da postanete zasnovani na AI, je učinkovit razvoj cevovodov ML, ki se lahko trajnostno širijo v oblaku. Razmišljanje o ML v smislu cevovodov, ki ustvarjajo in vzdržujejo modele namesto modelov samih, pomaga graditi vsestranske in prožne sisteme za napovedovanje, ki so bolj sposobni prenesti pomembne spremembe ustreznih podatkov skozi čas.
Številne organizacije začnejo svojo pot v svet strojnega upravljanja s stališčem, osredotočenim na model. V zgodnjih fazah gradnje prakse strojnega pisanja je poudarek na usposabljanju nadzorovanih modelov strojnega učenja, ki so matematične predstavitve odnosov med vložki (neodvisnimi spremenljivkami) in izhodi (odvisnimi spremenljivkami), ki se jih naučimo iz podatkov (običajno zgodovinskih). Modeli so matematični artefakti, ki zajemajo vhodne podatke, na njih izvajajo izračune in izračune ter ustvarjajo napovedi ali sklepe.
Čeprav je ta pristop razumno in razmeroma preprosto izhodišče, sam po sebi ni razširljiv ali intrinzično trajnosten zaradi ročne in ad hoc narave dejavnosti usposabljanja, prilagajanja, testiranja in preskušanja modela. Organizacije z večjo zrelostjo na področju ML sprejmejo paradigmo operacij ML (MLOps), ki vključuje stalno integracijo, neprekinjeno dostavo, neprekinjeno uvajanje in stalno usposabljanje. Osrednji del te paradigme je pogled, osredotočen na cevovod za razvoj in delovanje industrijskih sistemov ML.
V tej objavi začnemo s pregledom MLOps in njegovih prednosti, opišemo rešitev za poenostavitev njegovih implementacij in podamo podrobnosti o arhitekturi. Končamo s študijo primera, ki poudarja prednosti velike stranke AWS in PwC, ki je implementirala to rešitev.
Ozadje
Cevovod MLOps je niz medsebojno povezanih zaporedij korakov, ki se uporabljajo za gradnjo, uvajanje, delovanje in upravljanje enega ali več modelov ML v proizvodnji. Tak cevovod zajema faze, ki so vključene v gradnjo, testiranje, prilagajanje in uvajanje modelov ML, vključno s pripravo podatkov, inženiringom funkcij, usposabljanjem modela, ocenjevanjem, uvajanjem in spremljanjem, vendar ne omejeno nanje. Kot tak je model ML produkt cevovoda MLOps, cevovod pa je potek dela za ustvarjanje enega ali več modelov ML. Takšni cevovodi podpirajo strukturirane in sistematične procese za gradnjo, umerjanje, ocenjevanje in izvajanje modelov ML, modeli sami pa ustvarjajo napovedi in sklepe. Z avtomatizacijo razvoja in operacionalizacijo stopenj cevovodov lahko organizacije skrajšajo čas do dostave modelov, povečajo stabilnost modelov v proizvodnji in izboljšajo sodelovanje med skupinami podatkovnih znanstvenikov, inženirjev programske opreme in skrbnikov IT.
Pregled rešitev
AWS ponuja obsežen portfelj storitev v oblaku za razvoj in izvajanje cevovodov MLOps na razširljiv in trajnosten način. Amazon SageMaker obsega obsežen portfelj zmogljivosti kot popolnoma upravljana storitev MLOps, ki razvijalcem omogoča ustvarjanje, usposabljanje, uvajanje, delovanje in upravljanje modelov ML v oblaku. SageMaker pokriva celoten potek dela MLOps, od zbiranja do priprave in usposabljanja podatkov z vgrajenimi visoko zmogljivimi algoritmi in sofisticiranimi avtomatiziranimi poskusi ML (AutoML), tako da lahko podjetja izberejo posebne modele, ki ustrezajo njihovim poslovnim prioritetam in željam. SageMaker omogoča organizacijam, da s sodelovanjem avtomatizirajo večino svojega življenjskega cikla MLOps, tako da se lahko osredotočijo na poslovne rezultate, ne da bi tvegale zamude pri projektih ali naraščajoče stroške. Na ta način SageMaker omogoča podjetjem, da se osredotočijo na rezultate, ne da bi skrbeli za infrastrukturo, razvoj in vzdrževanje, povezano z napajanjem storitev napovedovanja industrijske moči.
SageMaker vključuje Amazon SageMaker JumpStart, ki ponuja že pripravljene vzorce rešitev za organizacije, ki želijo pospešiti svojo pot MLOps. Organizacije lahko začnejo z vnaprej usposobljenimi in odprtokodnimi modeli, ki jih je mogoče natančno prilagoditi njihovim specifičnim potrebam s preusposabljanjem in prenosom učenja. Poleg tega JumpStart ponuja predloge rešitev, zasnovane za obravnavo pogostih primerov uporabe, kot tudi primere prenosnih računalnikov Jupyter z vnaprej napisano začetno kodo. Do teh virov lahko dostopate tako, da preprosto obiščete ciljno stran JumpStart znotraj Amazon SageMaker Studio.
PwC je zgradil vnaprej pripravljen pospeševalnik MLOps, ki dodatno pospeši čas do vrednosti in poveča donosnost naložbe za organizacije, ki uporabljajo SageMaker. Ta pospeševalnik MLOps izboljša izvorne zmogljivosti JumpStarta z integracijo komplementarnih storitev AWS. S celovitim naborom tehničnih artefaktov, vključno s skripti infrastrukture kot kode (IaC), poteki dela za obdelavo podatkov, kodo za integracijo storitev in predlogami za konfiguracijo cevovodov, PwC-jev pospeševalnik MLOps poenostavlja proces razvoja in delovanja sistemov za napovedovanje proizvodnega razreda.
Pregled arhitekture
Vključitev brezstrežniških storitev v oblaku iz AWS ima prednost v arhitekturi pospeševalnika PwC MLOps. Vstopna točka v ta pospeševalnik je katero koli orodje za sodelovanje, kot je Slack, ki ga lahko podatkovni znanstvenik ali podatkovni inženir uporabi za zahtevo okolja AWS za MLOps. Takšna zahteva je razčlenjena in nato v celoti ali polavtomatsko odobrena z uporabo funkcij poteka dela v tem orodju za sodelovanje. Ko je zahteva odobrena, se njene podrobnosti uporabijo za parametriranje predlog IaC. Izvorna koda za te predloge IaC se upravlja v AWS CodeCommit. Te parametrizirane predloge IaC so predložene Oblikovanje oblaka AWS za modeliranje, zagotavljanje in upravljanje nizov AWS in virov tretjih oseb.
Naslednji diagram prikazuje potek dela.
Ko AWS CloudFormation zagotovi okolje za MLOps na AWS, je okolje pripravljeno za uporabo podatkovnih znanstvenikov, podatkovnih inženirjev in njihovih sodelavcev. PWC pospeševalnik vključuje vnaprej določene vloge na AWS upravljanje identitete in dostopa (IAM), ki so povezani z aktivnostmi in nalogami MLOps. Te vloge določajo storitve in vire v okolju MLOps, do katerih lahko dostopajo različni uporabniki na podlagi njihovih delovnih profilov. Po dostopu do okolja MLOps lahko uporabniki dostopajo do katerega koli načina na SageMakerju za opravljanje svojih nalog. Ti vključujejo primerke prenosnika SageMaker, Amazonski SageMaker avtopilot poskusi in Studio. Izkoristite lahko vse funkcije in funkcije SageMaker, vključno z usposabljanjem modela, prilagajanjem, vrednotenjem, uvajanjem in spremljanjem.
Pospeševalnik vključuje tudi povezave s Amazon DataZone za skupno rabo, iskanje in odkrivanje podatkov v velikem obsegu prek organizacijskih meja za ustvarjanje in obogatitev modelov. Podobno lahko podatki za usposabljanje, testiranje, validacijo in odkrivanje premikanja modela vir različnih storitev, vključno z Amazon RedShift, Služba za relacijske baze podatkov Amazon (Amazon RDS), Elastični datotečni sistem Amazon (Amazon EFS) in Preprosta storitev shranjevanja Amazon (Amazon S3). Sisteme za napovedovanje je mogoče namestiti na več načinov, vključno kot neposredno končne točke SageMaker, končne točke SageMaker, zavite v AWS Lambda funkcije in končne točke SageMaker, priklicane prek kode po meri na Amazonski elastični kubernetes storitev (Amazon EKS) oz Amazonski elastični računalniški oblak (Amazon EC2). amazoncloudwatch se uporablja za spremljanje okolja za MLOps na AWS na celovit način za opazovanje alarmov, dnevnikov in podatkov o dogodkih iz celotnega sklada (aplikacije, infrastruktura, omrežje in storitve).
Naslednji diagram prikazuje to arhitekturo.
Študija primera
V tem razdelku delimo ilustrativno študijo primera velike zavarovalnice v Kanadi. Osredotoča se na transformativni učinek implementacije pospeševalnika PwC Canada MLOps in predlog JumpStart.
Ta stranka je sodelovala s PwC Kanada in AWS pri reševanju izzivov z neučinkovitim razvojem modela in neučinkovitimi procesi uvajanja, pomanjkanjem doslednosti in sodelovanja ter težavami pri prilagajanju modelov ML. Izvedba tega pospeševalnika MLOps skupaj s predlogami JumpStart je dosegla naslednje:
- Avtomatizacija od konca do konca – Avtomatizacija je skoraj prepolovila količino časa za predhodno obdelavo podatkov, usposabljanje modela, nastavitev hiperparametrov ter uvajanje in spremljanje modela
- Sodelovanje in standardizacija – Standardizirana orodja in okviri za spodbujanje doslednosti v celotni organizaciji so skoraj podvojili stopnjo inovativnosti modela
- Model upravljanja in skladnosti – Implementirali so okvir upravljanja modela, da bi zagotovili, da vsi modeli ML izpolnjujejo regulativne zahteve in se držijo etičnih smernic podjetja, kar je znižalo stroške obvladovanja tveganja za 40 %
- Razširljiva infrastruktura v oblaku – Investirali so v razširljivo infrastrukturo za učinkovito upravljanje ogromnih količin podatkov in uvedbo več modelov ML hkrati, s čimer so zmanjšali stroške infrastrukture in platforme za 50 %
- Hitra namestitev – Predpakirana rešitev je skrajšala čas do proizvodnje za 70 %
Z zagotavljanjem najboljših praks MLOps prek paketov za hitro uvajanje je naši stranki uspelo zmanjšati tveganje pri implementaciji MLOps in sprostiti polni potencial ML za vrsto poslovnih funkcij, kot sta napovedovanje tveganja in določanje cen sredstev. Na splošno je sinergija med PwC MLOps pospeševalnikom in JumpStartom naši stranki omogočila racionalizacijo, povečanje, zaščito in vzdrževanje njihovih dejavnosti podatkovne znanosti in podatkovnega inženiringa.
Opozoriti je treba, da rešitev PwC in AWS ni specifična za panogo in je pomembna za vse panoge in sektorje.
zaključek
SageMaker in njegovi pospeševalniki omogočajo organizacijam, da izboljšajo produktivnost svojega programa ML. Obstaja veliko prednosti, vključno z, vendar ne omejeno na naslednje:
- Skupaj ustvarite primere uporabe IaC, MLOps in AutoML za uresničitev poslovnih koristi standardizacije
- Omogočite učinkovito eksperimentalno izdelavo prototipov s kodo in brez nje, da pospešite AI od razvoja do uvajanja z IaC, MLOps in AutoML
- Avtomatizirajte dolgočasna in dolgotrajna opravila, kot sta inženiring funkcij in uravnavanje hiperparametrov, z AutoML
- Uporabite paradigmo stalnega spremljanja modela, da uskladite tveganje uporabe modela ML z nagnjenostjo podjetja k tveganju
Obrnite se na avtorje te objave, AWS Advisory Canadaali PwC Kanada če želite izvedeti več o Jumpstartu in PwC-jevem pospeševalniku MLOps.
O avtorjih
Vik je partner v praksi v oblaku in podatkih pri PwC Kanada. Doktoriral je iz informacijskih znanosti na Univerzi v Torontu. Prepričan je, da obstaja telepatska povezava med njegovo biološko nevronsko mrežo in umetnimi nevronskimi mrežami, ki jih trenira na SageMakerju. Povežite se z njim LinkedIn.
Kyle je partner v praksi v oblaku in podatkih pri PwC Canada, skupaj s svojo crack ekipo tehnoloških alkimistov tkejo očarljive rešitve MLOP, ki očarajo stranke s pospešeno poslovno vrednostjo. Oborožen z močjo umetne inteligence in kančkom čarovništva, Kyle spremeni zapletene izzive v digitalne pravljice in naredi nemogoče mogoče. Povežite se z njim LinkedIn.
Francois je glavni svetovalec pri AWS Professional Services Canada in vodja kanadske prakse za svetovanje pri podatkih in inovacijah. Stranke usmerja pri vzpostavitvi in izvajanju njihovega celotnega potovanja v oblaku in podatkovnih programov, pri čemer se osredotoča na vizijo, strategijo, poslovna gonila, upravljanje, ciljne operativne modele in časovne načrte. Povežite se z njim LinkedIn.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
- Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
- Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :ima
- : je
- :ne
- $GOR
- 100
- 7
- a
- Sposobna
- O meni
- pospeši
- pospešeno
- plin
- pospeševalniki
- dostop
- dostopna
- Dostop
- doseže
- čez
- dejavnosti
- Ad
- Poleg tega
- Naslov
- administratorji
- sprejme
- Sprejetje
- svetovanje
- po
- AI
- algoritmi
- uskladiti
- vsi
- omogočajo
- omogoča
- skupaj
- Prav tako
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- znesek
- an
- in
- kaj
- aplikacije
- pristop
- odobren
- Arhitektura
- SE
- oboroženi
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- Ocenjevanje
- sredstvo
- povezan
- At
- Avtorji
- avtomatizirati
- Avtomatizirano
- avtomatizacija
- Avtomatizacija
- AutoML
- AWS
- Oblikovanje oblaka AWS
- Strokovne storitve AWS
- temeljijo
- BE
- postanejo
- postajajo
- počutje
- koristi
- Prednosti
- BEST
- najboljše prakse
- Boljše
- med
- Blog
- Meje
- izgradnjo
- Building
- zgrajena
- vgrajeno
- poslovni
- poslovne funkcije
- Poslovna preobrazba
- podjetja
- vendar
- by
- Izračuni
- CAN
- Kanada
- Kanadski
- Zmogljivosti
- primeru
- diplomsko delo
- primeri
- Osrednji
- ceo
- direktorji
- izziv
- izzivi
- spremenite
- Spremembe
- Izberite
- stranke
- stranke
- Cloud
- oblačna infrastruktura
- Koda
- sodelovanje
- Zbiranje
- COM
- prihaja
- Skupno
- Podjetja
- podjetje
- Podjetja
- dopolnilni
- dokončanje
- kompleksna
- celovito
- obsega
- izračuni
- Izračunajte
- Koncert
- konfiguracija
- Connect
- povezava
- povezave
- premislekov
- svetovalec
- kontakt
- neprekinjeno
- stroški
- Ovitki
- tresk
- ustvarjajo
- Ustvarjanje
- kritično
- po meri
- stranka
- Stranke, ki so
- datum
- Priprava podatkov
- obdelava podatkov
- znanost o podatkih
- podatkovni znanstvenik
- Baze podatkov
- zamude
- dostavo
- dostava
- odvisno
- razporedi
- razporejeni
- uvajanja
- uvajanje
- opisati
- zasnovan
- Podrobnosti
- Razvijalci
- razvoju
- Razvoj
- Težavnost
- digitalni
- neposredno
- odkrivanje
- domena
- podvojilo
- vozniki
- 2
- Zgodnje
- zaslužili
- učinkovito
- učinkovite
- omogočajo
- omogočena
- omogoča
- zajema
- inženir
- Inženiring
- Inženirji
- okrepi
- Izboljša
- obogatiti
- zagotovitev
- Podjetje
- Celotna
- Vpis
- okolje
- vzpostaviti
- etično
- Ocena
- dogodki
- VEDNO
- Primer
- Poskusi
- Feature
- Lastnosti
- file
- konča
- prva
- prvi koraki
- fit
- Osredotočite
- Osredotoča
- osredotoča
- po
- za
- Okvirni
- okviri
- iz
- polno
- v celoti
- funkcije
- nadalje
- ustvarjajo
- upravljanje
- veliko
- več
- Gost
- Smernice
- Vodniki
- prepolovil
- he
- Pomaga
- visokozmogljivo
- poudarjanje
- ga
- njegov
- zgodovinski
- Vendar
- HTML
- http
- HTTPS
- Uglaševanje hiperparametrov
- identiteta
- ponazarja
- vpliv
- izvajati
- Izvajanje
- izvajali
- izvajanja
- nemogoče
- izboljšanje
- in
- vključujejo
- vključuje
- Vključno
- vključitev
- Povečajte
- Poveča
- vedno
- Neodvisni
- industrij
- Industrija
- neučinkovit
- info
- Podatki
- Infrastruktura
- Inovacije
- vhod
- vhodi
- zavarovanje
- integral
- Povezovanje
- integracija
- Intelligence
- v
- intrinzično
- investirali
- vlaganjem
- naložbe
- sklican
- vključeni
- IT
- ITS
- Job
- Potovanje
- jpg
- Pomanjkanje
- pristanek
- velika
- vodi
- UČITE
- naučili
- učenje
- življenski krog
- Limited
- stroj
- strojno učenje
- vzdrževati
- vzdrževanje
- Večina
- Izdelava
- upravljanje
- upravlja
- upravljanje
- upravljanje
- Način
- Navodilo
- več
- ogromen
- matematični
- zapadlosti
- smiselna
- Srečati
- ML
- MLOps
- Model
- modeli
- monitor
- spremljanje
- več
- več
- materni
- Narava
- Krmarjenje
- skoraj
- potrebe
- mreža
- omrežij
- nevronska mreža
- nevronske mreže
- Naslednja
- predvsem
- prenosnik
- opozoriti
- opazujejo
- of
- Ponudbe
- on
- ONE
- open source
- deluje
- deluje
- operacije
- or
- Organizacija
- organizacijsko
- organizacije
- naši
- več
- Splošni
- pregled
- pakete
- Stran
- paradigma
- del
- partner
- partnerja
- vzorci
- Izvedite
- plinovod
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- Portfelj
- mogoče
- Prispevek
- potencial
- moč
- poganja
- Napajanje
- praksa
- vaje
- napoved
- Napovedi
- nastavitve
- priprava
- cenitev
- , ravnateljica
- prednostno
- Postopek
- Procesi
- obravnavati
- Izdelek
- proizvodnja
- produktivnost
- strokovni
- Profili
- Program
- programi
- Projekt
- spodbujanje
- prototipov
- zagotavljajo
- zagotavlja
- PWC
- območje
- hitro
- Oceniti
- precej
- pripravljen
- uresničitev
- razumno
- nedavno
- zmanjša
- Zmanjšana
- zmanjšanje
- regulatorni
- povezane
- Razmerja
- relativno
- pomembno
- zahteva
- Zahteve
- odporno
- viri
- Rezultati
- vrnitev
- Tveganje
- upravljanje s tveganji
- tveganje
- načrti poti
- vloge
- tek
- varno
- sagemaker
- razširljive
- Lestvica
- skaliranje
- Znanost
- Znanstvenik
- Znanstveniki
- skripte
- iskanje
- Oddelek
- Sektorji
- zavarovanje
- iskanju
- Brez strežnika
- Storitev
- Storitve
- nastavite
- Delite s prijatelji, znanci, družino in partnerji :-)
- delitev
- shouldnt
- bistveno
- podobno
- Enostavno
- poenostavitev
- preprosto
- hkrati
- Slack
- So
- Software
- Rešitev
- rešitve
- prefinjeno
- vir
- Izvorna koda
- specifična
- hitrosti
- Stabilnost
- sveženj
- Skladovnice
- postopka
- Začetek
- Začetek
- Koraki
- shranjevanje
- Strateško
- strategije
- Strategija
- racionalizirati
- strukturirano
- studio
- študija
- predložen
- taka
- apartma
- podpora
- trajnostno
- sinergija
- sistemi
- reševanje
- Bodite
- ciljna
- Naloge
- skupina
- Skupine
- tech
- tehnični
- Tehnologija
- predloge
- Pogoji
- Testiranje
- kot
- da
- O
- Vir
- svet
- njihove
- Njih
- sami
- POTEM
- Tukaj.
- te
- jih
- Razmišljanje
- tretjih oseb
- ta
- skozi
- čas
- zamudno
- do
- orodje
- orodja
- toronto
- Vlak
- usposabljanje
- vlaki
- prenos
- Preoblikovanje
- transformativno
- zavoji
- tipično
- univerza
- odklepanje
- predstavil
- Uporaba
- uporaba
- Rabljeni
- Uporabniki
- uporabo
- vrednost
- raznolikost
- različnih
- vsestranski
- Vizija
- prostornine
- je
- način..
- načini
- we
- Tkanje
- web
- spletne storitve
- Dobro
- ki
- WHO
- bo
- z
- v
- brez
- delovnih tokov
- svet
- Zavito
- let
- Vi
- zefirnet