See on külaliste ajaveebi postitus, mis on kirjutatud koos Vik Panti ja Kyle Bassettiga PwC-st.
Kuna organisatsioonid investeerivad üha enam masinõppesse, on ML kasutuselevõtt muutunud ettevõtte ümberkujundamise strateegiate lahutamatuks osaks. Värske PwC tegevjuht uuring avaldas, et 84% Kanada tegevjuhtidest nõustub, et tehisintellekt (AI) muudab järgmise 5 aasta jooksul oluliselt nende äritegevust, muutes selle tehnoloogia kriitilisemaks kui kunagi varem. ML-i juurutamine tootmisse on aga seotud erinevate kaalutlustega, eelkõige sellega, et oleks võimalik AI maailmas ohutult, strateegiliselt ja vastutustundlikult navigeerida. Üks esimesi samme ja eriti suur väljakutse AI-põhiseks muutmisel on tõhus ML-i torujuhtmete väljatöötamine, mida saab pilves jätkusuutlikult skaleerida. Mõeldes ML-le konveieritest, mis genereerivad ja hooldavad mudeleid, mitte mudeleid iseenesest, aitab luua mitmekülgseid ja vastupidavaid ennustussüsteeme, mis suudavad paremini vastu pidada asjakohaste andmete sisulistele muutustele aja jooksul.
Paljud organisatsioonid alustavad oma teekonda ML maailma mudelikesksest vaatenurgast. ML-praktika loomise varases staadiumis keskendutakse juhendatud ML-mudelite väljaõppele, mis kujutavad endast matemaatilisi seoseid sisendite (sõltuvad muutujad) ja väljundite (sõltuvad muutujad) vahel, mis õpitakse andmetest (tavaliselt ajaloolised). Mudelid on matemaatilised artefaktid, mis võtavad sisendandmeid, teevad nende põhjal arvutusi ja arvutusi ning genereerivad ennustusi või järeldusi.
Kuigi see lähenemisviis on mõistlik ja suhteliselt lihtne lähtepunkt, ei ole see mudeli koolituse, häälestamise, testimise ja katsetamise käsitsi ja ad hoc olemuse tõttu oma olemuselt skaleeritav ega olemuselt jätkusuutlik. Organisatsioonid, mis on ML-valdkonnas arenenud, võtavad kasutusele ML operatsioonide (MLOps) paradigma, mis hõlmab pidevat integreerimist, pidevat tarnimist, pidevat juurutamist ja pidevat koolitust. Selle paradigma keskmes on torustikukeskne vaatenurk tööstusliku tugevusega ML-süsteemide arendamiseks ja käitamiseks.
Selles postituses alustame ülevaatega MLO-dest ja selle eelistest, kirjeldame lahendust selle juurutamise lihtsustamiseks ja anname üksikasjad arhitektuuri kohta. Lõpetame juhtumiuuringuga, mis toob esile selle lahenduse juurutanud suure AWS-i ja PwC kliendi eelised.
Taust
MLOps-konveier on omavahel seotud sammude jadade kogum, mida kasutatakse ühe või mitme tootmises oleva ML-mudeli koostamiseks, juurutamiseks, käitamiseks ja haldamiseks. Selline konveier hõlmab ML-mudelite ehitamise, testimise, häälestamise ja juurutamise etappe, sealhulgas, kuid mitte ainult, andmete ettevalmistamist, funktsioonide väljatöötamist, mudeli koolitust, hindamist, juurutamist ja jälgimist. Sellisena on ML-mudel MLOps-konveieri tulemus ja konveier on töövoog ühe või mitme ML-mudeli loomiseks. Sellised torujuhtmed toetavad struktureeritud ja süstemaatilisi protsesse ML-mudelite koostamiseks, kalibreerimiseks, hindamiseks ja juurutamiseks ning mudelid ise loovad prognoose ja järeldusi. Konveierite etappide arendamise ja kasutuselevõtu automatiseerimisega saavad organisatsioonid lühendada mudelite tarnimise aega, suurendada mudelite stabiilsust tootmises ja parandada koostööd andmeteadlaste, tarkvarainseneride ja IT-administraatorite meeskondade vahel.
Lahenduse ülevaade
AWS pakub laiaulatuslikku pilvepõhiste teenuste portfelli MLOps-i torujuhtmete arendamiseks ja käitamiseks skaleeritaval ja jätkusuutlikul viisil. Amazon SageMaker sisaldab terviklikku võimaluste portfelli täielikult hallatava MLOps-teenusena, mis võimaldab arendajatel luua, koolitada, juurutada, käitada ja hallata ML-mudeleid pilves. SageMaker hõlmab kogu MLOps-i töövoogu alates andmete kogumisest kuni andmete ettevalmistamiseni ja treenimiseni sisseehitatud suure jõudlusega algoritmide ja keerukate automatiseeritud ML-i (AutoML) katsetega, et ettevõtted saaksid valida konkreetsed mudelid, mis sobivad nende äriprioriteetide ja eelistustega. SageMaker võimaldab organisatsioonidel automatiseerida koostöös suurema osa oma MLOpside elutsüklist, et nad saaksid keskenduda äritulemustele, riskimata projekti viivituste või kulude suurenemisega. Sel viisil võimaldab SageMaker ettevõtetel keskenduda tulemustele, muretsemata infrastruktuuri, arenduse ja hoolduse pärast, mis on seotud tööstusliku tugevuse prognoositeenustega.
SageMaker sisaldab Amazon SageMaker JumpStart, mis pakub valmislahenduste mustreid organisatsioonidele, kes soovivad oma MLOps-teekonda kiirendada. Organisatsioonid võivad alustada eelkoolitatud ja avatud lähtekoodiga mudelitega, mida saab ümberõppe ja üleviimise kaudu kohandada vastavalt nende konkreetsetele vajadustele. Lisaks pakub JumpStart lahendusmalle, mis on loodud tavaliste kasutusjuhtumite lahendamiseks, samuti Jupyteri näidismärkmikke koos eelnevalt kirjutatud stardikoodiga. Nendele ressurssidele pääseb juurde, kui külastate lihtsalt JumpStarti sihtlehte Amazon SageMaker Studio.
PwC on loonud eelpakendatud MLOps-kiirendi, mis kiirendab veelgi väärtuse leidmise aega ja suurendab SageMakeri kasutavate organisatsioonide investeeringutasuvust. See MLOps-kiirendi täiustab JumpStarti loomulikke võimalusi, integreerides täiendavad AWS-teenused. Laiaulatusliku tehniliste artefaktide komplektiga, sealhulgas infrastruktuur koodi (IaC) skriptidena, andmetöötluse töövood, teenuste integreerimise kood ja torujuhtme konfiguratsioonimallid, lihtsustab PwC MLOps-kiirendi tootmisklassi ennustussüsteemide arendamise ja käitamise protsessi.
Arhitektuuri ülevaade
AWS-i pilvepõhiste serverita teenuste kaasamine on PwC MLOps-kiirendi arhitektuuris prioriteediks. Selle kiirendi sisenemispunktiks on mis tahes koostöötööriist, näiteks Slack, mida andmeteadlane või andmeinsener saab kasutada MLO-de jaoks AWS-i keskkonna taotlemiseks. Selline taotlus sõelutakse ja kiidetakse seejärel täielikult või poolautomaatselt heaks, kasutades selle koostöötööriista töövoo funktsioone. Pärast päringu kinnitamist kasutatakse selle üksikasju IaC mallide parameetrite määramiseks. Nende IaC-mallide lähtekoodi hallatakse AWS CodeCommit. Need parameetritega IaC mallid esitatakse AWS CloudFormation AWS-i ja kolmandate osapoolte ressursside virnade modelleerimiseks, ettevalmistamiseks ja haldamiseks.
Järgmine diagramm illustreerib töövoogu.
Pärast seda, kui AWS CloudFormation loob AWS-is MLO-de jaoks keskkonna, on keskkond andmeteadlastele, andmeinseneridele ja nende kaastöötajatele kasutamiseks valmis. PWC kiirendi sisaldab eelmääratletud rolle AWS-i identiteedi- ja juurdepääsuhaldus (IAM), mis on seotud MLOps-i tegevuste ja ülesannetega. Need rollid määravad MLOps keskkonnas teenused ja ressursid, millele erinevad kasutajad oma tööprofiilide alusel juurde pääsevad. Pärast MLOps-i keskkonnale juurdepääsu saavad kasutajad oma ülesannete täitmiseks juurdepääsu mis tahes SageMakeri režiimidele. Nende hulka kuuluvad SageMakeri sülearvuti eksemplarid, Amazon SageMakeri autopiloot katsed ja Studio. Saate kasu kõigist SageMakeri funktsioonidest ja funktsioonidest, sealhulgas mudelikoolitusest, häälestusest, hindamisest, juurutusest ja jälgimisest.
Kiirendi sisaldab ka ühendusi Amazon DataZone andmete jagamiseks, otsimiseks ja avastamiseks üle organisatsiooni piiride, et luua ja rikastada mudeleid. Samamoodi võivad mudeli triivi väljaõppe, testimise, valideerimise ja tuvastamise andmed hankida mitmesuguseid teenuseid, sealhulgas Amazoni punane nihe, Amazoni relatsioonide andmebaasiteenus (Amazon RDS), Amazon elastne failisüsteem (Amazon EFS) ja Amazoni lihtne salvestusteenus (Amazon S3). Ennustussüsteeme saab juurutada mitmel viisil, sealhulgas otse SageMakeri lõpp-punktidena või SageMakeri lõpp-punktidena. AWS Lambda funktsioonid ja SageMakeri lõpp-punktid, mis kutsutakse välja kohandatud koodi kaudu Amazoni elastse Kubernetese teenus (Amazon EKS) või Amazon Elastic Compute Cloud (Amazon EC2). Amazon CloudWatch kasutatakse AWS-i MLO-de keskkonna igakülgseks jälgimiseks, et jälgida kogu virna (rakendused, infrastruktuur, võrk ja teenused) häireid, logisid ja sündmuste andmeid.
Järgmine diagramm illustreerib seda arhitektuuri.
Juhtumiuuring
Selles jaotises jagame illustratiivset juhtumiuuringut suurelt Kanada kindlustusseltsilt. See keskendub PwC Kanada MLOps-kiirendi ja JumpStart mallide juurutamise muutvale mõjule.
See klient tegi koostööd PwC Kanada ja AWS-iga, et lahendada probleeme, mis on seotud ebatõhusa mudeliarenduse ja ebatõhusate juurutusprotsessidega, järjepidevuse ja koostöö puudumisega ning ML-mudelite skaleerimise raskustega. Selle MLOps Acceleratori rakendamine koos JumpStart mallidega saavutas järgmise:
- Täielik automatiseerimine – Automatiseerimine vähendas andmete eeltöötluse, mudelikoolituse, hüperparameetrite häälestamise ning mudeli juurutamise ja jälgimise aega peaaegu poole võrra
- Koostöö ja standardimine – Standardiseeritud tööriistad ja raamistikud järjepidevuse edendamiseks kogu organisatsioonis suurendasid mudeliuuenduste määra peaaegu kahekordseks
- Juhtimise ja järgimise mudel – Nad rakendasid näidisjuhtimise raamistiku tagamaks, et kõik ML-mudelid vastaksid regulatiivsetele nõuetele ja järgiksid ettevõtte eetilisi juhiseid, mis vähendas riskijuhtimiskulusid 40% võrra.
- Skaleeritav pilveinfrastruktuur – Nad investeerisid skaleeritavasse infrastruktuuri, et hallata tõhusalt suuri andmemahtusid ja juurutada korraga mitu ML-mudelit, vähendades infrastruktuuri ja platvormi kulusid 50% võrra.
- Kiire juurutamine – Pakendatud lahendus vähendas tootmiseni kuluvat aega 70%
MLOps-i parimaid tavasid kiire juurutamise pakettide kaudu pakkudes suutis meie klient oma MLOps-i juurutamise riskidest vabastada ja vabastada ML-i täieliku potentsiaali mitmesuguste ärifunktsioonide jaoks, nagu riskide prognoosimine ja varade hinnakujundus. Üldiselt võimaldas PwC MLOps kiirendi ja JumpStarti vaheline sünergia meie kliendil oma andmeteaduse ja andmetehnikaga seotud tegevusi sujuvamaks muuta, skaleerida, turvata ja säilitada.
Tuleb märkida, et PwC ja AWS lahendus ei ole tööstusespetsiifiline ning on asjakohane kõigis tööstusharudes ja sektorites.
Järeldus
SageMaker ja selle kiirendid võimaldavad organisatsioonidel suurendada oma ML-programmi tootlikkust. Sellel on palju eeliseid, sealhulgas, kuid mitte ainult, järgmised:
- Looge koostöös IaC, MLOps ja AutoML kasutusjuhtumeid, et saavutada standardimisest saadav ärikasu
- Lubage tõhus eksperimentaalne prototüüpide loomine koodiga ja ilma, et turbotada tehisintellekti arendusest juurutamiseni IaC, MLOps ja AutoML abil
- Automatiseerige tüütuid ja aeganõudvaid ülesandeid, nagu funktsioonide projekteerimine ja hüperparameetrite häälestamine, kasutades AutoML-i
- Kasutage pidevat mudeliseire paradigmat, et viia ML-mudeli kasutamise risk kooskõlla ettevõtte riskiisuga
Võtke ühendust selle postituse autoritega, AWS Advisory Kanadavõi PwC Kanada Kiirstardi ja PwC MLOps-kiirendi kohta lisateabe saamiseks.
Autoritest
Vik on PwC Kanada pilve- ja andmepraktika partner. Ta omandas Toronto Ülikoolis doktorikraadi infoteaduste alal. Ta on veendunud, et tema bioloogilise närvivõrgu ja tehisnärvivõrkude vahel, mida ta SageMakeris treenib, on telepaatiline ühendus. Ühendage temaga LinkedIn.
Kyle on PwC Kanada pilve- ja andmepraktika partner, koos oma tehnoloogiaalkeemikute meeskonnaga loovad nad lummavaid MLOP-lahendusi, mis võluvad kliente kiirendatud äriväärtusega. Relvastatud tehisintellekti jõuga ja pisukese võlujõuga muudab Kyle keerulised väljakutsed digitaalseteks muinasjuttudeks, muutes võimatu võimalikuks. Ühendage temaga LinkedIn.
Francois on AWS Professional Services Canada peamine nõustaja ja Kanada andme- ja innovatsiooninõustamise praktikajuht. Ta juhendab kliente oma üldist pilveteekonda ja andmeprogramme koostama ja juurutama, keskendudes visioonile, strateegiale, ärimõjuritele, juhtimisele, sihtotstarbelistele tegevusmudelitele ja tegevuskavadele. Ühendage temaga LinkedIn.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :on
- :on
- :mitte
- $ UP
- 100
- 7
- a
- Võimalik
- MEIST
- kiirendama
- kiirendatud
- kiirendi
- kiirendid
- juurdepääs
- pääses
- Ligipääs
- saavutada
- üle
- tegevus
- Ad
- Lisaks
- aadress
- administraatorid
- vastu võtma
- Vastuvõtmine
- nõuandev
- pärast
- AI
- algoritme
- viia
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- võimaldab
- mööda
- Ka
- Amazon
- Amazon EC2
- Amazoni RDS
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- summa
- an
- ja
- mistahes
- rakendused
- lähenemine
- heaks
- arhitektuur
- OLEME
- relvastatud
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- Hindamine
- eelis
- seotud
- At
- autorid
- automatiseerima
- Automatiseeritud
- automatiseerimine
- Automaatika
- AutoML
- AWS
- AWS CloudFormation
- AWS-i professionaalsed teenused
- põhineb
- BE
- muutuma
- saada
- on
- kasu
- Kasu
- BEST
- parimaid tavasid
- Parem
- vahel
- Blogi
- piirid
- ehitama
- Ehitus
- ehitatud
- sisseehitatud
- äri
- äritegevuse funktsioonid
- Ettevõtte ümberkujundamine
- ettevõtted
- kuid
- by
- arvutused
- CAN
- Kanada
- Kanada
- võimeid
- juhul
- juhtumiuuring
- juhtudel
- kesk-
- tegevjuht
- peadirektoriga
- väljakutse
- väljakutseid
- muutma
- Vaidluste lahendamine
- Vali
- klient
- kliendid
- Cloud
- pilve infrastruktuur
- kood
- koostöö
- Kollektsioneerimine
- COM
- tuleb
- ühine
- Ettevõtted
- ettevõte
- Ettevõtte omad
- täiendavad
- täitma
- keeruline
- terviklik
- koosneb
- arvutused
- Arvutama
- kontsert
- konfiguratsioon
- Võta meiega ühendust
- ühendus
- Side
- kaalutlused
- konsultant
- kontakt
- pidev
- kulud
- KATTED
- pragu
- looma
- loomine
- kriitiline
- tava
- klient
- Kliendid
- andmed
- Andmete ettevalmistamine
- andmetöötlus
- andmeteadus
- andmeteadlane
- andmebaas
- viivitusi
- edastamine
- tarne
- sõltuv
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- kirjeldama
- kavandatud
- detailid
- Arendajad
- arenev
- & Tarkvaraarendus
- Raskus
- digitaalne
- otse
- avastades
- domeen
- kahekordistunud
- draiverid
- kaks
- Varajane
- teenitud
- tõhusalt
- tõhus
- võimaldama
- lubatud
- võimaldab
- hõlmab
- insener
- Inseneriteadus
- Inseneride
- suurendama
- Parandab
- rikastab
- tagama
- ettevõte
- Kogu
- kanne
- keskkond
- looma
- eetiline
- hindamine
- sündmused
- KUNAGI
- näide
- katseid
- tunnusjoon
- FUNKTSIOONID
- fail
- lõpetama
- esimene
- esimesed sammud
- sobima
- Keskenduma
- keskendub
- keskendumine
- Järel
- eest
- Raamistik
- raamistikud
- Alates
- täis
- täielikult
- funktsioonid
- edasi
- tekitama
- valitsemistava
- suur
- suurem
- külaline
- suunised
- juhendid
- poole võrra
- he
- aitab
- suur jõudlus
- esiletõstmine
- teda
- tema
- ajalooline
- aga
- HTML
- http
- HTTPS
- Hüperparameetrite häälestamine
- Identity
- illustreerib
- mõju
- rakendada
- täitmine
- rakendatud
- rakendamisel
- võimatu
- parandama
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- kaasamine
- Suurendama
- Tõstab
- üha rohkem
- sõltumatud
- tööstusharudes
- tööstus
- ebaefektiivne
- info
- info
- Infrastruktuur
- Innovatsioon
- sisend
- sisendite
- kindlustus
- lahutamatu
- Integreerimine
- integratsioon
- Intelligentsus
- sisse
- olemuselt
- investeerinud
- investeerimine
- investeering
- kutsutud
- seotud
- IT
- ITS
- töö
- teekond
- jpg
- puudus
- maandumine
- suur
- viima
- Õppida
- õppinud
- õppimine
- eluring
- piiratud
- masin
- masinõpe
- säilitada
- hooldus
- Enamus
- Tegemine
- juhtima
- juhitud
- juhtimine
- juhtiv
- viis
- käsiraamat
- palju
- suur
- matemaatiline
- tähtaeg
- tähendusrikas
- Vastama
- ML
- MLOps
- mudel
- mudelid
- Jälgida
- järelevalve
- rohkem
- mitmekordne
- emakeelena
- loodus
- Navigate
- peaaegu
- vajadustele
- võrk
- võrgustikud
- Närvivõrgus
- närvivõrgud
- järgmine
- eelkõige
- märkmik
- märkida
- jälgima
- of
- Pakkumised
- on
- ONE
- avatud lähtekoodiga
- töötama
- tegutsevad
- Operations
- or
- organisatsioon
- organisatsiooniline
- organisatsioonid
- meie
- üle
- üldine
- ülevaade
- pakette
- lehekülg
- paradigma
- osa
- partner
- partnerlusega
- mustrid
- täitma
- torujuhe
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- portfell
- võimalik
- post
- potentsiaal
- võim
- sisse
- Toide
- tava
- tavad
- ennustus
- Ennustused
- eelistusi
- ettevalmistamisel
- hinnapoliitika
- Peamine
- esikohale seatud
- protsess
- Protsessid
- töötlemine
- Toode
- Produktsioon
- tootlikkus
- professionaalne
- profiilid
- Programm
- Programmid
- projekt
- edendama
- prototüüpimine
- anda
- annab
- PWC
- valik
- kiire
- määr
- pigem
- valmis
- mõistma
- mõistlik
- hiljuti
- vähendama
- Lühendatud
- vähendamine
- regulatiivne
- seotud
- Suhted
- suhteliselt
- asjakohane
- taotleda
- Nõuded
- vetruv
- Vahendid
- Tulemused
- tagasipöördumine
- Oht
- riskijuhtimise
- riskides
- teekaardid
- rollid
- jooksmine
- ohutult
- salveitegija
- skaalautuvia
- Skaala
- ketendamine
- teadus
- teadlane
- teadlased
- skripte
- otsimine
- Osa
- Sektorid
- kindlustama
- otsib
- Serverita
- teenus
- Teenused
- komplekt
- Jaga
- jagamine
- peaks
- märgatavalt
- Samamoodi
- lihtne
- lihtsustama
- lihtsalt
- üheaegselt
- nõrk
- So
- tarkvara
- lahendus
- Lahendused
- keeruline
- allikas
- lähtekoodi
- konkreetse
- kiirused
- Stabiilsus
- Kestab
- Hoidla
- etappidel
- algus
- Käivitus
- Sammud
- ladustamine
- Strateegiliselt
- strateegiad
- Strateegia
- kiirendama
- struktureeritud
- stuudio
- Uuring
- esitatud
- selline
- komplekt
- toetama
- jätkusuutlik
- sünergia
- süsteemid
- lahendada
- Võtma
- sihtmärk
- ülesanded
- meeskond
- meeskonnad
- tech
- Tehniline
- Tehnoloogia
- malle
- tingimused
- Testimine
- kui
- et
- .
- Allikas
- maailm
- oma
- Neile
- ennast
- SIIS
- Seal.
- Need
- nad
- Mõtlemine
- kolmanda osapoole
- see
- Läbi
- aeg
- aega võttev
- et
- tööriist
- töövahendid
- Toronto
- Rong
- koolitus
- rongid
- üle
- Transformation
- muundav
- lülitub
- tüüpiliselt
- Ülikool
- avamine
- Avalikustas
- Kasutus
- kasutama
- Kasutatud
- Kasutajad
- kasutamine
- väärtus
- sort
- eri
- mitmekülgne
- nägemus
- mahud
- oli
- Tee..
- kuidas
- we
- Jutustama
- web
- veebiteenused
- Hästi
- mis
- WHO
- will
- koos
- jooksul
- ilma
- Töövoogud
- maailm
- Pakendatud
- aastat
- sa
- sephyrnet