Ez egy vendégblogbejegyzés, amelyet Vik Panttal és Kyle Bassett-tel közösen írt a PwC-től.
Mivel a szervezetek egyre többet fektetnek be a gépi tanulásba (ML), az ML átvétele az üzleti átalakítási stratégiák szerves részévé vált. Egy friss PwC vezérigazgató felmérés nyilvánosságra hozta, hogy a kanadai vezérigazgatók 84%-a egyetért azzal, hogy a mesterséges intelligencia (AI) jelentősen megváltoztatja az üzletmenetet a következő 5 éven belül, és ez a technológia kritikusabbá válik, mint valaha. Az ML termelésbe való bevezetése azonban számos megfontolást igényel, nevezetesen azt, hogy biztonságosan, stratégiailag és felelősségteljesen eligazodjunk az AI világában. Az AI-alapúvá válás egyik első lépése és különösen nagy kihívása a felhőben fenntarthatóan méretezhető ML-folyamatok hatékony fejlesztése. Ha az ML-t a modelleket generáló és fenntartó folyamatokban, nem pedig önmagukban, segít sokoldalú és rugalmas előrejelző rendszerek felépítésében, amelyek jobban képesek ellenállni a releváns adatok jelentős változásainak az idő múlásával.
Sok szervezet modellközpontú nézőpontból indul útjára az ML világába. Az ML gyakorlat felépítésének korai szakaszában a hangsúly a felügyelt ML modelleken van, amelyek a bemenetek (független változók) és a kimenetek (függő változók) közötti kapcsolatok matematikai reprezentációi, amelyeket adatokból tanulnak meg (jellemzően történelmi). A modellek olyan matematikai műtermékek, amelyek bemeneti adatokat vesznek fel, számításokat végeznek rajtuk, és előrejelzéseket vagy következtetéseket generálnak.
Bár ez a megközelítés ésszerű és viszonylag egyszerű kiindulási pont, a modellképzési, hangolási, tesztelési és próbatevékenységek manuális és ad hoc jellege miatt eredendően nem méretezhető vagy lényegében fenntartható. Az ML tartományban érettebb szervezetek az ML műveletek (MLOps) paradigmáját alkalmazzák, amely magában foglalja a folyamatos integrációt, a folyamatos szállítást, a folyamatos telepítést és a folyamatos képzést. Ennek a paradigmának a központi eleme az ipari erősségű ML-rendszerek fejlesztésének és üzemeltetésének folyamatközpontú nézőpontja.
Ebben a bejegyzésben az MLOps áttekintésével és előnyeivel kezdjük, leírunk egy megoldást a megvalósítás egyszerűsítésére, és részleteket adunk meg az architektúráról. Egy esettanulmányt fejezünk be, amely kiemeli a megoldást megvalósító nagy AWS- és PwC-ügyfél által realizált előnyöket.
Háttér
Az MLOps-folyamat egymással összefüggő lépéssorozatok halmaza, amelyek egy vagy több ML-modell felépítésére, üzembe helyezésére, működtetésére és kezelésére szolgálnak a termelésben. Egy ilyen folyamat magában foglalja az ML-modellek építésének, tesztelésének, hangolásának és telepítésének szakaszait, beleértve, de nem kizárólagosan az adatok előkészítését, a jellemzők tervezését, a modell betanítását, az értékelést, a telepítést és a monitorozást. Mint ilyen, az ML-modell egy MLOps-folyamat terméke, a folyamat pedig egy vagy több ML-modell létrehozására szolgáló munkafolyamat. Az ilyen folyamatok támogatják a strukturált és szisztematikus folyamatokat az ML-modellek felépítéséhez, kalibrálásához, értékeléséhez és megvalósításához, és maguk a modellek generálnak előrejelzéseket és következtetéseket. A folyamatok szakaszainak fejlesztésének és üzembe helyezésének automatizálásával a szervezetek csökkenthetik a modellek szállításának idejét, növelhetik a modellek stabilitását a termelésben, és javíthatják az adattudósokból, szoftvermérnökökből és informatikai rendszergazdákból álló csapatok közötti együttműködést.
Megoldás áttekintése
Az AWS felhőalapú natív szolgáltatások átfogó portfólióját kínálja az MLOps-folyamatok skálázható és fenntartható módon történő fejlesztéséhez és futtatásához. Amazon SageMaker a képességek átfogó portfólióját tartalmazza teljes mértékben felügyelt MLOps szolgáltatásként, amely lehetővé teszi a fejlesztők számára, hogy ML modelleket hozzanak létre, képezzenek, telepítsenek, üzemeltethessenek és kezeljenek a felhőben. A SageMaker a teljes MLOps munkafolyamatot lefedi, az adatok gyűjtésétől az adatok előkészítéséig és betanításáig beépített nagy teljesítményű algoritmusokkal és kifinomult automatizált ML (AutoML) kísérletekkel, így a vállalatok kiválaszthatják az üzleti prioritásaiknak és preferenciáiknak megfelelő modelleket. A SageMaker lehetővé teszi a szervezetek számára, hogy együttműködve automatizálják MLOps-életciklusuk nagy részét, hogy az üzleti eredményekre összpontosíthassanak anélkül, hogy kockáztatnák a projektek késését vagy a költségek növekedését. Ily módon a SageMaker lehetővé teszi a vállalkozások számára, hogy az eredményekre összpontosítsanak anélkül, hogy aggódnának az ipari erősség-előrejelzési szolgáltatásokhoz kapcsolódó infrastruktúra, fejlesztés és karbantartás miatt.
A SageMaker tartalmazza Amazon SageMaker JumpStart, amely kész megoldási mintákat kínál az MLOps-útjuk felgyorsítására törekvő szervezetek számára. A szervezetek indulhatnak előképzett és nyílt forráskódú modellekkel, amelyeket átképzéssel és átképzéssel finomhangolhatnak sajátos igényeik kielégítésére. Ezenkívül a JumpStart megoldássablonokat kínál a gyakori használati esetek kezelésére, valamint példa Jupyter notebookokat előre megírt indítókóddal. Ezeket az erőforrásokat egyszerűen elérheti a JumpStart nyitóoldalának meglátogatásával Amazon SageMaker Studio.
A PwC egy előre csomagolt MLOps-gyorsítót épített ki, amely tovább gyorsítja az értékteremtési időt, és növeli a befektetés megtérülését a SageMaker-t használó szervezetek számára. Ez az MLOps-gyorsító a kiegészítő AWS-szolgáltatások integrálásával fokozza a JumpStart natív képességeit. A PwC MLOps-gyorsítója leegyszerűsíti a termelési osztályú előrejelző rendszerek fejlesztésének és üzemeltetésének folyamatát a műszaki műtermékek átfogó készletével, beleértve az infrastruktúrát kód (IaC) szkriptek formájában, az adatfeldolgozási munkafolyamatokat, a szolgáltatásintegrációs kódot és a folyamatkonfigurációs sablonokat.
Építészeti áttekintés
A PwC MLOps gyorsító architektúrájába prioritást élvez az AWS felhő-natív szerver nélküli szolgáltatásainak beépítése. A gyorsító belépési pontja bármely együttműködési eszköz, például a Slack, amellyel egy adattudós vagy adatmérnök AWS-környezetet kérhet MLOp-okhoz. Az ilyen kérelmeket a rendszer elemzi, majd teljesen vagy félautomatikusan jóváhagyja az adott együttműködési eszköz munkafolyamat-szolgáltatásaival. Egy kérés jóváhagyása után annak részleteit a rendszer az IaC-sablonok paraméterezésére használja. Ezeknek az IaC-sablonoknak a forráskódját a rendszer kezeli AWS CodeCommit. Ezek a paraméterezett IaC-sablonok benyújtásra kerülnek AWS felhőképződés az AWS és harmadik féltől származó erőforrások halmainak modellezéséhez, kiépítéséhez és kezeléséhez.
A következő diagram a munkafolyamatot mutatja be.
Miután az AWS CloudFormation létrehoz egy környezetet az MLOps számára az AWS-en, a környezet készen áll az adattudósok, adatmérnökök és munkatársaik általi használatra. A PWC-gyorsító előre meghatározott szerepköröket tartalmaz AWS Identity and Access Management (IAM), amelyek az MLOps tevékenységekhez és feladatokhoz kapcsolódnak. Ezek a szerepkörök meghatározzák azokat a szolgáltatásokat és erőforrásokat az MLOps környezetben, amelyekhez a különböző felhasználók hozzáférhetnek a munkaprofiljaik alapján. Az MLOps környezet elérése után a felhasználók hozzáférhetnek a SageMaker bármely módozatához feladataik ellátásához. Ide tartoznak a SageMaker notebook példányok, Amazon SageMaker Autopilot kísérletek és a Studio. Használhatja a SageMaker összes szolgáltatását és funkcióját, beleértve a modell betanítását, hangolását, értékelését, telepítését és felügyeletét.
A gyorsítóhoz csatlakozások is tartoznak Amazon DataZone adatok megosztására, keresésére és felfedezésére a szervezeti határokon átnyúló méretekben, modellek létrehozása és gazdagítása érdekében. Hasonlóképpen, a betanításhoz, teszteléshez, érvényesítéshez és a modelleltolódás észleléséhez szükséges adatok számos szolgáltatás forrását képezhetik, pl. Amazon RedShift, Amazon Relációs adatbázis-szolgáltatás (Amazon RDS), Amazon elasztikus fájlrendszer (Amazon EFS), és Amazon egyszerű tárolási szolgáltatás (Amazon S3). Az előrejelző rendszerek sokféleképpen telepíthetők, beleértve a SageMaker végpontokat közvetlenül vagy a SageMaker végpontokat. AWS Lambda függvényeket, és az egyéni kódon keresztül meghívott SageMaker végpontokat Amazon Elastic Kubernetes szolgáltatás (Amazon EKS) ill Amazon rugalmas számítási felhő (Amazon EC2). amazonfelhőóra Az AWS-en lévő MLOp-k környezetének átfogó figyelésére szolgál, hogy megfigyelje a riasztásokat, naplókat és eseményeket a teljes veremben (alkalmazások, infrastruktúra, hálózat és szolgáltatások).
A következő diagram ezt az architektúrát szemlélteti.
Esettanulmány
Ebben a részben egy szemléltető esettanulmányt osztunk meg egy nagy kanadai biztosítótársaságtól. A PwC Canada MLOps-gyorsítójának és JumpStart-sablonjainak megvalósításának átalakító hatásaira összpontosít.
Ez az ügyfél együttműködött a PwC Canada-val és az AWS-szel, hogy megbirkózzon a nem hatékony modellfejlesztéssel és nem hatékony telepítési folyamatokkal, a következetesség és az együttműködés hiányával, valamint az ML-modellek méretezésének nehézségeivel. Ennek az MLOps Acceleratornak a JumpStart sablonokkal összhangban történő megvalósítása a következőket érte el:
- Teljes körű automatizálás – Az automatizálás csaknem felére csökkentette az adatok előfeldolgozására, a modell betanítására, a hiperparaméterek hangolására, valamint a modell telepítésére és felügyeletére fordított időt
- Együttműködés és szabványosítás – A szabványosított eszközök és keretrendszerek a szervezeten belüli következetesség elősegítésére csaknem megkétszerezték a modellinnováció arányát
- Kormányzás és megfelelés modellje – Bevezettek egy modell irányítási keretrendszert annak biztosítására, hogy az összes ML modell megfeleljen a szabályozási követelményeknek, és betartsa a vállalat etikai irányelveit, ami 40%-kal csökkentette a kockázatkezelési költségeket.
- Skálázható felhő infrastruktúra – Skálázható infrastruktúrába fektettek be, hogy hatékonyan kezeljék a hatalmas adatmennyiséget, és egyszerre több ML-modellt telepítsenek, így 50%-kal csökkentik az infrastruktúra és a platform költségeit
- Gyors telepítés – Az előre csomagolt megoldás 70%-kal csökkentette a gyártás idejét
Az MLOps bevált gyakorlatainak gyors telepítési csomagokon keresztül történő átadásával ügyfelünk képes volt mentesíteni az MLOps megvalósításának kockázatát, és felszabadítani az ML teljes potenciálját számos üzleti funkció, például kockázat-előrejelzés és eszközárazás terén. Összességében a PwC MLOps gyorsító és a JumpStart közötti szinergia lehetővé tette ügyfelünk számára, hogy racionalizálja, méretezheti, biztonságossá és fenntartsa adattudományi és adatmérnöki tevékenységét.
Meg kell jegyezni, hogy a PwC és az AWS megoldás nem iparágspecifikus, és minden iparágban és ágazatban releváns.
Következtetés
A SageMaker és gyorsítói lehetővé teszik a szervezetek számára, hogy növeljék ML programjaik termelékenységét. Számos előnye van, többek között, de nem kizárólagosan a következők:
- Együttműködéssel hozhat létre IaC, MLOps és AutoML használati eseteket a szabványosításból származó üzleti előnyök realizálásához
- Engedélyezze a hatékony kísérleti prototípuskészítést kóddal és kód nélkül, hogy felturbózza az AI-t a fejlesztéstől a telepítésig IaC, MLOps és AutoML segítségével
- Automatizálja az unalmas, időigényes feladatokat, például a funkciótervezést és a hiperparaméter-hangolást az AutoML segítségével
- Folyamatos modellfigyelési paradigma alkalmazása az ML-modellhasználat kockázatának és a vállalati kockázatvállalási hajlandóság összehangolásához
Kérjük, lépjen kapcsolatba a bejegyzés szerzőivel, AWS Advisory Canadavagy PwC Kanada hogy többet megtudjon a Jumpstartról és a PwC MLOps gyorsítójáról.
A szerzőkről
Vik partner a Cloud & Data gyakorlatban a PwC Canada-nál. PhD fokozatot szerzett információtudományból a Torontói Egyetemen. Meg van győződve arról, hogy telepatikus kapcsolat van a biológiai neurális hálózata és a SageMaker-en kiképzett mesterséges neurális hálózatok között. Kapcsolatba lépni vele LinkedIn.
Kyle a PwC Canada Cloud & Data gyakorlatának partnere, tech alkimistákból álló crack csapatával együtt varázslatos MLOP-megoldásokat szőnek, amelyek felgyorsult üzleti értékkel varázsolják el az ügyfeleket. A mesterséges intelligencia erejével és egy csepp varázslattal felvértezve Kyle az összetett kihívásokat digitális tündérmesékké varázsolja, lehetővé téve a lehetetlent. Kapcsolatba lépni vele LinkedIn.
Francois az AWS Professional Services Canada vezető tanácsadója és a Data and Innovation Advisory kanadai gyakorlati vezetője. Ő irányítja az ügyfeleket átfogó felhőútjuk és adatprogramjaik kialakításához és megvalósításához, különös tekintettel a jövőképre, stratégiára, üzleti tényezőkre, irányításra, célzott működési modellekre és ütemtervekre. Kapcsolatba lépni vele LinkedIn.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :van
- :is
- :nem
- $ UP
- 100
- 7
- a
- Képes
- Rólunk
- gyorsul
- felgyorsult
- gázpedál
- gyorsítók
- hozzáférés
- igénybe vett
- Hozzáférés
- elért
- át
- tevékenységek
- Ad
- Ezen kívül
- cím
- adminisztrátorok
- elfogadja
- Örökbefogadás
- tanácsadó
- Után
- AI
- algoritmusok
- összehangolása
- Minden termék
- lehetővé
- lehetővé teszi, hogy
- mentén
- Is
- amazon
- Amazon EC2
- Amazon RDS
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Az Amazon Web Services
- összeg
- an
- és a
- bármilyen
- alkalmazások
- megközelítés
- jóváhagyott
- építészet
- VANNAK
- fegyveres
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- AS
- értékelése
- vagyontárgy
- társult
- At
- szerzők
- automatizált
- Automatizált
- automatizálás
- Automatizálás
- AutoML
- AWS
- AWS felhőképződés
- AWS professzionális szolgáltatások
- alapján
- BE
- válik
- egyre
- hogy
- haszon
- Előnyök
- BEST
- legjobb gyakorlatok
- Jobb
- között
- Blog
- határait
- épít
- Épület
- épült
- beépített
- üzleti
- üzleti funkciók
- Üzleti átalakulás
- vállalkozások
- de
- by
- számítások
- TUD
- Kanada
- Kanadai
- képességek
- eset
- esettanulmány
- esetek
- központi
- vezérigazgató
- A vezérigazgatók
- kihívás
- kihívások
- változik
- Változások
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- vásárló
- ügyfél részére
- felhő
- felhő infrastruktúra
- kód
- együttműködés
- Gyűjtő
- COM
- jön
- Közös
- Companies
- vállalat
- Társaságé
- kiegészítő
- teljes
- bonyolult
- átfogó
- tartalmaz
- számítások
- Kiszámít
- koncert
- Configuration
- Csatlakozás
- kapcsolat
- kapcsolatok
- megfontolások
- szaktanácsadó
- kapcsolat
- folyamatos
- kiadások
- Covers
- repedés
- teremt
- létrehozása
- kritikai
- szokás
- vevő
- Ügyfelek
- dátum
- Adatok előkészítése
- adatfeldolgozás
- adat-tudomány
- adattudós
- adatbázis
- késedelmek
- átadó
- kézbesítés
- függő
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- leírni
- tervezett
- részletek
- fejlesztők
- fejlesztése
- Fejlesztés
- Nehézség
- digitális
- közvetlenül
- felfedezése
- domain
- megduplázódott
- illesztőprogramok
- két
- Korai
- szerzett
- hatékonyan
- hatékony
- lehetővé
- engedélyezve
- lehetővé teszi
- felöleli
- mérnök
- Mérnöki
- Mérnökök
- növelése
- Javítja
- gazdagítják
- biztosítására
- Vállalkozás
- Egész
- belépés
- Környezet
- létrehozni
- etikai
- értékelés
- események
- EVER
- példa
- kísérletek
- Funkció
- Jellemzők
- filé
- befejezni
- vezetéknév
- első lépések
- megfelelő
- Összpontosít
- koncentrál
- összpontosítás
- következő
- A
- Keretrendszer
- keretek
- ból ből
- Tele
- teljesen
- funkciók
- további
- generál
- kormányzás
- nagy
- nagyobb
- Vendég
- irányelvek
- Útmutatók
- felére csökkent
- he
- segít
- nagy teljesítményű
- kiemelve
- őt
- övé
- történeti
- azonban
- HTML
- http
- HTTPS
- Hiperparaméter hangolás
- Identitás
- illusztrálja
- Hatás
- végre
- végrehajtás
- végre
- végrehajtási
- lehetetlen
- javul
- in
- tartalmaz
- magában foglalja a
- Beleértve
- befogadás
- Növelje
- Növeli
- egyre inkább
- független
- iparágak
- ipar
- nem hatékony
- info
- információ
- Infrastruktúra
- Innováció
- bemenet
- bemenet
- biztosítás
- szerves
- integrálása
- integráció
- Intelligencia
- bele
- önmagában
- befektetett
- befektetés
- beruházás
- hivatkozni
- részt
- IT
- ITS
- Munka
- utazás
- jpg
- hiány
- leszállási
- nagy
- vezet
- TANUL
- tanult
- tanulás
- életciklus
- Korlátozott
- gép
- gépi tanulás
- fenntartása
- karbantartás
- Többség
- Gyártás
- kezelése
- sikerült
- vezetés
- kezelése
- mód
- kézikönyv
- sok
- tömeges
- matematikai
- érettség
- jelentőségteljes
- Találkozik
- ML
- MLOps
- modell
- modellek
- monitor
- ellenőrzés
- több
- többszörös
- bennszülött
- Természet
- Keresse
- közel
- igények
- hálózat
- hálózatok
- neurális hálózat
- neurális hálózatok
- következő
- nevezetesen
- jegyzetfüzet
- neves
- megfigyelni
- of
- Ajánlatok
- on
- ONE
- nyílt forráskódú
- működik
- üzemeltetési
- Művelet
- or
- szervezet
- szervezeti
- szervezetek
- mi
- felett
- átfogó
- áttekintés
- csomagok
- oldal
- paradigma
- rész
- partner
- társult
- minták
- Teljesít
- csővezeték
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- pont
- portfolió
- lehetséges
- állás
- potenciális
- hatalom
- powered
- Bekapcsolom
- gyakorlat
- gyakorlat
- előrejelzés
- Tippek
- preferenciák
- előkészítése
- árazás
- Fő
- fontossági sorrendbe
- folyamat
- Folyamatok
- feldolgozás
- Termékek
- Termelés
- termelékenység
- szakmai
- Profilok
- Program
- Programok
- program
- kellene támogatnia,
- prototípus
- ad
- biztosít
- PWC
- hatótávolság
- gyors
- Arány
- Inkább
- kész
- észre
- ésszerű
- új
- csökkenteni
- Csökkent
- csökkentő
- szabályozók
- összefüggő
- Kapcsolatok
- viszonylag
- kérni
- követelmények
- rugalmas
- Tudástár
- Eredmények
- visszatérés
- Kockázat
- kockázatkezelés
- kockáztatva
- ütemterveket
- szerepek
- futás
- biztosan
- sagemaker
- skálázható
- Skála
- skálázás
- Tudomány
- Tudós
- tudósok
- szkriptek
- keres
- Rész
- ágazatok
- biztonság
- keres
- vagy szerver
- szolgáltatás
- Szolgáltatások
- készlet
- Megosztás
- megosztás
- kellene
- jelentősen
- Hasonlóképpen
- Egyszerű
- egyszerűsítése
- egyszerűen
- egyszerre
- laza
- So
- szoftver
- megoldások
- Megoldások
- kifinomult
- forrás
- forráskód
- különleges
- sebesség
- Stabilitás
- verem
- Stacks
- állapota
- kezdet
- Kezdve
- Lépései
- tárolás
- Stratégiailag
- stratégiák
- Stratégia
- áramvonal
- szerkesztett
- stúdió
- Tanulmány
- benyújtott
- ilyen
- kíséret
- támogatás
- fenntartható
- szinergia
- Systems
- felszerelés
- Vesz
- cél
- feladatok
- csapat
- csapat
- tech
- Műszaki
- Technológia
- sablonok
- feltételek
- Tesztelés
- mint
- hogy
- A
- The Source
- a világ
- azok
- Őket
- maguk
- akkor
- Ott.
- Ezek
- ők
- Gondolkodás
- harmadik fél
- ezt
- Keresztül
- idő
- időigényes
- nak nek
- szerszám
- szerszámok
- toronto
- Vonat
- Képzések
- vonatok
- átruházás
- Átalakítás
- átalakító
- fordul
- jellemzően
- egyetemi
- kinyit
- bemutatta
- Használat
- használ
- használt
- Felhasználók
- segítségével
- érték
- fajta
- különféle
- sokoldalú
- látomás
- kötetek
- volt
- Út..
- módon
- we
- Sző
- háló
- webes szolgáltatások
- JÓL
- ami
- WHO
- lesz
- val vel
- belül
- nélkül
- munkafolyamatok
- világ
- csomagolt
- év
- te
- zephyrnet