Aceasta este o postare pe blog pentru invitați, scrisă împreună cu Vik Pant și Kyle Bassett de la PwC.
Cu organizațiile care investesc din ce în ce mai mult în învățarea automată (ML), adoptarea ML a devenit o parte integrantă a strategiilor de transformare a afacerii. Un CEO recent al PwC studiu a dezvăluit că 84% dintre directorii executivi canadieni sunt de acord că inteligența artificială (AI) își va schimba semnificativ afacerea în următorii 5 ani, făcând această tehnologie mai critică ca niciodată. Cu toate acestea, implementarea ML în producție vine cu diverse considerații, în special posibilitatea de a naviga în lumea AI în siguranță, strategic și responsabil. Unul dintre primii pași și, în special, o mare provocare pentru a deveni AI alimentat este dezvoltarea eficientă a conductelor ML care se pot scala în mod durabil în cloud. Gândirea la ML în termeni de conducte care generează și întrețin modele, mai degrabă decât modelele în sine, ajută la construirea unor sisteme de predicție versatile și rezistente, care sunt mai capabile să reziste la schimbări semnificative ale datelor relevante în timp.
Multe organizații își încep călătoria în lumea ML cu un punct de vedere centrat pe model. În etapele incipiente ale construirii unei practici ML, accentul este pus pe formarea modelelor ML supravegheate, care sunt reprezentări matematice ale relațiilor dintre intrări (variabile independente) și ieșiri (variabile dependente) care sunt învățate din date (de obicei istorice). Modelele sunt artefacte matematice care preiau date de intrare, efectuează calcule și calcule pe ele și generează predicții sau inferențe.
Deși această abordare este un punct de plecare rezonabil și relativ simplu, nu este în mod inerent scalabil sau intrinsec sustenabil datorită naturii manuale și ad-hoc a activităților de formare, reglare, testare și testare a modelelor. Organizațiile cu o maturitate mai mare în domeniul ML adoptă o paradigmă de operațiuni ML (MLOps) care încorporează integrarea continuă, livrarea continuă, implementarea continuă și formarea continuă. Esențial pentru această paradigmă este un punct de vedere centrat pe pipeline pentru dezvoltarea și operarea sistemelor ML cu putere industrială.
În această postare, începem cu o prezentare generală a MLOps-urilor și a beneficiilor sale, descriem o soluție pentru a simplifica implementările sale și oferim detalii despre arhitectură. Încheiem cu un studiu de caz care evidențiază beneficiile realizate de un mare client AWS și PwC care a implementat această soluție.
Context
O conductă MLOps este un set de secvențe interconectate de pași care sunt utilizate pentru a construi, implementa, opera și gestiona unul sau mai multe modele ML în producție. O astfel de conductă cuprinde etapele implicate în construirea, testarea, reglarea și implementarea modelelor ML, inclusiv, dar fără a se limita la, pregătirea datelor, ingineria caracteristicilor, formarea modelelor, evaluarea, implementarea și monitorizarea. Ca atare, un model ML este produsul unei conducte MLOps, iar o conductă este un flux de lucru pentru crearea unuia sau mai multor modele ML. Astfel de conducte susțin procese structurate și sistematice pentru construirea, calibrarea, evaluarea și implementarea modelelor ML, iar modelele în sine generează predicții și inferențe. Prin automatizarea dezvoltării și operaționalizării etapelor conductelor, organizațiile pot reduce timpul până la livrarea modelelor, pot crește stabilitatea modelelor în producție și pot îmbunătăți colaborarea dintre echipele de cercetători de date, ingineri software și administratori IT.
Prezentare generală a soluțiilor
AWS oferă un portofoliu cuprinzător de servicii native cloud pentru dezvoltarea și rularea conductelor MLOps într-o manieră scalabilă și durabilă. Amazon SageMaker cuprinde un portofoliu cuprinzător de capabilități ca serviciu MLOps complet gestionat pentru a permite dezvoltatorilor să creeze, să antreneze, să implementeze, să opereze și să gestioneze modele ML în cloud. SageMaker acoperă întregul flux de lucru MLOps, de la colectare până la pregătirea și instruirea datelor cu algoritmi de înaltă performanță încorporați și experimente ML automatizate (AutoML) sofisticate, astfel încât companiile să poată alege modele specifice care se potrivesc priorităților și preferințelor lor de afaceri. SageMaker permite organizațiilor să automatizeze în mod colaborativ majoritatea ciclului de viață MLOps, astfel încât să se poată concentra pe rezultatele afacerii fără a risca întârzierile proiectelor sau creșterea costurilor. În acest fel, SageMaker permite companiilor să se concentreze pe rezultate fără a-și face griji cu privire la infrastructură, dezvoltare și întreținere asociate cu alimentarea serviciilor de predicție a puterii industriale.
SageMaker include Amazon SageMaker JumpStart, care oferă modele de soluții gata de fabricație pentru organizațiile care doresc să-și accelereze călătoria MLOps. Organizațiile pot începe cu modele pre-instruite și open-source care pot fi ajustate pentru a satisface nevoile lor specifice prin recalificare și transfer de învățare. În plus, JumpStart oferă șabloane de soluții concepute pentru a aborda cazurile de utilizare obișnuite, precum și exemple de notebook-uri Jupyter cu cod de pornire prescris. Aceste resurse pot fi accesate pur și simplu vizitând pagina de destinație JumpStart din interior Amazon SageMaker Studio.
PwC a construit un accelerator MLOps pre-ambalat care accelerează și mai mult timpul de valorificare și crește rentabilitatea investiției pentru organizațiile care folosesc SageMaker. Acest accelerator MLOps îmbunătățește capacitățile native ale JumpStart prin integrarea serviciilor AWS complementare. Cu o suită cuprinzătoare de artefacte tehnice, inclusiv scripturi de infrastructură ca cod (IaC), fluxuri de lucru de procesare a datelor, cod de integrare a serviciilor și șabloane de configurare a conductelor, acceleratorul MLOps de la PwC simplifică procesul de dezvoltare și operare a sistemelor de predicție din clasa producției.
Privire de ansamblu asupra arhitecturii
Includerea serviciilor fără server native din cloud de la AWS este prioritară în arhitectura acceleratorului PwC MLOps. Punctul de intrare în acest accelerator este orice instrument de colaborare, cum ar fi Slack, pe care un cercetător de date sau un inginer de date îl poate folosi pentru a solicita un mediu AWS pentru MLOps. O astfel de solicitare este analizată și apoi aprobată complet sau semi-automat folosind funcțiile de flux de lucru din acel instrument de colaborare. După ce o solicitare este aprobată, detaliile acesteia sunt utilizate pentru parametrizarea șabloanelor IaC. Codul sursă pentru aceste șabloane IaC este gestionat în AWS CodeCommit. Aceste șabloane IaC parametrizate sunt trimise către Formarea AWS Cloud pentru modelarea, furnizarea și gestionarea stivelor de resurse AWS și terțe părți.
Următoarea diagramă ilustrează fluxul de lucru.
După ce AWS CloudFormation furnizează un mediu pentru MLOps pe AWS, mediul este gata de utilizare de către oamenii de știință de date, inginerii de date și colaboratorii acestora. Acceleratorul PWC include roluri predefinite Gestionarea identității și accesului AWS (IAM) care sunt legate de activitățile și sarcinile MLOps. Aceste roluri specifică serviciile și resursele din mediul MLOps care pot fi accesate de diverși utilizatori în funcție de profilurile lor de muncă. După accesarea mediului MLOps, utilizatorii pot accesa oricare dintre modalitățile de pe SageMaker pentru a-și îndeplini sarcinile. Acestea includ instanțe de blocnotes SageMaker, Pilot automat cu Amazon SageMaker experimente și Studio. Puteți beneficia de toate caracteristicile și funcțiile SageMaker, inclusiv formarea modelului, reglarea, evaluarea, implementarea și monitorizarea.
Acceleratorul include și conexiuni cu Amazon DataZone pentru partajarea, căutarea și descoperirea datelor la scară peste granițele organizaționale pentru a genera și îmbogăți modele. În mod similar, datele pentru antrenament, testare, validare și detectarea deviației modelului pot genera o varietate de servicii, inclusiv Amazon RedShift, Serviciul de baze de date relaționale Amazon (Amazon RDS), Sistem de fișiere elastice Amazon (Amazon EFS) și Serviciul Amazon de stocare simplă (Amazon S3). Sistemele de predicție pot fi implementate în mai multe moduri, inclusiv ca puncte finale SageMaker direct, puncte finale SageMaker împachetate în AWS Lambdas funcții și puncte finale SageMaker invocate prin cod personalizat activat Serviciul Amazon Elastic Kubernetes (Amazon EKS) sau Cloud Elastic de calcul Amazon (Amazon EC2). Amazon CloudWatch este utilizat pentru a monitoriza mediul pentru MLOps pe AWS într-un mod cuprinzător pentru a observa alarme, jurnalele și datele despre evenimente din întreaga stivă (aplicații, infrastructură, rețea și servicii).
Următoarea diagramă ilustrează această arhitectură.
Studiu de caz
În această secțiune, împărtășim un studiu de caz ilustrativ de la o mare companie de asigurări din Canada. Se concentrează pe impactul transformator al implementării acceleratorului MLOps de la PwC Canada și a șabloanelor JumpStart.
Acest client a colaborat cu PwC Canada și AWS pentru a aborda provocările legate de dezvoltarea ineficientă a modelelor și procesele de implementare ineficiente, lipsa de coerență și colaborare și dificultăți în scalarea modelelor ML. Implementarea acestui MLOps Accelerator împreună cu șabloanele JumpStart a realizat următoarele:
- Automatizare de la capăt la capăt – Automatizarea a redus aproape la jumătate timpul necesar pentru preprocesarea datelor, antrenamentul modelului, reglarea hiperparametrilor și implementarea și monitorizarea modelului
- Colaborare și standardizare – Instrumentele și cadrele standardizate pentru a promova coerența în cadrul organizației aproape au dublat rata de inovare a modelului
- Model de guvernanță și conformitate – Au implementat un cadru de guvernanță model pentru a se asigura că toate modelele ML îndeplinesc cerințele de reglementare și au aderat la liniile directoare etice ale companiei, care au redus costurile de gestionare a riscurilor cu 40%
- Infrastructură cloud scalabilă – Au investit în infrastructură scalabilă pentru a gestiona eficient volumele masive de date și a implementa mai multe modele ML simultan, reducând costurile cu infrastructura și platforma cu 50%
- Implementare rapidă – Soluția preambalată a redus timpul de producție cu 70%
Prin furnizarea celor mai bune practici MLOps prin pachete de implementare rapidă, clientul nostru a putut să-și reducă riscul implementării MLOps și să deblocheze întregul potențial al ML pentru o serie de funcții de afaceri, cum ar fi predicția riscului și stabilirea prețurilor activelor. În general, sinergia dintre acceleratorul PwC MLOps și JumpStart a permis clientului nostru să-și eficientizeze, să scaleze, să securizeze și să-și susțină activitățile de știință a datelor și de inginerie a datelor.
Trebuie remarcat faptul că soluția PwC și AWS nu este specifică industriei și este relevantă pentru industrii și sectoare.
Concluzie
SageMaker și acceleratoarele săi permit organizațiilor să sporească productivitatea programului lor ML. Există multe beneficii, inclusiv, dar fără a se limita la următoarele:
- Creați în colaborare cazuri de utilizare IaC, MLOps și AutoML pentru a obține beneficiile de afaceri din standardizare
- Activați prototipuri experimentale eficiente, cu și fără cod, pentru a turbo AI de la dezvoltare până la implementare cu IaC, MLOps și AutoML
- Automatizați sarcini obositoare și consumatoare de timp, cum ar fi ingineria caracteristicilor și reglarea hiperparametrilor cu AutoML
- Folosiți o paradigmă de monitorizare continuă a modelului pentru a alinia riscul utilizării modelului ML cu apetitul pentru risc al întreprinderii
Vă rugăm să contactați autorii acestei postări, AWS Advisory Canada, Sau PwC Canada pentru a afla mai multe despre Jumpstart și acceleratorul MLOps de la PwC.
Despre Autori
Vik este partener în practica Cloud & Data la PwC Canada. A obținut un doctorat în Știința Informației de la Universitatea din Toronto. El este convins că există o legătură telepatică între rețeaua sa neuronală biologică și rețelele neuronale artificiale pe care le antrenează pe SageMaker. Conectați-vă cu el LinkedIn.
Kyle este partener în practica Cloud & Data la PwC Canada, împreună cu echipa sa de alchimiști în tehnologie, împletesc soluții MLOP-uri încântătoare care hipnotizează clienții cu o valoare de afaceri accelerată. Înarmat cu puterea inteligenței artificiale și un strop de vrăjitorie, Kyle transformă provocările complexe în basme digitale, făcând imposibilul posibil. Conectați-vă cu el LinkedIn.
Francois este consultant principal de consiliere la AWS Professional Services Canada și lider de practică canadian pentru consiliere pentru date și inovare. El îndrumă clienții să stabilească și să implementeze călătoria lor globală în cloud și programele lor de date, concentrându-se pe viziune, strategie, factori de afaceri, guvernanță, modele de operare țintă și foi de parcurs. Conectați-vă cu el LinkedIn.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
- Mintând viitorul cu Adryenn Ashley. Accesați Aici.
- Cumpărați și vindeți acțiuni în companii PRE-IPO cu PREIPO®. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :are
- :este
- :nu
- $UP
- 100
- 7
- a
- Capabil
- Despre Noi
- accelera
- accelerat
- accelerator
- acceleratoare
- acces
- accesate
- accesarea
- realizat
- peste
- activităţi de
- Ad
- În plus,
- adresa
- administratori
- adopta
- Adoptare
- consultativ
- După
- AI
- algoritmi
- alinia
- TOATE
- permite
- permite
- de-a lungul
- de asemenea
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- sumă
- an
- și
- Orice
- aplicatii
- abordare
- aprobat
- arhitectură
- SUNT
- armat
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- AS
- evaluarea
- activ
- asociate
- At
- Autorii
- automatizarea
- Automata
- automatizarea
- Automatizare
- AutoML
- AWS
- Formarea AWS Cloud
- Servicii profesionale AWS
- bazat
- BE
- deveni
- devenire
- fiind
- beneficia
- Beneficiile
- CEL MAI BUN
- Cele mai bune practici
- Mai bine
- între
- Blog
- limitele
- construi
- Clădire
- construit
- construit-in
- afaceri
- funcții de afaceri
- Transformarea afacerilor
- întreprinderi
- dar
- by
- calcule
- CAN
- Canada
- canadian
- capacități
- caz
- studiu de caz
- cazuri
- central
- CEO
- directori generali
- contesta
- provocări
- Schimbare
- Modificări
- Alege
- client
- clientii
- Cloud
- infrastructura cloud
- cod
- colaborare
- Colectare
- COM
- vine
- Comun
- Companii
- companie
- Compania
- complementar
- Completă
- complex
- cuprinzător
- cuprinde
- calcule
- Calcula
- concert
- Configuraţie
- Conectați
- conexiune
- Conexiuni
- Considerații
- consultant
- contactați-ne
- continuu
- Cheltuieli
- Covers
- crăpa
- crea
- Crearea
- critic
- personalizat
- client
- clienţii care
- de date
- Pregătirea datelor
- de prelucrare a datelor
- știința datelor
- om de știință de date
- Baza de date
- întârzieri
- livrarea
- livrare
- Dependent/ă
- implementa
- dislocate
- Implementarea
- desfășurarea
- descrie
- proiectat
- detalii
- Dezvoltatorii
- în curs de dezvoltare
- Dezvoltare
- Dificultate
- digital
- direct
- descoperirea
- domeniu
- sa dublat
- drivere
- două
- Devreme
- câștigat
- în mod eficient
- eficient
- permite
- activat
- permite
- , acoperă
- inginer
- Inginerie
- inginerii
- spori
- Îmbunătăţeşte
- îmbogăți
- asigura
- Afacere
- Întreg
- intrare
- Mediu inconjurator
- stabili
- etic
- evaluare
- evenimente
- EVER
- exemplu
- experimente
- Caracteristică
- DESCRIERE
- Fișier
- termina
- First
- primii pasi
- potrivi
- Concentra
- se concentrează
- concentrându-se
- următor
- Pentru
- Cadru
- cadre
- din
- Complet
- complet
- funcții
- mai mult
- genera
- guvernare
- mare
- mai mare
- Oaspete
- orientări
- Ghiduri
- redus la jumătate
- he
- ajută
- performanta ridicata
- subliniind
- -l
- lui
- istoric
- Totuși
- HTML
- http
- HTTPS
- Reglarea hiperparametrului
- Identitate
- ilustrează
- Impactul
- punerea în aplicare a
- implementarea
- implementat
- Punere în aplicare a
- imposibil
- îmbunătăţi
- in
- include
- include
- Inclusiv
- includere
- Crește
- Creșteri
- tot mai mult
- independent
- industrii
- industrie
- ineficace
- info
- informații
- Infrastructură
- Inovaţie
- intrare
- intrări
- asigurare
- integrală
- integrarea
- integrare
- Inteligență
- în
- intrinsec
- investit
- investind
- investiţie
- invocat
- implicat
- IT
- ESTE
- Loc de munca
- călătorie
- jpg
- lipsă
- aterizare
- mare
- conduce
- AFLAȚI
- învățat
- învăţare
- ciclu de viață
- Limitat
- maşină
- masina de învățare
- menține
- întreținere
- Majoritate
- Efectuarea
- administra
- gestionate
- administrare
- de conducere
- manieră
- manual
- multe
- masiv
- matematic
- scadență
- semnificativ
- Întâlni
- ML
- MLOps
- model
- Modele
- monitor
- Monitorizarea
- mai mult
- multiplu
- nativ
- Natură
- Navigaţi
- aproape
- nevoilor
- reţea
- rețele
- rețele neuronale
- rețele neuronale
- următor
- în special
- caiet
- notat
- observa
- of
- promoții
- on
- ONE
- open-source
- funcionar
- de operare
- Operațiuni
- or
- organizație
- de organizare
- organizații
- al nostru
- peste
- global
- Prezentare generală
- ofertele
- pagină
- paradigmă
- parte
- partener
- parteneriat
- modele
- Efectua
- conducte
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Punct
- portofoliu
- posibil
- Post
- potenţial
- putere
- alimentat
- Alimentarea
- practică
- practicile
- prezicere
- Predictii
- preferinţele
- pregătirea
- de stabilire a prețurilor
- Principal
- prioritizate
- proces
- procese
- prelucrare
- Produs
- producere
- productivitate
- profesional
- Profiluri
- Program
- Programe
- proiect
- promova
- prototipuri
- furniza
- furnizează
- PWC
- gamă
- rapid
- rată
- mai degraba
- gata
- realiza
- rezonabil
- recent
- reduce
- Redus
- reducerea
- autoritățile de reglementare
- legate de
- Relaţii
- relativ
- solicita
- Cerinţe
- elastic
- Resurse
- REZULTATE
- reveni
- Risc
- de gestionare a riscurilor
- riscând
- foi de parcurs
- rolurile
- funcţionare
- în siguranță
- sagemaker
- scalabil
- Scară
- scalare
- Ştiinţă
- Om de stiinta
- oamenii de stiinta
- script-uri
- căutare
- Secțiune
- sectoare
- sigur
- caută
- serverless
- serviciu
- Servicii
- set
- Distribuie
- partajarea
- să
- semnificativ
- asemănător
- simplu
- simplifica
- pur şi simplu
- simultan
- moale
- So
- Software
- soluţie
- soluţii
- sofisticat
- Sursă
- cod sursă
- specific
- viteze
- Stabilitate
- stivui
- Stive
- Stadiile
- Începe
- Pornire
- paşi
- depozitare
- Strategic
- strategii
- Strategie
- simplifica
- structurat
- studio
- Studiu
- prezentat
- astfel de
- suită
- a sustine
- durabilă
- sinergie
- sisteme
- aborda
- Lua
- Ţintă
- sarcini
- echipă
- echipe
- tech
- Tehnic
- Tehnologia
- şabloane
- termeni
- Testarea
- decât
- acea
- Sursa
- lumea
- lor
- Lor
- se
- apoi
- Acolo.
- Acestea
- ei
- Gândire
- terț
- acest
- Prin
- timp
- consumă timp
- la
- instrument
- Unelte
- Toronto
- Tren
- Pregătire
- trenuri
- transfer
- Transformare
- transformativă
- se transformă
- tipic
- universitate
- deschide
- dezvaluit
- Folosire
- utilizare
- utilizat
- utilizatorii
- folosind
- valoare
- varietate
- diverse
- multilateral
- viziune
- volume
- a fost
- Cale..
- modalități de
- we
- Țese
- web
- servicii web
- BINE
- care
- OMS
- voi
- cu
- în
- fără
- fluxuri de lucru
- lume
- Înfășurat
- ani
- Tu
- zephyrnet