Această postare a fost scrisă în colaborare cu Ankur Goyal și Karthikeyan Chokappa de la PwC Australia’s Cloud & Digital business.
Inteligența artificială (AI) și învățarea automată (ML) devin o parte integrantă a sistemelor și proceselor, permițând luarea de decizii în timp real, conducând astfel îmbunătățiri de vârf și de jos în organizații. Cu toate acestea, introducerea unui model ML în producție la scară este o provocare și necesită un set de bune practici. Multe companii au deja oameni de știință de date și ingineri ML care pot construi modele de ultimă generație, dar ducerea modelelor la producție și menținerea modelelor la scară rămâne o provocare. Fluxurile de lucru manuale limitează operațiunile ciclului de viață ML pentru a încetini procesul de dezvoltare, a crește costurile și a compromite calitatea produsului final.
Operațiunile de învățare automată (MLOps) aplică principiile DevOps sistemelor ML. La fel cum DevOps combină dezvoltarea și operațiunile pentru inginerie software, MLOps combină ingineria ML și operațiunile IT. Odată cu creșterea rapidă a sistemelor ML și în contextul ingineriei ML, MLOps oferă capabilități necesare pentru a gestiona complexitățile unice ale aplicării practice a sistemelor ML. În general, cazurile de utilizare ML necesită o soluție integrată ușor disponibilă pentru industrializarea și simplificarea procesului care duce un model ML de la dezvoltare la implementarea producției la scară folosind MLOps.
Pentru a răspunde acestor provocări ale clienților, PwC Australia a dezvoltat Machine Learning Ops Accelerator ca un set de procese standardizate și capabilități tehnologice pentru a îmbunătăți operaționalizarea modelelor AI/ML care permit colaborarea interfuncțională între echipe pe parcursul operațiunilor ciclului de viață ML. PwC Machine Learning Ops Accelerator, construit pe baza serviciilor native AWS, oferă o soluție potrivită pentru scop care se integrează cu ușurință în cazurile de utilizare ML cu ușurință pentru clienții din toate industriile. În această postare, ne concentrăm pe construirea și implementarea unui caz de utilizare ML care integrează diverse componente ale ciclului de viață ale unui model ML, permițând integrarea continuă (CI), livrarea continuă (CD), formarea continuă (CT) și monitorizarea continuă (CM).
Prezentare generală a soluțiilor
În MLOps, o călătorie de succes de la date la modele ML la recomandări și predicții în sistemele și procesele de afaceri implică câțiva pași cruciali. Aceasta implică preluarea rezultatului unui experiment sau prototip și transformarea acestuia într-un sistem de producție cu controale standard, calitate și bucle de feedback. Este mult mai mult decât automatizare. Este vorba despre îmbunătățirea practicilor organizației și obținerea de rezultate care sunt repetabile și reproductibile la scară.
Doar o mică parte dintr-un caz de utilizare ML din lumea reală cuprinde modelul în sine. Diferitele componente necesare pentru a construi o capacitate ML avansată integrată și pentru a o opera în mod continuu la scară sunt prezentate în Figura 1. După cum este ilustrat în următoarea diagramă, PwC MLOps Accelerator cuprinde șapte capabilități cheie integrate și pași iterativi care permit CI, CD, CT și CM al unui caz de utilizare ML. Soluția profită de caracteristicile native AWS de la Amazon SageMaker, construind un cadru flexibil și extensibil în jurul acestuia.
Într-un scenariu real de întreprindere, pot exista pași și etape suplimentare de testare pentru a asigura validarea riguroasă și implementarea modelelor în diferite medii.
- Gestionarea datelor și modelelor oferă o capacitate centrală care guvernează artefactele ML de-a lungul ciclului lor de viață. Acesta permite auditabilitatea, trasabilitatea și conformitatea. De asemenea, promovează partajarea, reutilizarea și descoperirea activelor ML.
- Dezvoltarea modelului ML permite diferitelor persoane să dezvolte o conductă robustă și reproductibilă de formare a modelului, care cuprinde o secvență de pași, de la validarea și transformarea datelor până la formarea și evaluarea modelului.
- Integrare/livrare continuă facilitează construirea automată, testarea și ambalarea conductei de formare a modelului și implementarea acestuia în mediul de execuție țintă. Integrarea cu fluxurile de lucru CI/CD și versiunea datelor promovează cele mai bune practici MLOps, cum ar fi guvernarea și monitorizarea pentru dezvoltarea iterativă și versiunea datelor.
- Formare continuă model ML capacitatea execută conducta de antrenament pe baza declanșatorilor de reantrenare; adică pe măsură ce noi date devin disponibile sau performanța modelului scade sub un prag prestabilit. Înregistrează modelul antrenat dacă se califică drept model candidat de succes și stochează artefactele de antrenament și metadatele asociate.
- Implementarea modelului permite accesul la modelul instruit înregistrat pentru revizuirea și aprobarea lansării în producție și permite ambalarea, testarea și implementarea modelului în mediul de serviciu de predicție pentru difuzarea în producție.
- Serviciul de predicții capacitatea pornește modelul implementat pentru a oferi predicții prin modele online, lot sau streaming. Servirea de rulare captează, de asemenea, jurnalele de servire a modelelor pentru monitorizare și îmbunătățiri continue.
- monitorizarea continuă monitorizează modelul pentru eficiența predictivă pentru a detecta decăderea modelului și eficacitatea serviciului (latența, pipeline-ul și erorile de execuție)
Arhitectura PwC Machine Learning Ops Accelerator
Soluția este construită pe baza serviciilor native AWS folosind Amazon SageMaker și tehnologia serverless pentru a menține performanța și scalabilitatea ridicate și costurile de funcționare scăzute.
- PwC Machine Learning Ops Accelerator oferă un drept de acces bazat pe persoană pentru construirea, utilizarea și operațiunile care le permite inginerilor ML și oamenilor de știință de date să automatizeze implementarea conductelor (instruire și deservire) și să răspundă rapid la modificările calității modelului. Manager de rol Amazon SageMaker este utilizat pentru implementarea activității ML bazate pe roluri și Amazon S3 este folosit pentru a stoca date de intrare și artefacte.
- Soluția folosește activele de creare a modelelor existente de la client și construiește un cadru flexibil și extensibil în jurul acestuia, folosind serviciile native AWS. Au fost construite integrări între Amazon S3, Git și AWS CodeCommit care permit versiunea setului de date cu un management minim în viitor.
- Șablonul AWS CloudFormation este generat folosind Kit de dezvoltare în cloud AWS (AWS CDK). AWS CDK oferă capacitatea de a gestiona modificările pentru soluția completă. Conducta automatizată include pași pentru stocarea modelelor de tip out-of-the-box și urmărirea valorilor.
- PwC MLOps Accelerator este proiectat pentru a fi modular și livrat ca infrastructură-as-code (IaC) pentru a permite implementări automate. Procesul de implementare folosește AWS CodeCommit, AWS CodeBuild, AWS CodePipelineși șablonul AWS CloudFormation. Soluția completă end-to-end pentru operaționalizarea unui model ML este disponibilă ca cod implementabil.
- Printr-o serie de șabloane IaC, sunt implementate trei componente distincte: construirea modelului, implementarea modelului și monitorizarea modelului și difuzarea predicțiilor, folosind Pipelines Amazon SageMaker
- Conducta de construire a modelului automatizează procesul de instruire și evaluare a modelului și permite aprobarea și înregistrarea modelului instruit.
- Conducta de implementare a modelului furnizează infrastructura necesară pentru implementarea modelului ML pentru inferență pe lot și în timp real.
- Conducta de monitorizare a modelelor și de servire a predicțiilor implementează infrastructura necesară pentru a servi predicțiile și a monitoriza performanța modelului.
- PwC MLOps Accelerator este conceput pentru a fi agnostic pentru modelele ML, cadrele ML și mediile de rulare. Soluția permite utilizarea familiară a limbajelor de programare precum Python și R, a instrumentelor de dezvoltare precum Jupyter Notebook și a cadrelor ML printr-un fișier de configurare. Această flexibilitate face ca oamenii de știință să își perfecționeze continuu modelele și să le implementeze folosind limbajul și mediul preferat.
- Soluția are integrări încorporate pentru a utiliza instrumente pre-construite sau personalizate pentru a atribui sarcinile de etichetare folosind Amazon SageMaker Ground Adevăr pentru formarea seturi de date pentru a oferi instruire și monitorizare continuă.
- Conducta ML de la capăt la capăt este proiectată folosind caracteristici native SageMaker (Amazon SageMaker Studio , Amazon SageMaker Model Building Pipelines, Experimente Amazon SageMaker, și Puncte finale Amazon SageMaker).
- Soluția folosește capabilitățile încorporate Amazon SageMaker pentru versiunea modelului, urmărirea descendenței modelului, partajarea modelelor și inferența fără server cu Registrul de modele Amazon SageMaker.
- Odată ce modelul este în producție, soluția monitorizează continuu calitatea modelelor ML în timp real. Monitor de model Amazon SageMaker este utilizat pentru monitorizarea continuă a modelelor în producție. Amazon CloudWatch Logs este folosit pentru a colecta fișiere jurnal care monitorizează starea modelului, iar notificările sunt trimise folosind Amazon SNS atunci când calitatea modelului atinge anumite praguri. Loggeri nativi, cum ar fi (boto3) sunt utilizate pentru a captura starea rulării pentru a accelera depanarea.
Rezolvare soluție
Următoarea instrucțiune descrie pașii standard pentru a crea procesul MLOps pentru un model care utilizează PwC MLOps Accelerator. Această explicație descrie un caz de utilizare al unui inginer MLOps care dorește să implementeze conducta pentru un model ML dezvoltat recent, folosind un fișier simplu de definiție/configurare care este intuitiv.
- Pentru a începe, înscrie-te PwC MLOps Accelerator pentru a avea acces la artefactele soluției. Întreaga soluție este condusă de la un fișier de configurare YAML (
config.yaml
) pe model. Toate detaliile necesare pentru a rula soluția sunt conținute în acel fișier de configurare și stocate împreună cu modelul într-un depozit Git. Fișierul de configurare va servi ca intrare pentru a automatiza pașii fluxului de lucru prin externalizarea parametrilor și setărilor importanți în afara codului. - Inginerul ML trebuie să completeze
config.yaml
fișier și declanșează conducta MLOps. Clienții pot configura un cont AWS, depozitul, modelul, datele utilizate, numele conductei, cadrul de instruire, numărul de instanțe de utilizat pentru instruire, cadrul de inferență și orice pași de pre și post-procesare și alți câțiva alți configurații pentru a verifica calitatea modelului, părtinirea și explicabilitatea.
- Un simplu fișier YAML este utilizat pentru a configura cerințele de instruire, implementare, monitorizare și runtime ale fiecărui model. Odata ce
config.yaml
este configurat corespunzător și salvat împreună cu modelul în propriul său depozit Git, este invocat orchestratorul de creare a modelului. De asemenea, poate citi dintr-un Bring-Your-Own-Model care poate fi configurat prin YAML pentru a declanșa implementarea conductei de construire a modelului. - Totul după acest punct este automatizat de soluție și nu necesită implicarea nici a inginerului ML, nici a cercetătorului de date. Conducta responsabilă pentru construirea modelului ML include preprocesarea datelor, antrenamentul modelului, evaluarea modelului și procesarea ost. Dacă modelul trece testele automate de calitate și performanță, modelul este salvat într-un registru, iar artefactele sunt scrise în stocarea Amazon S3 conform definițiilor din fișierele YAML. Acest lucru declanșează crearea conductei de implementare a modelului pentru acel model ML.
- În continuare, un șablon de implementare automată furnizează modelul într-un mediu intermediar cu un punct final activ. După aprobare, modelul este implementat automat în mediul de producție.
- Soluția implementează două conducte legate. Servirea de predicții implementează un punct final accesibil prin care pot fi difuzate predicții. Monitorizarea modelului creează un instrument de monitorizare continuă care calculează performanța modelului cheie și valorile de calitate, declanșând recalificarea modelului dacă este detectată o schimbare semnificativă a calității modelului.
- Acum că ați trecut prin crearea și implementarea inițială, inginerul MLOps poate configura alerte de eșec pentru a fi alertate pentru probleme, de exemplu, atunci când o conductă nu își îndeplinește sarcina intenționată.
- MLOps nu mai este despre ambalarea, testarea și implementarea componentelor serviciului cloud similar cu o implementare CI/CD tradițională; este un sistem care ar trebui să implementeze automat un alt serviciu. De exemplu, conducta de instruire a modelului implementează automat conducta de implementare a modelului pentru a activa serviciul de predicție, care la rândul său activează serviciul de monitorizare a modelului.
Concluzie
Pe scurt, MLOps este esențial pentru orice organizație care își propune să implementeze modele ML în sistemele de producție la scară. PwC a dezvoltat un accelerator pentru a automatiza construirea, implementarea și menținerea modelelor ML prin integrarea instrumentelor DevOps în procesul de dezvoltare a modelului.
În această postare, am explorat modul în care soluția PwC este alimentată de serviciile native ML AWS și ajută la adoptarea practicilor MLOps, astfel încât companiile să își poată accelera călătoria AI și să câștige mai multă valoare din modelele lor ML. Am parcurs pașii pe care i-ar urma pe un utilizator pentru a accesa PwC Machine Learning Ops Accelerator, a rula conductele și a implementa un caz de utilizare ML care integrează diferite componente ale ciclului de viață ale unui model ML.
Pentru a începe cu călătoria dvs. MLOps pe AWS Cloud la scară și pentru a vă rula sarcinile de lucru de producție ML, înscrieți-vă în Operațiuni de învățare automată PwC.
Despre Autori
Kiran Kumar Ballari este arhitect principal de soluții la Amazon Web Services (AWS). Este un evanghelist căruia îi place să ajute clienții să folosească noile tehnologii și să construiască soluții repetabile în industrie pentru a-și rezolva problemele. Este pasionat în special de inginerie software, AI generativă și de a ajuta companiile cu dezvoltarea de produse AI/ML.
Ankur Goyal este director în practica cloud și digitală a PwC Australia, axată pe date, analiză și inteligență artificială. Ankur are o experiență vastă în sprijinirea organizațiilor din sectorul public și privat în conducerea transformărilor tehnologice și în proiectarea de soluții inovatoare prin valorificarea activelor și tehnologiilor de date.
Karthikeyan Chokappa (KC) este manager în practica cloud și digitală a PwC Australia, axat pe date, analiză și inteligență artificială. KC este pasionat de proiectarea, dezvoltarea și implementarea soluțiilor de analiză end-to-end care transformă datele în active de decizie valoroase pentru a îmbunătăți performanța și utilizarea și pentru a reduce costul total de proprietate pentru lucruri conectate și inteligente.
Rama Lankalapalli este un arhitect senior de soluții partener la AWS, lucrând cu PwC pentru a accelera migrarea și modernizarea clienților lor în AWS. Lucrează în diverse industrii pentru a accelera adoptarea AWS Cloud. Expertiza sa constă în arhitectura de soluții cloud eficiente și scalabile, impulsionarea inovației și modernizarea aplicațiilor clienților prin valorificarea serviciilor AWS și stabilirea unor baze de cloud rezistente.
Jeejee Unwalla este arhitect senior de soluții la AWS, căruia îi place să îndrume clienții în rezolvarea provocărilor și gândirea strategică. El este pasionat de tehnologie și date și de a permite inovarea.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/driving-advanced-analytics-outcomes-at-scale-using-amazon-sagemaker-powered-pwcs-machine-learning-ops-accelerator/
- :are
- :este
- :nu
- $UP
- 1
- 100
- 1951
- 2024
- 32
- 33
- 7
- a
- capacitate
- Despre Noi
- accelera
- accelerator
- acces
- accesibil
- Cont
- peste
- activitate
- Suplimentar
- adresa
- adopta
- Adoptare
- avansat
- Avantaj
- După
- AI
- AI / ML
- isi propune
- Alerte
- TOATE
- permite
- permite
- de-a lungul
- pe langa
- deja
- de asemenea
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- Google Analytics
- și
- O alta
- Orice
- aplicație
- aplicatii
- se aplică
- în mod corespunzător
- aprobare
- aproba
- arhitectură
- SUNT
- în jurul
- AS
- Bunuri
- asociate
- At
- auditabilitate
- Australia
- automatizarea
- Automata
- automate
- Automat
- în mod automat
- Automatizare
- disponibil
- AWS
- Formarea AWS Cloud
- bazat
- BE
- devine
- devenire
- fost
- de mai jos
- CEL MAI BUN
- Cele mai bune practici
- între
- părtinire
- construi
- construirea
- Clădire
- construiește
- construit
- construit-in
- afaceri
- întreprinderi
- dar
- by
- calculează
- CAN
- candidat
- capacități
- capacitate
- captura
- capturi
- caz
- cazuri
- CD
- central
- sigur
- contesta
- provocări
- provocare
- Schimbare
- Modificări
- verifica
- Cloud
- cod
- colaborare
- colecta
- combină
- Companii
- Completă
- complexități
- conformitate
- componente
- cuprinde
- compromis
- Configuraţie
- configurat
- legat
- conținute
- context
- continuu
- continuu
- controale
- A costat
- Cheltuieli
- crea
- creează
- creaţie
- critic
- crucial
- personalizat
- client
- clienţii care
- de date
- om de știință de date
- seturi de date
- decizie
- Deciziile
- Definitii
- livrate
- livrarea
- Oferă
- livrare
- implementa
- dislocate
- Implementarea
- desfășurarea
- implementări
- implementează
- proiectat
- proiect
- detalii
- detecta
- detectat
- dezvolta
- dezvoltat
- în curs de dezvoltare
- Dezvoltare
- instrumente de dezvoltare
- diferit
- digital
- Director
- distinct
- diferit
- do
- face
- jos
- condus
- conducere
- fiecare
- uşura
- cu ușurință
- eficacitate
- eficient
- oricare
- permite
- permite
- permițând
- un capăt la altul
- Punct final
- inginer
- Inginerie
- inginerii
- asigura
- Afacere
- Întreg
- Dreptul
- Mediu inconjurator
- medii
- Erori
- mai ales
- stabilirea
- evaluare
- evanghelist
- exemplu
- Executa
- execuție
- exista
- existent
- accelera
- experienţă
- experiment
- expertiză
- explorat
- extensiv
- Experiență vastă
- eșuează
- Eșec
- familiar
- DESCRIERE
- feedback-ul
- Figura
- Fișier
- Fişiere
- final
- Flexibilitate
- flexibil
- Concentra
- concentrat
- următor
- Pentru
- Fundații
- fracțiune
- Cadru
- cadre
- din
- viitor
- Câştig
- generată
- generativ
- AI generativă
- obține
- merge
- plecat
- guvernare
- guvernează
- Teren
- Creștere
- manipula
- Avea
- he
- ajutor
- ajutor
- ajută
- Înalt
- lui
- hit-uri
- Cum
- Totuși
- HTML
- HTTPS
- if
- punerea în aplicare a
- important
- îmbunătăţi
- îmbunătățiri
- îmbunătățirea
- in
- include
- Crește
- industrii
- industrie
- Infrastructură
- inițială
- Inovaţie
- inovatoare
- intrare
- integrală
- integrate
- integreaza
- integrarea
- integrare
- integrările
- Inteligență
- Inteligent
- destinate
- în
- intuitiv
- invocat
- implicare
- probleme de
- IT
- ESTE
- în sine
- Loc de munca
- călătorie
- jpg
- doar
- A pastra
- Cheie
- Kumar
- etichetarea
- limbă
- Limbă
- Latență
- învăţare
- Pârghie
- efectului de pârghie
- se află
- ciclu de viață
- ca
- LIMITĂ
- descendență
- legate de
- trăi
- log
- mai lung
- iubeste
- Jos
- maşină
- masina de învățare
- Mentine
- FACE
- administra
- administrare
- manager
- manual
- multe
- Mai..
- Metadata
- metric
- Metrici
- minim
- ML
- MLOps
- model
- Modele
- modular
- monitor
- Monitorizarea
- monitoare
- mai mult
- mult
- nume
- nativ
- necesar
- Nevoie
- necesar
- Nou
- Noi tehnologii
- Nu.
- caiet
- notificări
- număr
- of
- on
- dată
- ONE
- on-line
- funcionar
- Operațiuni
- or
- organizație
- organizații
- Altele
- rezultate
- exterior
- global
- propriu
- proprietate
- ambalaje
- parametrii
- parte
- partener
- trece
- pasionat
- modele
- pentru
- performanță
- conducte
- Plato
- Informații despre date Platon
- PlatoData
- Punct
- Post
- alimentat
- Practic
- practică
- practicile
- prezicere
- Predictii
- preferat
- Principal
- Principiile
- privat
- sectorul privat
- probleme
- proces
- procese
- Produs
- dezvoltare de produs
- producere
- Programare
- limbaje de programare
- promova
- promovează
- prototip
- furniza
- furnizează
- public
- Punând
- PWC
- Piton
- calitate
- R
- rapid
- repede
- Citeste
- uşor
- real
- lumea reală
- în timp real
- recent
- Recomandări
- reduce
- rafina
- înregistrată
- registre
- Înscriere
- registru
- eliberaţi
- rămășițe
- repetabil
- depozit
- necesita
- necesar
- Cerinţe
- Necesită
- elastic
- Răspunde
- responsabil
- rezultat
- revizuiască
- riguros
- robust
- Rol
- Alerga
- funcţionare
- Runtime
- sagemaker
- salvate
- scalabilitate
- scalabil
- Scară
- scenariu
- Om de stiinta
- oamenii de stiinta
- sector
- senior
- trimis
- Secvenţă
- serie
- servi
- servit
- serverless
- serviciu
- Servicii
- servire
- set
- setări
- Șapte
- câteva
- partajarea
- să
- indicat
- semnificativ
- asemănător
- simplu
- încetini
- mic
- So
- Software
- Inginerie software
- soluţie
- soluţii
- REZOLVAREA
- Rezolvarea
- viteză
- Stadiile
- înscenare
- standard
- început
- începe
- de ultimă oră
- Stare
- paşi
- depozitare
- stoca
- stocate
- magazine
- simplu
- Strategic
- de streaming
- simplifica
- de succes
- astfel de
- REZUMAT
- De sprijin
- sistem
- sisteme
- Lua
- ia
- luare
- Ţintă
- sarcini
- echipe
- tech
- Tehnologii
- Tehnologia
- șablon
- şabloane
- Testarea
- teste
- decât
- acea
- lor
- Lor
- astfel
- Acestea
- lucruri
- Gândire
- acest
- trei
- prag
- Prin
- de-a lungul
- timp
- la
- instrument
- Unelte
- top
- Total
- Trasabilitatea
- Urmărire
- tradiţional
- dresat
- Pregătire
- Transforma
- Transformare
- transformări
- declanşa
- declanșând
- ÎNTORCĂ
- Cotitură
- Două
- unic
- pe
- Folosire
- utilizare
- carcasa de utilizare
- utilizat
- Utilizator
- utilizări
- folosind
- validare
- Valoros
- valoare
- diverse
- de
- umblat
- walkthrough
- vrea
- a fost
- we
- web
- servicii web
- cand
- care
- OMS
- voi
- cu
- în
- flux de lucru
- fluxuri de lucru
- de lucru
- fabrică
- ar
- scris
- yaml
- Ta
- zephyrnet