Dit is een gastblogpost die is geschreven in samenwerking met Vik Pant en Kyle Bassett van PwC.
Nu organisaties steeds meer investeren in machine learning (ML), is de acceptatie van ML een integraal onderdeel geworden van strategieën voor bedrijfstransformatie. Een recente CEO van PwC klanttevredenheid onthulde dat 84% van de Canadese CEO's het ermee eens is dat kunstmatige intelligentie (AI) hun bedrijf de komende 5 jaar aanzienlijk zal veranderen, waardoor deze technologie belangrijker dan ooit wordt. Het implementeren van ML in productie brengt echter verschillende overwegingen met zich mee, met name om veilig, strategisch en verantwoord door de wereld van AI te kunnen navigeren. Een van de eerste stappen en met name een grote uitdaging om door AI aangedreven te worden, is het effectief ontwikkelen van ML-pijplijnen die duurzaam kunnen worden geschaald in de cloud. Door aan ML te denken in termen van pijplijnen die modellen genereren en onderhouden in plaats van modellen op zichzelf, kunnen veelzijdige en veerkrachtige voorspellingssystemen worden gebouwd die beter bestand zijn tegen betekenisvolle veranderingen in relevante gegevens in de loop van de tijd.
Veel organisaties beginnen hun reis naar de wereld van ML vanuit een modelgericht standpunt. In de vroege stadia van het bouwen van een ML-praktijk ligt de nadruk op het trainen van ML-modellen onder toezicht, dit zijn wiskundige weergaven van relaties tussen inputs (onafhankelijke variabelen) en outputs (afhankelijke variabelen) die worden geleerd uit gegevens (meestal historisch). Modellen zijn wiskundige artefacten die invoergegevens nemen, berekeningen en berekeningen daarop uitvoeren en voorspellingen of gevolgtrekkingen genereren.
Hoewel deze benadering een redelijk en relatief eenvoudig uitgangspunt is, is deze niet inherent schaalbaar of intrinsiek duurzaam vanwege de handmatige en ad-hoc aard van modeltraining, afstemming, testen en proefactiviteiten. Organisaties met een grotere volwassenheid in het ML-domein passen een ML-operations (MLOps)-paradigma toe dat continue integratie, continue levering, continue implementatie en continue training omvat. Centraal in dit paradigma staat een pijplijngericht gezichtspunt voor het ontwikkelen en gebruiken van industriële ML-systemen.
In dit bericht beginnen we met een overzicht van MLOps en de voordelen ervan, beschrijven we een oplossing om de implementatie ervan te vereenvoudigen en geven we details over de architectuur. We eindigen met een casestudy die de voordelen belicht van een grote AWS- en PwC-klant die deze oplossing implementeerde.
Achtergrond
Een MLOps-pijplijn is een reeks onderling gerelateerde reeksen stappen die worden gebruikt om een of meer ML-modellen in productie te bouwen, implementeren, bedienen en beheren. Een dergelijke pijplijn omvat de fasen die betrokken zijn bij het bouwen, testen, afstemmen en implementeren van ML-modellen, inclusief maar niet beperkt tot gegevensvoorbereiding, feature-engineering, modeltraining, evaluatie, implementatie en monitoring. Als zodanig is een ML-model het product van een MLOps-pijplijn en is een pijplijn een werkstroom voor het maken van een of meer ML-modellen. Dergelijke pijplijnen ondersteunen gestructureerde en systematische processen voor het bouwen, kalibreren, beoordelen en implementeren van ML-modellen, en de modellen zelf genereren voorspellingen en gevolgtrekkingen. Door de ontwikkeling en operationalisering van stadia van pijplijnen te automatiseren, kunnen organisaties de tijd tot levering van modellen verkorten, de stabiliteit van de modellen in productie vergroten en de samenwerking tussen teams van datawetenschappers, software-engineers en IT-beheerders verbeteren.
Overzicht oplossingen
AWS biedt een uitgebreid portfolio van cloud-native services voor het ontwikkelen en uitvoeren van MLOps-pijplijnen op een schaalbare en duurzame manier. Amazon Sage Maker omvat een uitgebreid portfolio van mogelijkheden als een volledig beheerde MLOps-service waarmee ontwikkelaars ML-modellen in de cloud kunnen maken, trainen, implementeren, bedienen en beheren. SageMaker dekt de volledige MLOps-workflow, van het verzamelen tot het voorbereiden en trainen van de gegevens met ingebouwde krachtige algoritmen en geavanceerde geautomatiseerde ML (AutoML)-experimenten, zodat bedrijven specifieke modellen kunnen kiezen die passen bij hun zakelijke prioriteiten en voorkeuren. SageMaker stelt organisaties in staat om gezamenlijk het grootste deel van hun MLOps-levenscyclus te automatiseren, zodat ze zich kunnen concentreren op bedrijfsresultaten zonder projectvertragingen of stijgende kosten te riskeren. Op deze manier stelt SageMaker bedrijven in staat zich te concentreren op resultaten zonder zich zorgen te hoeven maken over infrastructuur, ontwikkeling en onderhoud in verband met het aandrijven van industriële voorspellingsdiensten.
SageMaker omvat Amazon SageMaker JumpStart, dat kant-en-klare oplossingspatronen biedt voor organisaties die hun MLOps-reis willen versnellen. Organisaties kunnen beginnen met vooraf getrainde en open-sourcemodellen die kunnen worden verfijnd om aan hun specifieke behoeften te voldoen door middel van omscholing en overdracht van leren. Bovendien biedt JumpStart oplossingssjablonen die zijn ontworpen om veelvoorkomende use-cases aan te pakken, evenals voorbeelden van Jupyter-notebooks met vooraf geschreven startcode. Deze bronnen zijn toegankelijk door simpelweg naar de JumpStart-bestemmingspagina te gaan Amazon SageMaker Studio.
PwC heeft een voorverpakte MLOps-versneller gebouwd die de time-to-value verder versnelt en het rendement op investering verhoogt voor organisaties die SageMaker gebruiken. Deze MLOps-versneller verbetert de native mogelijkheden van JumpStart door aanvullende AWS-services te integreren. Met een uitgebreide reeks technische artefacten, waaronder infrastructuur als code (IaC)-scripts, dataverwerkingsworkflows, service-integratiecode en pijplijnconfiguratiesjablonen, vereenvoudigt PwC's MLOps-accelerator het proces van het ontwikkelen en gebruiken van voorspellingssystemen van productieklasse.
Architectuur overzicht
De opname van cloud-native serverloze services van AWS krijgt prioriteit in de architectuur van de PwC MLOps-accelerator. Het toegangspunt tot deze accelerator is elke samenwerkingstool, zoals Slack, die een datawetenschapper of data-engineer kan gebruiken om een AWS-omgeving voor MLOps aan te vragen. Een dergelijk verzoek wordt geparseerd en vervolgens volledig of semi-automatisch goedgekeurd met behulp van workflowfuncties in die samenwerkingstool. Nadat een aanvraag is goedgekeurd, worden de details ervan gebruikt voor het parametreren van IaC-sjablonen. De broncode voor deze IaC-templates wordt beheerd in AWS Codecommit. Deze geparametriseerde IaC-sjablonen worden ingediend bij AWS CloudFormatie voor het modelleren, inrichten en beheren van stapels AWS en bronnen van derden.
Het volgende diagram illustreert de werkstroom.
Nadat AWS CloudFormation een omgeving voor MLOps op AWS heeft ingericht, is de omgeving klaar voor gebruik door datawetenschappers, data-engineers en hun medewerkers. De PWC-accelerator bevat vooraf gedefinieerde rollen AWS Identiteits- en toegangsbeheer (IAM) die gerelateerd zijn aan MLOps-activiteiten en -taken. Deze rollen specificeren de services en bronnen in de MLOps-omgeving waartoe verschillende gebruikers toegang hebben op basis van hun functieprofielen. Na toegang tot de MLOps-omgeving hebben gebruikers toegang tot alle modaliteiten op SageMaker om hun taken uit te voeren. Deze omvatten SageMaker-notebookinstanties, Amazon SageMaker-stuurautomaat experimenten, en Studio. U kunt profiteren van alle SageMaker-functies en -functies, inclusief modeltraining, afstemming, evaluatie, implementatie en monitoring.
Het gaspedaal bevat ook verbindingen met Amazon DataZone voor het delen, doorzoeken en ontdekken van gegevens op schaal over organisatiegrenzen heen om modellen te genereren en te verrijken. Evenzo kunnen gegevens voor het trainen, testen, valideren en detecteren van modelafwijking een verscheidenheid aan services gebruiken, waaronder Amazon roodverschuiving, Amazon relationele databaseservice (Amazone RDS), Amazon elastisch bestandssysteem (Amazon EFS), en Amazon eenvoudige opslagservice (Amazone S3). Voorspellingssystemen kunnen op veel manieren worden ingezet, waaronder rechtstreeks als SageMaker-eindpunten, SageMaker-eindpunten verpakt in AWS Lambda functies en SageMaker-eindpunten aangeroepen via aangepaste code op Amazon Elastic Kubernetes-service (Amazon EKS) of Amazon Elastic Compute-cloud (Amazone EC2). Amazon Cloud Watch wordt gebruikt om de omgeving voor MLOps op AWS op een uitgebreide manier te bewaken om alarmen, logboeken en gebeurtenisgegevens van de hele stapel (applicaties, infrastructuur, netwerk en services) te observeren.
Het volgende diagram illustreert deze architectuur.
Casestudy
In dit gedeelte delen we een illustratieve casestudy van een grote verzekeringsmaatschappij in Canada. Het richt zich op de transformerende impact van de implementatie van PwC Canada's MLOps-accelerator en JumpStart-sjablonen.
Deze klant werkte samen met PwC Canada en AWS om uitdagingen aan te gaan met inefficiënte modelontwikkeling en ineffectieve implementatieprocessen, gebrek aan consistentie en samenwerking, en moeilijkheden bij het schalen van ML-modellen. De implementatie van deze MLOps Accelerator in combinatie met JumpStart-sjablonen heeft het volgende opgeleverd:
- End-to-end automatisering - Automatisering halveerde bijna de hoeveelheid tijd voor gegevensvoorverwerking, modeltraining, hyperparameterafstemming en modelimplementatie en -bewaking
- Samenwerking en standaardisatie – Gestandaardiseerde tools en raamwerken om consistentie in de hele organisatie te bevorderen, hebben de snelheid van modelinnovatie bijna verdubbeld
- Modelbeheer en naleving – Ze implementeerden een raamwerk voor modelbeheer om ervoor te zorgen dat alle ML-modellen voldeden aan de wettelijke vereisten en aan de ethische richtlijnen van het bedrijf, waardoor de risicobeheerkosten met 40% werden verlaagd
- Schaalbare cloudinfrastructuur – Ze investeerden in een schaalbare infrastructuur om enorme datavolumes effectief te beheren en meerdere ML-modellen tegelijkertijd in te zetten, waardoor infrastructuur- en platformkosten met 50% werden verlaagd
- Snelle inzet – De voorverpakte oplossing verkortte de productietijd met 70%
Door best practices voor MLOps te leveren via pakketten voor snelle implementatie, kon onze klant de risico's van hun MLOps-implementatie verkleinen en het volledige potentieel van ML ontsluiten voor een reeks zakelijke functies, zoals risicovoorspelling en asset pricing. Over het algemeen stelde de synergie tussen de PwC MLOps-accelerator en JumpStart onze klant in staat om hun activiteiten op het gebied van datawetenschap en data-engineering te stroomlijnen, op te schalen, te beveiligen en te ondersteunen.
Opgemerkt moet worden dat de PwC- en AWS-oplossing niet branchespecifiek is en relevant is voor alle branches en sectoren.
Conclusie
Met SageMaker en zijn versnellers kunnen organisaties de productiviteit van hun ML-programma verbeteren. Er zijn veel voordelen, waaronder maar niet beperkt tot de volgende:
- Creëer gezamenlijk IaC-, MLOps- en AutoML-use-cases om zakelijke voordelen van standaardisatie te realiseren
- Maak efficiënte experimentele prototyping mogelijk, met en zonder code, om AI van ontwikkeling tot implementatie een boost te geven met IaC, MLOps en AutoML
- Automatiseer saaie, tijdrovende taken zoals feature engineering en hyperparameter tuning met AutoML
- Gebruik een paradigma voor continue modelbewaking om het risico van het gebruik van het ML-model af te stemmen op de risicobereidheid van de onderneming
Neem contact op met de auteurs van dit bericht, AWS-advies Canadaof PwC Canada voor meer informatie over Jumpstart en de MLOps-accelerator van PwC.
Over de auteurs
Vik is een Partner in de Cloud & Data-praktijk bij PwC Canada. Hij behaalde een doctoraat in informatiewetenschap aan de Universiteit van Toronto. Hij is ervan overtuigd dat er een telepathische verbinding bestaat tussen zijn biologische neurale netwerk en de kunstmatige neurale netwerken die hij traint op SageMaker. Maak contact met hem op LinkedIn.
Kyle is een Partner in de Cloud & Data-praktijk bij PwC Canada, samen met zijn geweldige team van technische alchemisten, weven ze betoverende MLOP-oplossingen die klanten betoveren met versnelde bedrijfswaarde. Gewapend met de kracht van kunstmatige intelligentie en een snufje tovenarij, verandert Kyle complexe uitdagingen in digitale sprookjes, waardoor het onmogelijke mogelijk wordt. Maak contact met hem op LinkedIn.
Francois is Principal Advisory Consultant bij AWS Professional Services Canada en de Canadese praktijkleider voor Data and Innovation Advisory. Hij begeleidt klanten bij het opzetten en implementeren van hun algehele cloudreis en hun dataprogramma's, waarbij hij zich richt op visie, strategie, zakelijke drijfveren, governance, beoogde operationele modellen en roadmaps. Maak contact met hem op LinkedIn.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- De toekomst slaan met Adryenn Ashley. Toegang hier.
- Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- : heeft
- :is
- :niet
- $UP
- 100
- 7
- a
- in staat
- Over
- versnellen
- versneld
- versneller
- versnellers
- toegang
- geraadpleegde
- toegang
- bereikt
- over
- activiteiten
- Ad
- Daarnaast
- adres
- beheerders
- adopteren
- Adoptie
- adviserend
- Na
- AI
- algoritmen
- richten
- Alles
- toelaten
- toestaat
- langs
- ook
- Amazone
- Amazon EC2
- Amazon RDS
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- bedragen
- an
- en
- elke
- toepassingen
- nadering
- goedgekeurd
- architectuur
- ZIJN
- gewapend
- kunstmatig
- kunstmatige intelligentie
- Kunstmatige intelligentie (AI)
- AS
- Het beoordelen
- aanwinst
- geassocieerd
- At
- auteurs
- automatiseren
- geautomatiseerde
- automatiseren
- Automatisering
- AutoML
- AWS
- AWS CloudFormatie
- AWS professionele services
- gebaseerde
- BE
- worden
- worden
- wezen
- voordeel
- betekent
- BEST
- 'best practices'
- Betere
- tussen
- Blog
- grenzen
- bouw
- Gebouw
- bebouwd
- ingebouwd
- bedrijfsdeskundigen
- zakelijke functies
- Zakelijke transformatie
- ondernemingen
- maar
- by
- berekeningen
- CAN
- Canada
- Canadees
- mogelijkheden
- geval
- case study
- gevallen
- centraal
- ceo
- CEO's
- uitdagen
- uitdagingen
- verandering
- Wijzigingen
- Kies
- klant
- klanten
- Cloud
- cloud infrastructuur
- code
- samenwerking
- Het verzamelen van
- COM
- komt
- Gemeen
- Bedrijven
- afstand
- Bedrijf
- complementair
- compleet
- complex
- uitgebreid
- omvat
- berekeningen
- Berekenen
- concert
- Configuratie
- Verbinden
- versterken
- aansluitingen
- overwegingen
- consultant
- contact
- doorlopend
- Kosten
- Covers
- barst
- en je merk te creëren
- Wij creëren
- kritisch
- gewoonte
- klant
- Klanten
- gegevens
- Data voorbereiding
- gegevensverwerking
- data science
- data scientist
- Database
- vertragingen
- het leveren van
- levering
- afhankelijk
- implementeren
- ingezet
- het inzetten
- inzet
- beschrijven
- ontworpen
- gegevens
- ontwikkelaars
- het ontwikkelen van
- Ontwikkeling
- Moeilijkheid
- digitaal
- direct
- het ontdekken van
- domein
- verdubbelde
- chauffeurs
- twee
- Vroeg
- verdiend
- effectief
- doeltreffend
- in staat stellen
- ingeschakeld
- maakt
- omvat
- ingenieur
- Engineering
- Ingenieurs
- verhogen
- Verbetert
- verrijken
- verzekeren
- Enterprise
- Geheel
- toegang
- Milieu
- oprichten
- ethisch
- evaluatie
- EVENTS
- OOIT
- voorbeeld
- experimenten
- Kenmerk
- Voordelen
- Dien in
- afmaken
- Voornaam*
- eerste stappen
- geschikt
- Focus
- richt
- gericht
- volgend
- Voor
- Achtergrond
- frameworks
- oppompen van
- vol
- geheel
- functies
- verder
- voortbrengen
- bestuur
- groot
- meer
- Gast
- richtlijnen
- Guides
- gehalveerd
- he
- helpt
- hoge performantie
- markeren
- hem
- zijn
- historisch
- Echter
- HTML
- http
- HTTPS
- Hyperparameter afstemmen
- Identiteit
- illustreert
- Impact
- uitvoeren
- uitvoering
- geïmplementeerd
- uitvoering
- onmogelijk
- verbeteren
- in
- omvatten
- omvat
- Inclusief
- inclusie
- Laat uw omzet
- Verhoogt
- in toenemende mate
- onafhankelijk
- industrieën
- -industrie
- ondoeltreffend
- info
- informatie
- Infrastructuur
- Innovatie
- invoer
- ingangen
- verzekering
- integraal
- Integreren
- integratie
- Intelligentie
- in
- intrinsiek
- investeerde
- investeren
- investering
- ingeroepen
- betrokken zijn
- IT
- HAAR
- Jobomschrijving:
- jpg
- Gebrek
- landing
- Groot
- leiden
- LEARN
- geleerd
- leren
- levenscyclus van uw product
- Beperkt
- machine
- machine learning
- onderhouden
- onderhoud
- Meerderheid
- maken
- beheer
- beheerd
- management
- beheren
- manier
- handboek
- veel
- massief
- wiskundig
- зрелость
- zinvolle
- Maak kennis met
- ML
- MLops
- model
- modellen
- monitor
- Grensverkeer
- meer
- meervoudig
- inheemse
- NATUUR
- OP DEZE WEBSITE VIND JE
- bijna
- behoeften
- netwerk
- netwerken
- neuraal netwerk
- neurale netwerken
- volgende
- in het bijzonder
- notitieboekje
- bekend
- waarnemen
- of
- Aanbod
- on
- EEN
- open source
- besturen
- werkzaam
- Operations
- or
- organisatie
- organisatorische
- organisaties
- onze
- over
- totaal
- overzicht
- Paketten
- pagina
- paradigma
- deel
- partner
- partnered
- patronen
- Uitvoeren
- pijpleiding
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- punt
- portfolio
- mogelijk
- Post
- potentieel
- energie
- aangedreven
- Powering
- praktijk
- praktijken
- voorspelling
- Voorspellingen
- voorkeuren
- voorbereiding
- prijsstelling
- Principal
- geprioriteerd
- processen
- verwerking
- Product
- productie
- produktiviteit
- professioneel
- Profielen
- Programma
- Programma's
- project
- promoten
- prototyping
- zorgen voor
- biedt
- PWC
- reeks
- snel
- tarief
- liever
- klaar
- realiseren
- redelijk
- recent
- verminderen
- Gereduceerd
- vermindering
- regelgevers
- verwant
- Relaties
- relatief
- relevante
- te vragen
- Voorwaarden
- veerkrachtig
- Resources
- Resultaten
- terugkeer
- Risico
- risicobeheer
- riskeren
- routekaarten
- rollen
- lopend
- veilig
- sagemaker
- schaalbare
- Scale
- scaling
- Wetenschap
- Wetenschapper
- wetenschappers
- scripts
- zoeken
- sectie
- Sectoren
- beveiligen
- op zoek naar
- Serverless
- service
- Diensten
- reeks
- Delen
- delen
- moet
- aanzienlijk
- evenzo
- Eenvoudig
- vereenvoudigen
- eenvoudigweg
- gelijktijdig
- speling
- So
- Software
- oplossing
- Oplossingen
- geraffineerd
- bron
- broncode
- specifiek
- snelheden
- Stabiliteit
- stack
- Stacks
- stadia
- begin
- Start
- Stappen
- mediaopslag
- strategisch
- strategieën
- Strategie
- gestroomlijnd
- gestructureerde
- studio
- Studie
- ingediend
- dergelijk
- suite
- ondersteuning
- duurzaam
- synergie
- Systems
- aanpakken
- Nemen
- doelwit
- taken
- team
- teams
- tech
- Technisch
- Technologie
- templates
- termen
- Testen
- neem contact
- dat
- De
- De Bron
- de wereld
- hun
- Ze
- zich
- harte
- Er.
- Deze
- ze
- het denken
- van derden
- dit
- Door
- niet de tijd of
- tijdrovend
- naar
- tools
- tools
- toronto
- Trainen
- Trainingen
- treinen
- overdracht
- Transformatie
- transformatieve
- wordt
- typisch
- universiteit-
- openen
- onthuld
- Gebruik
- .
- gebruikt
- gebruikers
- gebruik
- waarde
- variëteit
- divers
- veelzijdig
- visie
- volumes
- was
- Manier..
- manieren
- we
- Weave
- web
- webservices
- GOED
- welke
- WIE
- wil
- Met
- binnen
- zonder
- workflows
- wereld
- Wrapped
- jaar
- You
- zephyrnet