Ceci est un article de blog invité co-écrit avec Vik Pant et Kyle Bassett de PwC.
Alors que les organisations investissent de plus en plus dans l'apprentissage automatique (ML), l'adoption du ML fait désormais partie intégrante des stratégies de transformation de l'entreprise. Un récent PDG de PwC enquête a dévoilé que 84 % des PDG canadiens conviennent que l'intelligence artificielle (IA) changera considérablement leur entreprise au cours des 5 prochaines années, rendant cette technologie plus critique que jamais. Cependant, la mise en œuvre du ML en production implique diverses considérations, notamment la capacité de naviguer dans le monde de l'IA de manière sûre, stratégique et responsable. L'une des premières étapes et notamment un grand défi pour devenir propulsé par l'IA consiste à développer efficacement des pipelines ML qui peuvent évoluer de manière durable dans le cloud. Penser au ML en termes de pipelines qui génèrent et maintiennent des modèles plutôt que des modèles en eux-mêmes permet de créer des systèmes de prédiction polyvalents et résilients qui sont mieux à même de résister à des changements significatifs dans les données pertinentes au fil du temps.
De nombreuses organisations commencent leur voyage dans le monde du ML avec un point de vue centré sur le modèle. Dans les premières étapes de la construction d'une pratique de ML, l'accent est mis sur la formation de modèles de ML supervisés, qui sont des représentations mathématiques des relations entre les entrées (variables indépendantes) et les sorties (variables dépendantes) qui sont apprises à partir de données (généralement historiques). Les modèles sont des artefacts mathématiques qui prennent des données d'entrée, effectuent des calculs et des calculs sur celles-ci et génèrent des prédictions ou des inférences.
Bien que cette approche soit un point de départ raisonnable et relativement simple, elle n'est pas intrinsèquement évolutive ou intrinsèquement durable en raison de la nature manuelle et ad hoc des activités de formation, de réglage, de test et d'essai des modèles. Les organisations plus matures dans le domaine ML adoptent un paradigme d'opérations ML (MLOps) qui intègre l'intégration continue, la livraison continue, le déploiement continu et la formation continue. Au cœur de ce paradigme se trouve un point de vue centré sur le pipeline pour le développement et l'exploitation de systèmes ML de niveau industriel.
Dans cet article, nous commençons par un aperçu de MLOps et de ses avantages, décrivons une solution pour simplifier ses implémentations et fournissons des détails sur l'architecture. Nous terminons par une étude de cas mettant en évidence les avantages réalisés par un grand client AWS et PwC qui a mis en œuvre cette solution.
Contexte
Un pipeline MLOps est un ensemble de séquences d'étapes interdépendantes utilisées pour créer, déployer, exploiter et gérer un ou plusieurs modèles ML en production. Un tel pipeline englobe les étapes impliquées dans la création, le test, le réglage et le déploiement de modèles ML, y compris, mais sans s'y limiter, la préparation des données, l'ingénierie des fonctionnalités, la formation des modèles, l'évaluation, le déploiement et la surveillance. En tant que tel, un modèle ML est le produit d'un pipeline MLOps, et un pipeline est un flux de travail permettant de créer un ou plusieurs modèles ML. Ces pipelines prennent en charge des processus structurés et systématiques pour la construction, le calibrage, l'évaluation et la mise en œuvre de modèles ML, et les modèles eux-mêmes génèrent des prédictions et des inférences. En automatisant le développement et l'opérationnalisation des étapes des pipelines, les organisations peuvent réduire le délai de livraison des modèles, augmenter la stabilité des modèles en production et améliorer la collaboration entre les équipes de data scientists, d'ingénieurs logiciels et d'administrateurs informatiques.
Vue d'ensemble de la solution
AWS propose un portefeuille complet de services cloud natifs pour développer et exécuter des pipelines MLOps de manière évolutive et durable. Amazon Sage Maker comprend un portefeuille complet de fonctionnalités en tant que service MLOps entièrement géré pour permettre aux développeurs de créer, former, déployer, exploiter et gérer des modèles ML dans le cloud. SageMaker couvre l'ensemble du flux de travail MLOps, de la collecte à la préparation et à la formation des données avec des algorithmes hautes performances intégrés et des expériences ML automatisées (AutoML) sophistiquées afin que les entreprises puissent choisir des modèles spécifiques qui correspondent à leurs priorités et préférences commerciales. SageMaker permet aux organisations d'automatiser de manière collaborative la majorité de leur cycle de vie MLOps afin qu'elles puissent se concentrer sur les résultats commerciaux sans risquer de retarder les projets ou d'augmenter les coûts. De cette manière, SageMaker permet aux entreprises de se concentrer sur les résultats sans se soucier de l'infrastructure, du développement et de la maintenance associés à l'alimentation de services de prédiction de niveau industriel.
SageMaker inclut Amazon SageMaker JumpStart, qui propose des modèles de solutions prêts à l'emploi pour les organisations qui cherchent à accélérer leur parcours MLOps. Les organisations peuvent commencer avec des modèles pré-formés et open-source qui peuvent être affinés pour répondre à leurs besoins spécifiques par le biais d'un recyclage et d'un apprentissage par transfert. De plus, JumpStart fournit des modèles de solution conçus pour traiter les cas d'utilisation courants, ainsi que des exemples de blocs-notes Jupyter avec un code de démarrage pré-écrit. Ces ressources sont accessibles en visitant simplement la page d'accueil JumpStart dans Amazon SageMakerStudio.
PwC a conçu un accélérateur MLOps pré-packagé qui accélère encore le délai de rentabilisation et augmente le retour sur investissement pour les organisations qui utilisent SageMaker. Cet accélérateur MLOps améliore les capacités natives de JumpStart en intégrant des services AWS complémentaires. Avec une suite complète d'artefacts techniques, y compris des scripts d'infrastructure en tant que code (IaC), des workflows de traitement de données, du code d'intégration de services et des modèles de configuration de pipeline, l'accélérateur MLOps de PwC simplifie le processus de développement et d'exploitation de systèmes de prédiction de classe production.
Aperçu de l'architecture
L'inclusion de services cloud natifs sans serveur d'AWS est prioritaire dans l'architecture de l'accélérateur PwC MLOps. Le point d'entrée dans cet accélérateur est tout outil de collaboration, tel que Slack, qu'un data scientist ou un ingénieur de données peut utiliser pour demander un environnement AWS pour MLOps. Une telle demande est analysée puis approuvée entièrement ou semi-automatiquement à l'aide des fonctionnalités de flux de travail de cet outil de collaboration. Une fois qu'une demande est approuvée, ses détails sont utilisés pour paramétrer les modèles IaC. Le code source de ces modèles IaC est géré dans Code AWSCommit. Ces modèles IaC paramétrés sont soumis à AWS CloudFormation pour la modélisation, le provisionnement et la gestion des piles de ressources AWS et tierces.
Le diagramme suivant illustre le flux de travail.
Une fois qu'AWS CloudFormation a provisionné un environnement pour MLOps sur AWS, l'environnement est prêt à être utilisé par les scientifiques des données, les ingénieurs des données et leurs collaborateurs. L'accélérateur PWC comprend des rôles prédéfinis sur Gestion des identités et des accès AWS (IAM) qui sont liés aux activités et tâches MLOps. Ces rôles spécifient les services et les ressources de l'environnement MLOps auxquels peuvent accéder divers utilisateurs en fonction de leurs profils de travail. Après avoir accédé à l'environnement MLOps, les utilisateurs peuvent accéder à l'une des modalités sur SageMaker pour effectuer leurs tâches. Ceux-ci incluent les instances de bloc-notes SageMaker, Pilote automatique Amazon SageMaker expériences et Studio. Vous pouvez bénéficier de toutes les fonctionnalités et fonctions de SageMaker, y compris la formation, le réglage, l'évaluation, le déploiement et la surveillance des modèles.
L'accélérateur comprend également des connexions avec Zone de données Amazon pour partager, rechercher et découvrir des données à grande échelle au-delà des frontières organisationnelles afin de générer et d'enrichir des modèles. De même, les données pour la formation, les tests, la validation et la détection de la dérive du modèle peuvent fournir une variété de services, y compris Redshift d'Amazon, Service de base de données relationnelle Amazon (Amazon RDS), Système de fichiers Amazon Elastic (AmazonEFS) et Service de stockage simple Amazon (Amazon S3). Les systèmes de prédiction peuvent être déployés de plusieurs manières, notamment en tant que points de terminaison SageMaker directement, les points de terminaison SageMaker enveloppés dans AWS Lambda fonctions et points de terminaison SageMaker invoqués via un code personnalisé sur Service Amazon Elastic Kubernetes (Amazon EKS) ou Cloud de calcul élastique Amazon (Amazon EC2). Amazon Cloud Watch est utilisé pour surveiller l'environnement des MLOps sur AWS de manière complète afin d'observer les alarmes, les journaux et les données d'événements de l'ensemble de la pile (applications, infrastructure, réseau et services).
Le diagramme suivant illustre cette architecture.
Étude de cas
Dans cette section, nous partageons une étude de cas illustrative d'une grande compagnie d'assurance au Canada. Il se concentre sur l'impact transformateur de la mise en œuvre de l'accélérateur MLOps et des modèles JumpStart de PwC Canada.
Ce client s'est associé à PwC Canada et AWS pour relever les défis liés au développement de modèles inefficaces et aux processus de déploiement inefficaces, au manque de cohérence et de collaboration et à la difficulté de faire évoluer les modèles ML. La mise en œuvre de cet accélérateur MLOps de concert avec les modèles JumpStart a permis d'obtenir les résultats suivants :
- Automatisation de bout en bout – L'automatisation a réduit de près de moitié le temps nécessaire au prétraitement des données, à la formation des modèles, au réglage des hyperparamètres, ainsi qu'au déploiement et à la surveillance des modèles
- Collaboration et standardisation – Des outils et des cadres standardisés pour promouvoir la cohérence dans l'ensemble de l'organisation ont presque doublé le taux d'innovation des modèles
- Modèle de gouvernance et de conformité – Ils ont mis en place un modèle de cadre de gouvernance pour s'assurer que tous les modèles de ML satisfaisaient aux exigences réglementaires et respectaient les directives éthiques de l'entreprise, ce qui réduisait les coûts de gestion des risques de 40 %
- Infrastructure cloud évolutive - Ils ont investi dans une infrastructure évolutive pour gérer efficacement des volumes de données massifs et déployer plusieurs modèles ML simultanément, réduisant ainsi les coûts d'infrastructure et de plate-forme de 50 %
- Déploiement rapide – La solution préemballée a réduit le temps de production de 70 %
En fournissant les meilleures pratiques MLOps via des packages de déploiement rapide, notre client a pu réduire les risques de sa mise en œuvre MLOps et libérer tout le potentiel du ML pour une gamme de fonctions commerciales, telles que la prédiction des risques et la tarification des actifs. Dans l'ensemble, la synergie entre l'accélérateur PwC MLOps et JumpStart a permis à notre client de rationaliser, faire évoluer, sécuriser et pérenniser ses activités de science des données et d'ingénierie des données.
Il convient de noter que la solution PwC et AWS n'est pas spécifique à l'industrie et est pertinente dans toutes les industries et tous les secteurs.
Conclusion
SageMaker et ses accélérateurs permettent aux organisations d'améliorer la productivité de leur programme ML. Il existe de nombreux avantages, y compris, mais sans s'y limiter, les suivants :
- Créez en collaboration des cas d'utilisation IaC, MLOps et AutoML pour tirer parti des avantages commerciaux de la normalisation
- Permettre un prototypage expérimental efficace, avec et sans code, pour booster l'IA du développement au déploiement avec IaC, MLOps et AutoML
- Automatisez les tâches fastidieuses et chronophages telles que l'ingénierie des fonctionnalités et le réglage des hyperparamètres avec AutoML
- Utiliser un paradigme de surveillance continue des modèles pour aligner le risque d'utilisation du modèle ML avec l'appétit pour le risque de l'entreprise
Merci de contacter les auteurs de cet article, Conseil AWS Canadaou PwC Canada pour en savoir plus sur Jumpstart et l'accélérateur MLOps de PwC.
À propos des auteurs
Vik est un partenaire de la pratique Cloud & Data chez PwC Canada. Il a obtenu un doctorat en sciences de l'information de l'Université de Toronto. Il est convaincu qu'il existe une connexion télépathique entre son réseau neuronal biologique et les réseaux neuronaux artificiels qu'il forme sur SageMaker. Connectez-vous avec lui sur LinkedIn.
Kyle est un partenaire dans la pratique Cloud & Data chez PwC Canada, avec son équipe d'élite d'alchimistes technologiques, ils tissent des solutions MLOP enchanteresses qui hypnotisent les clients avec une valeur commerciale accélérée. Armé du pouvoir de l'intelligence artificielle et d'une pincée de magie, Kyle transforme des défis complexes en contes de fées numériques, rendant l'impossible possible. Connectez-vous avec lui sur LinkedIn.
Francois est consultant principal auprès d'AWS Professional Services Canada et responsable de la pratique canadienne pour les services consultatifs en matière de données et d'innovation. Il guide les clients pour établir et mettre en œuvre leur parcours cloud global et leurs programmes de données, en se concentrant sur la vision, la stratégie, les moteurs commerciaux, la gouvernance, les modèles d'exploitation cibles et les feuilles de route. Connectez-vous avec lui sur LinkedIn.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
- Frapper l'avenir avec Adryenn Ashley. Accéder ici.
- Achetez et vendez des actions de sociétés PRE-IPO avec PREIPO®. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :possède
- :est
- :ne pas
- $UP
- 100
- 7
- a
- Capable
- A Propos
- accélérer
- accéléré
- accélérateur
- accélérateurs
- accès
- accédé
- accès
- atteint
- à travers
- d'activités
- Ad
- En outre
- propos
- administrateurs
- adopter
- Adoption
- consultatif
- Après
- AI
- algorithmes
- aligner
- Tous
- permettre
- permet
- le long de
- aussi
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- montant
- an
- ainsi que
- tous
- applications
- une approche
- ,
- architecture
- SONT
- armé
- artificiel
- intelligence artificielle
- Intelligence artificielle (AI)
- AS
- Évaluation
- atout
- associé
- At
- auteurs
- automatiser
- Automatisation
- automatiser
- Automation
- AutoML
- AWS
- AWS CloudFormation
- Services professionnels AWS
- basé
- BE
- devenez
- devenir
- va
- profiter
- avantages.
- LES MEILLEURS
- les meilleures pratiques
- Améliorée
- jusqu'à XNUMX fois
- Blog
- frontières
- construire
- Développement
- construit
- intégré
- la performance des entreprises
- Fonctions commerciales
- Transformation de l'entreprise
- entreprises
- mais
- by
- calculs
- CAN
- Canada
- canadienne
- capacités
- maisons
- un exemple
- cas
- central
- CEO
- PDG
- challenge
- globaux
- Change
- Modifications
- Selectionnez
- client
- CLIENTS
- le cloud
- infrastructure de cloud
- code
- collaboration
- Collecte
- COM
- vient
- Commun
- Sociétés
- Société
- De l'entreprise
- complémentaire
- complet
- complexe
- complet
- comprend
- calculs
- calcul
- concert
- configuration
- NOUS CONTACTER
- connexion
- Connexions
- considérations
- consultant
- contact
- continu
- Costs
- Housses
- fissure
- engendrent
- La création
- critique
- Customiser
- des clients
- Clients
- données
- Préparation des données
- informatique
- science des données
- Data Scientist
- Base de données
- retards
- livrer
- page de livraison.
- dépendant
- déployer
- déployé
- déployer
- déploiement
- décrire
- un
- détails
- mobiles
- développement
- Développement
- Difficulté
- numérique
- directement
- découverte
- domaine
- Doublé
- conducteurs
- deux
- "Early Bird"
- Notre expertise
- de manière efficace
- efficace
- permettre
- activé
- permet
- englobe
- ingénieur
- ENGINEERING
- Les ingénieurs
- de renforcer
- Améliore
- enrichir
- assurer
- Entreprise
- Tout
- entrée
- Environment
- établir
- éthique
- évaluation
- événements
- JAMAIS
- exemple
- expériences
- Fonctionnalité
- Fonctionnalités:
- Déposez votre dernière attestation
- finition
- Prénom
- premières étapes
- s'adapter
- Focus
- se concentre
- mettant l'accent
- Abonnement
- Pour
- Framework
- cadres
- De
- plein
- d’étiquettes électroniques entièrement
- fonctions
- plus
- générer
- gouvernance
- l'
- plus grand
- GUEST
- lignes directrices
- Guides
- réduit de moitié
- he
- aide
- haute performance
- Soulignant
- lui
- sa
- historique
- Cependant
- HTML
- http
- HTTPS
- Réglage des hyperparamètres
- Identite
- illustre
- Impact
- Mettre en oeuvre
- la mise en oeuvre
- mis en œuvre
- la mise en œuvre
- impossible
- améliorer
- in
- comprendre
- inclut
- Y compris
- inclusion
- Améliore
- Augmente
- de plus en plus
- indépendant
- secteurs
- industrie
- inefficace
- info
- d'information
- Infrastructure
- Innovation
- contribution
- entrées
- Assurance
- intégrale
- Intégration
- l'intégration
- Intelligence
- développement
- intrinsèquement
- investi
- sueñortiendo
- un investissement
- invoqué
- impliqué
- IT
- SES
- Emploi
- chemin
- jpg
- Peindre
- atterrissage
- gros
- conduire
- APPRENTISSAGE
- savant
- apprentissage
- vos produits
- limité
- click
- machine learning
- maintenir
- facile
- Majorité
- Fabrication
- gérer
- gérés
- gestion
- les gérer
- manière
- Manuel
- de nombreuses
- massif
- mathématique
- maturité
- significative
- Découvrez
- ML
- MLOps
- modèle
- numériques jumeaux (digital twin models)
- Surveiller
- Stack monitoring
- PLUS
- plusieurs
- indigène
- Nature
- NAVIGUER
- presque
- Besoins
- réseau et
- réseaux
- Réseau neuronal
- les réseaux de neurones
- next
- notamment
- cahier
- noté
- observer
- of
- Offres Speciales
- on
- ONE
- open source
- fonctionner
- d'exploitation
- Opérations
- or
- organisation
- organisationnel
- organisations
- nos
- plus de
- global
- vue d'ensemble
- Forfaits
- page
- paradigme
- partie
- les partenaires
- en partenariat
- motifs
- Effectuer
- pipeline
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Point
- portefeuille
- possible
- Post
- défaillances
- power
- alimenté
- Alimentation
- pratique
- pratiques
- prédiction
- Prédictions
- préférences
- en train de préparer
- établissement des prix
- Directeur
- priorisé
- processus
- les process
- traitement
- Produit
- Vidéo
- productivité
- professionels
- Profils
- Programme
- Programmes
- Projet
- promouvoir
- prototypage
- fournir
- fournit
- PWC
- gamme
- Nos tests de diagnostic produisent des résultats rapides et précis sans nécessiter d'équipement de laboratoire complexe et coûteux,
- Tarif
- plutôt
- solutions
- réaliser
- raisonnable
- récent
- réduire
- Prix Réduit
- réduire
- régulateurs
- en relation
- Les relations
- relativement
- pertinent
- nécessaire
- Exigences
- résilient
- Resources
- Résultats
- retourner
- Analyse
- la gestion des risques
- risquer
- feuilles de route
- rôle
- pour le running
- en toute sécurité
- sagemaker
- évolutive
- Escaliers intérieurs
- mise à l'échelle
- Sciences
- Scientifique
- scientifiques
- scripts
- recherche
- Section
- Secteurs
- sécurisé
- recherche
- Sans serveur
- service
- Services
- set
- Partager
- partage
- devrait
- de façon significative
- De même
- étapes
- simplifier
- simplement
- simultanément
- mou
- So
- Logiciels
- sur mesure
- Solutions
- sophistiqué
- Identifier
- code source
- groupe de neurones
- vitesses
- Stabilité
- empiler
- Combos
- étapes
- Commencer
- Commencez
- Étapes
- storage
- Stratégiquement
- les stratégies
- de Marketing
- rationaliser
- structuré
- studio
- Étude
- soumis
- tel
- suite
- Support
- durable
- synergie
- Système
- tacle
- Prenez
- Target
- tâches
- équipe
- équipes
- technologie
- Technique
- Technologie
- modèles
- conditions
- Essais
- que
- qui
- La
- La Source
- le monde
- leur
- Les
- se
- puis
- Là.
- Ces
- l'ont
- En pensant
- des tiers.
- this
- Avec
- fiable
- long
- à
- outil
- les outils
- toronto
- Train
- Formation
- les trains
- transférer
- De La Carrosserie
- transformation
- se tourne
- typiquement
- université
- ouvrir
- dévoilé
- Utilisation
- utilisé
- d'utiliser
- utilisateurs
- en utilisant
- Plus-value
- variété
- divers
- polyvalente
- vision
- volumes
- était
- Façon..
- façons
- we
- Tissage
- web
- services Web
- WELL
- qui
- WHO
- sera
- comprenant
- dans les
- sans
- workflows
- world
- Enveloppé
- années
- Vous n'avez
- zéphyrnet