Préparation unifiée des données et formation des modèles avec Amazon SageMaker Data Wrangler et Amazon SageMaker Autopilot

Les données alimentent l'apprentissage automatique (ML) ; la qualité des données a un impact direct sur la qualité des modèles ML. Par conséquent, l'amélioration de la qualité des données et l'utilisation des bonnes techniques d'ingénierie des fonctionnalités sont essentielles pour créer des modèles ML précis. Les praticiens du ML effectuent souvent des itérations fastidieuses sur l'ingénierie des fonctionnalités, le choix des algorithmes et d'autres aspects du ML à la recherche de modèles optimaux qui se généralisent bien sur les données du monde réel et fournissent les résultats souhaités. Parce que la vitesse à laquelle faire des affaires compte de manière disproportionnée, ce processus extrêmement fastidieux et itératif peut entraîner des retards de projet et des opportunités commerciales perdues.

Gestionnaire de données Amazon SageMaker réduit le temps d'agrégation et de préparation des données pour le ML de quelques semaines à quelques minutes, et Pilote automatique Amazon SageMaker construit, forme et ajuste automatiquement les meilleurs modèles ML en fonction de vos données. Avec Autopilot, vous conservez toujours un contrôle total et une visibilité sur vos données et votre modèle. Les deux services sont spécialement conçus pour rendre les praticiens du ML plus productifs et accélérer le délai de rentabilisation.

Data Wrangler offre désormais une expérience unifiée vous permettant de préparer des données et de former de manière transparente un modèle ML dans Autopilot. Grâce à cette nouvelle fonctionnalité, vous pouvez désormais préparer vos données dans Data Wrangler et lancer facilement des expériences Autopilot directement depuis l'interface utilisateur (UI) de Data Wrangler. En quelques clics seulement, vous pouvez créer, former et ajuster automatiquement des modèles ML, ce qui facilite l'utilisation de techniques d'ingénierie de fonctionnalités de pointe, la formation de modèles ML de haute qualité et l'obtention plus rapide d'informations à partir de vos données.

Dans cet article, nous expliquons comment vous pouvez utiliser cette nouvelle expérience intégrée dans Data Wrangler pour analyser des ensembles de données et créer facilement des modèles ML de haute qualité dans Autopilot.

Aperçu de l'ensemble de données

Les Indiens Pima sont un groupe autochtone qui vit au Mexique et en Arizona, aux États-Unis. Études montrent les Indiens Pima comme un groupe de population à haut risque pour le diabète sucré. Prédire la probabilité du risque et de la susceptibilité d'un individu à une maladie chronique comme le diabète est une tâche importante pour améliorer la santé et le bien-être de ce groupe minoritaire souvent sous-représenté.

Nous utilisons les Ensemble de données public Pima Indian Diabetes prédire la susceptibilité d'un individu au diabète. Nous nous concentrons sur la nouvelle intégration entre Data Wrangler et Autopilot pour préparer les données et créer automatiquement un modèle ML sans écrire une seule ligne de code.

L'ensemble de données contient des informations sur les femmes indiennes Pima de 21 ans ou plus et comprend plusieurs variables prédictives médicales (indépendantes) et une variable cible (dépendante), Outcome. Le tableau suivant décrit les colonnes de notre jeu de données.

Colonne Nom	Description
Grossesses	Le nombre de fois enceinte
Glucose	Concentration plasmatique de glucose dans un test oral de tolérance au glucose dans les 2 heures
Pression artérielle	Tension artérielle diastolique (mm Hg)
Épaisseur de peau	Épaisseur du pli cutané du triceps (mm)
Insuline	Insuline sérique de 2 heures (mu U/ml)
Test IMC - Calcul de votre index de masse corporelle	Indice de masse corporelle (poids en kg/(taille en m)^2)
DiabètePedigree	Fonction généalogique du diabète
Âge	Age en années
Résultat	La variable cible

L'ensemble de données contient 768 enregistrements, avec 9 caractéristiques au total. Nous stockons cet ensemble de données dans Seau de stockage simple d'Amazon (Amazon S3) en tant que fichier CSV, puis importez le CSV directement dans un flux Data Wrangler à partir d'Amazon S3.

Vue d'ensemble de la solution

Le schéma suivant résume ce que nous accomplissons dans cet article.[KT1]

Les scientifiques des données, les médecins et d'autres experts du domaine médical fournissent aux données des patients des informations sur les niveaux de glucose, la pression artérielle, l'indice de masse corporelle et d'autres caractéristiques utilisées pour prédire la probabilité d'avoir le diabète. Avec l'ensemble de données dans Amazon S3, nous importons l'ensemble de données dans Data Wrangler pour effectuer une analyse exploratoire des données (EDA), le profilage des données, l'ingénierie des fonctionnalités et la division de l'ensemble de données en train et test pour la construction et l'évaluation du modèle.

Nous utilisons ensuite la nouvelle intégration de fonctionnalités d'Autopilot pour créer rapidement un modèle directement à partir de l'interface Data Wrangler. Nous choisissons le meilleur modèle d'Autopilot en fonction du modèle avec le score F-bêta le plus élevé. Une fois que le pilote automatique a trouvé le meilleur modèle, nous exécutons une Transformation par lots SageMaker travail sur le test (holdout) défini avec les artefacts de modèle du meilleur modèle pour évaluation.

Les experts médicaux peuvent fournir de nouvelles données au modèle validé pour obtenir une prédiction pour voir si un patient sera probablement atteint de diabète. Grâce à ces informations, les experts médicaux peuvent commencer un traitement tôt pour améliorer la santé et le bien-être des populations vulnérables. Les experts médicaux peuvent également expliquer la prédiction d'un modèle en référençant les détails du modèle dans Autopilot, car ils ont une visibilité complète sur l'explicabilité, les performances et les artefacts du modèle. Cette visibilité, en plus de la validation du modèle à partir de l'ensemble de test, donne aux experts médicaux une plus grande confiance dans la capacité prédictive du modèle.

Nous vous guidons à travers les étapes de haut niveau suivantes.

1. Importez l'ensemble de données depuis Amazon S3.
2. Effectuez l'EDA et le profilage des données avec Data Wrangler.
3. Effectuez une ingénierie des fonctionnalités pour gérer les valeurs aberrantes et les valeurs manquantes.
4. Divisez les données en ensembles d'apprentissage et de test.
5. Entraînez et construisez un modèle avec Autopilot.
6. Testez le modèle sur un échantillon restant avec un bloc-notes SageMaker.
7. Analysez la validation et les performances des ensembles de tests.

Pré-requis

Effectuez les étapes préalables suivantes :

1. Charger le jeu de données à un compartiment S3 de votre choix.
2. Assurez-vous de disposer des autorisations nécessaires. Pour plus d'informations, reportez-vous à Premiers pas avec Data Wrangler.
3. Configurez un domaine SageMaker configuré pour utiliser Data Wrangler. Pour obtenir des instructions, reportez-vous à Intégration au domaine Amazon SageMaker.

Importez votre jeu de données avec Data Wrangler

Vous pouvez intégrer un flux de données Data Wrangler dans vos flux de travail ML pour simplifier et rationaliser le prétraitement des données et l'ingénierie des fonctionnalités en utilisant peu ou pas de codage. Effectuez les étapes suivantes :

1. Créer un nouveau Flux de Data Wrangler.

Si c'est la première fois que vous ouvrez Data Wrangler, vous devrez peut-être attendre quelques minutes pour qu'il soit prêt.

2. Choisissez l'ensemble de données stocké dans Amazon S3 et importez-le dans Data Wrangler.

Après avoir importé le jeu de données, vous devriez voir les débuts d'un flux de données dans l'interface utilisateur de Data Wrangler. Vous avez maintenant un organigramme.

3. Choisissez le signe plus à côté de Types de données et choisissez Modifier pour confirmer que Data Wrangler a automatiquement déduit les types de données corrects pour vos colonnes de données.

Si les types de données ne sont pas corrects, vous pouvez facilement les modifier via l'interface utilisateur. Si plusieurs sources de données sont présentes, vous pouvez les joindre ou les concaténer.

Nous pouvons maintenant créer une analyse et ajouter des transformations.

Effectuez une analyse exploratoire des données avec le rapport d'analyse des données

L'analyse exploratoire des données est un élément essentiel du flux de travail ML. Nous pouvons utiliser le nouveau rapport d'analyse des données de Data Wrangler pour mieux comprendre le profil et la distribution de nos données. Le rapport comprend des statistiques récapitulatives, des avertissements sur la qualité des données, des informations sur les colonnes cibles, un modèle rapide et des informations sur les lignes anormales et en double.

1. Choisissez le signe plus à côté de Types de données et choisissez Obtenez des informations sur les données.

2. Pour Target colonne, choisissez Résultat.
3. Pour Type de problème, et (éventuellement) sélectionnez Classification.
4. Selectionnez Création.

Les résultats affichent un résumé des données avec les statistiques du jeu de données.

Nous pouvons également afficher la distribution des lignes étiquetées avec un histogramme, une estimation de la qualité prévue prévue du modèle avec la fonctionnalité de modèle rapide et un tableau récapitulatif des fonctionnalités.

Nous n'entrons pas dans les détails de l'analyse du rapport d'analyse des données ; faire référence à Accélérez la préparation des données grâce à la qualité des données et aux informations dans Amazon SageMaker Data Wrangler pour plus de détails sur la façon dont vous pouvez utiliser le rapport d'informations sur les données pour accélérer vos étapes de préparation des données.

Réaliser l'ingénierie des fonctionnalités

Maintenant que nous avons profilé et analysé la distribution de nos colonnes d'entrée à un niveau élevé, la première considération pour améliorer la qualité de nos données pourrait être de gérer les valeurs manquantes.

Par exemple, nous savons que les zéros (0) pour le Insulin colonne représentent les valeurs manquantes. Nous pourrions suivre la recommandation de remplacer les zéros par NaN. Mais en y regardant de plus près, nous constatons que la valeur minimale est 0 pour d'autres colonnes telles que Glucose, BloodPressure, SkinThicknesset BMI. Nous avons besoin d'un moyen de gérer les valeurs manquantes, mais devons être sensibles aux colonnes avec des zéros comme données valides. Voyons comment nous pouvons résoudre ce problème.

Dans le Longs Détails section, le rapport soulève une Valeur manquante déguisée avertissement pour la fonctionnalité Insulin.

Parce que les zéros dans Insulin colonne sont en fait des données manquantes, nous utilisons le Convertir l'expression régulière en manquant transform pour transformer les valeurs nulles en valeurs vides (valeurs manquantes).

1. Choisissez le signe plus à côté de Données types et choisissez Ajouter transform .
2.  Selectionnez Rechercher et modifier.
3. Pour Transformer, choisissez Convertir l'expression régulière en manquant.
4. Pour Entrée colonnes, choisissez les colonnes Insulin, Glucose, BloodPressure, SkinThicknesset BMI.
5. Pour Patron de Couture, Entrer 0.
6. Selectionnez Aperçu ainsi que Ajouter pour enregistrer cette étape.

Les 0 entrées sous Insulin, Glucose, BloodPressure, SkinThicknesset BMI sont maintenant des valeurs manquantes.

Data Wrangler vous offre quelques autres options pour corriger les valeurs manquantes.

7. Nous traitons les valeurs manquantes en imputant la médiane approximative pour le Glucose colonne.

Nous voulons également nous assurer que nos fonctionnalités sont à la même échelle. Nous ne voulons pas accidentellement donner plus de poids à une certaine caractéristique simplement parce qu'elle contient une plus grande plage numérique. Nous normalisons nos fonctionnalités pour ce faire.

8. Ajouter un nouveau Processus numérique transformer et choisir Valeurs d'échelle.
9. Pour Écailleur, choisissez Détartreur min-max.
10. Pour Colonnes d'entrée, choisissez les colonnes Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMIet Age.
11. Ensemble Min à 0 ainsi que Max à 1.

Cela garantit que nos caractéristiques se situent entre les valeurs 0 ainsi que 1.

Maintenant que nous avons créé certaines fonctionnalités, nous divisons notre ensemble de données en formation et test avant de créer un modèle.

Divisez les données en formation et en test

Dans la phase de création de modèle de votre flux de travail ML, vous testez l'efficacité de votre modèle en exécutant des prédictions par lots. Vous pouvez mettre de côté un ensemble de données de test ou d'exclusion pour évaluation afin de voir comment votre modèle fonctionne en comparant les prédictions à la vérité terrain. Généralement, si un plus grand nombre de prédictions du modèle correspondent aux true étiquettes, nous pouvons déterminer que le modèle fonctionne bien.

Nous utilisons Data Wrangler pour diviser notre ensemble de données à des fins de test. Nous conservons 90 % de notre ensemble de données pour la formation, car nous avons un ensemble de données relativement petit. Les 10 % restants de notre ensemble de données servent d'ensemble de données de test. Nous utilisons cet ensemble de données pour valider le modèle Autopilot plus loin dans cet article.

Nous divisons nos données en choisissant le Diviser les données transformer et choisir Répartition aléatoire comme méthode. Nous désignons 0.9 comme pourcentage de fractionnement pour la formation et 0.1 pour les tests.

Une fois la transformation des données et les étapes d'ingénierie terminées, nous sommes maintenant prêts à former un modèle.

Former et valider le modèle

Nous pouvons utiliser la nouvelle intégration Data Wrangler avec Autopilot pour former directement un modèle à partir de l'interface utilisateur du flux de données Data Wrangler.

1. Choisissez le signe plus à côté de Ensemble de données et choisissez Modèle de train.

2. Pour Emplacement Amazon S3, spécifiez l'emplacement Amazon S3 où SageMaker exporte vos données.

Le pilote automatique utilise cet emplacement pour former automatiquement un modèle, ce qui vous évite de devoir définir l'emplacement de sortie du flux Data Wrangler, puis d'avoir à définir l'emplacement d'entrée des données de formation du pilote automatique. Cela permet une expérience plus transparente.

3. Selectionnez Exportations et former pour lancer la construction du modèle avec le pilote automatique.

Le pilote automatique sélectionne automatiquement les emplacements d'entrée et de sortie des données d'entraînement. Il vous suffit de spécifier la colonne cible et de cliquer sur Créer une expérience pour former votre modèle.

Tester le modèle sur un échantillon restant

Lorsque Autopilot termine l'expérience, nous pouvons afficher les résultats de la formation et explorer le meilleur modèle.

1. Selectionnez Afficher les détails du modèle pour le modèle souhaité, puis choisissez le Performance sur la page des détails du modèle.

La Performance L'onglet affiche plusieurs tests de mesure du modèle, y compris une matrice de confusion, la zone sous la courbe de précision/rappel (AUCPR) et la zone sous la courbe caractéristique de fonctionnement du récepteur (ROC). Ceux-ci illustrent les performances globales de validation du modèle, mais ils ne nous disent pas si le modèle se généralisera bien. Nous devons encore effectuer des évaluations sur des données de test inédites pour voir avec quelle précision le modèle prédit si un individu sera atteint de diabète.

Pour s'assurer que le modèle se généralise suffisamment bien, nous avons mis de côté l'échantillon de test pour un échantillonnage indépendant. Nous pouvons le faire dans l'interface utilisateur du flux Data Wrangler.

2.  Choisissez le signe plus à côté de Ensemble de données, choisissez Exporter verset choisissez Amazon S3.

3. Spécifiez un chemin Amazon S3.

Nous nous référons à ce chemin lorsque nous exécutons l'inférence par lots pour la validation dans la section suivante.

4. Créez un nouveau bloc-notes SageMaker pour effectuer une inférence par lots sur l'échantillon restant et évaluer les performances du test. Reportez-vous à ce qui suit GitHub repo pour exemple de cahier pour exécuter l'inférence par lots pour la validation.

Analysez la validation et les performances des ensembles de test

Lorsque la transformation par lots est terminée, nous créons une matrice de confusion pour comparer les résultats réels et prévus de l'ensemble de données exclues.

Nous voyons 23 vrais positifs et 33 vrais négatifs de nos résultats. Dans notre cas, les vrais positifs font référence au modèle prédisant correctement qu'un individu est atteint de diabète. En revanche, les vrais négatifs font référence au modèle prédisant correctement qu'un individu n'a pas de diabète.

Dans notre cas, la précision et le rappel sont des mesures importantes. La précision mesure essentiellement toutes les personnes susceptibles d'être atteintes de diabète, combien sont réellement atteintes de diabète ? En revanche, le rappel aide à mesurer tous les individus qui ont effectivement le diabète, combien ont été prédits pour avoir le diabète ? Par exemple, vous souhaiterez peut-être utiliser un modèle avec une grande précision parce que vous souhaitez traiter autant de personnes que possible, en particulier si la première étape du traitement n'a aucun effet sur les personnes non diabétiques (ce sont des faux positifs - ceux étiquetés comme l'ayant alors qu'en fait ils ne le font pas).

Nous traçons également l'aire sous le graphique de la courbe ROC (AUC) pour évaluer les résultats. Plus l'ASC est élevée, plus le modèle est efficace pour distinguer les classes, ce qui dans notre cas correspond à la capacité du modèle à distinguer les patients avec et sans diabète.

Conclusion

Dans cet article, nous avons montré comment intégrer votre traitement de données, avec l'ingénierie et la construction de modèles à l'aide de Data Wrangler et Autopilot. Nous avons souligné comment vous pouvez facilement former et régler un modèle avec Autopilot directement à partir de l'interface utilisateur de Data Wrangler. Grâce à cette fonctionnalité d'intégration, nous pouvons rapidement créer un modèle après avoir terminé l'ingénierie des fonctionnalités, sans écrire de code. Ensuite, nous avons référencé le meilleur modèle d'Autopilot pour exécuter des prédictions par lots à l'aide de la classe AutoML avec le SDK Python SageMaker.

Les solutions low-code et AutoML telles que Data Wrangler et Autopilot éliminent le besoin d'avoir des connaissances approfondies en matière de codage pour créer des modèles ML robustes. Premiers pas avec Data Wrangler aujourd'hui pour découvrir à quel point il est facile de créer des modèles de ML à l'aide Pilote automatique SageMaker.

---

À propos des auteurs

Pierre Chung est un architecte de solutions pour AWS et se passionne pour aider les clients à découvrir des informations à partir de leurs données. Il a développé des solutions pour aider les organisations à prendre des décisions basées sur les données dans les secteurs public et privé. Il détient toutes les certifications AWS ainsi que deux certifications GCP. Il aime le café, cuisiner, rester actif et passer du temps avec sa famille.

Pradeep Reddy est chef de produit senior au sein de l'équipe SageMaker Low/No Code ML, qui comprend SageMaker Autopilot, SageMaker Automatic Model Tuner. En dehors du travail, Pradeep aime lire, courir et s'amuser avec des ordinateurs de la taille d'une paume comme Raspberry Pi et d'autres technologies de domotique.

Arunprasath Shankar est un architecte de solutions spécialisé en intelligence artificielle et apprentissage automatique (AI / ML) avec AWS, qui aide les clients du monde entier à faire évoluer leurs solutions d'IA de manière efficace et efficiente dans le cloud. Dans ses temps libres, Arun aime regarder des films de science-fiction et écouter de la musique classique.

Sroujan Gopu est un ingénieur frontend senior dans SageMaker Low Code/No Code ML qui aide les clients des produits Autopilot et Canvas. Lorsqu'il ne code pas, Srujan aime aller courir avec son chien Max, écouter des livres audio et développer des jeux en réalité virtuelle.

• Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
• Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
• CryptoHawk. Radar Altcoins. Essai gratuit.
• Source : https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/