Identifiez l'emplacement des anomalies à l'aide d'Amazon Lookout for Vision en périphérie sans utiliser de GPU

La détection automatisée des défauts à l'aide de la vision par ordinateur permet d'améliorer la qualité et de réduire le coût de l'inspection. La détection des défauts implique l'identification de la présence d'un défaut, la classification des types de défauts et l'identification de l'emplacement des défauts. De nombreux processus de fabrication nécessitent une détection à faible latence, avec des ressources de calcul limitées et une connectivité limitée.

Amazon Lookout pour Vision est un service d'apprentissage automatique (ML) qui aide à repérer les défauts des produits à l'aide de la vision par ordinateur pour automatiser le processus d'inspection de la qualité dans vos lignes de fabrication, sans qu'aucune expertise en ML ne soit requise. Lookout for Vision inclut désormais la possibilité de fournir l'emplacement et le type d'anomalies à l'aide de modèles ML de segmentation sémantique. Ces modèles ML personnalisés peuvent être déployés sur le cloud AWS à l'aide API cloud ou au matériel de bord personnalisé à l'aide AWS IoT Greengrass. Lookout for Vision prend désormais en charge l'inférence sur une plate-forme de calcul x86 exécutant Linux avec ou sans accélérateur GPU NVIDIA et sur n'importe quelle appliance de périphérie basée sur NVIDIA Jetson. Cette flexibilité permet la détection de défauts sur du matériel existant ou nouveau.

Dans cet article, nous vous montrons comment détecter les pièces défectueuses à l'aide de modèles Lookout for Vision ML exécutés sur un appareil périphérique, que nous simulons à l'aide d'un Cloud de calcul élastique Amazon (Amazon EC2). Nous passons en revue la formation des nouveaux modèles de segmentation sémantique, les exportons en tant que composants AWS IoT Greengrass et exécutons l'inférence en mode CPU uniquement avec un exemple de code Python.

Vue d'ensemble de la solution

Dans cet article, nous utilisons un ensemble de photos de extraterrestres jouets composé d'images normales et défectueuses telles que des membres, des yeux ou d'autres parties manquants. Nous entraînons un modèle Lookout for Vision dans le cloud pour identifier les extraterrestres jouets défectueux. Nous compilons le modèle sur un processeur X86 cible, empaquetons le modèle Lookout for Vision formé en tant que composant AWS IoT Greengrass et déployons le modèle sur une instance EC2 sans GPU à l'aide de la console AWS IoT Greengrass. Enfin, nous démontrons un exemple d'application basé sur Python s'exécutant sur l'instance EC2 (C5a.2xl) qui extrait les images extraterrestres jouets du système de fichiers du périphérique périphérique, exécute l'inférence sur le modèle Lookout for Vision à l'aide du gRPC interface, et envoie les données d'inférence à un MQTT sujet dans le cloud AWS. Les scripts génèrent une image qui inclut la couleur et l'emplacement des défauts sur l'image anormale.

Le diagramme suivant illustre l'architecture de la solution. Il est important de noter que pour chaque type de défaut que vous souhaitez détecter en localisation, vous devez avoir 10 images d'anomalies marquées en formation et 10 en données de test, pour un total de 20 images de ce type. Pour ce post, nous recherchons les membres manquants sur le jouet.

La solution a le workflow suivant :

1. Importez un ensemble de données d'entraînement et un ensemble de données de test dans Service de stockage simple Amazon (Amazon S3).
2. Utilisez la nouvelle interface utilisateur Lookout for Vision pour ajouter un type d'anomalie et marquer l'emplacement de ces anomalies dans les images d'entraînement et de test.
3. Entraînez un modèle Lookout for Vision dans le cloud.
4. Compilez le modèle sur l'architecture cible (X86) et déployez le modèle sur l'instance EC2 (C5a.2xl) à l'aide de la console AWS IoT Greengrass.
5. Images sources à partir du disque local.
6. Exécutez des inférences sur le modèle déployé via l'interface gRPC et récupérez une image des masques d'anomalies superposée à l'image d'origine.
7. Publiez les résultats de l'inférence sur un client MQTT exécuté sur l'instance Edge.
8. Recevoir le message MQTT sur un sujet dans Noyau AWS IoT dans le cloud AWS pour une surveillance et une visualisation supplémentaires.

Les étapes 5, 6 et 7 sont coordonnées avec l'exemple d'application Python.

Pré-requis

Avant de commencer, remplissez les conditions préalables suivantes. Pour cet article, nous utilisons une instance EC2 c5.2xl et y installons AWS IoT Greengrass V2 pour tester les nouvelles fonctionnalités. Si vous souhaitez exécuter sur un NVIDIA Jetson, suivez les étapes de notre post précédent, Amazon Lookout for Vision prend désormais en charge l'inspection visuelle des défauts du produit à la périphérie.

1. Créer un compte AWS.
2. Démarrez une instance EC2 sur laquelle nous pouvons installer AWS IoT Greengrass et utilisez le nouveau mode d'inférence CPU uniquement. Vous pouvez également utiliser une machine Intel X86 64 bits avec 8 gigaoctets de RAM ou plus (nous utilisons un c5a.2xl, mais tout avec supérieur à 8 gigaoctets sur la plate-forme x86 devrait fonctionner) sous Ubuntu 20.04.
3. Installez AWS IoT Greengrass V2 :

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. Installez le système nécessaire et les dépendances Python 3 (Ubuntu 20.04) :

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

Téléchargez le jeu de données et entraînez le modèle

Nous utilisons les ensemble de données sur les extraterrestres jouets pour démontrer la solution. Le jeu de données contient des images normales et anormales. Voici quelques exemples d'images de l'ensemble de données.

L'image suivante montre un extraterrestre jouet normal.

L'image suivante montre un extraterrestre jouet auquel il manque une jambe.

L'image suivante montre un extraterrestre jouet auquel il manque une tête.

Dans cet article, nous recherchons les membres manquants. Nous utilisons la nouvelle interface utilisateur pour tracer un masque autour des défauts de nos données d'entraînement et de tests. Cela indiquera aux modèles de segmentation sémantique comment identifier ce type de défaut.

1. Commencez par télécharger votre ensemble de données, soit via Amazon S3, soit depuis votre ordinateur.
2. Triez-les dans des dossiers intitulés normal et de anomaly.
3. Lors de la création de votre ensemble de données, sélectionnez Joindre automatiquement des étiquettes aux images en fonction du nom du dossier.Cela nous permet de trier les images anormales plus tard et de dessiner les zones à étiqueter avec un défaut.
   
4. Essayez de retenir quelques images pour tester plus tard les deux normal et de anomaly.
5. Une fois toutes les images ajoutées au jeu de données, choisissez Ajouter des libellés d'anomalie.
6. Commencez à étiqueter les données en choisissant Commencer l'étiquetage.
7. Pour accélérer le processus, vous pouvez sélectionner plusieurs images et les classer comme Normal or Anomaly.
   
   Si vous souhaitez mettre en évidence des anomalies en plus de les classer, vous devez mettre en évidence l'emplacement des anomalies.
8. Choisissez l'image que vous souhaitez annoter.
9. Utilisez les outils de dessin pour montrer la zone où une partie du sujet manque ou dessinez un masque sur le défaut.
10. Selectionnez Soumettre et fermer pour conserver ces modifications.
    
11. Répétez ce processus pour toutes vos images.
12. Lorsque vous avez terminé, choisissez Épargnez pour conserver vos modifications. Vous êtes maintenant prêt à former votre modèle.
    
13. Selectionnez Modèle de train.

Une fois ces étapes terminées, vous pouvez accéder au projet et au Des modèles photo page pour vérifier les performances du modèle entraîné. Vous pouvez démarrer le processus d'exportation du modèle vers l'appareil Edge cible à tout moment après la formation du modèle.

Réentraîner le modèle avec des images corrigées

Parfois, le marquage des anomalies peut ne pas être tout à fait correct. Vous avez la possibilité d'aider votre modèle à mieux apprendre vos anomalies. Par exemple, l'image suivante est identifiée comme une anomalie, mais ne montre pas le missing_limbs Étiquette.

Ouvrons l'éditeur et corrigeons cela.

Parcourez toutes les images que vous trouvez comme celle-ci. Si vous constatez qu'il s'agit d'une anomalie étiquetée de manière incorrecte, vous pouvez utiliser l'outil gomme pour supprimer l'étiquette incorrecte.

Vous pouvez maintenant réentraîner votre modèle et obtenir une meilleure précision.

Compiler et empaqueter le modèle en tant que composant AWS IoT Greengrass

Dans cette section, nous passons en revue les étapes pour compiler le modèle extraterrestre jouet sur notre appareil périphérique cible et emballer le modèle en tant que composant AWS IoT Greengrass.

1. Sur la console Lookout for Vision, choisissez votre projet.
2. Dans le volet de navigation, choisissez Paquets de modèles Edge.
3. Selectionnez Créer une tâche d'emballage de modèle.
4. Pour Nom du travail, entrez un nom.
5. Pour Description de l'emploi, entrez une description facultative.
6. Selectionnez Parcourir les modèles.
7. Sélectionnez la version du modèle (le modèle extraterrestre jouet construit dans la section précédente).
8. Selectionnez Selectionnez.
   
9. Si vous l'exécutez sur Amazon EC2 ou un appareil X86-64, sélectionnez Plate-forme cible et choisissez Linux/Unix, X86et une Processeur.
   Si vous utilisez un processeur, vous pouvez laisser les options du compilateur vides si vous n'êtes pas sûr et que vous n'avez pas de GPU NVIDIA. Si vous disposez d'une plate-forme basée sur Intel qui prend en charge AVX512, vous pouvez ajouter ces options de compilateur pour optimiser les performances : {"mcpu": "skylake-avx512"}.
   Vous pouvez voir le nom et l'état de votre tâche sous la forme In progress. La tâche d'empaquetage du modèle peut prendre quelques minutes. Lorsque la tâche d'empaquetage du modèle est terminée, l'état s'affiche comme suit : Success.
10. Choisissez votre nom de poste (dans notre cas c'est aliensblogcpux86) pour voir les détails de la tâche.
    
11. Selectionnez Créer une tâche d'emballage de modèle.
    
12. Entrez les détails pour Nom du composant, Description des composants (optionnel), Version du composantet une Emplacement des composants.Lookout for Vision stocke les recettes de composants et les artefacts dans cet emplacement Amazon S3.
13. Selectionnez Poursuivre le déploiement dans Greengrass pour déployer le composant sur l'appareil Edge cible.
    

Le composant AWS IoT Greengrass et les artefacts de modèle ont été créés dans votre compte AWS.

Déployer le modèle

Assurez-vous que AWS IoT Greengrass V2 est installé sur votre appareil cible pour votre compte avant de continuer. Pour obtenir des instructions, reportez-vous à Installer le logiciel AWS IoT Greengrass Core.

Dans cette section, nous passons en revue les étapes de déploiement du modèle extraterrestre jouet sur l'appareil périphérique à l'aide de la console AWS IoT Greengrass.

1. Sur la console AWS IoT Greengrass, accédez à votre appareil périphérique.
2. Selectionnez Déployer pour lancer les étapes de déploiement.
3. Sélectionnez Dispositif principal (parce que le déploiement est sur un seul appareil) et entrez un nom pour Nom de la cible.Le nom cible est le même que celui que vous avez utilisé pour nommer l'appareil principal lors du processus d'installation d'AWS IoT Greengrass V2.
4. Choisissez votre composant. Dans notre cas, le nom du composant est aliensblogcpux86, qui contient le modèle extraterrestre jouet.
5. Selectionnez Suivant.
6. Configurez le composant (facultatif).
7. Selectionnez Suivant.
8. Développer vous Politiques de déploiement.
9. Pour Politique de mise à jour des composants, sélectionnez Notifier les composantsCela permet au composant déjà déployé (une version antérieure du composant) de différer une mise à jour jusqu'à ce que vous soyez prêt à mettre à jour.
10. Pour Politique de gestion des pannes, sélectionnez Ne recule pas.En cas d'échec, cette option nous permet d'enquêter sur les erreurs de déploiement.
11. Selectionnez Suivant.
12. Passez en revue la liste des composants qui seront déployés sur l'appareil cible (périphérique).
13. Selectionnez Suivant.Vous devriez voir le message Deployment successfully created.
14. Pour vérifier que le déploiement du modèle a réussi, exécutez la commande suivante sur votre appareil périphérique :

    sudo /greengrass/v2/bin/greengrass-cli component list

Vous devriez voir une sortie similaire exécutant le aliensblogcpux86 script de démarrage du cycle de vie :

Composants actuellement exécutés dans Greengrass :

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

Exécuter des inférences sur le modèle

Notes: Si vous exécutez Greengrass en tant qu'un autre utilisateur que celui sous lequel vous êtes connecté, vous devrez modifier les autorisations du fichier /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

Nous sommes maintenant prêts à exécuter des inférences sur le modèle. Sur votre appareil périphérique, exécutez la commande suivante pour charger le modèle (remplacez avec le nom du modèle utilisé dans votre composant) :

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

Pour générer des inférences, exécutez la commande suivante avec le nom du fichier source (remplacez avec le chemin et le nom du fichier de l'image à vérifier et à remplacer avec le nom du modèle utilisé pour votre composant) :

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

Le modèle prédit correctement l'image comme anormale (missing_limbs) avec un score de confiance de 0.9996867775917053. Il nous indique le masque de la balise d'anomalie missing_limbs et la zone de pourcentage. La réponse contient également des données bitmap que vous pouvez décoder à partir de ce qu'elle a trouvé.

Téléchargez et ouvrez le fichier blended.png, qui ressemble à l'image suivante. Notez la zone mise en évidence avec le défaut autour des jambes.

Histoires de clients

Avec AWS IoT Greengrass et Lookout for Vision, vous pouvez désormais automatiser l'inspection visuelle grâce à la vision par ordinateur pour des processus tels que le contrôle qualité et l'évaluation des défauts, le tout en périphérie et en temps réel. Vous pouvez identifier de manière proactive des problèmes tels que des pièces endommagées (comme des bosses, des rayures ou une mauvaise soudure), des composants de produit manquants ou des défauts avec des motifs répétitifs sur la ligne de production elle-même, ce qui vous permet d'économiser du temps et de l'argent. Des clients comme Tyson et Baxter découvrent la puissance de Lookout for Vision pour améliorer la qualité et réduire les coûts opérationnels en automatisant l'inspection visuelle.

« L'excellence opérationnelle est une priorité clé chez Tyson Foods. La maintenance prédictive est un atout essentiel pour atteindre cet objectif en améliorant continuellement l'efficacité globale des équipements (OEE). En 2021, Tyson Foods a lancé un projet de vision par ordinateur basé sur l'apprentissage automatique pour identifier les transporteurs de produits défaillants pendant la production afin de les empêcher d'avoir un impact sur la sécurité, les opérations ou la qualité des produits des membres de l'équipe. Les modèles formés à l'aide d'Amazon Lookout for Vision ont obtenu de bons résultats. Le modèle de détection de broches a atteint une précision de 95 % dans les deux classes. Le modèle Amazon Lookout for Vision a été réglé pour fonctionner avec une précision de 99.1 % en cas d'échec de la détection des broches. Le résultat de loin le plus excitant de ce projet a été l'accélération du temps de développement. Bien que ce projet utilise deux modèles et un code d'application plus complexe, il a fallu 12 % de temps en moins pour le développeur. Ce projet de surveillance de l'état des transporteurs de produits chez Tyson Foods a été réalisé en un temps record à l'aide des services gérés d'AWS tels qu'Amazon Lookout for Vision.

—Audrey Timmerman, développeur d'applications senior, Tyson Foods.

« La latence et la vitesse d'inférence sont essentielles pour l'évaluation en temps réel et les contrôles de qualité critiques de nos processus de fabrication. Amazon Lookout for Vision Edge sur un appareil CPU nous donne la possibilité d'atteindre cet objectif sur un équipement de production, ce qui nous permet de fournir des solutions de vision IA rentables à grande échelle.

—AK Karan, directeur principal mondial - Transformation numérique, chaîne d'approvisionnement intégrée, Baxter International Inc.

Nettoyer

Effectuez les étapes suivantes pour supprimer les actifs que vous avez créés de votre compte et éviter toute facturation en cours :

1. Dans la console Lookout for Vision, accédez à votre projet.
2. Sur le Actions menu, supprimez vos ensembles de données.
   
3. Supprimez vos modèles.
   
4. Sur la console Amazon S3, videz les compartiments que vous avez créés, puis supprimez les compartiments.
5. Sur la console Amazon EC2, supprimez l'instance que vous avez démarrée pour exécuter AWS IoT Greengrass.
6. Sur la console AWS IoT Greengrass, choisissez Déploiements dans le volet de navigation.
7. Supprimez les versions de vos composants.
   
8. Sur la console AWS IoT Greengrass, supprimez les objets, groupes et appareils AWS IoT.

Conclusion

Dans cet article, nous avons décrit un scénario typique de détection de défauts industriels à la périphérie utilisant la localisation des défauts et déployé sur un appareil uniquement CPU. Nous avons parcouru les composants clés du cycle de vie du cloud et de la périphérie avec un exemple de bout en bout utilisant Lookout for Vision et AWS IoT Greengrass. Avec Lookout for Vision, nous avons entraîné un modèle de détection d'anomalies dans le cloud à l'aide de jeu de données extraterrestre jouet, compilé le modèle dans une architecture cible et empaqueté le modèle en tant que composant AWS IoT Greengrass. Avec AWS IoT Greengrass, nous avons déployé le modèle sur un appareil périphérique. Nous avons présenté un exemple d'application basé sur Python qui extrait des images extraterrestres jouets du système de fichiers local de l'appareil périphérique, exécute les inférences sur le modèle Lookout for Vision à la périphérie à l'aide de l'interface gRPC et envoie les données d'inférence à une rubrique MQTT dans AWS. Nuage.

Dans un prochain article, nous montrerons comment exécuter des inférences sur un flux d'images en temps réel à l'aide d'un pipeline multimédia GStreamer.

Commencez votre voyage vers la détection et l'identification des anomalies industrielles en visitant le Amazon Lookout pour Vision et de AWS IoT Greengrass pages ressources.

À propos des auteurs

Manish Talréja est Senior Industrial ML Practice Manager avec AWS Professional Services. Il aide les clients AWS à atteindre leurs objectifs commerciaux en concevant et en créant des solutions innovantes qui utilisent les services AWS ML et IoT sur le cloud AWS.

Ryan Vanderwerf est architecte de solutions partenaire chez Amazon Web Services. Il a précédemment fourni des services de conseil et de développement de projets axés sur les machines virtuelles Java en tant qu'ingénieur logiciel chez OCI au sein de l'équipe Grails et Micronaut. Il était architecte en chef/directeur des produits chez ReachForce, avec un accent sur l'architecture logicielle et système pour les solutions AWS Cloud SaaS pour la gestion des données marketing. Ryan a construit plusieurs solutions SaaS dans plusieurs domaines tels que les entreprises financières, médiatiques, de télécommunications et d'apprentissage en ligne depuis 1996.

Prakash Krishnan est responsable principal du développement logiciel chez Amazon Web Services. Il dirige les équipes d'ingénierie qui construisent des systèmes distribués à grande échelle pour appliquer des algorithmes rapides, efficaces et hautement évolutifs aux problèmes de reconnaissance d'images et de vidéos basés sur l'apprentissage en profondeur.