Chronomics détecte les résultats des tests COVID-19 avec les étiquettes personnalisées Amazon Rekognition

Chronomique est une entreprise de technologie et de biotechnologie qui utilise des biomarqueurs (informations quantifiables issues de l'analyse de molécules) parallèlement à la technologie pour démocratiser l'utilisation de la science et des données afin d'améliorer la vie des gens. Leur objectif est d'analyser des échantillons biologiques et de fournir des informations exploitables pour vous aider à prendre des décisions, sur tout ce qui nécessite d'en savoir plus sur l'invisible. La plate-forme Chronomics permet aux prestataires de mettre en œuvre de manière transparente et à grande échelle des diagnostics à domicile, le tout sans sacrifier l'efficacité ou la précision. Il a déjà traité des millions de tests via cette plateforme et offre une expérience de diagnostic de haute qualité.

Pendant la pandémie de COVID-19, Chronomics a vendu des tests à flux latéral (LFT) pour détecter le COVID-19. Les utilisateurs enregistrent le test sur la plateforme en téléchargeant une photo de la cassette de test et en saisissant une lecture manuelle du test (positive, négative ou invalide). Avec l’augmentation du nombre de tests et d’utilisateurs, il est rapidement devenu impossible de vérifier manuellement si le résultat rapporté correspondait au résultat présenté dans l’image du test. Chronomics souhaitait créer une solution évolutive utilisant la vision par ordinateur pour vérifier les résultats.

Dans cet article, nous partageons comment Chronomics a utilisé Amazon Reconnaissance pour détecter automatiquement les résultats d’un test de flux latéral COVID-19.

Préparer les données

L'image suivante montre l'image d'une cassette de test téléchargée par un utilisateur. L'ensemble de données se compose d'images comme celle-ci. Ces images doivent être classées comme positives, négatives ou invalides, correspondant au résultat d’un test COVID-19.

Les principaux défis liés à l’ensemble de données étaient les suivants :

• Ensemble de données déséquilibré – L’ensemble de données était extrêmement asymétrique. Plus de 90 % des échantillons appartenaient à la classe négative.
• Entrées utilisateur peu fiables – Les lectures signalées manuellement par les utilisateurs n'étaient pas fiables. Environ 40 % des lectures ne correspondent pas au résultat réel de l’image.

Pour créer un ensemble de données de formation de haute qualité, les ingénieurs Chronomics ont décidé de suivre ces étapes :

• Annotation manuelle – Sélectionnez et étiquetez manuellement 1,000 XNUMX images pour garantir que les trois classes sont représentées de manière égale
• Augmentation d'images – Augmentez les images étiquetées pour augmenter le nombre à 10,000 XNUMX

L'augmentation de l'image a été réalisée à l'aide Albumentation, une bibliothèque Python open source. Un certain nombre de transformations telles que la rotation, le redimensionnement et la luminosité ont été effectuées pour générer 9,000 XNUMX images synthétiques. Ces images synthétiques ont été ajoutées aux images originales pour créer un ensemble de données de haute qualité.

Création d'un modèle de vision par ordinateur personnalisé avec Amazon Rekognition

Les ingénieurs de Chronomics se sont tournés vers Étiquettes personnalisées Amazon Rekognition, une fonctionnalité d'Amazon Rekognition avec des fonctionnalités AutoML. Une fois les images de formation fournies, il peut automatiquement charger et inspecter les données, sélectionner les bons algorithmes, former un modèle et fournir des mesures de performances du modèle. Cela accélère considérablement le processus de formation et de déploiement d'un modèle de vision par ordinateur, ce qui en fait la principale raison pour laquelle Chronomics a adopté Amazon Rekognition. Avec Amazon Rekognition, nous avons pu obtenir un modèle très précis en 3 à 4 semaines, au lieu de passer 4 mois à essayer de créer un modèle personnalisé pour obtenir les performances souhaitées.

Le diagramme suivant illustre le pipeline de formation du modèle. Les images annotées ont d'abord été prétraitées à l'aide d'un AWS Lambda fonction. Cette étape de prétraitement garantissait que les images étaient dans le format de fichier approprié et effectuait également quelques étapes supplémentaires telles que le redimensionnement de l'image et la conversion de l'image RVB en niveaux de gris. Il a été observé que cela améliorait les performances du modèle.

Une fois le modèle entraîné, il peut être déployé pour inférence en un seul clic ou par appel API.

Performances et réglages du modèle

Le modèle a donné une précision de 96.5 % et un score F1 de 97.9 % sur un ensemble d'images hors échantillon. Le score F1 est une mesure qui utilise à la fois la précision et le rappel pour mesurer les performances d'un classificateur. Le API DetectCustomLabels est utilisé pour détecter les étiquettes d'une image fournie lors de l'inférence. L'API renvoie également la confiance de Rekognition Custom Labels dans l'exactitude de l'étiquette prédite. Le graphique suivant présente la distribution des scores de confiance des étiquettes prédites pour les images. L'axe des X représente le score de confiance multiplié par 100, et l'axe des Y est le nombre de prédictions en échelle logarithmique.

En fixant un seuil sur le score de confiance, nous pouvons filtrer les prédictions dont le niveau de confiance est inférieur. Un seuil de 0.99 a donné une précision de 99.6 % et 5 % des prédictions ont été rejetées. Un seuil de 0.999 a donné une précision de 99.87 %, avec 27 % des prédictions rejetées. Afin de fournir la bonne valeur commerciale, Chronomics a choisi un seuil de 0.99 pour maximiser la précision et minimiser le rejet des prédictions. Pour plus d'informations, voir Analyser une image avec un modèle formé.

Les prédictions rejetées peuvent également être acheminées vers un humain dans la boucle en utilisant IA augmentée d'Amazon (Amazon A2I) pour traiter manuellement l'image. Pour plus d'informations sur la façon de procéder, reportez-vous à Utiliser l'IA augmentée d'Amazon avec Amazon Rekognition.

L'image suivante est un exemple dans lequel le modèle a correctement identifié le test comme invalide avec un niveau de confiance de 0.999.

Conclusion

Dans cet article, nous avons montré la facilité avec laquelle Chronomics a rapidement construit et déployé une solution évolutive basée sur la vision par ordinateur qui utilise Amazon Rekognition pour détecter le résultat d'un test de flux latéral COVID-19. Le API de reconnaissance Amazon permet aux praticiens d'accélérer très facilement le processus de création de modèles de vision par ordinateur.

Découvrez comment vous pouvez entraîner des modèles de vision par ordinateur pour votre cas d'utilisation spécifique en visitant Premiers pas avec les étiquettes personnalisées Amazon Rekognition et en examinant le Guide des étiquettes personnalisées Amazon Rekognition.

---

À propos des auteurs

Mattia Spinelli est ingénieur senior en apprentissage automatique chez Chronomics, une société biomédicale. La plate-forme Chronomics permet aux prestataires de mettre en œuvre de manière transparente et à grande échelle des diagnostics à domicile, le tout sans sacrifier l'efficacité ou la précision.

Pinak Panigrahi travaille avec les clients pour créer des solutions basées sur l'apprentissage automatique afin de résoudre les problèmes commerciaux stratégiques sur AWS. Lorsqu'il n'est pas occupé par l'apprentissage automatique, on peut le trouver en train de faire une randonnée, de lire un livre ou de faire du sport.

Jay Rao est architecte principal de solutions chez AWS. Il aime fournir des conseils techniques et stratégiques aux clients et les aider à concevoir et à mettre en œuvre des solutions sur AWS.

Pashmeen Mistry est chef de produit senior chez AWS. En dehors du travail, Pashmeen aime les randonnées aventureuses, la photographie et passer du temps avec sa famille.