Chronomics erkennt COVID-19-Testergebnisse mit Amazon Rekognition Custom Labels

Chronomik ist ein Tech-Bio-Unternehmen, das Biomarker – quantifizierbare Informationen aus der Analyse von Molekülen – zusammen mit Technologie verwendet, um die Nutzung von Wissenschaft und Daten zu demokratisieren, um das Leben der Menschen zu verbessern. Ihr Ziel ist es, biologische Proben zu analysieren und umsetzbare Informationen zu liefern, die Ihnen bei der Entscheidungsfindung helfen – über alles, wo es wichtig ist, mehr über das Unsichtbare zu wissen. Die Plattform von Chronomics ermöglicht Anbietern die nahtlose Implementierung von Heimdiagnostik in großem Maßstab – und das alles ohne Einbußen bei Effizienz oder Genauigkeit. Es hat bereits Millionen von Tests über diese Plattform verarbeitet und bietet ein qualitativ hochwertiges Diagnoseerlebnis.

Während der COVID-19-Pandemie verkaufte Chronomics Lateral-Flow-Tests (LFT) zum Nachweis von COVID-19. Die Benutzer registrieren den Test auf der Plattform, indem sie ein Bild der Testkassette hochladen und einen manuellen Messwert des Tests (positiv, negativ oder ungültig) eingeben. Mit der zunehmenden Anzahl von Tests und Benutzern wurde es schnell unpraktisch, manuell zu überprüfen, ob das gemeldete Ergebnis mit dem Ergebnis im Bild des Tests übereinstimmte. Chronomics wollte eine skalierbare Lösung entwickeln, die Computer Vision nutzt, um die Ergebnisse zu verifizieren.

In diesem Beitrag teilen wir, wie Chronomics verwendet wird Amazon-Anerkennung um die Ergebnisse eines COVID-19-Lateral-Flow-Tests automatisch zu erkennen.

Daten vorbereiten

Das folgende Bild zeigt das Bild einer von einem Benutzer hochgeladenen Testkassette. Der Datensatz besteht aus Bildern wie diesem. Diese Bilder sind entsprechend dem Ergebnis eines COVID-19-Tests als positiv, negativ oder ungültig einzustufen.

Die größten Herausforderungen mit dem Datensatz waren die folgenden:

• Unausgeglichener Datensatz – Der Datensatz war extrem verzerrt. Mehr als 90 % der Proben stammten aus der Negativklasse.
• Unzuverlässige Benutzereingaben – Messwerte, die von den Benutzern manuell gemeldet wurden, waren nicht zuverlässig. Rund 40 % der Messwerte stimmten nicht mit dem tatsächlichen Ergebnis aus dem Bild überein.

Um einen qualitativ hochwertigen Trainingsdatensatz zu erstellen, entschieden sich die Ingenieure von Chronomics für die folgenden Schritte:

• Manuelle Anmerkung – 1,000 Bilder manuell auswählen und beschriften, um sicherzustellen, dass die drei Klassen gleichmäßig vertreten sind
• Bildvergrößerung – Erweitern Sie die beschrifteten Bilder, um die Anzahl auf 10,000 zu erhöhen

Die Bildvergrößerung wurde durchgeführt mit Albumentationen, eine Open-Source-Python-Bibliothek. Eine Reihe von Transformationen wie Drehung, Neuskalierung und Helligkeit wurden durchgeführt, um 9,000 synthetische Bilder zu erzeugen. Diese synthetischen Bilder wurden den Originalbildern hinzugefügt, um einen hochwertigen Datensatz zu erstellen.

Erstellen eines benutzerdefinierten Computer-Vision-Modells mit Amazon Rekognition

Die Ingenieure von Chronomics wandten sich zu Benutzerdefinierte Etiketten von Amazon Rekognition, eine Funktion von Amazon Rekognition mit AutoML-Funktionen. Nachdem Trainingsbilder bereitgestellt wurden, kann es die Daten automatisch laden und prüfen, die richtigen Algorithmen auswählen, ein Modell trainieren und Modellleistungsmetriken bereitstellen. Dies beschleunigt den Prozess des Trainings und der Bereitstellung eines Computer-Vision-Modells erheblich und ist damit der Hauptgrund für Chronomics, Amazon Rekognition einzuführen. Mit Amazon Rekognition konnten wir in 3–4 Wochen ein hochpräzises Modell erhalten, anstatt 4 Monate damit zu verbringen, ein benutzerdefiniertes Modell zu erstellen, um die gewünschte Leistung zu erzielen.

Das folgende Diagramm veranschaulicht die Modelltrainingspipeline. Die annotierten Bilder wurden zunächst mit einem vorverarbeitet AWS Lambda Funktion. Dieser Vorverarbeitungsschritt stellte sicher, dass die Bilder im geeigneten Dateiformat vorlagen, und führte auch einige zusätzliche Schritte aus, wie die Größenänderung des Bildes und die Konvertierung des Bildes von RGB in Graustufen. Es wurde beobachtet, dass dies die Leistung des Modells verbesserte.

Nachdem das Modell trainiert wurde, kann es mit nur einem Klick oder API-Aufruf für die Inferenz bereitgestellt werden.

Modellleistung und Feinabstimmung

Das Modell ergab eine Genauigkeit von 96.5 % und einen F1-Score von 97.9 % bei einer Reihe von Out-of-Sample-Bildern. Der F1-Score ist ein Maß, das sowohl Präzision als auch Erinnerung verwendet, um die Leistung eines Klassifikators zu messen. Das DetectCustomLabels-API wird verwendet, um die Labels eines gelieferten Bildes während der Inferenz zu erkennen. Die API gibt auch das Vertrauen zurück, das Rekognition Custom Labels in die Genauigkeit des vorhergesagten Labels hat. Das folgende Diagramm zeigt die Verteilung der Konfidenzwerte der vorhergesagten Bezeichnungen für die Bilder. Die x-Achse stellt den Konfidenzwert multipliziert mit 100 dar, und die y-Achse ist die Anzahl der Vorhersagen im logarithmischen Maßstab.

Indem wir einen Schwellenwert für den Konfidenzwert festlegen, können wir Vorhersagen mit geringerer Konfidenz herausfiltern. Ein Schwellenwert von 0.99 führte zu einer Genauigkeit von 99.6 %, und 5 % der Vorhersagen wurden verworfen. Ein Schwellenwert von 0.999 führte zu einer Genauigkeit von 99.87 %, wobei 27 % der Vorhersagen verworfen wurden. Um den richtigen Geschäftswert zu liefern, hat Chronomics einen Schwellenwert von 0.99 gewählt, um die Genauigkeit zu maximieren und die Ablehnung von Vorhersagen zu minimieren. Weitere Informationen finden Sie unter Analysieren eines Bildes mit einem trainierten Modell.

Die verworfenen Vorhersagen können auch an einen Menschen in der Schleife weitergeleitet werden Amazon Augmented AI (Amazon A2I) zur manuellen Bearbeitung des Bildes. Weitere Informationen dazu finden Sie unter Verwenden Sie Amazon Augmented AI mit Amazon Rekognition.

Das folgende Bild ist ein Beispiel, bei dem das Modell den Test mit einer Konfidenz von 0.999 korrekt als ungültig identifiziert hat.

Zusammenfassung

In diesem Beitrag haben wir die Leichtigkeit gezeigt, mit der Chronomics schnell eine skalierbare, auf Computer Vision basierende Lösung entwickelt und bereitgestellt hat, die Amazon Rekognition verwendet, um das Ergebnis eines COVID-19-Lateral-Flow-Tests zu erkennen. Das Amazon Rekognition-API macht es Praktikern sehr einfach, den Prozess der Erstellung von Computer-Vision-Modellen zu beschleunigen.

Erfahren Sie, wie Sie Computer-Vision-Modelle für Ihren spezifischen Geschäftsanwendungsfall trainieren können, indem Sie besuchen Erste Schritte mit benutzerdefinierten Etiketten von Amazon Rekognition und durch Überprüfung der Amazon Rekognition-Leitfaden für benutzerdefinierte Etiketten.

---

Über die Autoren

Mattia Spinelli ist Senior Machine Learning Engineer bei Chronomics, einem biomedizinischen Unternehmen. Die Plattform von Chronomics ermöglicht Anbietern die nahtlose Implementierung von Heimdiagnostik in großem Maßstab – und das alles ohne Einbußen bei Effizienz oder Genauigkeit.

Pinak Panigrahi arbeitet mit Kunden zusammen, um auf maschinellem Lernen basierende Lösungen zu entwickeln, um strategische Geschäftsprobleme auf AWS zu lösen. Wenn er nicht mit maschinellem Lernen beschäftigt ist, findet man ihn beim Wandern, Lesen eines Buches oder beim Sport.

Jay Rao ist Principal Solutions Architect bei AWS. Er bietet Kunden gerne technische und strategische Beratung und hilft ihnen bei der Entwicklung und Implementierung von Lösungen auf AWS.

Pashmeen Mistry ist Senior Product Manager bei AWS. Außerhalb der Arbeit genießt Pashmeen abenteuerliche Wanderungen, Fotografieren und verbringt Zeit mit seiner Familie.