Chronomics detecteert COVID-19-testresultaten met Amazon Rekognition Custom Labels

chronologie is een tech-bio-bedrijf dat naast technologie biomarkers gebruikt - kwantificeerbare informatie uit de analyse van moleculen - om het gebruik van wetenschap en gegevens te democratiseren om het leven van mensen te verbeteren. Hun doel is om biologische monsters te analyseren en bruikbare informatie te geven om u te helpen beslissingen te nemen - over alles waar meer weten over het ongeziene belangrijk is. Het platform van Chronomics stelt providers in staat om thuisdiagnostiek naadloos op schaal te implementeren, zonder in te leveren op efficiëntie of nauwkeurigheid. Het heeft al miljoenen tests via dit platform verwerkt en levert een hoogwaardige diagnostische ervaring.

Tijdens de COVID-19-pandemie verkocht Chronomics laterale flowtests (LFT) voor het detecteren van COVID-19. De gebruikers registreren de test op het platform door een foto van de testcassette te uploaden en een handmatige uitlezing van de test in te voeren (positief, negatief of ongeldig). Met de toename van het aantal tests en gebruikers werd het al snel onpraktisch om handmatig te verifiëren of het gerapporteerde resultaat overeenkwam met het resultaat in het plaatje van de test. Chronomics wilde een schaalbare oplossing bouwen die computervisie gebruikt om de resultaten te verifiëren.

In dit bericht delen we hoe Chronomics gebruikte Amazon Rekognition om automatisch de resultaten van een COVID-19 lateral flow test te detecteren.

Voorbereiden van de gegevens

De volgende afbeelding toont de afbeelding van een testcassette die door een gebruiker is geüpload. De dataset bestaat uit afbeeldingen zoals deze. Deze afbeeldingen moeten worden geclassificeerd als positief, negatief of ongeldig, in overeenstemming met de uitkomst van een COVID-19-test.

De belangrijkste uitdagingen met de dataset waren de volgende:

• Onevenwichtige dataset – De dataset was extreem scheef. Meer dan 90% van de monsters kwam uit de negatieve klasse.
• Onbetrouwbare gebruikersinvoer – Uitlezingen die handmatig door de gebruikers werden gerapporteerd, waren niet betrouwbaar. Ongeveer 40% van de metingen kwam niet overeen met het daadwerkelijke resultaat op de foto.

Om een ​​hoogwaardige trainingsdataset te creëren, besloten de ingenieurs van Chronomics om deze stappen te volgen:

• Handmatige annotatie – Selecteer en label handmatig 1,000 afbeeldingen om ervoor te zorgen dat de drie klassen gelijkmatig worden weergegeven
• Beeldvergroting - Vergroot de gelabelde afbeeldingen om het aantal te verhogen tot 10,000

Beeldvergroting werd uitgevoerd met behulp van Albumentaties, een open-source Python-bibliotheek. Een aantal transformaties zoals rotatie, herschalen en helderheid werden uitgevoerd om 9,000 synthetische afbeeldingen te genereren. Deze synthetische afbeeldingen zijn toegevoegd aan de originele afbeeldingen om een ​​hoogwaardige dataset te creëren.

Een aangepast computervisiemodel bouwen met Amazon Rekognition

De ingenieurs van Chronomics wendden zich tot Aangepaste labels voor Amazon-herkenning, een functie van Amazon Rekognition met AutoML-mogelijkheden. Nadat trainingsafbeeldingen zijn geleverd, kan het automatisch de gegevens laden en inspecteren, de juiste algoritmen selecteren, een model trainen en prestatiestatistieken van het model leveren. Dit versnelt het proces van training en implementatie van een computervisiemodel aanzienlijk, waardoor dit de belangrijkste reden voor Chronomics is om Amazon Rekognition te gebruiken. Met Amazon Rekognition waren we in staat om binnen 3-4 weken een zeer nauwkeurig model te krijgen, in plaats van 4 maanden te besteden aan het bouwen van een aangepast model om de gewenste prestaties te bereiken.

Het volgende diagram illustreert de modeltrainingspijplijn. De geannoteerde afbeeldingen werden eerst voorbewerkt met behulp van een AWS Lambda functie. Deze voorbewerkingsstap zorgde ervoor dat de afbeeldingen de juiste bestandsindeling hadden en voerde ook enkele aanvullende stappen uit, zoals het vergroten of verkleinen van de afbeelding en het converteren van de afbeelding van RGB naar grijstinten. Er werd waargenomen dat dit de prestaties van het model verbeterde.

Nadat het model is getraind, kan het worden ingezet voor inferentie met slechts een enkele klik of API-aanroep.

Modelprestaties en fijnafstemming

Het model leverde een nauwkeurigheid op van 96.5% en een F1-score van 97.9% op een reeks out-of-sample-afbeeldingen. De F1-score is een maatstaf die zowel precisie als herinnering gebruikt om de prestaties van een classificator te meten. De DetectCustomLabels-API wordt gebruikt om de labels van een geleverd beeld te detecteren tijdens inferentie. De API retourneert ook het vertrouwen dat Rekognition Custom Labels heeft in de nauwkeurigheid van het voorspelde label. Het volgende diagram bevat de verdeling van de betrouwbaarheidsscores van de voorspelde labels voor de afbeeldingen. De x-as vertegenwoordigt de betrouwbaarheidsscore vermenigvuldigd met 100, en de y-as is het aantal voorspellingen op log-schaal.

Door een drempel op de betrouwbaarheidsscore in te stellen, kunnen we voorspellingen met een lager vertrouwen eruit filteren. Een drempelwaarde van 0.99 resulteerde in een nauwkeurigheid van 99.6% en 5% van de voorspellingen werd verworpen. Een drempel van 0.999 resulteerde in een nauwkeurigheid van 99.87%, waarbij 27% van de voorspellingen werd verworpen. Om de juiste zakelijke waarde te leveren, koos Chronomics een drempel van 0.99 om de nauwkeurigheid te maximaliseren en de afwijzing van voorspellingen te minimaliseren. Voor meer informatie, zie Een afbeelding analyseren met een getraind model.

De weggegooide voorspellingen kunnen ook worden gerouteerd naar een mens in de lus met behulp van Amazon Augmented AI (Amazon A2I) voor het handmatig verwerken van de afbeelding. Voor meer informatie over hoe u dit doet, zie Gebruik Amazon Augmented AI met Amazon Rekognition.

De volgende afbeelding is een voorbeeld waarbij het model de test correct als ongeldig heeft geïdentificeerd met een betrouwbaarheid van 0.999.

Conclusie

In dit bericht hebben we laten zien met welk gemak Chronomics snel een schaalbare computer vision-gebaseerde oplossing bouwde en implementeerde die Amazon Rekognition gebruikt om het resultaat van een COVID-19 lateral flow-test te detecteren. De Amazon Recognition API maakt het voor beoefenaars heel gemakkelijk om het proces van het bouwen van computervisiemodellen te versnellen.

Meer informatie over hoe u computer vision-modellen kunt trainen voor uw specifieke zakelijke use-case door een bezoek te brengen aan Aan de slag met aangepaste Amazon Rekognition-labels en door het bekijken van de Amazon Recognition Custom Labels Guide.

---

Over de auteurs

Mattia Spinelli is Senior Machine Learning Engineer bij Chronomics, een biomedisch bedrijf. Het platform van Chronomics stelt providers in staat om thuisdiagnostiek op grote schaal naadloos te implementeren, zonder dat dit ten koste gaat van efficiëntie of nauwkeurigheid.

Pinak Panigrahi werkt samen met klanten om op machine learning gebaseerde oplossingen te bouwen om strategische zakelijke problemen op AWS op te lossen. Als hij niet bezig is met machine learning, is hij te vinden tijdens een wandeling, een boek lezen of sporten.

Jay Rao is Principal Solutions Architect bij AWS. Hij geeft graag technische en strategische begeleiding aan klanten en helpt hen bij het ontwerpen en implementeren van oplossingen op AWS.

Pashmeen Mistry is senior productmanager bij AWS. Buiten zijn werk houdt Pashmeen van avontuurlijke wandelingen, fotografie en tijd doorbrengen met zijn gezin.