Chronomics registrerer COVID-19-testresultater med Amazon Rekognition Custom Labels

Kronomi er en tech-bio-virksomhed, der bruger biomarkører – kvantificerbar information hentet fra analyse af molekyler – sammen med teknologi til at demokratisere brugen af ​​videnskab og data for at forbedre menneskers liv. Deres mål er at analysere biologiske prøver og give brugbar information til at hjælpe dig med at træffe beslutninger - om alt, hvor det er vigtigt at vide mere om det usete. Chronomics' platform giver udbydere mulighed for problemfrit at implementere hjemmediagnostik i stor skala – alt sammen uden at ofre effektivitet eller nøjagtighed. Den har allerede behandlet millioner af tests gennem denne platform og leverer en diagnostisk oplevelse af høj kvalitet.

Under COVID-19-pandemien solgte Chronomics laterale flowtests (LFT) til påvisning af COVID-19. Brugerne registrerer testen på platformen ved at uploade et billede af testkassetten og indtaste en manuel aflæsning af testen (positiv, negativ eller ugyldig). Med stigningen i antallet af tests og brugere blev det hurtigt upraktisk manuelt at verificere, om det rapporterede resultat stemte overens med resultatet på billedet af testen. Chronomics ønskede at bygge en skalerbar løsning, der bruger computervision til at verificere resultaterne.

I dette indlæg deler vi, hvordan Chronomics brugte Amazon-anerkendelse til automatisk at detektere resultaterne af en COVID-19 lateral flowtest.

Forberedelse af data

Følgende billede viser billedet af en testkassette uploadet af en bruger. Datasættet består af billeder som dette. Disse billeder skal klassificeres som positive, negative eller ugyldige, svarende til resultatet af en COVID-19-test.

De største udfordringer med datasættet var følgende:

• Ubalanceret datasæt – Datasættet var ekstremt skævt. Mere end 90 % af prøverne var fra den negative klasse.
• Upålidelige brugerinput – Målinger, der blev rapporteret manuelt af brugerne, var ikke pålidelige. Omkring 40 % af aflæsningerne matchede ikke det faktiske resultat fra billedet.

For at skabe et træningsdatasæt af høj kvalitet besluttede Chronomics ingeniører at følge disse trin:

• Manuel anmærkning – Vælg og mærke 1,000 billeder manuelt for at sikre, at de tre klasser er jævnt repræsenteret
• Billedforstørrelse – Forøg de mærkede billeder for at øge antallet til 10,000

Billedforstørrelse blev udført vha Albummenteringer, et open source Python-bibliotek. En række transformationer som rotation, omskalering og lysstyrke blev udført for at generere 9,000 syntetiske billeder. Disse syntetiske billeder blev føjet til de originale billeder for at skabe et datasæt af høj kvalitet.

Opbygning af en brugerdefineret computervisionsmodel med Amazon Rekognition

Chronomics ingeniører vendte sig mod Tilpassede etiketter til Amazon-genkendelse, en funktion i Amazon Rekognition med AutoML-funktioner. Efter træningsbilleder er leveret, kan den automatisk indlæse og inspicere dataene, vælge de rigtige algoritmer, træne en model og levere modelpræstationsmålinger. Dette fremskynder processen med at træne og implementere en computervisionsmodel markant, hvilket gør det til den primære grund for Chronomics til at anvende Amazon Rekognition. Med Amazon Rekognition var vi i stand til at få en meget nøjagtig model på 3-4 uger i modsætning til at bruge 4 måneder på at prøve at bygge en tilpasset model for at opnå den ønskede ydeevne.

Følgende diagram illustrerer modellens træningspipeline. De kommenterede billeder blev først forbehandlet ved hjælp af en AWS Lambda fungere. Dette forbehandlingstrin sikrede, at billederne var i det passende filformat og udførte også nogle yderligere trin som at ændre størrelsen på billedet og konvertere billedet fra RGB til gråtoner. Det blev observeret, at dette forbedrede modellens ydeevne.

Efter at modellen er blevet trænet, kan den implementeres til inferens ved hjælp af blot et enkelt klik eller API-kald.

Modelydelse og finjustering

Modellen gav en nøjagtighed på 96.5 % og en F1-score på 97.9 % på et sæt billeder uden for prøven. F1-scoren er et mål, der bruger både præcision og genkaldelse til at måle en klassifikators ydeevne. Det DetectCustomLabels API bruges til at detektere etiketterne på et leveret billede under inferens. API'en returnerer også den tillid, som Rekognition Custom Labels har til nøjagtigheden af ​​den forudsagte etiket. Følgende diagram viser fordelingen af ​​konfidensscorerne for de forudsagte etiketter for billederne. X-aksen repræsenterer konfidensscoren ganget med 100, og y-aksen er optællingen af ​​forudsigelserne i log-skala.

Ved at sætte en tærskel for konfidensscoren kan vi filtrere forudsigelser fra, der har en lavere konfidens. En tærskel på 0.99 resulterede i en nøjagtighed på 99.6%, og 5% af forudsigelserne blev kasseret. En tærskel på 0.999 resulterede i en nøjagtighed på 99.87%, hvor 27% af forudsigelserne blev kasseret. For at levere den rigtige forretningsværdi valgte Chronomics en tærskel på 0.99 for at maksimere nøjagtigheden og minimere afvisningen af ​​forudsigelser. For mere information, se Analyse af et billede med en trænet model.

De kasserede forudsigelser kan også dirigeres til et menneske i løkken ved hjælp af Amazon Augmented AI (Amazon A2I) til manuel behandling af billedet. For mere information om, hvordan du gør dette, se Brug Amazon Augmented AI med Amazon Rekognition.

Følgende billede er et eksempel, hvor modellen korrekt har identificeret testen som ugyldig med en konfidens på 0.999.

Konklusion

I dette indlæg viste vi den lethed, hvormed Chronomics hurtigt byggede og implementerede en skalerbar computervision-baseret løsning, der bruger Amazon Rekognition til at detektere resultatet af en COVID-19 lateral flowtest. Det API til Amazon Rekognition gør det meget nemt for praktikere at fremskynde processen med at bygge computervisionsmodeller.

Få mere at vide om, hvordan du kan træne computersynsmodeller til din specifikke virksomhedsbrug, ved at besøge Kom godt i gang med tilpassede etiketter fra Amazon Rekognition og ved at gennemgå Guide til brugerdefinerede etiketter til Amazon-genkendelse.

---

Om forfatterne

Mattia Spinelli er Senior Machine Learning Engineer hos Chronomics, en biomedicinsk virksomhed. Chronomics' platform giver udbydere mulighed for problemfrit at implementere hjemmediagnostik i stor skala – alt sammen uden at ofre effektivitet eller nøjagtighed.

Pinak Panigrahi arbejder sammen med kunder om at bygge maskinlæringsdrevne løsninger til at løse strategiske forretningsproblemer på AWS. Når han ikke er beskæftiget med maskinlæring, kan han blive fundet på at tage en vandretur, læse en bog eller indhente sport.

Jay Rao er Principal Solutions Architect hos AWS. Han nyder at yde teknisk og strategisk vejledning til kunder og hjælpe dem med at designe og implementere løsninger på AWS.

Pashmeen Mistry er Senior Product Manager hos AWS. Uden for arbejdet nyder Pashmeen eventyrlige vandreture, fotografering og at tilbringe tid med sin familie.