Chronomics oppdager COVID-19-testresultater med tilpassede etiketter for Amazon Rekognition

Publisert av Platon

Følgere: 0

Kronomi er et tech-bio-selskap som bruker biomarkører – kvantifiserbar informasjon hentet fra analyse av molekyler – sammen med teknologi for å demokratisere bruken av vitenskap og data for å forbedre livene til mennesker. Målet deres er å analysere biologiske prøver og gi nyttig informasjon for å hjelpe deg med å ta beslutninger – om alt der det er viktig å vite mer om det usynlige. Chronomics plattform gjør det mulig for leverandører å sømløst implementere hjemmediagnostikk i stor skala – alt uten å ofre effektivitet eller nøyaktighet. Den har allerede behandlet millioner av tester gjennom denne plattformen og leverer en diagnostikkopplevelse av høy kvalitet.

Under COVID-19-pandemien solgte Chronomics lateral flow-tester (LFT) for å oppdage COVID-19. Brukerne registrerer testen på plattformen ved å laste opp et bilde av testkassetten og legge inn en manuell avlesning av testen (positiv, negativ eller ugyldig). Med økningen i antall tester og brukere ble det raskt upraktisk å manuelt verifisere om det rapporterte resultatet stemte med resultatet på bildet av testen. Chronomics ønsket å bygge en skalerbar løsning som bruker datasyn for å verifisere resultatene.

I dette innlegget deler vi hvordan Chronomics brukte Amazon-anerkjennelse for automatisk å oppdage resultatene av en COVID-19 lateral strømningstest.

Forberede dataene

Følgende bilde viser bildet av en testkassett lastet opp av en bruker. Datasettet består av bilder som dette. Disse bildene skal klassifiseres som positive, negative eller ugyldige, i samsvar med utfallet av en COVID-19-test.

Hovedutfordringene med datasettet var følgende:

Ubalansert datasett – Datasettet var ekstremt skjevt. Mer enn 90 % av prøvene var fra den negative klassen.
Upålitelige brukerinndata – Målinger som ble manuelt rapportert av brukerne var ikke pålitelige. Rundt 40 % av avlesningene stemte ikke med det faktiske resultatet fra bildet.

For å lage et opplæringsdatasett av høy kvalitet, bestemte Chronomics-ingeniører seg for å følge disse trinnene:

Manuell merknad – Velg og merk 1,000 bilder manuelt for å sikre at de tre klassene er jevnt representert
Bildeforstørrelse – Øk de merkede bildene for å øke antallet til 10,000 XNUMX

Bildeforstørrelse ble utført ved hjelp av Albumenteringer, et åpen kildekode Python-bibliotek. En rekke transformasjoner som rotasjon, omskalering og lysstyrke ble utført for å generere 9,000 syntetiske bilder. Disse syntetiske bildene ble lagt til de originale bildene for å lage et datasett av høy kvalitet.

Bygge en tilpasset datasynsmodell med Amazon Rekognition

Chronomics ingeniører vendte seg mot Amazon Rekognition Egendefinerte etiketter, en funksjon i Amazon Rekognition med AutoML-funksjoner. Etter at treningsbilder er gitt, kan den automatisk laste inn og inspisere dataene, velge de riktige algoritmene, trene en modell og gi modellytelsesmålinger. Dette akselererer prosessen med opplæring og distribusjon av en datasynsmodell betydelig, noe som gjør det til den primære grunnen for Chronomics til å ta i bruk Amazon Rekognition. Med Amazon Rekognition var vi i stand til å få en svært nøyaktig modell på 3–4 uker i motsetning til å bruke 4 måneder på å prøve å bygge en tilpasset modell for å oppnå ønsket ytelse.

Følgende diagram illustrerer treningsmodellen. De kommenterte bildene ble først forhåndsbehandlet med en AWS Lambda funksjon. Dette forbehandlingstrinnet sørget for at bildene var i riktig filformat og utførte også noen ekstra trinn som å endre størrelsen på bildet og konvertere bildet fra RGB til gråtoner. Det ble observert at dette forbedret ytelsen til modellen.

Etter at modellen har blitt trent, kan den distribueres for slutning ved hjelp av bare et enkelt klikk eller API-kall.

Modellytelse og finjustering

Modellen ga en nøyaktighet på 96.5 % og en F1-score på 97.9 % på et sett med bilder uten prøve. F1-poengsummen er et mål som bruker både presisjon og tilbakekalling for å måle ytelsen til en klassifiserer. De DetectCustomLabels API brukes til å oppdage etikettene til et levert bilde under slutning. API-en returnerer også tilliten som Rekognition Custom Labels har på nøyaktigheten til den forutsagte etiketten. Følgende diagram viser fordelingen av konfidenspoengsummen til de forutsagte etikettene for bildene. X-aksen representerer konfidenspoengsum multiplisert med 100, og y-aksen er tellingen av spådommene i log-skala.

Ved å sette en terskel for konfidenspoengsummen kan vi filtrere ut spådommer som har lavere konfidens. En terskel på 0.99 resulterte i en nøyaktighet på 99.6 %, og 5 % av spådommene ble forkastet. En terskel på 0.999 resulterte i en nøyaktighet på 99.87 %, med 27 % av spådommene forkastet. For å levere riktig forretningsverdi, valgte Chronomics en terskel på 0.99 for å maksimere nøyaktigheten og minimere avvisningen av spådommer. For mer informasjon, se Analysere et bilde med en trent modell.

De forkastede spådommene kan også rutes til et menneske i løkken ved hjelp av Amazon Augmented AI (Amazon A2I) for manuell behandling av bildet. For mer informasjon om hvordan du gjør dette, se Bruk Amazon Augmented AI med Amazon Rekognition.

Følgende bilde er et eksempel der modellen korrekt har identifisert testen som ugyldig med en konfidens på 0.999.

konklusjonen

I dette innlegget viste vi hvor enkelt Chronomics raskt bygde og implementerte en skalerbar datasynsbasert løsning som bruker Amazon Rekognition for å oppdage resultatet av en COVID-19 lateral flowtest. De Amazon Rekognition API gjør det veldig enkelt for utøvere å akselerere prosessen med å bygge datasynsmodeller.

Lær om hvordan du kan trene datasynsmodeller for din spesifikke forretningsbruk ved å besøke Komme i gang med tilpassede etiketter fra Amazon Rekognition og ved å gjennomgå Amazon Rekognition Custom Labels Guide.

Om forfatterne

Mattia Spinelli er en senior maskinlæringsingeniør ved Chronomics, et biomedisinsk selskap. Chronomics plattform gjør det mulig for leverandører å sømløst implementere hjemmediagnostikk i stor skala – alt uten å ofre effektivitet eller nøyaktighet.

Pinak Panigrahi jobber med kunder for å bygge maskinlæringsdrevne løsninger for å løse strategiske forretningsproblemer på AWS. Når han ikke er opptatt med maskinlæring, kan han bli funnet å ta en fottur, lese en bok eller ta igjen sport.

Forfatter-JayRao Jay Rao er en hovedløsningsarkitekt ved AWS. Han liker å gi teknisk og strategisk veiledning til kunder og hjelpe dem med å designe og implementere løsninger på AWS.