Chronomics rileva i risultati dei test COVID-19 con le etichette personalizzate di Amazon Rekognition

Cronomica è un'azienda tech-bio che utilizza biomarcatori (informazioni quantificabili ricavate dall'analisi delle molecole) insieme alla tecnologia per democratizzare l'uso della scienza e dei dati per migliorare la vita delle persone. Il loro obiettivo è analizzare campioni biologici e fornire informazioni utili per aiutarti a prendere decisioni, su tutto ciò per cui è importante conoscere meglio l'invisibile. La piattaforma di Chronomics consente ai fornitori di implementare senza problemi la diagnostica a domicilio su larga scala, il tutto senza sacrificare l'efficienza o l'accuratezza. Ha già elaborato milioni di test attraverso questa piattaforma e offre un'esperienza diagnostica di alta qualità.

Durante la pandemia di COVID-19, Chronomics ha venduto test a flusso laterale (LFT) per rilevare il COVID-19. Gli utenti registrano il test sulla piattaforma caricando un'immagine della cassetta del test e inserendo una lettura manuale del test (positivo, negativo o non valido). Con l'aumento del numero di test e di utenti, è diventato rapidamente poco pratico verificare manualmente se il risultato riportato corrispondeva al risultato nell'immagine del test. Chronomics voleva creare una soluzione scalabile che utilizzasse la visione artificiale per verificare i risultati.

In questo post condividiamo l'utilizzo di Chronomics Rekognition di Amazon per rilevare automaticamente i risultati di un test a flusso laterale COVID-19.

Preparazione dei dati

L'immagine seguente mostra l'immagine di una cassetta test caricata da un utente. Il set di dati è costituito da immagini come questa. Queste immagini devono essere classificate come positive, negative o non valide, corrispondenti al risultato di un test COVID-19.

Le principali sfide con il set di dati erano le seguenti:

• Set di dati sbilanciato – Il set di dati era estremamente distorto. Oltre il 90% dei campioni proveniva dalla classe negativa.
• Input utente inaffidabili – Le letture riportate manualmente dagli utenti non erano affidabili. Circa il 40% delle letture non corrispondeva al risultato effettivo dell'immagine.

Per creare un set di dati di addestramento di alta qualità, gli ingegneri di Chronomics hanno deciso di seguire questi passaggi:

• Annotazione manuale – Seleziona ed etichetta manualmente 1,000 immagini per garantire che le tre classi siano rappresentate in modo uniforme
• Aumento dell'immagine – Aumenta le immagini etichettate per aumentare il numero a 10,000

L'aumento dell'immagine è stato eseguito utilizzando Albumetazioni, una libreria Python open source. Sono state eseguite numerose trasformazioni come rotazione, ridimensionamento e luminosità per generare 9,000 immagini sintetiche. Queste immagini sintetiche sono state aggiunte alle immagini originali per creare un set di dati di alta qualità.

Creazione di un modello di visione artificiale personalizzato con Amazon Rekognition

Gli ingegneri di Chronomics si sono rivolti a Etichette personalizzate Amazon Rekognition, una funzionalità di Amazon Rekognition con funzionalità AutoML. Dopo aver fornito le immagini di addestramento, può caricare e ispezionare automaticamente i dati, selezionare gli algoritmi corretti, addestrare un modello e fornire metriche sulle prestazioni del modello. Ciò accelera in modo significativo il processo di formazione e implementazione di un modello di visione artificiale, rendendolo il motivo principale per cui Chronomics ha adottato Amazon Rekognition. Con Amazon Rekognition siamo riusciti a ottenere un modello altamente accurato in 3-4 settimane invece di impiegare 4 mesi cercando di creare un modello personalizzato per ottenere le prestazioni desiderate.

Il diagramma seguente illustra la pipeline di training del modello. Le immagini annotate sono state prima preelaborate utilizzando un file AWS Lambda funzione. Questa fase di preelaborazione garantisce che le immagini siano nel formato file appropriato e esegue anche alcuni passaggi aggiuntivi come il ridimensionamento dell'immagine e la conversione dell'immagine da RGB a scala di grigi. È stato osservato che ciò ha migliorato le prestazioni del modello.

Dopo che il modello è stato addestrato, può essere distribuito per l'inferenza utilizzando un solo clic o una chiamata API.

Prestazioni del modello e messa a punto

Il modello ha prodotto una precisione del 96.5% e un punteggio F1 del 97.9% su una serie di immagini fuori campione. Il punteggio F1 è una misura che utilizza sia la precisione che il richiamo per misurare le prestazioni di un classificatore. IL Rileva API CustomLabels viene utilizzato per rilevare le etichette di un'immagine fornita durante l'inferenza. L'API restituisce anche la fiducia che Rekognition Custom Labels ha nell'accuratezza dell'etichetta prevista. Il grafico seguente presenta la distribuzione dei punteggi di confidenza delle etichette previste per le immagini. L'asse x rappresenta il punteggio di confidenza moltiplicato per 100 e l'asse y è il conteggio delle previsioni in scala logaritmica.

Impostando una soglia sul punteggio di confidenza, possiamo filtrare le previsioni che hanno una confidenza inferiore. Una soglia di 0.99 ha prodotto una precisione del 99.6% e il 5% delle previsioni è stato scartato. Una soglia di 0.999 ha prodotto una precisione del 99.87%, con il 27% delle previsioni scartate. Per fornire il giusto valore aziendale, Chronomics ha scelto una soglia di 0.99 per massimizzare la precisione e ridurre al minimo il rifiuto delle previsioni. Per ulteriori informazioni, vedere Analizzare un'immagine con un modello addestrato.

Le previsioni scartate possono anche essere indirizzate a un essere umano nel ciclo utilizzando AI aumentata di Amazon (Amazon A2I) per l'elaborazione manuale dell'immagine. Per ulteriori informazioni su come eseguire questa operazione, fare riferimento a Usa Amazon Augmented AI con Amazon Rekognition.

L'immagine seguente è un esempio in cui il modello ha identificato correttamente il test come non valido con una confidenza di 0.999.

Conclusione

In questo post, abbiamo mostrato la facilità con cui Chronomics ha creato e distribuito rapidamente una soluzione scalabile basata sulla visione artificiale che utilizza Amazon Rekognition per rilevare il risultato di un test del flusso laterale COVID-19. IL API Amazon Recognition rende molto semplice per i professionisti accelerare il processo di creazione di modelli di visione artificiale.

Scopri come addestrare modelli di visione artificiale per il tuo caso d'uso aziendale specifico visitando Iniziare con le etichette personalizzate di Amazon Rekognition e rivedendo il Guida alle etichette personalizzate di Amazon Rekognition.

---

Informazioni sugli autori

Mattia Spinelli è un ingegnere senior di machine learning presso Chronomics, un'azienda biomedica. La piattaforma di Chronomics consente ai fornitori di implementare senza problemi la diagnostica a domicilio su larga scala, il tutto senza sacrificare l'efficienza o l'accuratezza.

Pinak Panigrahi collabora con i clienti per creare soluzioni basate sull'apprendimento automatico per risolvere problemi aziendali strategici su AWS. Quando non è impegnato con l'apprendimento automatico, può essere trovato a fare un'escursione, a leggere un libro o a mettersi al passo con lo sport.

Jay Rao è Principal Solutions Architect presso AWS. Gli piace fornire una guida tecnica e strategica ai clienti e aiutarli a progettare e implementare soluzioni su AWS.

Pashmen Mistry è un Senior Product Manager presso AWS. Al di fuori del lavoro, Pashmeen ama le escursioni avventurose, la fotografia e trascorrere del tempo con la sua famiglia.