Chronomics detecta los resultados de las pruebas de COVID-19 con las etiquetas personalizadas de Amazon Rekognition

Crónicas es una empresa biotecnológica que utiliza biomarcadores (información cuantificable extraída del análisis de moléculas) junto con la tecnología para democratizar el uso de la ciencia y los datos para mejorar la vida de las personas. Su objetivo es analizar muestras biológicas y brindar información procesable para ayudarlo a tomar decisiones, sobre cualquier cosa en la que sea importante saber más sobre lo que no se ve. La plataforma de Chronomics permite a los proveedores implementar sin problemas diagnósticos en el hogar a escala, todo sin sacrificar la eficiencia o la precisión. Ya ha procesado millones de pruebas a través de esta plataforma y ofrece una experiencia de diagnóstico de alta calidad.

Durante la pandemia de COVID-19, Chronomics vendió pruebas de flujo lateral (LFT) para detectar COVID-19. Los usuarios registran la prueba en la plataforma cargando una imagen del casete de prueba e ingresando una lectura manual de la prueba (positiva, negativa o inválida). Con el aumento en la cantidad de pruebas y usuarios, rápidamente se volvió poco práctico verificar manualmente si el resultado informado coincidía con el resultado en la imagen de la prueba. Chronomics quería construir una solución escalable que usa visión artificial para verificar los resultados.

En esta publicación, compartimos cómo Chronomics usó Reconocimiento de amazonas para detectar automáticamente los resultados de una prueba de flujo lateral COVID-19.

Preparando los datos

La siguiente imagen muestra la imagen de un casete de prueba cargado por un usuario. El conjunto de datos consta de imágenes como esta. Estas imágenes deben clasificarse como positivas, negativas o no válidas, correspondientes al resultado de una prueba de COVID-19.

Los principales desafíos con el conjunto de datos fueron los siguientes:

• Conjunto de datos desequilibrado – El conjunto de datos estaba extremadamente sesgado. Más del 90% de las muestras eran de la clase negativa.
• Entradas de usuario poco fiables – Las lecturas que los usuarios informaron manualmente no eran confiables. Alrededor del 40% de las lecturas no coincidieron con el resultado real de la imagen.

Para crear un conjunto de datos de entrenamiento de alta calidad, los ingenieros de Chronomics decidieron seguir estos pasos:

• anotación manual – Seleccione y etiquete manualmente 1,000 imágenes para asegurarse de que las tres clases estén representadas de manera uniforme
• Aumento de imagen – Aumente las imágenes etiquetadas para aumentar el número a 10,000

El aumento de imagen se realizó utilizando Albumentarias, una biblioteca Python de código abierto. Se realizaron varias transformaciones como rotación, cambio de escala y brillo para generar 9,000 imágenes sintéticas. Estas imágenes sintéticas se agregaron a las imágenes originales para crear un conjunto de datos de alta calidad.

Creación de un modelo de visión artificial personalizado con Amazon Rekognition

Los ingenieros de Chronomics se volvieron hacia Etiquetas personalizadas de Amazon Rekognition, una característica de Amazon Rekognition con capacidades de AutoML. Una vez que se proporcionan las imágenes de entrenamiento, puede cargar e inspeccionar automáticamente los datos, seleccionar los algoritmos correctos, entrenar un modelo y proporcionar métricas de rendimiento del modelo. Esto acelera significativamente el proceso de capacitación e implementación de un modelo de visión por computadora, lo que lo convierte en la razón principal por la que Chronomics adopta Amazon Rekognition. Con Amazon Rekognition, pudimos obtener un modelo de alta precisión en 3 a 4 semanas en lugar de pasar 4 meses tratando de crear un modelo personalizado para lograr el rendimiento deseado.

El siguiente diagrama ilustra la canalización de entrenamiento del modelo. Las imágenes anotadas primero fueron preprocesadas usando un AWS Lambda función. Este paso de preprocesamiento aseguró que las imágenes estuvieran en el formato de archivo adecuado y también realizó algunos pasos adicionales, como cambiar el tamaño de la imagen y convertir la imagen de RGB a escala de grises. Se observó que esto mejoró el rendimiento del modelo.

Una vez que se ha entrenado el modelo, se puede implementar para la inferencia con solo un clic o una llamada a la API.

Rendimiento y ajuste del modelo

El modelo arrojó una precisión del 96.5 % y una puntuación F1 del 97.9 % en un conjunto de imágenes fuera de la muestra. La puntuación F1 es una medida que utiliza precisión y recuperación para medir el rendimiento de un clasificador. los API de detección de etiquetas personalizadas se utiliza para detectar las etiquetas de una imagen suministrada durante la inferencia. La API también devuelve la confianza que Rekognition Custom Labels tiene en la precisión de la etiqueta predicha. El siguiente gráfico tiene la distribución de las puntuaciones de confianza de las etiquetas predichas para las imágenes. El eje x representa la puntuación de confianza multiplicada por 100 y el eje y es el recuento de las predicciones en escala logarítmica.

Al establecer un umbral en la puntuación de confianza, podemos filtrar las predicciones que tienen una confianza más baja. Un umbral de 0.99 dio como resultado una precisión del 99.6 % y se descartó el 5 % de las predicciones. Un umbral de 0.999 dio como resultado una precisión del 99.87 %, con el 27 % de las predicciones descartadas. Para ofrecer el valor empresarial adecuado, Chronomics eligió un umbral de 0.99 para maximizar la precisión y minimizar el rechazo de las predicciones. Para más información, ver Analizar una imagen con un modelo entrenado.

Las predicciones descartadas también se pueden enrutar a un humano en el ciclo usando IA aumentada de Amazon (Amazon A2I) para procesar manualmente la imagen. Para obtener más información sobre cómo hacer esto, consulte Utilice la IA aumentada de Amazon con Amazon Rekognition.

La siguiente imagen es un ejemplo en el que el modelo ha identificado correctamente la prueba como inválida con una confianza de 0.999.

Conclusión

En esta publicación, mostramos la facilidad con la que Chronomics creó e implementó rápidamente una solución escalable basada en visión artificial que utiliza Amazon Rekognition para detectar el resultado de una prueba de flujo lateral de COVID-19. los API de Amazon Rekognition hace que sea muy fácil para los profesionales acelerar el proceso de construcción de modelos de visión artificial.

Obtenga información sobre cómo puede entrenar modelos de visión por computadora para su caso de uso comercial específico visitando Introducción a las etiquetas personalizadas de Amazon Rekognition y al revisar el Guía de etiquetas personalizadas de Amazon Rekognition.

---

Acerca de los autores

mattia spinelli es ingeniero sénior de aprendizaje automático en Chronomics, una empresa biomédica. La plataforma de Chronomics permite a los proveedores implementar sin problemas diagnósticos en el hogar a escala, todo sin sacrificar la eficiencia o la precisión.

Panigrahi rosa trabaja con los clientes para crear soluciones impulsadas por el aprendizaje automático para resolver problemas comerciales estratégicos en AWS. Cuando no está ocupado con el aprendizaje automático, se le puede encontrar haciendo una caminata, leyendo un libro o poniéndose al día con los deportes.

jay rao es Arquitecto Principal de Soluciones en AWS. Disfruta brindando orientación técnica y estratégica a los clientes y ayudándolos a diseñar e implementar soluciones en AWS.

misterio pashmeen es gerente sénior de productos en AWS. Fuera del trabajo, Pashmeen disfruta de caminatas aventureras, fotografía y pasar tiempo con su familia.