Chronomics обнаруживает результаты тестов на COVID-19 с помощью пользовательских меток Amazon Rekognition

Хрономика — технологическая биокомпания, которая использует биомаркеры — поддающуюся количественной оценке информацию, полученную в результате анализа молекул, — наряду с технологиями для демократизации использования науки и данных для улучшения жизни людей. Их цель — анализировать биологические образцы и предоставлять полезную информацию, которая поможет вам принимать решения — обо всем, где важно знать больше о невидимом. Платформа Chronomics позволяет поставщикам беспрепятственно внедрять диагностику на дому в любом масштабе — и все это без ущерба для эффективности или точности. Эта платформа уже обработала миллионы тестов и обеспечивает высокое качество диагностики.

Во время пандемии COVID-19 Chronomics продавала тесты бокового потока (LFT) для обнаружения COVID-19. Пользователи регистрируют тест на платформе, загружая изображение тест-кассеты и вводя показания теста вручную (положительный, отрицательный или недействительный). С увеличением количества тестов и пользователей быстро стало непрактично вручную проверять, соответствует ли сообщаемый результат результату на картинке теста. Компания Chronomics хотела создать масштабируемое решение, использующее компьютерное зрение для проверки результатов.

В этом посте мы рассказываем, как Хрономика использовала Апостол для автоматического определения результатов теста бокового потока на COVID-19.

Подготовка данных

На следующем изображении показано изображение тест-кассеты, загруженной пользователем. Набор данных состоит из изображений, подобных этому. Эти изображения должны быть классифицированы как положительные, отрицательные или недействительные в соответствии с результатами теста на COVID-19.

Основные проблемы с набором данных заключались в следующем:

• Несбалансированный набор данных – Набор данных был крайне искажен. Более 90% образцов были из отрицательного класса.
• Ненадежный пользовательский ввод – Показания, о которых сообщали пользователи вручную, не были надежными. Около 40% показаний не соответствовали фактическому результату на картинке.

Чтобы создать высококачественный обучающий набор данных, инженеры Chronomics решили выполнить следующие шаги:

• Ручная аннотация – Вручную выберите и пометьте 1,000 изображений, чтобы обеспечить равномерное представление трех классов.
• Увеличение изображения - Увеличьте помеченные изображения, чтобы увеличить число до 10,000 XNUMX.

Увеличение изображения было выполнено с использованием Альбументации, библиотека Python с открытым исходным кодом. Для создания 9,000 синтетических изображений был выполнен ряд преобразований, таких как вращение, изменение масштаба и яркость. Эти синтетические изображения были добавлены к исходным изображениям для создания высококачественного набора данных.

Создание пользовательской модели компьютерного зрения с помощью Amazon Rekognition

Инженеры Chronomics обратились к Пользовательские ярлыки Amazon Rekognition, функция Amazon Rekognition с возможностями AutoML. После предоставления обучающих изображений он может автоматически загружать и проверять данные, выбирать правильные алгоритмы, обучать модель и предоставлять показатели производительности модели. Это значительно ускоряет процесс обучения и развертывания модели компьютерного зрения, что делает Chronomics основной причиной внедрения Amazon Rekognition. Благодаря Amazon Rekognition мы смогли получить высокоточную модель за 3–4 недели вместо того, чтобы тратить 4 месяца на создание пользовательской модели для достижения желаемой производительности.

Следующая диаграмма иллюстрирует конвейер обучения модели. Аннотированные изображения были предварительно обработаны с помощью AWS Lambda функция. Этот шаг предварительной обработки гарантировал, что изображения были в соответствующем формате файла, а также выполнял некоторые дополнительные шаги, такие как изменение размера изображения и преобразование изображения из RGB в оттенки серого. Было замечено, что это улучшило производительность модели.

После обучения модели ее можно развернуть для логического вывода с помощью всего одного щелчка или вызова API.

Производительность модели и тонкая настройка

Модель показала точность 96.5% и оценку F1 97.9% на наборе изображений вне выборки. Оценка F1 — это мера, которая использует как точность, так и полноту для измерения производительности классификатора. API-интерфейс DetectCustomLabels используется для обнаружения меток предоставленного изображения во время вывода. API также возвращает уверенность Rekognition Custom Labels в точности прогнозируемой метки. На следующей диаграмме показано распределение оценок достоверности предсказанных меток для изображений. Ось X представляет показатель достоверности, умноженный на 100, а ось Y — количество прогнозов в логарифмической шкале.

Установив пороговое значение показателя достоверности, мы можем отфильтровать прогнозы с более низкой достоверностью. Порог 0.99 привел к точности 99.6%, и 5% прогнозов были отброшены. Порог 0.999 привел к точности 99.87%, при этом 27% прогнозов были отброшены. Чтобы обеспечить правильную ценность для бизнеса, Chronomics выбрал порог 0.99, чтобы максимизировать точность и свести к минимуму отклонение прогнозов. Для получения дополнительной информации см. Анализ изображения с помощью обученной модели.

Отброшенные прогнозы также могут быть перенаправлены человеку в цикле с помощью Amazon увеличил AI (Amazon A2I) для ручной обработки изображения. Для получения дополнительной информации о том, как это сделать, см. Используйте Amazon Augmented AI с Amazon Rekognition.

На следующем изображении показан пример, когда модель правильно определила тест как недействительный с достоверностью 0.999.

Заключение

В этом посте мы показали, с какой легкостью Chronomics быстро создала и развернула масштабируемое решение на основе компьютерного зрения, использующее Amazon Rekognition для обнаружения результатов теста бокового потока на COVID-19. API распознавания Amazon позволяет специалистам-практикам очень легко ускорить процесс создания моделей компьютерного зрения.

Узнайте о том, как можно обучать модели компьютерного зрения для вашего конкретного варианта использования в бизнесе, посетив Начало работы с пользовательскими метками Amazon Rekognition и просмотрев Руководство по настраиваемым ярлыкам Amazon Rekognition.

---

Об авторах

Маттиа Спинелли — старший инженер по машинному обучению в биомедицинской компании Chronomics. Платформа Chronomics позволяет поставщикам беспрепятственно внедрять диагностику на дому в любом масштабе — и все это без ущерба для эффективности или точности.

Пинак Паниграхи работает с клиентами над созданием решений на основе машинного обучения для решения стратегических бизнес-задач на AWS. Когда он не занимается машинным обучением, его можно найти в походе, читающем книгу или занимающемся спортом.

Джей Рао является главным архитектором решений в AWS. Ему нравится предоставлять технические и стратегические рекомендации клиентам и помогать им разрабатывать и внедрять решения на AWS.

Пашмин Мистри является старшим менеджером по продуктам в AWS. Вне работы Пашмин любит авантюрные походы, фотографирует и проводит время со своей семьей.