Используйте компьютерное зрение для измерения урожайности в сельском хозяйстве с помощью пользовательских меток Amazon Rekognition

В сельском хозяйстве проблема определения и подсчета количества плодов на деревьях играет важную роль в оценке урожая. Становится популярной концепция аренды и аренды дерева, когда владелец дерева сдает дерево в аренду каждый год перед сбором урожая на основе предполагаемого урожая фруктов. Обычная практика ручного подсчета фруктов — трудоемкий и трудоемкий процесс. Это одна из самых сложных, но наиболее важных задач для достижения лучших результатов в вашей системе управления растениеводством. Такая оценка количества фруктов и цветов помогает фермерам принимать более обоснованные решения не только в отношении арендных цен, но и в отношении методов выращивания и предотвращения болезней растений.

Именно здесь решение для автоматизированного машинного обучения (ML) для компьютерного зрения (CV) может помочь фермерам. Пользовательские ярлыки Amazon Rekognition — это полностью управляемая служба компьютерного зрения, которая позволяет разработчикам создавать пользовательские модели для классификации и идентификации объектов на изображениях, характерных и уникальных для вашего бизнеса.

Rekognition Custom Labels не требует от вас каких-либо предварительных знаний в области компьютерного зрения. Вы можете начать, просто загрузив десятки изображений вместо тысяч. Если изображения уже помечены, вы можете начать обучение модели всего за несколько кликов. Если нет, вы можете пометить их непосредственно в консоли Rekognition Custom Labels или использовать Amazon SageMaker - основа правды чтобы пометить их. Rekognition Custom Labels использует перенос обучения для автоматической проверки обучающих данных, выбора правильной структуры модели и алгоритма, оптимизации гиперпараметров и обучения модели. Когда вы удовлетворены точностью модели, вы можете начать размещение обученной модели одним щелчком мыши.

В этом посте мы покажем, как вы можете создать комплексное решение с использованием пользовательских меток Rekognition для обнаружения и подсчета фруктов для измерения урожайности в сельском хозяйстве.

Обзор решения

Мы создаем пользовательскую модель для обнаружения фруктов, используя следующие шаги:

1. Пометьте набор данных изображениями, содержащими фрукты, используя Amazon SageMaker - основа правды.
2. Создайте проект в Rekognition Custom Labels.
3. Импортируйте помеченный набор данных.
4. Тренируй модель.
5. Протестируйте новую пользовательскую модель, используя автоматически созданную конечную точку API.

Пользовательские метки Rekognition позволяют управлять процессом обучения модели машинного обучения в консоли Amazon Rekognition, что упрощает сквозную разработку модели и процесс логического вывода.

Предпосылки

Чтобы создать модель измерения урожайности в сельском хозяйстве, сначала необходимо подготовить набор данных для обучения модели. Для этого поста наш набор данных состоит из изображений фруктов. На следующих изображениях показаны некоторые примеры.

Мы взяли изображения из собственного сада. Вы можете скачать файлы изображений с Репо GitHub.

В этом посте мы используем только несколько изображений, чтобы продемонстрировать вариант использования урожая фруктов. Вы можете поэкспериментировать с большим количеством изображений.

Чтобы подготовить набор данных, выполните следующие действия:

1. Создать Простой сервис хранения Amazon (Amazon S3) ведро.
2. Создайте две папки внутри этого ведра, называемые raw_data и test_data, для хранения изображений для маркировки и тестирования модели.
3. Выберите Загрузите для загрузки изображений в соответствующие папки из репозитория GitHub.
   

Загруженные изображения не помечены. Вы маркируете изображения на следующем шаге.

Пометьте свой набор данных, используя Ground Truth

Для обучения модели ML вам нужны помеченные изображения. Ground Truth обеспечивает простой процесс маркировки изображений. Задача маркировки выполняется людьми; в этом посте вы создаете частную рабочую силу. Вы можете использовать Amazon Mechanical Turk для маркировки в масштабе.

Создайте персонал для маркировки

Давайте сначала создадим нашу рабочую силу для маркировки. Выполните следующие шаги:

1. На консоли SageMaker в Земная Истина на панели навигации выберите Маркировка рабочей силы.
2. На Частный , выберите Создать частную команду.
   
3. Что касается Название команды, введите имя для вашей рабочей силы (для этого поста labeling-team).
4. Выберите Создать частную команду.
   
5. Выберите Пригласите новых работников.
   
   
6. В Добавить работников по адресу электронной почты введите адреса электронной почты ваших работников. Для этого сообщения введите свой собственный адрес электронной почты.
7. Выберите Пригласите новых сотрудников.
   

Вы создали персонал для этикетирования, который вы используете на следующем шаге при создании задания на этикетирование.

Создание задания маркировки Ground Truth

Чтобы качественно выполнить работу по маркировке, выполните следующие действия:

1. На консоли SageMaker в Земная Истина, выберите Маркировка рабочих мест.
2. Выберите Создать работу по маркировке.
   
3. Что касается Название работы, войти fruits-detection.
4. Выберите Я хочу указать имя атрибута ярлыка, отличное от имени задания ярлыка.
5. Что касается Имя атрибута меткивойти Labels.
6. Что касается Настройка входных данных, наведите на Автоматическая настройка данных.
7. Что касается Расположение S3 для входных наборов данных, введите расположение образов S3, используя корзину, которую вы создали ранее (s3://{your-bucket-name}/raw-data/images/).
8. Что касается Расположение S3 для выходных наборов данных, наведите на Укажите новое местоположение и введите место вывода для аннотированных данных (s3://{your-bucket-name}/annotated-data/).
9. Что касается Тип данных, выберите Фото товара.
10. Выберите Полная настройка данных.
    При этом создается файл манифеста изображения и обновляется входной путь к местоположению S3. Дождитесь сообщения «Успешное подключение входных данных».
    
11. Расширьте Дополнительная конфигурация.
12. Подтвердите это Полный набор данных .
    Это используется, чтобы указать, хотите ли вы предоставить все изображения для задания маркировки или подмножество изображений на основе фильтров или случайной выборки.
    
13. Что касается Категория задачи, выберите Фото товара потому что это задача для аннотации изображения.
14. Поскольку это вариант использования обнаружения объекта, для Выбор задачи, наведите на Ограничительная рамка.
15. Оставьте другие параметры по умолчанию и выберите Следующая.
    
16. Выберите Следующая.
    
    Теперь вы указываете своих воркеров и настраиваете инструмент маркировки.
17. Что касается Типы работников, наведите на Частный.Для этого сообщения вы используете внутреннюю рабочую силу для аннотирования изображений. У вас также есть возможность выбрать государственную контрактную рабочую силу (Амазонка Механический Турок) или партнерская рабочая сила (Поставщик управляется) в зависимости от вашего варианта использования.
18. Для частных команд¸ выберите команду, которую вы создали ранее.
19. Оставьте другие параметры по умолчанию и прокрутите вниз до Инструмент маркировки ограничивающей рамки.Очень важно предоставить четкие инструкции здесь, в инструменте маркировки, для команды, занимающейся частной маркировкой. Эти инструкции служат руководством для аннотаторов при маркировке. Хорошие инструкции кратки, поэтому мы рекомендуем ограничить словесные или текстовые инструкции двумя предложениями и сосредоточиться на визуальных инструкциях. В случае классификации изображений мы рекомендуем предоставить одно помеченное изображение в каждом из классов как часть инструкций.
20. Добавьте две метки: fruit и no_fruit.
21. Введите подробные инструкции в Поле описания для предоставления инструкции рабочим. Например: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.При желании вы также можете предоставить примеры хороших и плохих надписей на изображениях. Вы должны убедиться, что эти изображения находятся в открытом доступе.
22. Выберите Создавай для создания задания маркировки.
    

После успешного создания задания следующим шагом будет маркировка входных изображений.

Начать работу по маркировке

После того, как вы успешно создали задание, статус задания InProgress. Это означает, что задание создано, и частные сотрудники уведомляются по электронной почте о назначенной им задаче. Поскольку вы назначили задачу себе, вы должны получить электронное письмо с инструкциями по входу в проект Ground Truth Labeling.

1. Откройте письмо и выберите предоставленную ссылку.
2. Введите имя пользователя и пароль, указанные в письме.
   Возможно, вам придется изменить временный пароль, указанный в электронном письме, на новый пароль после входа в систему.
3. После входа в систему выберите свою работу и выберите Начать работать.
   
   Вы можете использовать предоставленные инструменты для увеличения, уменьшения, перемещения и рисования ограничивающих рамок на изображениях.
4. Выберите свой ярлык (fruit or no_fruit), а затем нарисуйте ограничивающую рамку на изображении, чтобы добавить к нему аннотацию.
5. Когда вы закончите, выберите Отправить.

Теперь у вас есть правильно помеченные изображения, которые будут использоваться моделью машинного обучения для обучения.

Создайте свой проект Amazon Rekognition

Чтобы создать проект измерения урожайности в сельском хозяйстве, выполните следующие шаги:

1. На консоли Amazon Rekognition выберите Пользовательские метки.
2. Выберите Свяжитесь с нами!.
3. Что касается Название проекта, войти fruits_yield.
4. Выберите Создать проект.
   

Вы также можете создать проект на Проекты стр. Вы можете получить доступ к Проекты страницу через панель навигации. Следующим шагом является предоставление изображений в качестве входных данных.

Импортируйте свой набор данных

Чтобы создать модель измерения урожайности в сельском хозяйстве, сначала необходимо импортировать набор данных для обучения модели. Для этого поста наш набор данных уже помечен с использованием Ground Truth.

1. Что касается Импорт изображений, наведите на Импорт изображений, помеченных SageMaker Ground Truth.
   
2. Что касается Расположение файла манифеста, введите расположение корзины S3 вашего файла манифеста (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Выберите Создать набор данных.
   

Вы можете увидеть свой помеченный набор данных.

Теперь у вас есть входной набор данных для модели ML, чтобы начать обучение на них.

Обучите свою модель

После того, как вы пометили свои изображения, вы готовы обучать свою модель.

1. Выберите Модель поезда.
2. Что касается Выбрать проект, выберите свой проект fruits_yield.
3. Выберите Модель поезда.
   

Дождитесь завершения обучения. Теперь вы можете приступить к тестированию производительности этой обученной модели.

Протестируйте свою модель

Ваша модель измерения урожайности в сельском хозяйстве теперь готова к использованию и должна быть в Running государство. Чтобы протестировать модель, выполните следующие шаги:

Шаг 1: Запустите модель

На странице сведений о модели на Использовать модель , выберите Start.

Rekognition Custom Labels также предоставляет вызовы API для запуска, использования и остановки вашей модели.

Шаг 2: Протестируйте модель

Когда модель находится в Running состояние, вы можете использовать пример скрипта тестирования analyzeImage.py для подсчета количества фруктов на изображении.

1. Загрузите этот скрипт из Репо GitHub.
2. Отредактируйте этот файл, чтобы заменить параметр bucket с именем вашего ведра и model с вашей моделью Amazon Rekognition ARN.

Мы используем параметры photo и min_confidence в качестве входных данных для этого скрипта Python.

Вы можете запустить этот скрипт локально, используя Интерфейс командной строки AWS (интерфейс командной строки AWS) или с помощью Облачная оболочка AWS. В нашем примере мы запускали скрипт через консоль CloudShell. Обратите внимание, что CloudShell бесплатно использовать.

Обязательно установите необходимые зависимости с помощью команды pip3 install boto3 PILLOW если он еще не установлен.

3. Загрузите файл analyzeImage.py в CloudShell с помощью Действия .
   

На следующем снимке экрана показан вывод, который обнаружил два фрукта на входном изображении. Мы предоставили 15.jpeg в качестве аргумента фотографии и 85 в качестве min_confidence значения.

В следующем примере показано изображение 15.jpeg с двумя ограничивающими рамками.

Вы можете запустить тот же сценарий с другими изображениями и поэкспериментировать, изменив показатель достоверности.

Шаг 3: Остановите модель

Когда вы закончите, не забудьте остановить модель, чтобы избежать ненужных расходов. На странице сведений о модели на вкладке Использовать модель выберите Остановить.

Убирать

Чтобы избежать ненужных расходов, удаляйте ресурсы, использованные в этом пошаговом руководстве, когда они не используются. Нам нужно удалить проект Amazon Rekognition и корзину S3.

Удалить проект Amazon Rekognition

Чтобы удалить проект Amazon Rekognition, выполните следующие действия:

1. На консоли Amazon Rekognition выберите Использовать специальные ярлыки.
2. Выберите Начать.
3. На панели навигации выберите Проекты.
4. На Проекты странице выберите проект, который хотите удалить.
   1. Выберите Удалить.
      Ассоциация Удалить проект появится диалоговое окно.
5. Если в проекте нет связанных моделей:
   1. Enter удалять чтобы удалить проект.
   2. Выберите Удалить чтобы удалить проект.
6. Если в проекте есть связанные модели или наборы данных:
   1. Enter удалять чтобы подтвердить, что вы хотите удалить модель и наборы данных.
   2. Выберите либо Удалить связанные модели, Удалить связанные наборы данныхили Удалить связанные наборы данных и модели, в зависимости от того, содержит ли модель наборы данных, модели или и то, и другое.

   Удаление модели может занять некоторое время. Обратите внимание, что консоль Amazon Rekognition не может удалять модели, которые находятся в процессе обучения или работают. Повторите попытку после остановки всех перечисленных моделей и подождите, пока модели, указанные как обучающие, не будут завершены. Если вы закроете диалоговое окно во время удаления модели, модели все равно будут удалены. Позже вы можете удалить проект, повторив эту процедуру.

7. Enter удалять чтобы подтвердить, что вы хотите удалить проект.
8. Выберите Удалить чтобы удалить проект.

Удалить корзину S3

Сначала нужно очистить ведро, а затем удалить его.

1. На Amazon S3 консоль, выберите Ведра.
2. Выберите ведро, которое вы хотите очистить, затем выберите пустой.
3. Подтвердите, что хотите очистить корзину, введя имя корзины в текстовое поле, затем выберите пустой.
4. Выберите Удалить.
5. Подтвердите, что хотите удалить корзину, введя имя корзины в текстовое поле, затем выберите Удалить сегмент.

Заключение

В этом посте мы показали вам, как создать модель обнаружения объектов с помощью пользовательских меток Rekognition. Эта функция упрощает обучение пользовательской модели, которая может обнаруживать класс объектов без необходимости указывать другие объекты или терять точность результатов.

Для получения дополнительной информации об использовании специальных меток см. Что такое специальные метки Amazon Rekognition?

---

Об авторах

Дхирадж Тхакур является архитектором решений в Amazon Web Services. Он работает с клиентами и партнерами AWS, предоставляя рекомендации по внедрению, миграции и стратегии корпоративного облака. Он увлечен технологиями и любит строить и экспериментировать в области аналитики и AI/ML.

Самир Гоэль является старшим архитектором решений в Нидерландах, который способствует успеху клиентов, создавая прототипы на основе передовых инициатив. До прихода в AWS Самир получил степень магистра в Бостоне, специализируясь на науке о данных. Ему нравится создавать и экспериментировать с проектами AI/ML на Raspberry Pi. Вы можете найти его на LinkedIn.