Використовуйте комп’ютерне бачення для вимірювання врожайності сільського господарства за допомогою спеціальних міток Amazon Rekognition

У сільському господарстві проблема визначення та підрахунку кількості плодів на деревах відіграє важливу роль при оцінці врожаю. Концепція оренди та лізингу дерева стає популярною, коли власник дерева орендує дерево щороку перед збиранням врожаю на основі передбачуваної врожайності. Поширена практика підрахунку фруктів вручну є трудомістким і трудомістким процесом. Це одне з найскладніших, але найважливіших завдань для отримання кращих результатів у вашій системі управління врожаєм. Така оцінка кількості фруктів і квітів допомагає фермерам приймати кращі рішення — не лише щодо ціни лізингу, але й щодо методів вирощування та профілактики хвороб рослин.

Ось де рішення автоматизованого машинного навчання (ML) для комп’ютерного зору (CV) може допомогти фермерам. Спеціальні етикетки Amazon Rekogmination — це повністю керована служба комп’ютерного зору, яка дозволяє розробникам створювати власні моделі для класифікації та ідентифікації об’єктів у зображеннях, які є специфічними та унікальними для вашого бізнесу.

Rekognition Custom Labels не вимагає попереднього знання комп’ютерного зору. Ви можете почати, просто завантаживши десятки зображень замість тисяч. Якщо зображення вже позначені, ви можете почати навчання моделі всього за кілька кліків. Якщо ні, ви можете позначити їх безпосередньо на консолі Rekognition Custom Labels або використовувати Основна правда Amazon SageMaker маркувати їх. Rekognition Custom Labels використовує навчання з перенесенням, щоб автоматично перевіряти навчальні дані, вибирати правильний каркас і алгоритм моделі, оптимізувати гіперпараметри та навчати модель. Коли ви задоволені точністю моделі, ви можете розпочати розміщення навченої моделі лише одним клацанням миші.

У цій публікації ми демонструємо, як ви можете створити наскрізне рішення за допомогою спеціальних міток Rekognition для виявлення та підрахунку фруктів для вимірювання врожайності сільського господарства.

Огляд рішення

Ми створюємо спеціальну модель для виявлення фруктів за допомогою таких кроків:

1. Позначте набір даних зображеннями, що містять фрукти Основна правда Amazon SageMaker.
2. Створіть проект у Rekognition Custom Labels.
3. Імпортуйте позначений набір даних.
4. Тренуйте модель.
5. Протестуйте нову спеціальну модель за допомогою автоматично створеної кінцевої точки API.

Rekognition Custom Labels дозволяє керувати процесом навчання моделі ML на консолі Amazon Rekognition, що спрощує наскрізну розробку моделі та процес висновку.

Передумови

Щоб створити модель вимірювання врожайності сільського господарства, вам спочатку потрібно підготувати набір даних для навчання моделі. Для цієї публікації наш набір даних складається із зображень фруктів. На наступних зображеннях показано кілька прикладів.

Ми брали зображення з власного саду. Ви можете завантажити файли зображень з GitHub репо.

Для цієї публікації ми використовуємо лише декілька зображень, щоб продемонструвати варіант використання врожаю плодів. Ви можете експериментувати далі з більшою кількістю зображень.

Щоб підготувати набір даних, виконайте такі кроки:

1. створити Служба простого зберігання Amazon (Amazon S3) відро.
2. Створіть дві папки всередині цього відра під назвою raw_data та test_data, щоб зберігати зображення для маркування та тестування моделі.
3. Вибирати Завантажувати щоб завантажити зображення у відповідні папки зі сховища GitHub.
   

Завантажені зображення не позначені. Ви позначаєте зображення на наступному кроці.

Позначте свій набір даних за допомогою Ground Truth

Щоб навчити модель ML, вам потрібні зображення з мітками. Ground Truth забезпечує простий процес позначення зображень. Завдання маркування виконується робочою силою людини; на цій посаді ви створюєте приватну робочу силу. Ви можете використовувати Amazon Mechanical Turk для маркування у масштабі.

Створіть робочу силу з маркування

Давайте спочатку створимо нашу робочу силу для маркування. Виконайте наступні дії:

1. На консолі SageMaker під Грунтова правда на панелі навігації виберіть Маркування робочої сили.
2. на приватний вкладку, виберіть Створіть приватну команду.
   
3. для Назва команди, введіть назву вашої робочої сили (для цієї посади, labeling-team).
4. Вибирати Створіть приватну команду.
   
5. Вибирати Запрошуйте нових працівників.
   
   
6. У Додайте працівників за електронною адресою введіть електронні адреси ваших працівників. Для цієї публікації введіть свою електронну адресу.
7. Вибирати Запросіть нових працівників.
   

Ви створили робочу силу з маркування, яку використовуєте на наступному кроці під час створення завдання з маркування.

Створіть завдання маркування Ground Truth

Щоб отримати якісне маркування, виконайте такі кроки:

1. На консолі SageMaker під Грунтова правдавиберіть Роботи з маркування.
2. Вибирати Створення завдання маркування.
   
3. для Назва роботи, введіть fruits-detection.
4. Select Я хочу вказати назву атрибута мітки, відмінну від назви завдання маркування.
5. для Назва атрибута мітки¸ введіть Labels.
6. для Налаштування вхідних данихвиберіть Автоматичне налаштування даних.
7. для Розташування S3 для вхідних наборів даних, введіть розташування S3 зображень, використовуючи раніше створене відро (s3://{your-bucket-name}/raw-data/images/).
8. для Розташування S3 для вихідних наборів данихвиберіть Вкажіть нове місце і введіть вихідне місце для анотованих даних (s3://{your-bucket-name}/annotated-data/).
9. для Тип данихвиберіть зображення.
10. Вибирати Повне налаштування даних.
    Це створює файл маніфесту зображення та оновлює шлях розташування вхідних даних S3. Дочекайтеся повідомлення «З’єднання вхідних даних успішно».
    
11. Розширювати Додаткова конфігурація.
12. Підтвердьте це Повний набір даних вибраний.
    Це використовується для вказівки, чи бажаєте ви надати всі зображення для завдання маркування чи підмножину зображень на основі фільтрів чи випадкової вибірки.
    
13. для Категорія завданьвиберіть зображення тому що це завдання для анотації зображення.
14. Тому що це варіант використання виявлення об’єктів Вибір завданнявиберіть Обмежувальна рамка.
15. Залиште інші параметри за замовчуванням і виберіть МАЙБУТНІ.
    
16. Вибирати МАЙБУТНІ.
    
    Тепер ви вказуєте своїх працівників і налаштовуєте інструмент маркування.
17. для Типи робітниківвиберіть приватний.Для цієї публікації ви використовуєте внутрішню робочу силу для анотування зображень. У вас також є можливість обрати державну контрактну робочу силу (Amazon Mechanical Turk) або партнерська робоча сила (Керований постачальник) залежно від вашого випадку використання.
18. Для приватних команд¸ виберіть команду, яку ви створили раніше.
19. Залиште інші параметри за замовчуванням і перейдіть до Інструмент маркування обмежувальної рамки.Важливо надати чіткі інструкції тут, у інструменті маркування для приватної команди маркування. Ці інструкції служать посібником для анотаторів під час маркування. Хороші інструкції є лаконічними, тому ми рекомендуємо обмежити словесні або текстові інструкції двома реченнями та зосередитися на візуальних інструкціях. У випадку класифікації зображень ми рекомендуємо надати одне позначене зображення в кожному класі як частину інструкцій.
20. Додайте дві мітки: fruit та no_fruit.
21. Введіть докладні інструкції в Поле опису, яке потрібно надати інструкції для робітників. Наприклад: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.Ви також можете додатково надати приклади хороших і поганих зображень етикеток. Ви повинні переконатися, що ці зображення є загальнодоступними.
22. Вибирати Створювати щоб створити завдання маркування.
    

Після успішного створення завдання наступним кроком буде позначення вхідних зображень.

Почніть маркування

Після того, як ви успішно створили роботу, статус роботи є InProgress. Це означає, що вакансію створено, а приватну робочу силу сповіщено електронною поштою про призначене їм завдання. Оскільки ви призначили завдання собі, ви повинні отримати електронний лист із інструкціями щодо входу в проект Ground Truth Labeling.

1. Відкрийте електронний лист і виберіть надане посилання.
2. Введіть ім’я користувача та пароль, надані в електронному листі.
   Можливо, вам доведеться змінити тимчасовий пароль, наданий в електронному листі, на новий пароль після входу.
3. Після того, як ви увійшли, виберіть свою роботу та виберіть Початок роботи.
   
   Ви можете використовувати надані інструменти для збільшення та зменшення масштабу, переміщення та малювання обмежувальних рамок на зображеннях.
4. Виберіть свій ярлик (fruit or no_fruit), а потім намалюйте обмежувальну рамку на зображенні, щоб додати до нього примітки.
5. Коли ви закінчите, виберіть Надіслати.

Тепер у вас є правильно позначені зображення, які використовуватимуться моделлю ML для навчання.

Створіть свій проект Amazon Rekognition

Щоб створити свій проект вимірювання врожайності сільського господарства, виконайте наступні кроки:

1. На консолі Amazon Rekognition виберіть Спеціальні мітки.
2. Вибирати Розпочати.
3. для Назва проекту, введіть fruits_yield.
4. Вибирати Створити проект.
   

Ви також можете створити проект на Завдання сторінки. Ви можете отримати доступ до Завдання за допомогою панелі навігації. Наступним кроком буде надання зображень як вхідних даних.

Імпортуйте свій набір даних

Щоб створити свою модель вимірювання врожайності сільського господарства, вам спочатку потрібно імпортувати набір даних для навчання моделі. Для цієї публікації наш набір даних уже позначено за допомогою Ground Truth.

1. для Імпорт зображеньвиберіть Імпортуйте зображення, позначені SageMaker Ground Truth.
   
2. для Розташування файлу маніфесту, введіть розташування сегмента S3 вашого файлу маніфесту (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Вибирати Створити набір даних.
   

Ви можете побачити свій набір даних з мітками.

Тепер у вас є вхідний набір даних для моделі ML, щоб почати навчання на них.

Тренуйте свою модель

Після того як ви позначите свої зображення, ви готові до навчання моделі.

1. Вибирати Модель потяга.
2. для Виберіть проект, виберіть свій проект fruits_yield.
3. Вибирати Модель потяга.
   

Дочекайтеся завершення навчання. Тепер ви можете розпочати тестування продуктивності цієї навченої моделі.

Перевірте свою модель

Ваша модель вимірювання врожайності в сільському господарстві тепер готова до використання та має бути в Running стан. Щоб протестувати модель, виконайте такі кроки:

Крок 1: Запустіть модель

На сторінці інформації про вашу модель на сторінці Використовуйте модель вкладку, виберіть Start.

Rekognition Custom Labels також надає виклики API для запуску, використання та зупинки вашої моделі.

Крок 2: Перевірте модель

Коли модель знаходиться в Running стані, ви можете використати зразок сценарію тестування analyzeImage.py підрахувати кількість фруктів на зображенні.

1. Завантажте цей скрипт із сайту GitHub репо.
2. Відредагуйте цей файл, щоб замінити параметр bucket з назвою вашого відра та model з вашою моделлю Amazon Rekognition ARN.

Використовуємо параметри photo та min_confidence як вхідні дані для цього сценарію Python.

Ви можете запустити цей сценарій локально за допомогою Інтерфейс командного рядка AWS (AWS CLI) або за допомогою AWS CloudShell. У нашому прикладі ми запустили сценарій через консоль CloudShell. Зверніть увагу, що CloudShell є вільний у користуванні.

Переконайтеся, що встановлено необхідні залежності за допомогою команди pip3 install boto3 PILLOW якщо ще не встановлено.

3. Завантажте файл analyzeImage.py до CloudShell за допомогою Дії меню.
   

На наступному знімку екрана показано результат, який виявив два фрукти у вхідному зображенні. Ми вказали 15.jpeg як аргумент фотографії та 85 як аргумент min_confidence value.

У наступному прикладі показано зображення 15.jpeg із двома обмежувальними рамками.

Ви можете запустити той самий сценарій з іншими зображеннями та експериментувати, змінюючи показник достовірності.

Крок 3: зупиніть модель

Коли ви закінчите, не забудьте зупинити модель, щоб уникнути непотрібних витрат. На сторінці деталей моделі на вкладці «Використати модель» виберіть «Зупинити».

Прибирати

Щоб уникнути непотрібних витрат, видаліть ресурси, використані в цьому покроковому керівництві, коли вони не використовуються. Нам потрібно видалити проект Amazon Rekognition і сегмент S3.

Видалити проект Amazon Rekognition

Щоб видалити проект Amazon Rekognition, виконайте такі дії:

1. На консолі Amazon Rekognition виберіть Використовуйте спеціальні мітки.
2. Вибирати ПОЧАТИ.
3. На панелі навігації виберіть Завдання.
4. на Завдання виберіть проект, який потрібно видалити.
   1. Вибирати видаляти.
      Команда Видалити проект з'явиться діалогове вікно.
5. Якщо проект не має пов’язаних моделей:
   1. Що натомість? Створіть віртуальну версію себе у видаляти щоб видалити проект.
   2. Вибирати видаляти щоб видалити проект.
6. Якщо проект має пов’язані моделі або набори даних:
   1. Що натомість? Створіть віртуальну версію себе у видаляти щоб підтвердити, що ви бажаєте видалити модель і набори даних.
   2. Виберіть або Видалити пов’язані моделі, Видалити пов’язані набори данихабо Видалити пов’язані набори даних і моделі, залежно від того, чи має модель набори даних, моделі чи те й інше.

   Видалення моделі може тривати деякий час. Зауважте, що консоль Amazon Rekognition не може видаляти моделі, які навчаються або працюють. Спробуйте ще раз після зупинки будь-якої запущеної моделі зі списку та зачекайте, доки моделі, зазначені як навчальні, завершаться. Якщо ви закриєте діалогове вікно під час видалення моделі, моделі все одно видалятимуться. Пізніше ви можете видалити проект, повторивши цю процедуру.

7. Що натомість? Створіть віртуальну версію себе у видаляти щоб підтвердити, що ви хочете видалити проект.
8. Вибирати видаляти щоб видалити проект.

Видаліть своє відро S3

Спочатку потрібно спорожнити відро, а потім видалити його.

1. на Amazon S3 консоль, виберіть Відра.
2. Виберіть відро, яке ви хочете спорожнити, а потім виберіть порожній.
3. Підтвердьте, що ви хочете спорожнити відро, ввівши назву відра в текстове поле, а потім виберіть порожній.
4. Вибирати видаляти.
5. Підтвердьте, що ви хочете видалити сегмент, ввівши назву сегмента в текстове поле, а потім виберіть Видалити відро.

Висновок

У цій публікації ми показали вам, як створити модель виявлення об’єктів за допомогою спеціальних міток Rekognition. Ця функція дозволяє легко навчити спеціальну модель, яка може виявляти клас об’єктів без необхідності вказувати інші об’єкти або втрачати точність результатів.

Додаткову інформацію про використання користувацьких міток див Що таке спеціальні етикетки Amazon Rekognition?

---

Про авторів

Дхірадж Тхакур є архітектором рішень Amazon Web Services. Він співпрацює з клієнтами та партнерами AWS, щоб надати вказівки щодо впровадження корпоративної хмари, міграції та стратегії. Він захоплений технологіями та любить будувати та експериментувати в аналітиці та просторі AI/ML.

Самір Гоель є старшим архітектором рішень у Нідерландах, який сприяє успіху клієнтів, створюючи прототипи на основі передових ініціатив. До того, як приєднатися до AWS, Самір отримав ступінь магістра в Бостоні, спеціалізуючись на науці про дані. Йому подобається створювати та експериментувати з проектами AI/ML на Raspberry Pi. Ви можете знайти його на LinkedIn.