Поради щодо вдосконалення моделі користувацьких міток Amazon Rekognition

У цій публікації ми обговорюємо найкращі методи покращення продуктивності використання моделей комп’ютерного зору Спеціальні етикетки Amazon Rekogmination. Rekognition Custom Labels — це повністю керована служба для створення власних моделей комп’ютерного зору для класифікації зображень і випадків використання виявлення об’єктів. Rekognition Custom Labels створено на основі попередньо навчених моделей Amazon Rekognition, які вже навчені на десятках мільйонів зображень у багатьох категоріях. Замість тисяч зображень ви можете почати з невеликого набору навчальних зображень (кілька сотень або менше), які відповідають вашому випадку використання. Rekognition Custom Labels усуває складність створення власної моделі. Він автоматично перевіряє навчальні дані, вибирає правильні алгоритми ML, вибирає тип екземпляра, навчає кілька моделей-кандидатів із різними налаштуваннями гіперпараметрів і виводить найкраще навчену модель. Rekognition Custom Labels також надає простий у використанні інтерфейс від Консоль управління AWS для керування всім робочим процесом ML, включаючи маркування зображень, навчання моделі, розгортання моделі та візуалізацію результатів тестування.

Бувають випадки, коли точність моделі не найкраща, і у вас не так багато можливостей для налаштування параметрів конфігурації моделі. За лаштунками є кілька факторів, які відіграють ключову роль у створенні високоефективної моделі, наприклад:

• Ракурс зображення
• Роздільна здатність зображення
• Співвідношення сторін зображення
• Світловий вплив
• Чіткість і яскравість фону
• Колірний контраст
• Розмір вибіркових даних

Нижче наведено загальні кроки, яких необхідно виконати для навчання моделі користувальницьких міток Rekognition виробничого рівня:

1. Огляд таксономії – Це визначає список атрибутів/елементів, які ви хочете ідентифікувати на зображенні.
2. Зберіть відповідні дані – Це найважливіший крок, на якому вам потрібно зібрати релевантні зображення, які мають нагадувати те, що ви бачите у виробничому середовищі. Це може включати зображення об’єктів із різним фоном, освітленням або ракурсом камери. Потім ви створюєте навчальні та тестові набори даних, розділяючи зібрані зображення. Ви повинні включати лише реальні зображення як частину тестового набору даних і не повинні включати жодних синтетично згенерованих зображень. Анотації зібраних вами даних мають вирішальне значення для продуктивності моделі. Переконайтеся, що обмежувальні рамки щільно розташовані навколо об’єктів, а мітки точні. Далі в цьому дописі ми обговорюємо деякі поради, які ви можете взяти до уваги під час створення відповідного набору даних.
3. Перегляньте показники навчання – Використовуйте попередні набори даних для навчання моделі та перегляду показників навчання для результатів F1, точності та запам’ятовування. Далі в цьому дописі ми детально обговоримо, як аналізувати метрики навчання.
4. Оцініть навчену модель – Використовуйте набір невидимих ​​зображень (не використовуваних для навчання моделі) з відомими мітками, щоб оцінити прогнози. Цей крок слід завжди виконувати, щоб переконатися, що модель працює належним чином у робочому середовищі.
5. Повторне навчання (за бажанням) – Загалом навчання будь-якої моделі машинного навчання є ітеративним процесом для досягнення бажаних результатів, модель комп’ютерного зору нічим не відрізняється. Перегляньте результати на кроці 4, щоб побачити, чи потрібно додати більше зображень до навчальних даних, і повторіть вищевказані кроки 3–5.

У цій публікації ми зосереджуємося на найкращих практиках збору релевантних даних (Крок 2) і оцінці навчених показників (Крок 3), щоб покращити ефективність моделі.

Зберіть відповідні дані

Це найважливіший етап навчання виробничої моделі Rekognition Custom Labels. Зокрема, є два набори даних: навчання та тестування. Навчальні дані використовуються для навчання моделі, і вам потрібно витратити зусилля на створення відповідного навчального набору. Для розпізнавання користувацьких міток оптимізовано моделі F1 бал на наборі даних тестування, щоб вибрати найточнішу модель для вашого проекту. Тому дуже важливо підбирати тестовий набір даних, який нагадує реальний світ.

Кількість зображень

Ми рекомендуємо мати щонайменше 15-20 зображень на етикетці. Наявність більшої кількості зображень із більшою кількістю варіацій, що відображає ваш варіант використання, покращить продуктивність моделі.

Збалансований набір даних

В ідеалі кожна мітка в наборі даних повинна мати однакову кількість зразків. Не повинно бути великої різниці в кількості зображень на мітці. Наприклад, набір даних, де найбільша кількість зображень для мітки становить 1,000 проти 50 зображень для іншої мітки, нагадує незбалансований набір даних. Ми рекомендуємо уникати сценаріїв із однобоким співвідношенням 1:50 між міткою з найменшою кількістю зображень і міткою з найбільшою кількістю зображень.

Різні типи зображень

Включіть зображення в навчальний і тестовий набір даних, який нагадує те, що ви використовуватимете в реальному світі. Наприклад, якщо ви хочете класифікувати зображення віталень і спалень, вам слід включити порожні та мебльовані зображення обох кімнат.

Нижче наведено приклад мебльованої вітальні.

На відміну від цього, нижче наведено приклад вітальні без меблів.

Нижче наведено приклад мебльованої спальні.

Нижче наведено приклад зображення спальні без меблів.

Різне походження

Додайте зображення з різним фоном. Зображення з природним контекстом можуть забезпечити кращі результати, ніж звичайний фон.

Нижче наведено приклад зображення переднього двору будинку.

Нижче наведено приклад зображення переднього двору іншого будинку з іншим фоном.

Різні умови освітлення

Додайте зображення з різним освітленням, щоб воно охоплювало різні умови освітлення, які виникають під час визначення (наприклад, зі спалахом і без нього). Ви також можете включити зображення з різною насиченістю, відтінком і яскравістю.

Нижче наведено приклад зображення квітки при нормальному освітленні.

На відміну від цього, на наступному зображенні зображена та сама квітка під яскравим світлом.

Різні кути

Додайте зображення, зроблені з різних ракурсів об’єкта. Це допомагає моделі вивчати різні характеристики об’єктів.

На наступних зображеннях одна і та ж спальня з різних ракурсів.

Можуть бути випадки, коли неможливо отримати зображення різних типів. У цих сценаріях синтетичні зображення можуть бути створені як частина навчального набору даних. Додаткову інформацію про поширені методи збільшення зображення див Збільшення даних.

Додайте негативні мітки

Для класифікації зображень додавання негативних міток може допомогти підвищити точність моделі. Наприклад, ви можете додати негативну мітку, яка не відповідає жодній із необхідних міток. На наступному зображенні представлені різні мітки, які використовуються для ідентифікації повністю дорослих квітів.

Додавання негативної мітки not_fully_grown допомагає моделі вивчати характеристики, які не є частиною fully_grown етикетка.

Усунення плутанини з мітками

Проаналізуйте результати тестового набору даних, щоб розпізнати будь-які шаблони, пропущені в навчальному або тестовому наборі даних. Іноді такі закономірності легко помітити, візуально розглядаючи зображення. На наступному зображенні модель намагається вирішити між міткою заднього двору чи внутрішнього дворика.

У цьому сценарії додавання додаткових зображень до цих міток у наборі даних, а також перевизначення міток, щоб кожна мітка була окремою, може допомогти підвищити точність моделі.

Збільшення даних

Усередині користувацьких міток Rekognition ми виконуємо різні доповнення даних для навчання моделі, включаючи випадкове обрізання зображення, коливання кольорів, випадкові шуми Гауса тощо. Виходячи з ваших конкретних випадків використання, також може бути корисним додати більш явні доповнення даних до ваших навчальних даних. Наприклад, якщо ви зацікавлені у виявленні тварин як на кольорових, так і на чорно-білих зображеннях, ви потенційно можете отримати кращу точність, додавши чорно-білі та кольорові версії тих самих зображень до навчальних даних.

Ми не рекомендуємо доповнювати дані тестування, якщо вони не відображають ваші робочі випадки використання.

Перегляньте показники навчання

Оцінка F1, точність, запам'ятовування та передбачуваний поріг є такими показники які генеруються як вихідні дані навчання моделі з використанням спеціальних міток Rekognition. Моделі оптимізовано для найкращого результату F1 на основі наданого набору даних тестування. Передбачуване порогове значення також генерується на основі набору даних тестування. Ви можете налаштувати поріг на основі ваших бізнес-вимог щодо точності чи запам’ятовування.

Оскільки передбачувані порогові значення встановлюються на тестовому наборі даних, відповідний тестовий набір має відображати реальний варіант використання виробництва. Якщо тестовий набір даних не відповідає варіанту використання, ви можете побачити штучно високі оцінки F1 і низьку продуктивність моделі на ваших реальних зображеннях.

Ці показники корисні під час виконання початкової оцінки моделі. Для системи виробничого класу ми рекомендуємо оцінювати модель із зовнішнім набором даних (500–1,000 невидимих ​​зображень), що репрезентує реальний світ. Це допомагає оцінити, як модель працюватиме у виробничій системі, а також виявити будь-які відсутні шаблони та виправити їх шляхом перенавчання моделі. Якщо ви бачите невідповідність між результатами F1 і зовнішнім оцінюванням, радимо перевірити, чи ваші тестові дані відображають реальний приклад використання.

Висновок

У цій публікації ми ознайомили вас із найкращими методами вдосконалення моделей користувацьких міток Rekognition. Ми радимо вам дізнатися більше про Розпізнавання спеціальних міток і випробувати це для наборів даних для вашого бізнесу.

---

Про авторів

Аміт Гупта є старшим архітектором рішень AI Services в AWS. Він захоплений тим, щоб надавати клієнтам добре продумані рішення для машинного навчання в масштабі.

Йогеш Чатурведі є архітектором рішень в AWS і спеціалізується на комп’ютерному баченні. Він працює з клієнтами над вирішенням їхніх бізнес-завдань за допомогою хмарних технологій. Поза роботою він любить піші прогулянки, подорожі та перегляд спортивних змагань.

Хао Ян є старшим науковим співробітником команди Amazon Rekognition Custom Labels. Його основні наукові інтереси – виявлення об’єктів і навчання з обмеженими анотаціями. Поза роботою Хао любить дивитися фільми, фотографувати та проводити активний відпочинок.

Пашмін Містрі є старшим менеджером з продуктів Amazon Rekognition Custom Labels. Поза роботою Пашмін любить пригодницькі походи, фотографує та проводить час зі своєю родиною.