Перевірте свої мітки даних за допомогою візуального інструменту без коду, щоб створити високоякісні навчальні набори даних за допомогою Amazon SageMaker Ground Truth Plus

Запущено на AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus допомагає створювати високоякісні навчальні набори даних, усуваючи недиференційовану важку роботу, пов’язану зі створенням додатків для маркування даних і керування робочою силою з маркування. Все, що ви робите, це обмінюватися даними разом із вимогами до маркування, а Ground Truth Plus налаштовує та керує вашим робочим процесом маркування даних на основі цих вимог. Звідти експертна робоча сила, навчена різноманітним завданням машинного навчання (ML), виконує маркування даних. Щоб використовувати Ground Truth Plus, вам навіть не потрібен глибокий досвід ML або знання проектування робочого процесу та управління якістю.

Створення високоякісного навчального набору даних для вашого алгоритму ML є ітераційним процесом. Практикуючі ML часто створюють спеціальні системи для перевірки міток даних, оскільки точні мічені дані мають вирішальне значення для якості моделі ML. Щоб гарантувати, що ви отримуєте високоякісні навчальні дані, Ground Truth Plus надає вам вбудований інтерфейс користувача (Review UI), щоб перевіряти якість міток даних і надавати відгуки про мітки даних, поки ви не переконаєтеся, що мітки точно представляють основну правду або те, що можна безпосередньо спостерігати в реальному світі.

Ця публікація допоможе вам створити команду проекту та використати декілька нових вбудованих функцій інструмента Review UI, щоб ефективно завершити перевірку позначеного набору даних. Покрокове керівництво передбачає, що у вас є активний проект маркування Ground Truth Plus. Для отримання додаткової інформації див Amazon SageMaker Ground Truth Plus – створюйте навчальні набори даних без коду чи внутрішніх ресурсів.

Створіть команду проекту

Команда проекту надає членам вашої організації доступ до перевірки міток даних за допомогою інструмента перегляду інтерфейсу користувача. Щоб створити групу проекту, виконайте такі дії:

1. Правда на землі плюс втішитивиберіть Створити команду проекту.
2. Select Створіть нову групу користувачів Amazon Cognito . Якщо у вас вже є Амазонка Когніто групі користувачів, виберіть Імпорт учасників варіант.
3. для Назва групи користувачів Amazon Cognito, введіть назву. Це ім'я не можна змінити.
4. для Адреси електронної пошти, введіть адреси електронної пошти до 50 учасників команди, розділивши їх комами.
5. Вибирати Створити команду проекту.

Члени вашої команди отримають електронний лист із запрошенням приєднатися до команди проекту Ground Truth Plus. Звідти вони можуть увійти на портал проекту Ground Truth Plus, щоб переглянути мітки даних.

Перевірте якість позначеного набору даних

Тепер розглянемо приклад відстеження відеооб’єктів CBCL StreetScenes набір даних.

Після того, як дані у вашому пакеті було позначено, пакет буде позначено як Готовий до огляду.

Виберіть партію і виберіть Огляд партії. Вас буде перенаправлено до інтерфейсу перегляду. У вас є можливість вибрати різну частоту дискретизації для кожної партії, яку ви переглядаєте. Наприклад, у нашому прикладі є п’ять відео. Ви можете вказати, чи бажаєте ви переглядати лише частину з цих п’яти відео чи всі.

Тепер давайте розглянемо різні функції в інтерфейсі користувача Review, які допоможуть вам швидше перевіряти якість позначеного набору даних і надавати відгуки про якість:

• Фільтруйте мітки за категорією міток – В інтерфейсі перегляду на правій панелі ви можете фільтрувати мітки за категорією міток. Ця функція стане в нагоді, якщо є кілька категорій міток (наприклад, Vehicles, Pedestrians та Poles) у щільному об’єкті набору даних, і ви хочете одночасно переглядати мітки для однієї категорії міток. Для прикладу зосередимося на Car категорія етикетки. Введіть Car категорію міток на правій панелі, щоб відфільтрувати всі анотації лише типу Car. На наступних знімках екрана показано режим перегляду інтерфейсу користувача до та після застосування фільтра.
  
• Накладення пов’язаних значень анотованих атрибутів – Кожній мітці можна призначити атрибути для анотації. Наприклад, для категорії етикетки Car , скажіть, що ви хочете попросити працівників також примітити Color  та  Occlusion атрибути для кожного екземпляра мітки. Коли ви завантажуєте інтерфейс користувача Review, ви побачите відповідні атрибути під кожним екземпляром мітки на правій панелі. Але що, якщо ви хочете бачити ці анотації атрибутів безпосередньо на зображенні? Ви вибираєте мітку Car:1 і для накладання анотацій атрибутів для Car:1 , ви натискаєте Ctrl + A.
  Тепер ви побачите анотацію Dark Blue для Color атрибут і анотація None для Occlusion атрибут безпосередньо відображається на зображенні поруч із Car:1 обмежувальна рамка. Тепер ви можете легко в цьому переконатися Car:1 було позначено як Dark Blue, без оклюзії, просто дивлячись на зображення, а не шукаючи місцезнаходження Car:1 на правій панелі, щоб побачити анотації атрибутів.
  
• Залиште відгук на рівні мітки – Для кожної мітки ви можете залишити відгук на рівні мітки в цій мітці Відгук про етикетку атрибут вільного рядка. Наприклад, на цьому зображенні Car:1 виглядає більше чорним, ніж темно-синім. Ви можете передати цю розбіжність як зворотній зв'язок для Car:1 використання Відгук про етикетку поле для відстеження коментаря до цієї мітки на кадрі. Наша команда внутрішнього контролю якості розгляне ці відгуки та внесе зміни в процес анотування та політику щодо міток, а також навчить анотаторів за потреби.
  
• Залиште відгук на рівні кадру – Так само для кожного кадру ви можете залишити відгук на рівні кадру під цим кадром Кадр зворотного зв'язку атрибут вільного рядка. У цьому випадку анотації для Car та  Pedestrian класи виглядають правильно і добре реалізовані в цьому кадрі. Ви можете передати цей позитивний відгук за допомогою Забезпечити зворотній звязок поле, а ваш коментар пов’язано з цим кадром.
  
• Скопіюйте відгук анотації на інші кадри – Ви можете скопіювати відгуки на рівні мітки та на рівні кадру в інші кадри, якщо клацнути правою кнопкою миші цей атрибут. Ця функція корисна, коли ви хочете дублювати той самий зворотний зв’язок між кадрами для цієї мітки або застосувати той самий зворотний зв’язок на рівні кадру до кількох кадрів. Ця функція дозволяє швидко завершити перевірку міток даних.
  
• Схвалити або відхилити кожен об’єкт набору даних – Для кожного об’єкта набору даних, який ви переглядаєте, у вас є можливість вибору Схвалювати якщо вас влаштовують анотації, або виберіть Відхилити якщо ви не задоволені й хочете переробити ці анотації. Коли ви обираєте Надіслати, ви можете схвалити або відхилити відео, яке ви щойно переглянули. У будь-якому випадку ви можете надати додатковий коментар:
  • Якщо ви обираєте Схвалювати, коментар необов'язковий.
    
  • Якщо ви обираєте Відхилити, потрібні коментарі, і ми пропонуємо надати детальний відгук. Ваш відгук буде розглянуто спеціальною командою контролю якості Ground Truth Plus, яка вживатиме заходів для виправлення, щоб уникнути подібних помилок у наступних відео.
    

Коли ви надішлете відео зі своїм відгуком, вас буде перенаправлено назад на сторінку з інформацією про проект на порталі проекту, де ви зможете переглянути кількість відхилених об’єктів у розділі Відбраковані об'єкти та коефіцієнт помилок, який розраховується як кількість прийнятих об’єктів із розглянутих об’єктів під Швидкість прийому для кожної партії у вашому проекті. Наприклад, для партії 1 на наступному знімку екрана рівень прийнятності становить 80%, оскільки було прийнято чотири об’єкти з п’яти перевірених об’єктів.

Висновок

Високоякісний набір навчальних даних має вирішальне значення для реалізації ваших ініціатив МЛ. З Ground Truth Plus тепер у вас є вдосконалений вбудований інструмент перегляду інтерфейсу користувача, який усуває недиференційовану важку роботу, пов’язану зі створенням спеціальних інструментів для перевірки якості позначеного набору даних. У цьому дописі ви дізналися, як створити команду проекту та використовувати нові вбудовані функції інструмента Review UI. Відвідайте Консоль Ground Truth Plus щоб розпочати роботу.

Як завжди, AWS раді відгукам. Надішліть будь-які коментарі чи запитання.

Про автора

Маніш Гоел є менеджером із продуктів Amazon SageMaker Ground Truth Plus. Він зосереджений на створенні продуктів, які полегшують клієнтам впровадження машинного навчання. У вільний час він любить подорожі та читає книги.

Ревекка Костоєва є інженером-розробником програмного забезпечення в Amazon AWS, де вона працює над клієнтськими та внутрішніми рішеннями для розширення широти та масштабованості послуг Sagemaker Ground Truth. Як дослідник, вона прагне вдосконалювати інструменти торгівлі для просування інновацій.

• Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
• CryptoHawk. Альткойн Радар. Безкоштовне випробування.
• Джерело: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/