Проверяйте свои метки данных с помощью визуального инструмента без кода для создания высококачественных наборов обучающих данных с помощью Amazon SageMaker Ground Truth Plus.

Запущен на AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus помогает создавать высококачественные наборы обучающих данных, избавляясь от монотонной тяжелой работы, связанной с созданием приложений для маркировки данных и управлением персоналом, выполняющим маркировку. Все, что вы делаете, — это делитесь данными вместе с требованиями к маркировке, а Ground Truth Plus настраивает рабочий процесс маркировки данных и управляет им на основе этих требований. Оттуда квалифицированная рабочая сила, обученная различным задачам машинного обучения (ML), выполняет маркировку данных. Чтобы использовать Ground Truth Plus, вам даже не нужны глубокие знания в области машинного обучения или знания в области проектирования рабочих процессов и управления качеством.

Создание высококачественного обучающего набора данных для вашего алгоритма машинного обучения — это итеративный процесс. Практики машинного обучения часто создают собственные системы для проверки меток данных, потому что точно помеченные данные имеют решающее значение для качества модели машинного обучения. Чтобы убедиться, что вы получаете высококачественные обучающие данные, Ground Truth Plus предоставляет вам встроенный пользовательский интерфейс (Review UI) для проверки качества меток данных и предоставления обратной связи по меткам данных до тех пор, пока вы не будете удовлетворены тем, что метки точно отражают основная истина, или то, что непосредственно наблюдается в реальном мире.

В этом посте вы узнаете, как создать команду проекта и использовать несколько новых встроенных функций инструмента просмотра пользовательского интерфейса, чтобы эффективно завершить проверку размеченного набора данных. В пошаговом руководстве предполагается, что у вас есть активный проект маркировки Ground Truth Plus. Для получения дополнительной информации см. Amazon SageMaker Ground Truth Plus — создавайте обучающие наборы данных без кода или собственных ресурсов.

Создайте проектную команду

Команда проекта предоставляет доступ участникам из вашей организации для проверки меток данных с помощью инструмента проверки пользовательского интерфейса. Чтобы создать команду проекта, выполните следующие действия:

1. На земле правда плюс консоль, выберите Создать команду проекта.
2. Выберите Создайте новую группу пользователей Amazon Cognito. . Если у вас уже есть действующий Амазон Когнито группа пользователей, выберите Импорт членов опцию.
3. Что касается Имя группы пользователей Amazon Cognito, введите имя. Это имя нельзя изменить.
4. Что касается Адреса электронной почты, введите адреса электронной почты до 50 членов команды, разделенные запятыми.
5. Выберите Создать команду проекта.

Члены вашей команды получат электронное письмо с приглашением присоединиться к команде проекта Ground Truth Plus. Оттуда они могут войти на портал проекта Ground Truth Plus, чтобы просмотреть метки данных.

Проверка качества помеченного набора данных

Теперь давайте погрузимся в пример отслеживания видеообъектов, используя Уличные сцены CBCL набор данных.

После того, как данные в вашем пакете были помечены, пакет помечен как Готов к рассмотрению.

Выберите партию и выберите Проверка пакета. Вы будете перенаправлены в интерфейс просмотра. У вас есть возможность выбрать разную частоту дискретизации для каждой партии, которую вы просматриваете. Например, в нашем тестовом пакете всего пять видео. Вы можете указать, хотите ли вы просмотреть только часть этих пяти видео или все сразу.

Теперь давайте рассмотрим различные функции в пользовательском интерфейсе просмотра, которые помогут вам быстрее проверять качество помеченного набора данных и предоставлять отзывы о качестве:

• Фильтрация меток по категории меток – В пользовательском интерфейсе обзора на правой панели вы можете фильтровать метки на основе их категории меток. Эта функция удобна, когда есть несколько категорий ярлыков (например, Vehicles, Pedestriansкачества Poles) в плотном объекте набора данных, и вы хотите просматривать метки для одной категории меток за раз. Например, сосредоточимся на Car категория ярлыка. Введите Car категория меток на правой панели, чтобы отфильтровать все аннотации только одного типа Car. На следующих снимках экрана показано представление пользовательского интерфейса просмотра до и после применения фильтра.
  
• Наложение связанных значений аннотированных атрибутов – Каждой метке можно присвоить атрибуты, которые необходимо аннотировать. Например, для категории ярлыков Car , скажем, вы хотите попросить работников также аннотировать Color  и Occlusion атрибуты для каждого экземпляра этикетки. При загрузке пользовательского интерфейса обзора вы увидите соответствующие атрибуты под каждым экземпляром этикетки на правой панели. Но что, если вы хотите видеть эти аннотации атрибутов непосредственно на изображении? Вы выбираете ярлык Car:1 , а также для наложения аннотаций атрибутов для Car:1 вы нажимаете Ctrl+А.
  Теперь вы увидите аннотацию Dark Blue для Color атрибут и аннотация None для Occlusion атрибут, отображаемый непосредственно на изображении рядом с Car:1 Ограничительная рамка. Теперь вы можете легко убедиться, что Car:1 был отмечен как Dark Blue, без окклюзии, просто глядя на изображение, вместо того, чтобы искать Car:1 на правой панели, чтобы увидеть аннотации атрибутов.
  
• Оставьте отзыв на уровне ярлыка – Для каждого ярлыка вы можете оставить отзыв на уровне ярлыка в разделе этого ярлыка. Отзыв об ярлыке свободный строковый атрибут. Например, на этом изображении Car:1 выглядит скорее черным, чем темно-синим. Вы можете передать это несоответствие в качестве обратной связи для Car:1 используя Отзыв об ярлыке поле для отслеживания комментария к этой метке в этом кадре. Наша команда внутреннего контроля качества рассмотрит эти отзывы и внесет изменения в процесс аннотирования и политику маркировки, а также при необходимости обучит аннотаторов.
  
• Оставьте отзыв на уровне кадра – Точно так же для каждого кадра вы можете оставить отзыв на уровне кадра под его Кадровая обратная связь свободный строковый атрибут. В этом случае аннотации к Car и Pedestrian классы выглядят правильно и хорошо реализованы в этом кадре. Вы можете передать этот положительный отзыв, используя Обеспечить обратную связь поле, и ваш комментарий будет привязан к этому фрейму.
  
• Скопируйте отзыв аннотации в другие кадры – Вы можете скопировать обратную связь как на уровне метки, так и на уровне кадра в другие кадры, если щелкнете правой кнопкой мыши по этому атрибуту. Эта функция полезна, когда вы хотите дублировать одну и ту же обратную связь в кадрах для этой метки или применить одну и ту же обратную связь на уровне кадра к нескольким кадрам. Эта функция позволяет быстро завершить проверку меток данных.
  
• Утвердить или отклонить каждый объект набора данных – Для каждого объекта набора данных, который вы просматриваете, у вас есть возможность выбрать Утвердить если вас устраивают аннотации или выберите Отклонить если вы не удовлетворены и хотите, чтобы эти аннотации были переработаны. Когда вы выбираете Отправить, вам предоставляется возможность одобрить или отклонить видео, которое вы только что просмотрели. В любом случае вы можете предоставить дополнительный комментарий:
  • Если вы выбираете Утвердить, комментарий необязателен.
    
  • Если вы выбираете Отклонить, комментарий обязателен, и мы предлагаем предоставить подробный отзыв. Ваш отзыв будет рассмотрен специальной группой контроля качества Ground Truth Plus, которая предпримет корректирующие действия, чтобы избежать подобных ошибок в последующих видео.
    

После того как вы отправите видео с вашим отзывом, вы будете перенаправлены обратно на страницу сведений о проекте на портале проекта, где вы сможете просмотреть количество отклоненных объектов в разделе Отклоненные объекты столбец и коэффициент ошибок, который рассчитывается как количество принятых объектов из числа проверенных объектов под Скорость принятия столбец для каждой партии в вашем проекте. Например, для пакета 1 на следующем снимке экрана степень принятия составляет 80 %, поскольку из пяти проверенных объектов были приняты четыре объекта.

Заключение

Высококачественный набор обучающих данных имеет решающее значение для реализации ваших инициатив в области машинного обучения. С Ground Truth Plus у вас теперь есть улучшенный встроенный инструмент просмотра пользовательского интерфейса, который устраняет недифференцированную тяжелую работу, связанную с созданием пользовательских инструментов для проверки качества помеченного набора данных. В этом посте вы узнаете, как настроить команду проекта и использовать новые встроенные функции инструмента просмотра пользовательского интерфейса. Посетить Консоль Ground Truth Plus чтобы начать работу.

Как всегда, AWS приветствует обратную связь. Пожалуйста, отправьте любые комментарии или вопросы.

Об авторе

Маниш Гоэль является менеджером по продукту Amazon SageMaker Ground Truth Plus. Он сосредоточен на создании продуктов, которые облегчают клиентам внедрение машинного обучения. В свободное время любит путешествовать и читать книги.

Ревекка Костоева является инженером-разработчиком программного обеспечения в Amazon AWS, где она работает над клиентскими и внутренними решениями для расширения спектра и масштабируемости сервисов Sagemaker Ground Truth. Как исследователь, она стремится совершенствовать инструменты торговли, чтобы продвигать инновации.

• Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
• КриптоХок. Альткоин Радар. Бесплатная пробная версия.
• Источник: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- с-amazon-sagemaker-ground-true-plus/