Маркировка маски сегментации несколькими щелчками мыши в Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus — это управляемая служба маркировки данных, которая упрощает маркировку данных для приложений машинного обучения (ML). Одним из распространенных вариантов использования является семантическая сегментация, которая представляет собой метод компьютерного зрения ML, который включает в себя назначение меток классов для отдельных пикселей в изображении. Например, в видеокадрах, снятых движущимся транспортным средством, метки классов могут включать транспортные средства, пешеходов, дороги, светофоры, здания или фон. Он обеспечивает высокоточное понимание местоположения различных объектов на изображении и часто используется для создания систем восприятия для автономных транспортных средств или робототехники. Чтобы построить модель ML для семантической сегментации, сначала необходимо разметить большой объем данных на уровне пикселей. Этот процесс маркировки сложен. Для этого требуются опытные маркировщики и значительное время — для точной маркировки некоторых изображений может потребоваться до 2 часов и более!

В 2019 мы выпустили интерактивный инструмент маркировки на основе машинного обучения под названием Auto-segment for Ground Truth. что позволяет быстро и легко создавать качественные маски сегментации. Для получения дополнительной информации см. Инструмент автоматической сегментации. Эта функция работает, позволяя вам щелкать верхнюю, левую, нижнюю и самую правую «крайние точки» на объекте. Модель машинного обучения, работающая в фоновом режиме, примет этот пользовательский ввод и вернет высококачественную маску сегментации, которая немедленно отобразится в инструменте маркировки Ground Truth. Однако эта функция позволяет разместить только четыре клика. В некоторых случаях маска, сгенерированная ML, может непреднамеренно пропустить определенные части изображения, например, вокруг границы объекта, где края нечеткие или где цвет, насыщенность или тени сливаются с окружающей средой.

Нажатие крайней точки с гибким количеством корректирующих щелчков

Теперь мы улучшили инструмент, чтобы позволить дополнительные щелчки граничных точек, что обеспечивает обратную связь в режиме реального времени с моделью машинного обучения. Это позволяет создать более точную маску сегментации. В следующем примере первоначальный результат сегментации неточен из-за слабых границ рядом с тенью. Важно отметить, что этот инструмент работает в режиме, позволяющем получать обратную связь в режиме реального времени — он не требует указания всех точек сразу. Вместо этого вы можете сначала сделать четыре щелчка мышью, которые заставят модель машинного обучения создать маску сегментации. Затем вы можете проверить эту маску, найти любые потенциальные неточности, а затем сделать дополнительные щелчки по мере необходимости, чтобы «подтолкнуть» модель к правильному результату.

Наш предыдущий инструмент маркировки позволял размещать ровно четыре щелчка мыши (красные точки). Первоначальный результат сегментации (заштрихованная красная область) неточен из-за слабых границ возле тени (нижний левый угол красной маски).

С нашим усовершенствованным инструментом маркировки пользователь снова сначала делает четыре щелчка мышью (красные точки на верхнем рисунке). Затем у вас есть возможность проверить полученную маску сегментации (заштрихованная красная область на верхнем рисунке). Вы можете сделать дополнительные щелчки мышью (зеленые точки на нижнем рисунке), чтобы модель уточнила маску (заштрихованная красная область на нижнем рисунке).

По сравнению с исходной версией инструмента расширенная версия обеспечивает улучшенный результат, когда объекты деформируются, невыпуклы и различаются по форме и внешнему виду.

Мы смоделировали производительность этого улучшенного инструмента на выборочных данных, сначала запустив базовый инструмент (всего с четырьмя крайними щелчками) для создания маски сегментации и оценив ее среднее значение пересечения по объединению (mIoU), общепринятую меру точности для масок сегментации. Затем мы применяли смоделированные корректирующие щелчки и оценивали улучшение в миллиедах после каждого смоделированного щелчка. В следующей таблице приведены эти результаты. Первая строка показывает mIoU, а вторая строка показывает ошибку (которая выражается как 100% минус mIoU). Всего пятью дополнительными щелчками мыши мы можем уменьшить ошибку для этой задачи на 9%!

.	.	Количество корректирующих кликов	.
.	Базовая линия	1	2	3	4	5
МЮ	72.72	76.56	77.62	78.89	80.57	81.73
Ошибка	27%	23%	22%	21%	19%	18%

Интеграция с Ground Truth и профилирование производительности

Чтобы интегрировать эту модель с Ground Truth, мы следуем стандартному шаблону архитектуры, как показано на следующей диаграмме. Сначала мы встраиваем модель машинного обучения в образ Docker и развертываем ее на Реестр Amazon Elastic Container (Amazon ECR), полностью управляемый реестр контейнеров Docker, который упрощает хранение, совместное использование и развертывание образов контейнеров. Используя Набор инструментов для логического вывода SageMaker при создании образа Docker мы можем легко использовать лучшие практики для обслуживания моделей и добиться логического вывода с малой задержкой. Затем мы создаем Создатель мудреца Амазонки конечная точка в режиме реального времени для размещения модели. Мы представляем AWS Lambda работать в качестве прокси перед конечной точкой SageMaker, предлагая различные типы преобразования данных. Наконец, мы используем Шлюз API Amazon как способ интеграции с нашим интерфейсом, приложением для маркировки Ground Truth, чтобы обеспечить безопасную аутентификацию для нашего сервера.

Вы можете следовать этому общему шаблону для своих собственных вариантов использования специально созданных инструментов машинного обучения и интегрировать их с пользовательскими пользовательскими интерфейсами задач Ground Truth. Для получения дополнительной информации см. Создайте собственный рабочий процесс маркировки данных с помощью Amazon SageMaker Ground Truth.

После подготовки этой архитектуры и развертывания нашей модели с помощью Комплект для разработки облачных сервисов AWS (AWS CDK), мы оценили характеристики задержки в нашей модели с различными типами инстансов SageMaker. Это очень просто сделать, потому что мы используем конечные точки логического вывода SageMaker в реальном времени для обслуживания нашей модели. Конечные точки логического вывода SageMaker в реальном времени легко интегрируются с Amazon CloudWatch и выдавать такие показатели, как использование памяти и задержка модели, без необходимости настройки (см. Показатели вызова SageMaker Endpoint Больше подробностей).

На следующем рисунке показана метрика ModelLatency, исходно формируемая конечными точками логического вывода SageMaker в реальном времени. Мы можем легко использовать различные математические функции метрик в CloudWatch, чтобы показать процентили задержки, такие как задержка p50 или p90.

В следующей таблице приведены результаты нашего расширенного инструмента экстремального нажатия для семантической сегментации для трех типов экземпляров: p2.xlarge, p3.2xlarge и g4dn.xlarge. Хотя инстанс p3.2xlarge обеспечивает наименьшую задержку, инстанс g4dn.xlarge обеспечивает наилучшее соотношение цены и производительности. Экземпляр g4dn.xlarge всего на 8 % медленнее (35 миллисекунд), чем экземпляр p3.2xlarge, но его почасовая стоимость на 81 % ниже, чем у p3.2xlarge (см. Цены на Amazon SageMaker для получения более подробной информации о типах экземпляров SageMaker и ценах).

	Тип экземпляра SageMaker	p90 Задержка (мс)
1	p2.xlarge	751
2	p3.2xбольшой	424
3	g4dn.xlarge	459

Заключение

В этом посте мы представили расширение функции автосегмента Ground Truth для задач аннотации семантической сегментации. В то время как исходная версия инструмента позволяет вам сделать ровно четыре щелчка мышью, которые запускают модель для предоставления высококачественной маски сегментации, расширение позволяет вам делать корректирующие щелчки и, таким образом, обновлять и направлять модель машинного обучения, чтобы делать лучшие прогнозы. Мы также представили базовый архитектурный шаблон, который можно использовать для развертывания и интеграции интерактивных инструментов в пользовательские интерфейсы маркировки Ground Truth. Наконец, мы суммировали задержку модели и показали, как использование конечных точек логического вывода SageMaker в реальном времени упрощает мониторинг производительности модели.

Чтобы узнать больше о том, как этот инструмент может снизить стоимость маркировки и повысить точность, посетите веб-сайт Маркировка данных Amazon SageMaker чтобы начать консультацию сегодня.

---

Об авторах

Джонатан Бак — инженер-программист в Amazon Web Services, работающий на стыке машинного обучения и распределенных систем. Его работа включает в себя производство моделей машинного обучения и разработку новых программных приложений на основе машинного обучения, чтобы предоставить клиентам новейшие возможности.

Ли Эрран Ли является менеджером по прикладным наукам в сервисах humain-in-the-loop, AWS AI, Amazon. Его исследовательские интересы включают глубокое 3D-обучение, а также обучение зрению и репрезентации языка. Ранее он был старшим научным сотрудником Alexa AI, главой отдела машинного обучения Scale AI и главным научным сотрудником Pony.ai. До этого он работал с командой восприятия в Uber ATG и командой платформы машинного обучения в Uber, работая над машинным обучением для автономного вождения, системами машинного обучения и стратегическими инициативами ИИ. Он начал свою карьеру в Bell Labs и был адъюнкт-профессором Колумбийского университета. Он преподавал учебные пособия на ICML'17 и ICCV'19, а также был соорганизатором нескольких семинаров в NeurIPS, ICML, CVPR, ICCV по машинному обучению для автономного вождения, трехмерному зрению и робототехнике, системам машинного обучения и противоборствующему машинному обучению. Он имеет докторскую степень в области компьютерных наук в Корнельском университете. Он является научным сотрудником ACM и IEEE.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/