Это гостевой пост, написанный Эндрю Масеком, инженером-программистом The Barcode Registry, и Эриком Квислингом, генеральным директором The Barcode Registry.
Подделка продукции является крупнейшим преступным предприятием в мире. За последние два десятилетия продажи контрафактных товаров выросли более чем на 10,000 1.7%, а объем продаж контрафактных товаров во всем мире сейчас составляет XNUMX триллиона долларов в год, что больше, чем торговля наркотиками и торговля людьми. Хотя традиционные методы предотвращения подделок, такие как уникальные штрих-коды и проверка продукции, могут быть очень эффективными, новые технологии машинного обучения (ML), такие как обнаружение объектов, кажутся очень многообещающими. Благодаря обнаружению объектов вы теперь можете сфотографировать продукт и почти мгновенно узнать, является ли этот продукт законным или мошенническим.
Ассоциация Реестр штрих-кодов (совместно со своим партнером Buyabarcode.com) — это комплексное решение, помогающее клиентам предотвращать мошенничество и подделку продукции. Он делает это, продавая уникальные зарегистрированные в GS1 штрих-коды, подтверждая право собственности на продукт и регистрируя продукты и штрих-коды пользователей в обширной базе данных. Их последнее предложение, которое мы обсуждаем в этом посте, использует Создатель мудреца Амазонки для создания моделей обнаружения объектов, помогающих мгновенно распознавать контрафактную продукцию.
Обзор решения
Чтобы использовать эти модели обнаружения объектов, сначала необходимо собрать данные для их обучения. Компании загружают аннотированные изображения своих продуктов в Реестр штрих-кодов. веб-сайт. После того, как эти данные будут загружены в Простой сервис хранения Amazon (Amazon S3) и обрабатывается AWS Lambda функций, вы можете использовать его для обучения модели обнаружения объектов SageMaker. Эта модель размещается на конечной точке SageMaker, где веб-сайт соединяет ее с конечным пользователем.
Реестр штрих-кодов использует три ключевых шага для создания пользовательской модели обнаружения объектов с помощью SageMaker:
- Создайте сценарий обучения для запуска SageMaker.
- Создайте контейнер Docker из сценария обучения и загрузите его в Amazon ECR.
- Используйте консоль SageMaker для обучения модели с помощью пользовательского алгоритма.
Данные продукта
В качестве предварительного условия для обучения модели обнаружения объектов вам потребуется учетная запись AWS и обучающие изображения, состоящие как минимум из 100 высококачественных (с высоким разрешением и в различных условиях освещения) изображений вашего объекта. Как и в любой модели машинного обучения, высококачественные данные имеют первостепенное значение. Для обучения модели обнаружения объектов нам нужны изображения, содержащие соответствующие продукты, а также ограничивающие рамки, описывающие, где продукты находятся на изображениях, как показано в следующем примере.
Для обучения эффективной модели необходимы изображения каждого продукта бренда с разным фоном и условиями освещения — примерно 30–100 уникальных аннотированных изображений для каждого продукта.
После загрузки изображений на веб-сервер они загружаются в Amazon S3 с помощью AWS SDK для PHP. Событие Lambda запускается каждый раз при загрузке изображения. Эта функция удаляет метаданные Exif из изображений, из-за чего иногда они могут казаться повернутыми, когда они открываются библиотеками машинного обучения, позже используемыми для обучения модели. Связанные данные ограничивающей рамки хранятся в файлах JSON и загружаются в Amazon S3 вместе с изображениями.
SageMaker для моделей обнаружения объектов
SageMaker — это управляемая служба машинного обучения, которая включает в себя множество инструментов для создания, обучения и размещения моделей в облаке. В частности, TheBarcodeRegistry использует SageMaker для своей службы обнаружения объектов благодаря надежной и масштабируемой модели машинного обучения SageMaker и услугам хостинга. Это означает, что многие бренды могут обучать и размещать свои собственные модели обнаружения объектов, и даже в случае непредсказуемого пика использования не будет никаких простоев.
Реестр штрих-кодов использует пользовательские контейнеры Docker, загруженные в Реестр Amazon Elastic Container (Amazon ECR) для более детального управления алгоритмом обнаружения объектов, используемым для обучения и логического вывода, а также для поддержки Сервер с несколькими моделями (ММС). MMS очень важен для случая обнаружения подделок, потому что он позволяет экономично размещать модели нескольких брендов на одном сервере. Кроме того, вы можете использовать встроенный алгоритм обнаружения объекта для быстрого развертывания стандартных моделей, разработанных AWS.
Обучение пользовательской модели обнаружения объектов с помощью SageMaker
Во-первых, вам нужно добавить свой алгоритм обнаружения объектов. В этом случае загрузите контейнер Docker со сценариями для обучения модели обнаружения объектов Yolov5 в Amazon ECR:
- На консоли SageMaker в ноутбук на панели навигации выберите Экземпляры ноутбуков.
- Выберите Создать блокнот.
- Введите имя экземпляра записной книжки и в Разрешения и шифрование выберите Управление идентификацией и доступом AWS (IAM) с необходимыми разрешениями.
- Откройте приложение Git репозитории .
- Выберите Клонировать общедоступный репозиторий Git только для этого экземпляра ноутбука и вставьте следующее URL репозитория Git: https://github.com/portoaj/SageMakerObjectDetection
- Нажмите Создать блокнот и подождите около пяти минут, пока статус экземпляра не обновится с В ожидании в В сервисе в Экземпляр записной книжки .
- Как только блокнот В сервисе, выберите его и нажмите Действия и Открытый Юпитер чтобы запустить экземпляр ноутбука в новой вкладке.
- Выберите SageMakerОбнаружениеОбъекта каталог, а затем нажмите на
sagemakerobjectdetection.ipynb
для запуска блокнота Jupyter. - Выберите
conda_python3
ядро и нажмите Установить ядро. - Выберите ячейку кода и установите
aws_account_id
к идентификатору вашей учетной записи AWS. - Нажмите Run чтобы начать процесс создания контейнера Docker и загрузки его в Amazon ECR. Этот процесс может занять около 20 минут.
- После загрузки контейнера Docker вернитесь в Экземпляры ноутбуков меню, выберите свой экземпляр и нажмите Действия и Stop чтобы закрыть экземпляр ноутбука.
После создания алгоритма и отправки его в Amazon ECR его можно использовать для обучения модели с помощью консоли SageMaker.
- На консоли SageMaker в Обучение на панели навигации выберите Работа по обучению.
- Выберите Создать задание на обучение.
- Введите имя задания и выберите Управление идентификацией и доступом AWS (IAM) с необходимыми разрешениями.
- Что касается Источник алгоритма, наведите на Ваш собственный контейнер алгоритмов в ECR.
- Что касается Container, введите путь реестра.
- Установки одного экземпляра ml.p2.xlarge в конфигурации ресурса должно быть достаточно для обучения модели Yolov5.
- Укажите местоположения Amazon S3 как для входных данных, так и для пути вывода, а также любые другие параметры, такие как настройка VPC через Виртуальное частное облако Amazon (Amazon VPC) или включение управляемого спотового обучения.
- Выберите Создать задание на обучение.
Вы можете отслеживать ход обучения модели на консоли SageMaker.
Автоматизированное обучение модели
Следующая диаграмма иллюстрирует автоматизированный рабочий процесс обучения модели:
Чтобы заставить SageMaker начать обучение модели обнаружения объектов, как только пользователь завершит загрузку своих данных, веб-сервер использует Шлюз API Amazon чтобы уведомить лямбда-функцию о том, что бренд закончил работу, и начать обучение.
Когда модель бренда успешно обучена, Amazon EventBridge вызывает лямбда-функцию, которая перемещает обученную модель в корзину S3 активной конечной точки, где она, наконец, готова для логического вывода. Вам следует рассмотреть более новую альтернативу использованию Amazon EventBridge для перемещения моделей по жизненному циклу MLOps. Конвейеры SageMaker.
Разместите модель для вывода
Следующая диаграмма иллюстрирует рабочий процесс логического вывода:
Чтобы использовать обученные модели, SageMaker требует, чтобы модель вывода размещалась на конечной точке. Конечная точка — это сервер или массив серверов, которые фактически используются для размещения модели логического вывода. Как и созданный нами обучающий контейнер, контейнер Docker для логических выводов размещается в Amazon ECR. Модель логического вывода использует этот контейнер Docker и берет входное изображение, которое пользователь сделал с помощью своего телефона, пропускает его через обученную модель обнаружения объектов и выводит результат.
Опять же, Реестр штрих-кодов использует настраиваемые контейнеры Docker для модели вывода, чтобы обеспечить использование сервера нескольких моделей, но если требуется только одна модель, которую можно легко разместить с помощью встроенного алгоритма обнаружения объектов.
Заключение
Реестр штрих-кодов (вместе со своим партнером Buyabarcode.com) использует AWS для всего конвейера обнаружения объектов. Веб-сервер надежно хранит данные в Amazon S3 и использует функции API Gateway и Lambda для подключения веб-сервера к облаку. SageMaker легко обучает и размещает модели машинного обучения, что означает, что пользователь может сфотографировать продукт на свой телефон и проверить, является ли продукт подделкой. В этом посте показано, как создать и разместить модель обнаружения объектов с помощью SageMaker, а также как автоматизировать этот процесс.
При тестировании модель смогла достичь точности более 90% на тренировочном наборе из 62 изображений и тестовом наборе из 32 изображений, что довольно впечатляет для модели, обученной без какого-либо вмешательства человека. Чтобы приступить к самостоятельному обучению моделей обнаружения объектов, ознакомьтесь с официальным документации или узнать, как развертывание модели обнаружения объектов на периферии с помощью AWS IoT Greengrass.
Содержание и мнения в этом сообщении принадлежат стороннему автору, и AWS не несет ответственности за содержание или точность этого сообщения.
Об авторах
Эндрю Масек, инженер-программист в The Barcode Registry.
Эрик Квислинг, генеральный директор The Barcode Registry.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- О нас
- доступ
- Учетная запись
- алгоритм
- Несмотря на то, что
- Amazon
- API
- Автоматизированный
- AWS
- граница
- Коробка
- брендов
- Строительство
- встроенный
- Вызывать
- Генеральный директор
- облако
- код
- собирать
- Компании
- Конфигурация
- Консоли
- Container
- Контейнеры
- содержание
- контроль
- Подделка
- Создающий
- Криминальное
- изготовленный на заказ
- Клиенты
- данным
- База данных
- развертывание
- обнаружение
- развитый
- различный
- обсуждать
- Docker
- вниз
- время простоя
- Наркотики
- легко
- Edge
- Эффективный
- позволяет
- Конечная точка
- инженер
- Предприятие
- События
- пример
- в заключение
- Во-первых,
- после
- мошенничество
- функция
- идти
- товары
- Рост
- GUEST
- Guest Post
- помощь
- помогает
- Как
- How To
- HTTPS
- человек
- Личность
- изображение
- важную
- КАТО
- IT
- работа
- Основные
- последний
- запуск
- УЧИТЬСЯ
- изучение
- места
- машина
- обучение с помощью машины
- управляемого
- ML
- модель
- Модели
- БОЛЕЕ
- двигаться
- Навигация
- ноутбук
- предлагающий
- Официальный представитель в Грузии
- Мнения
- заказ
- Другое
- собственность
- партнер
- картина
- довольно
- предотвращение
- частная
- процесс
- Продукт
- Продукция
- многообещающий
- что такое варган?
- быстро
- признавать
- соответствующие
- хранилище
- ресурс
- ответственный
- Run
- главная
- масштабируемые
- SDK
- обслуживание
- Услуги
- набор
- аналогичный
- просто
- Снэп
- Software
- Инженер-программист
- Решение
- Спотовая торговля
- Начало
- и политические лидеры
- Статус:
- диск
- магазины
- Успешно
- поддержка
- технологии
- Тестирование
- мир
- сторонние
- Через
- время
- инструменты
- трек
- традиционный
- Обучение
- поезда
- созданного
- Обновление ПО
- использование
- проверка
- Виртуальный
- ждать
- Web
- веб-сервер
- Вебсайт
- без
- Мир
- по всему миру
- год