Це гостьовий пост, авторами якого є Ендрю Масек, інженер-програміст The Barcode Registry, та Ерік Квіслінг, генеральний директор The Barcode Registry.
Підробка продукції є найбільшим злочинним підприємством у світі. Зростаючи понад 10,000 1.7% за останні два десятиліття, обсяг продажів підроблених товарів у всьому світі становить XNUMX трильйона доларів на рік, що більше, ніж наркотики та торгівля людьми. Хоча традиційні методи запобігання підробці, такі як унікальні штрих-коди та перевірка товару, можуть бути дуже ефективними, нові технології машинного навчання (ML), такі як виявлення об’єктів, виглядають дуже багатообіцяючими. Завдяки функції виявлення об’єктів тепер ви можете сфотографувати продукт і майже миттєво знати, чи є цей продукт законним чи шахрайським.
Команда Реєстр штрих-кодів (разом зі своїм партнером Buyabarcode.com) — це рішення з повним набором послуг, яке допомагає клієнтам запобігати шахрайству та підробці продукції. Це робиться шляхом продажу унікальних штрих-кодів, зареєстрованих у GS1, підтвердження права власності на продукт та реєстрації продуктів і штрих-кодів користувачів у всеосяжній базі даних. Їхня остання пропозиція, яку ми обговорюємо в цій публікації, використовує Amazon SageMaker створювати моделі виявлення об’єктів, які допомагають миттєво розпізнавати підробку.
Огляд рішення
Щоб використовувати ці моделі виявлення об’єктів, спочатку потрібно зібрати дані для їх навчання. Компанії завантажують анотовані фотографії своєї продукції до реєстру штрих-кодів сайт. Після завантаження цих даних до Служба простого зберігання Amazon (Amazon S3) та оброблено AWS Lambda функції, ви можете використовувати його для навчання моделі виявлення об’єктів SageMaker. Ця модель розміщена на кінцевій точці SageMaker, де веб-сайт з’єднує її з кінцевим користувачем.
Існує три ключові кроки для створення реєстру штрих-кодів для створення спеціальної моделі виявлення об’єктів за допомогою SageMaker:
- Створіть навчальний сценарій для запуску SageMaker.
- Створіть контейнер Docker із навчального сценарію та завантажте його в Amazon ECR.
- Використовуйте консоль SageMaker для навчання моделі за допомогою спеціального алгоритму.
Дані про продукт
Як передумова для навчання моделі виявлення об’єктів, вам знадобиться обліковий запис AWS і навчальні зображення, які складатимуться щонайменше з 100 високоякісних (високої роздільної здатності та в різних умовах освітлення) зображень вашого об’єкта. Як і для будь-якої моделі ML, високоякісні дані мають першочергове значення. Щоб навчити модель виявлення об’єктів, нам потрібні зображення, що містять відповідні продукти, а також обмежувальні рамки, що описують, де продукти знаходяться на зображеннях, як показано в наступному прикладі.
Щоб навчити ефективну модель, потрібні зображення кожного з продуктів бренду з різним фоном та умовами освітлення — приблизно 30–100 унікальних анотованих зображень для кожного продукту.
Після того як зображення завантажуються на веб-сервер, вони завантажуються на Amazon S3 за допомогою AWS SDK для PHP. Подія Лямбда запускається щоразу, коли завантажується зображення. Функція видаляє метадані Exif із зображень, що іноді може призвести до того, що вони повертаються, коли їх відкривають бібліотеки ML, які згодом використовуються для навчання моделі. Пов’язані дані обмежувальної рамки зберігаються у файлах JSON і завантажуються в Amazon S3, щоб супроводжувати зображення.
SageMaker для моделей виявлення об'єктів
SageMaker — це керована служба машинного навчання, яка включає в себе різноманітні інструменти для створення, навчання та розміщення моделей у хмарі. Зокрема, TheBarcodeRegistry використовує SageMaker для своєї служби виявлення об’єктів через надійну та масштабовану модель навчання машинного навчання та послуги хостингу SageMaker. Це означає, що багато брендів можуть мати власні моделі виявлення об’єктів, які навчаються та розміщуються, і навіть якщо використання зросте непередбачувано, простою не буде.
Реєстр штрих-кодів використовує спеціальні контейнери Docker, завантажені до Реєстр контейнерів Amazon Elastic (Amazon ECR), щоб мати більш детальний контроль над алгоритмом виявлення об’єктів, що використовується для навчання та висновку, а також для підтримки Багатомодельний сервер (MMS). MMS дуже важливий для виявлення підробок, оскільки він дозволяє вигідно розміщувати на одному сервері декілька моделей брендів. Як варіант, можна використовувати вбудований Алгоритм виявлення об'єктів для швидкого розгортання стандартних моделей, розроблених AWS.
Навчайте спеціальну модель виявлення об’єктів за допомогою SageMaker
По-перше, вам потрібно додати свій алгоритм виявлення об’єктів. У цьому випадку завантажте контейнер Docker зі скриптами для навчання моделі виявлення об’єктів Yolov5 в Amazon ECR:
- На консолі SageMaker під ноутбук на панелі навігації виберіть Екземпляри ноутбуків.
- Вибирати Створіть екземпляр блокнота.
- Введіть назву для екземпляра блокнота та нижче Дозволи та шифрування вибрати Управління ідентифікацією та доступом AWS (IAM) з необхідними дозволами.
- Відкрийте Git-сховища меню.
- Select Клонуйте загальнодоступне сховище Git лише на цей екземпляр блокнота і вставте наступне URL-адреса сховища Git: https://github.com/portoaj/SageMakerObjectDetection
- Натисніть Створіть екземпляр блокнота і зачекайте близько п’яти хвилин, щоб оновити статус екземпляра В очікуванні до InService в Екземпляр блокнота меню.
- Раз зошит є InService, виберіть його та натисніть Дії та Відкрийте Юпітер щоб запустити екземпляр ноутбука в новій вкладці.
- Виберіть SageMakerObjectDetection каталогу, а потім натисніть на
sagemakerobjectdetection.ipynb
щоб запустити ноутбук Jupyter. - Виберіть
conda_python3
ядро і клацніть Встановіть ядро. - Виберіть клітинку коду та встановіть
aws_account_id
змінної до вашого ідентифікатора облікового запису AWS. - Натисніть прогін щоб почати процес створення контейнера Docker та завантаження його в Amazon ECR. Цей процес може зайняти близько 20 хвилин.
- Після завантаження контейнера Docker поверніться до Екземпляри ноутбуків меню, виберіть свій екземпляр і клацніть Дії та Стоп щоб закрити екземпляр ноутбука.
Після того, як алгоритм буде створено та надіслано в Amazon ECR, ви можете використовувати його для навчання моделі через консоль SageMaker.
- На консолі SageMaker під Навчання на панелі навігації виберіть Навчальні роботи.
- Вибирати Створити навчальну роботу.
- Введіть назву роботи та виберіть Управління ідентифікацією та доступом AWS (IAM) з необхідними дозволами.
- для Джерело алгоритмувиберіть Ваш власний контейнер алгоритму в ECR.
- для Контейнер, введіть шлях до реєстру.
- Встановлення одного екземпляра ml.p2.xlarge у конфігурації ресурсу має бути достатнім для навчання моделі Yolov5.
- Вкажіть розташування Amazon S3 як для вхідних даних, так і для вихідного шляху, а також для будь-яких інших налаштувань, таких як налаштування VPC за допомогою Віртуальна приватна хмара Amazon (Amazon VPC) або ввімкнення керованого точкового тренування.
- Вибирати Створити навчальну роботу.
Ви можете відстежувати хід навчання моделі на консолі SageMaker.
Автоматизоване навчання моделі
Наступна діаграма ілюструє робочий процес навчання автоматизованої моделі:
Щоб змусити SageMaker почати навчання моделі виявлення об’єктів, як тільки користувач закінчить завантажувати свої дані, веб-сервер використовує API -шлюз Amazon сповістити лямбда-функцію про завершення роботи бренду та розпочати навчальну роботу.
Коли модель бренду успішно навчається, Amazon EventBridge викликає лямбда-функцію, яка переміщує навчену модель у відро S3 живої кінцевої точки, де вона нарешті готова для висновку. Нова альтернатива використання Amazon EventBridge для переміщення моделей через життєвий цикл MLOps, яку ви повинні розглянути, це Трубопроводи SageMaker.
Розмістіть модель для висновку
Наступна діаграма ілюструє робочий процес висновку:
Щоб використовувати навчені моделі, SageMaker вимагає, щоб модель висновку була розміщена на кінцевій точці. Кінцева точка — це сервер або масив серверів, які використовуються для фактичного розміщення моделі висновку. Подібно до створеного нами навчального контейнера, контейнер Docker для висновку розміщено в Amazon ECR. Модель висновку використовує цей контейнер Docker і приймає вхідне зображення, яке користувач зробив за допомогою свого телефону, запускає його через навчену модель виявлення об’єктів і виводить результат.
Знову ж таки, реєстр штрих-кодів використовує спеціальні контейнери Docker для моделі висновку, щоб уможливити використання сервера з кількома моделями, але якщо потрібна лише одна модель, яку можна легко розмістити за допомогою вбудованого алгоритму виявлення об’єктів.
Висновок
Реєстр штрих-кодів (у поєднанні зі своїм партнером Buyabarcode.com) використовує AWS для всього конвеєра виявлення об’єктів. Веб-сервер надійно зберігає дані в Amazon S3 і використовує API Gateway і функції Lambda для підключення веб-сервера до хмари. SageMaker легко навчає та розміщує моделі ML, що означає, що користувач може сфотографувати продукт на своєму телефоні та перевірити, чи продукт є підробкою. У цій публікації показано, як створити та розмістити модель виявлення об’єктів за допомогою SageMaker, а також як автоматизувати процес.
Під час тестування модель змогла досягти точності понад 90% на навчальному наборі з 62 зображень і тестовому наборі з 32 зображень, що досить вражаюче для моделі, яка була навчена без будь-якого втручання людини. Щоб почати навчання моделей виявлення об’єктів самостійно, перегляньте офіційний сайт документація або навчитися розгорнути модель виявлення об’єктів на краю за допомогою AWS IoT Greengrass.
Зміст і думки в цій публікації належать стороннім авторам, і AWS не несе відповідальності за зміст або точність цього повідомлення.
Про авторів
Андрій Масек, інженер-програміст у Реєстрі штрих-кодів.
Ерік Квіслінг, генеральний директор Реєстру штрих-кодів.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- МЕНЮ
- доступ
- рахунки
- алгоритм
- хоча
- Amazon
- API
- Автоматизований
- AWS
- border
- Box
- бренди
- Створюємо
- вбудований
- Викликати
- Генеральний директор
- хмара
- код
- збирати
- Компанії
- конфігурація
- Консоль
- Контейнер
- Контейнери
- зміст
- контроль
- Підробка
- створення
- Кримінальну
- виготовлений на замовлення
- Клієнти
- дані
- Database
- розгортання
- Виявлення
- розвиненою
- різний
- обговорювати
- Docker
- вниз
- час простою
- Наркотики
- легко
- край
- Ефективний
- дозволяє
- Кінцева точка
- інженер
- підприємство
- Event
- приклад
- в кінці кінців
- Перший
- після
- шахрайство
- функція
- Git
- товари
- Зростання
- гість
- Guest Post
- допомога
- допомагає
- Як
- How To
- HTTPS
- людина
- Особистість
- зображення
- важливо
- КАТО
- IT
- робота
- ключ
- останній
- запуск
- УЧИТЬСЯ
- вивчення
- місць
- машина
- навчання за допомогою машини
- вдалося
- ML
- модель
- Моделі
- більше
- рухатися
- навігація
- ноутбук
- пропонує
- офіційний
- Думки
- порядок
- Інше
- власність
- партнер
- картина
- досить
- Попередження
- приватний
- процес
- Product
- Продукти
- перспективний
- громадськість
- швидко
- визнавати
- доречний
- Сховище
- ресурс
- відповідальний
- прогін
- продажів
- масштабовані
- Sdk
- обслуговування
- Послуги
- комплект
- аналогічний
- простий
- хватка
- Софтвер
- Інженер-програміст
- рішення
- Spot
- старт
- почалася
- Статус
- зберігання
- магазинів
- Успішно
- підтримка
- Технології
- Тестування
- світ
- третя сторона
- через
- час
- інструменти
- трек
- традиційний
- Навчання
- поїзда
- створеного
- Оновити
- використання
- перевірка
- Віртуальний
- чекати
- Web
- Веб-сервер
- веб-сайт
- без
- світ
- світовий
- рік