Amazon Rekognition — це служба комп’ютерного зору, яка дозволяє легко додавати аналіз зображень і відео до ваших програм за допомогою перевіреної, високомасштабованої технології глибокого навчання, яка не вимагає досвіду машинного навчання (ML). За допомогою Amazon Rekognition ви можете ідентифікувати об’єкти, людей, текст, сцени та дії на зображеннях і відео, а також виявляти будь-який невідповідний вміст. Amazon Rekognition також надає високоточний аналіз облич і можливості пошуку облич, які можна використовувати для виявлення, аналізу та порівняння облич у найрізноманітніших випадках.
Спеціальні етикетки Amazon Rekogmination дозволяє визначити об’єкти та сцени на зображеннях, які відповідають потребам вашого бізнесу. Наприклад, ви можете знайти свій логотип у публікаціях у соціальних мережах, ідентифікувати свою продукцію на полицях магазинів, класифікувати деталі машин на конвеєрі, відрізнити здорові та заражені рослини тощо. Пост у блозі Створення власного визначення бренду показує, як використовувати користувацькі етикетки Amazon Rekognition для створення наскрізного рішення для виявлення логотипів брендів у зображеннях і відео.
Amazon Rekognition Custom Labels забезпечує простий наскрізний досвід, коли ви починаєте з позначення набору даних, а Amazon Rekognition Custom Labels створює для вас власну модель ML, перевіряючи дані та вибираючи правильний алгоритм ML. Після навчання моделі ви можете негайно почати використовувати її для аналізу зображень. Якщо ви хочете обробляти зображення пакетами (наприклад, раз на день або тиждень, або в запланований час протягом дня), ви можете надати власну модель у запланований час.
У цій публікації ми покажемо, як ви можете створити оптимальне за ціною пакетне рішення за допомогою користувацьких етикеток Amazon Rekognition, яке надає вашу користувацьку модель у запланований час, обробляє всі ваші зображення та деініціалізує ваші ресурси, щоб уникнути додаткових витрат.
Огляд рішення
На наведеній нижче архітектурній діаграмі показано, як можна розробити економічно ефективний і масштабований робочий процес для пакетної обробки зображень за допомогою користувацьких етикеток Amazon Rekognition. Він використовує переваги таких служб AWS, як Amazon EventBridge, Функції кроку AWS, Служба простої черги Amazon (Amazon SQS), AWS Lambda та Служба простого зберігання Amazon (Amazon S3).
Це рішення використовує безсерверну архітектуру та керовані послуги, тому воно може масштабуватися за запитом і не вимагає надання та керування будь-якими серверами. Черга Amazon SQS збільшує загальну відмовостійкість рішення, відокремлюючи прийом зображень від обробки зображень і забезпечуючи надійну доставку повідомлень для кожного зображення. Функції кроку дозволяють легко створювати візуальні робочі процеси для організації низки окремих завдань, наприклад, перевіряти, чи доступне зображення для обробки, та керувати життєвим циклом проекту Amazon Rekognition Custom Labels. Хоча наведена нижче архітектура показує, як можна створити рішення пакетної обробки для Amazon Rekognition Custom Labels за допомогою AWS Lambda, ви можете створити подібну архітектуру за допомогою таких служб, як AWS Fargate.
Наступні кроки описують загальний робочий процес:
- Оскільки зображення зберігається в сегменті Amazon S3, воно ініціює повідомлення, яке зберігається в черзі Amazon SQS.
- Amazon EventBridge налаштовано на запуск робочого процесу AWS Step Functions з певною частотою (1 година за замовчуванням).
- Під час виконання робочого процесу він виконує такі дії:
- Він перевіряє кількість елементів у черзі Amazon SQS. Якщо в черзі немає елементів для обробки, робочий процес завершується.
- Якщо в черзі є елементи для обробки, робочий процес запускає модель користувацьких міток Amazon Rekognition.
- Робочий процес дозволяє інтегрувати Amazon SQS з функцією AWS Lambda для обробки цих зображень.
- Оскільки інтеграція між чергою Amazon SQS і AWS Lambda увімкнена, відбуваються такі події:
- AWS Lambda починає обробляти повідомлення з деталями зображення від Amazon SQS.
- Функція AWS Lambda використовує проект Amazon Rekognition Custom Labels для обробки зображень.
- Потім функція AWS Lambda поміщає файл JSON, що містить виведені мітки, в останнє відро. Зображення також переміщується з вихідного сегмента в кінцевий сегмент.
- Коли всі зображення оброблено, робочий процес AWS Step Functions виконує наступне:
- Це зупиняє модель користувацьких етикеток Amazon Rekognition.
- Він вимикає інтеграцію між чергою Amazon SQS і функцією AWS Lambda, вимикаючи тригер.
Наступна діаграма ілюструє кінцевий автомат AWS Step Functions для цього рішення.
Передумови
Щоб розгорнути це рішення, потрібні такі передумови:
- Обліковий запис AWS з дозволом на розгортання рішення за допомогою AWS CloudFormation, що створює Управління ідентифікацією та доступом AWS (IAM) та інші ресурси.
- Ім’я ресурсу Amazon (ARN) проекту Amazon Rekognition Custom Labels (іменується як ProjectArn) і ім’я ресурсу Amazon (ARN) версії моделі, яка була створена після навчання моделі (посилається як ProjectVersionArn). Ці значення необхідні для перевірки стану моделі, а також для аналізу зображень за допомогою моделі.
Щоб дізнатися, як тренувати модель, див Початок роботи з користувацькими етикетками Amazon Rekognition.
розгортання
Щоб розгорнути рішення за допомогою AWS CloudFormation у вашому обліковому записі AWS, виконайте дії, описані в GitHub репо. Він створює такі ресурси:
- Відро Amazon S3
- Черга Amazon SQS
- Робочий процес AWS Step Functions
- Правила Amazon EventBridge для запуску робочого процесу
- Ролі IAM
- Функції AWS Lambda
Ви можете побачити назви різних ресурсів, створених рішенням, у розділі вихідних даних Стек CloudFormation.
Тестування робочого процесу
Щоб перевірити свій робочий процес, виконайте такі дії:
- Завантажте зразки зображень до вхідного сегмента S3, створеного рішенням (наприклад, xxxx-sources3bucket-xxxx).
- На консолі Step Functions виберіть кінцевий автомат, створений рішенням (наприклад, CustomCVStateMachine-xxxx).
Ви повинні бачити, що кінцевий автомат запускається за правилом Amazon EventBridge щогодини.
- Ви можете вручну запустити робочий процес, вибравши Почати виконання.
- Коли зображення обробляються, ви можете перейти до вихідного сегмента S3 (наприклад, xxxx-finals3bucket-xxxx), щоб побачити вихідні дані JSON для кожного зображення.
На наступному знімку екрана показано вміст останнього сегмента S3 із зображеннями, а також відповідний вихід JSON із користувацьких етикеток Amazon Rekognition.
Висновок
У цій публікації ми показали, як ви можете створити оптимальне за ціною пакетне рішення за допомогою користувацьких етикеток Amazon Rekognition, яке може надавати вашу користувацьку модель у запланований час, обробляти всі ваші зображення та деініціалізувати ваші ресурси, щоб уникнути додаткових витрат. Залежно від вашого варіанту використання ви можете легко налаштувати запланований часовий вікно, протягом якого рішення має обробляти пакет. Додаткову інформацію про те, як створювати, навчати, оцінювати та використовувати модель, яка виявляє об’єкти, сцени та поняття в зображеннях, див. початок роботи з користувацькими етикетками Amazon Rekognition.
Хоча рішення, описане в цій публікації, показало, як ви можете обробляти пакетні зображення за допомогою користувацьких етикеток Amazon Rekognition, ви можете легко налаштувати рішення для обробки пакетних зображень за допомогою Amazon Lookout for Vision для виявлення дефектів і аномалій. Завдяки Amazon Lookout for Vision компанії-виробники можуть підвищити якість і знизити експлуатаційні витрати, швидко виявляючи відмінності в зображеннях об’єктів у масштабі. Наприклад, Amazon Lookout for Vision можна використовувати для виявлення відсутніх компонентів у продуктах, пошкоджень транспортних засобів або конструкцій, нерівностей у виробничих лініях, дрібних дефектів кремнієвих пластин та інших подібних проблем. Щоб дізнатися більше про Amazon Lookout for Vision, див посібник для розробників.
Про авторів
Рахул Шривастава є старшим архітектором рішень у Amazon Web Services і базується у Великобританії. Він має великий досвід роботи в архітектурі з великими корпоративними замовниками. Він допомагає нашим клієнтам з архітектурою, запровадженням хмари, розробкою продуктів з певною метою та використанням AI/ML для вирішення реальних бізнес-проблем.
Кашиф Імран є головним архітектором рішень у Amazon Web Services. Він працює з деякими з найбільших клієнтів AWS, які використовують переваги AI/ML для вирішення складних бізнес-проблем. Він надає технічні вказівки та поради щодо проектування для масштабного впровадження програм комп’ютерного зору. Його досвід охоплює архітектуру додатків, безсерверну, контейнерну, NoSQL та машинне навчання.
