Апостол - это служба компьютерного зрения, которая упрощает добавление анализа изображений и видео в ваши приложения с помощью проверенной, хорошо масштабируемой технологии глубокого обучения, не требующей опыта машинного обучения (ML). С помощью Amazon Rekognition вы можете идентифицировать объекты, людей, текст, сцены и действия на изображениях и видео, а также обнаруживать любой неприемлемый контент. Amazon Rekognition также предоставляет возможности высокоточного анализа лиц и поиска по лицам, которые можно использовать для обнаружения, анализа и сравнения лиц в самых разных сценариях использования.
Пользовательские ярлыки Amazon Rekognition позволяет идентифицировать объекты и сцены на изображениях, которые соответствуют потребностям вашего бизнеса. Например, вы можете найти свой логотип в сообщениях в социальных сетях, идентифицировать свои продукты на полках магазинов, классифицировать детали машин на конвейере, различать здоровые и зараженные растения и т. Д. Сообщение в блоге Создание собственного узнавания бренда показывает, как использовать Amazon Rekognition Custom Labels для создания комплексного решения для обнаружения логотипов брендов на изображениях и видео.
Amazon Rekognition Custom Labels обеспечивает простой сквозной интерфейс, в котором вы начинаете с маркировки набора данных, а Amazon Rekognition Custom Labels создает для вас пользовательскую модель машинного обучения, проверяя данные и выбирая правильный алгоритм машинного обучения. После того, как ваша модель обучена, вы можете сразу начать использовать ее для анализа изображений. Если вы хотите обрабатывать изображения пакетами (например, один раз в день или неделю или в запланированное время в течение дня), вы можете подготовить свою пользовательскую модель в запланированное время.
В этом посте мы покажем, как вы можете создать экономичное пакетное решение с помощью Amazon Rekognition Custom Labels, которое подготавливает вашу пользовательскую модель в запланированное время, обрабатывает все ваши изображения и деинициализирует ваши ресурсы, чтобы избежать дополнительных затрат.
Обзор решения
На следующей схеме архитектуры показано, как можно разработать экономичный и хорошо масштабируемый рабочий процесс для пакетной обработки изображений с помощью настраиваемых меток Amazon Rekognition. Он использует такие сервисы AWS, как Amazon EventBridge, Шаговые функции AWS, Простой сервис очередей Amazon (Амазон СКС), AWS Lambdaи Простой сервис хранения Amazon (Amazon S3).
В этом решении используется бессерверная архитектура и управляемые службы, поэтому оно может масштабироваться по запросу и не требует выделения серверов и управления ими. Очередь Amazon SQS повышает общую отказоустойчивость решения, отделяя получение изображений от обработки изображений и обеспечивая надежную доставку сообщений для каждого загруженного изображения. Step Functions упрощает создание визуальных рабочих процессов для организации ряда отдельных задач, таких как проверка доступности изображения для обработки и управление жизненным циклом состояния проекта Amazon Rekognition Custom Labels. Хотя в следующей архитектуре показано, как создать решение для пакетной обработки для Amazon Rekognition Custom Labels с помощью AWS Lambda, вы можете создать аналогичную архитектуру с помощью таких сервисов, как АМС Фаргейт.
Следующие шаги описывают общий рабочий процесс:
- Поскольку изображение хранится в корзине Amazon S3, оно запускает сообщение, которое сохраняется в очереди Amazon SQS.
- Amazon EventBridge настроен на запуск рабочего процесса AWS Step Functions с определенной частотой (по умолчанию 1 час).
- Во время выполнения рабочего процесса он выполняет следующие действия:
- Он проверяет количество элементов в очереди Amazon SQS. Если в очереди нет элементов для обработки, рабочий процесс завершается.
- Если в очереди есть элементы для обработки, рабочий процесс запускает модель настраиваемых меток Amazon Rekognition.
- Рабочий процесс обеспечивает интеграцию Amazon SQS с функцией AWS Lambda для обработки этих изображений.
- При включении интеграции между очередью Amazon SQS и AWS Lambda происходят следующие события:
- AWS Lambda начинает обработку сообщений с деталями изображения из Amazon SQS.
- Функция AWS Lambda использует проект Amazon Rekognition Custom Labels для обработки изображений.
- Затем функция AWS Lambda помещает файл JSON, содержащий выведенные метки, в последнюю корзину. Изображение также перемещается из исходного сегмента в последний сегмент.
- Когда все изображения обработаны, рабочий процесс AWS Step Functions выполняет следующие действия:
- Он останавливает модель настраиваемых меток Amazon Rekognition.
- Он отключает интеграцию между очередью Amazon SQS и функцией AWS Lambda путем отключения триггера.
На следующей диаграмме показан конечный автомат AWS Step Functions для этого решения.
Предпосылки
Для развертывания этого решения вам потребуются следующие предварительные условия:
- Аккаунт AWS с разрешением на развертывание решения с использованием AWS CloudFormation, который создает Управление идентификацией и доступом AWS (IAM) роли и другие ресурсы.
- Название ресурса Amazon (ARN) проекта Amazon Rekognition Custom Labels (именуемое ПроектАрн) и имя ресурса Amazon (ARN) версии модели, созданной после обучения модели (обозначается как Версия проектаАрн). Эти значения необходимы для проверки состояния модели, а также для анализа изображений с помощью модели.
Чтобы узнать, как обучить модель, см. Начало работы с настраиваемыми ярлыками Amazon Rekognition.
развертывание
Чтобы развернуть решение с помощью AWS CloudFormation в своей учетной записи AWS, выполните действия, указанные в Репо GitHub. Он создает следующие ресурсы:
- Amazon S3 ведро
- Очередь Amazon SQS
- Рабочий процесс AWS Step Functions
- Правила Amazon EventBridge для запуска рабочего процесса
- Роли IAM
- Функции AWS Lambda
Вы можете увидеть имена различных ресурсов, созданных решением, в разделе вывода окна Стек CloudFormation.
Тестирование рабочего процесса
Чтобы проверить рабочий процесс, выполните следующие действия:
- Загрузите образцы изображений во входную корзину S3, созданную решением (например, xxxx-sources3bucket-xxxx).
- На консоли Step Functions выберите конечный автомат, созданный решением (например, CustomCVStateMachine-xxxx).
Вы должны увидеть, что конечный автомат запускается правилом Amazon EventBridge каждый час.
- Вы можете запустить рабочий процесс вручную, выбрав Начать выполнение.
- По мере обработки изображений вы можете перейти к выходной корзине S3 (например, xxxx-finals3bucket-xxxx), чтобы увидеть выходные данные JSON для каждого изображения.
На следующем снимке экрана показано содержимое последней корзины S3 с изображениями вместе с соответствующими выходными данными JSON из Amazon Rekognition Custom Labels.
Заключение
В этом посте мы показали, как вы можете создать экономичное пакетное решение с помощью Amazon Rekognition Custom Labels, которое может предоставлять вашу пользовательскую модель в запланированное время, обрабатывать все ваши изображения и деинициализировать ваши ресурсы, чтобы избежать дополнительных затрат. В зависимости от вашего варианта использования вы можете легко настроить запланированное временное окно, в которое решение должно обработать пакет. Для получения дополнительной информации о том, как создавать, обучать, оценивать и использовать модель, которая обнаруживает объекты, сцены и концепции в изображениях, см. начало работы с настраиваемыми ярлыками Amazon Rekognition.
Хотя решение, описанное в этом посте, показало, как вы можете обрабатывать пакетные изображения с помощью Amazon Rekognition Custom Labels, вы можете легко настроить решение для обработки пакетных изображений с помощью Amazon Lookout для видения для обнаружения дефектов и аномалий. С помощью Amazon Lookout for Vision производственные компании могут повысить качество и снизить эксплуатационные расходы за счет быстрого выявления различий в изображениях объектов в масштабе. Например, Amazon Lookout for Vision можно использовать для выявления недостающих компонентов в продуктах, повреждений транспортных средств или конструкций, нарушений на производственных линиях, незначительных дефектов в кремниевых пластинах и других подобных проблем. Чтобы узнать больше об Amazon Lookout for Vision, см. руководство разработчика.
Об авторах
Рахул Шривастава является старшим архитектором решений в Amazon Web Services, базируется в Великобритании. Он имеет обширный архитектурный опыт работы с крупными корпоративными клиентами. Он помогает нашим клиентам в разработке архитектуры, внедрении облачных технологий, разработке продуктов и использовании AI / ML для решения реальных бизнес-проблем.
Кашиф Имран является главным архитектором решений в Amazon Web Services. Он работает с некоторыми из крупнейших клиентов AWS, которые используют AI / ML для решения сложных бизнес-задач. Он предоставляет техническое руководство и советы по проектированию для масштабного внедрения приложений компьютерного зрения. Его опыт охватывает архитектуру приложений, бессерверные приложения, контейнеры, NoSQL и машинное обучение.
