Создавайте хорошо спроектированные решения IDP с помощью специального объектива. Часть 4. Эффективность производительности | Веб-сервисы Amazon

Когда у заказчика есть готовое производство интеллектуальная обработка документов (IDP), мы часто получаем запросы на проверку Well-Architected. Чтобы создать корпоративное решение, необходимо сбалансировать ресурсы разработчиков, затраты, время и опыт пользователей для достижения желаемого бизнес-результата. Платформа AWS с хорошей архитектурой предоставляет организациям систематический способ изучения передовых методов эксплуатации и архитектуры для проектирования и эксплуатации надежных, безопасных, эффективных, экономичных и устойчивых рабочих нагрузок в облаке.

Пользовательская линза IDP Well-Architected Framework соответствует AWS Well-Architected Framework, рассматривая решение по шести основным направлениям с детализацией конкретного варианта использования искусственного интеллекта или машинного обучения (ML) и предоставляя рекомендации по решению общих проблем. Специально разработанный объектив IDP Хорошо спроектированный инструмент содержит вопросы по каждому из столпов. Ответив на эти вопросы, вы сможете выявить потенциальные риски и устранить их, следуя плану улучшений.

Этот пост посвящен Принцип эффективности производительности рабочей нагрузки ВПЛ. Мы углубимся в проектирование и внедрение решения для оптимизации пропускной способности, задержки и общей производительности. Мы начнем с обсуждения некоторых общих показателей, по которым вам следует провести обзор Well-Architected, и представим фундаментальные подходы и принципы проектирования. Затем мы рассматриваем каждую область деятельности с технической точки зрения.

Чтобы следить за этим постом, вы должны быть знакомы с предыдущими постами этой серии (Часть 1 и Часть 2) и руководящие принципы в Руководство по интеллектуальной обработке документов на AWS. Эти ресурсы знакомят с общими сервисами AWS для рабочих нагрузок IDP и предлагаемыми рабочими процессами. Обладая этими знаниями, вы теперь готовы узнать больше о продуктивности вашей рабочей нагрузки.

Общие индикаторы

Ниже приведены общие индикаторы того, что вам следует провести проверку хорошо спроектированной структуры для компонента «Эффективность производительности»:

• Высокая задержка – Если задержка оптического распознавания символов (OCR), распознавания объектов или сквозного рабочего процесса занимает больше времени, чем ваш предыдущий тест, это может быть индикатором того, что проект архитектуры не охватывает нагрузочное тестирование или обработку ошибок.
• Частое дросселирование – Вы можете столкнуться с регулированием со стороны таких сервисов AWS, как Амазонка Текст из-за ограничений на запросы. Это означает, что архитектуру необходимо скорректировать, проверив рабочий процесс архитектуры, синхронную и асинхронную реализацию, расчет транзакций в секунду (TPS) и многое другое.
• Трудности отладки – В случае сбоя процесса документа у вас может не быть эффективного способа определить, где в рабочем процессе находится ошибка, с какой службой она связана и почему произошел сбой. Это означает, что системе не хватает видимости журналов и сбоев. Рассмотрите возможность пересмотра схемы регистрации данных телеметрии и добавления в решение инфраструктуры как кода (IaC), например конвейеров обработки документов.

индикаторы	Описание	Архитектурный разрыв
Высокая задержка	OCR, распознавание объектов или задержка сквозного рабочего процесса превышают предыдущий эталонный показатель	испытание нагрузкой Обработка ошибок
Частое регулирование	Регулирование сервисами AWS, такими как Amazon Textract, из-за ограничений на количество запросов.	Синхронизация против асинхронности расчет ТПС
Трудно отладить	Отсутствие информации о местонахождении, причинах и причинах сбоев обработки документов.	Проектирование журналов Конвейеры обработки документов

Принципы дизайна

В этом посте мы обсуждаем три принципа проектирования: делегирование сложных задач ИИ, архитектуры IaC и бессерверные архитектуры. Когда вы сталкиваетесь с компромиссом между двумя реализациями, вы можете пересмотреть принципы проектирования с учетом бизнес-приоритетов вашей организации, чтобы можно было эффективно принимать решения.

• Делегирование сложных задач ИИ – Вы можете ускорить внедрение ИИ в своей организации, переложив жизненный цикл разработки модели машинного обучения на управляемые сервисы и воспользовавшись преимуществами разработки моделей и инфраструктуры, предоставляемыми AWS. Вместо того, чтобы требовать от ваших специалистов по обработке данных и ИТ-специалистов создавать и поддерживать модели ИИ, вы можете использовать предварительно обученные сервисы ИИ, которые смогут автоматизировать задачи за вас. Это позволяет вашим командам сосредоточиться на более ценной работе, которая выделяет ваш бизнес, в то время как поставщик облачных услуг берет на себя всю сложность обучения, развертывания и масштабирования моделей искусственного интеллекта.
• Архитектуры IAC – При использовании решения IDP оно включает в себя несколько служб искусственного интеллекта для выполнения сквозного рабочего процесса в хронологическом порядке. Вы можете спроектировать решение с помощью конвейеров рабочих процессов, используя Шаговые функции AWS для повышения отказоустойчивости, параллельной обработки, видимости и масштабируемости. Эти преимущества могут позволить вам оптимизировать использование и стоимость базовых услуг ИИ.
• Serverless архитектуры – IDP часто представляет собой решение, управляемое событиями, инициируемое пользовательскими загрузками или запланированными заданиями. Решение можно горизонтально масштабировать за счет увеличения скорости вызовов для служб искусственного интеллекта. AWS Lambdaи другие задействованные службы. Бессерверный подход обеспечивает масштабируемость без избыточного выделения ресурсов, предотвращая ненужные расходы. Мониторинг, лежащий в основе бессерверной конструкции, помогает обнаруживать проблемы с производительностью.

Учитывая эти три принципа проектирования, организации могут создать эффективную основу для внедрения искусственного интеллекта и машинного обучения на облачных платформах. Делегируя сложность, внедряя отказоустойчивую инфраструктуру и масштабируясь, организации могут оптимизировать свои решения искусственного интеллекта и машинного обучения.

В следующих разделах мы обсудим, как решать общие проблемы в технических областях.

Фокус области

При анализе эффективности производительности мы рассматриваем решение по пяти основным направлениям: проектирование архитектуры, управление данными, обработка ошибок, мониторинг системы и мониторинг модели. Благодаря этим направлениям вы можете провести анализ архитектуры с различных аспектов, чтобы повысить эффективность, наблюдаемость и масштабируемость трех компонентов проекта AI/ML: данных, модели или бизнес-цели.

Архитектурный дизайн

Ответив на вопросы в этой основной области, вы проверите существующий рабочий процесс, чтобы увидеть, соответствует ли он передовым практикам. Предлагаемый рабочий процесс обеспечивает общую схему, которой могут следовать организации, и предотвращает затраты, связанные с методом проб и ошибок.

На основе предлагаемая архитектураРабочий процесс состоит из шести этапов сбора данных, классификации, извлечения, обогащения, анализа и проверки, а также потребления. В общих показателях, которые мы обсуждали ранее, два из трех связаны с проблемами проектирования архитектуры. Это связано с тем, что когда вы начинаете проект с импровизированного подхода, вы можете столкнуться с ограничениями проекта при попытке привести инфраструктуру в соответствие с вашим решением. При анализе архитектурного проекта импровизированный проект можно разделить на этапы, и каждый из них можно переоценить и переупорядочить.

Вы можете сэкономить время, деньги и труд, внедрив классификации в вашем рабочем процессе, а документы передаются в последующие приложения и API в зависимости от типа документа. Это повышает наблюдаемость процесса обработки документов и упрощает поддержку решения при добавлении новых типов документов.

Управление данными

Производительность решения IDP включает в себя задержку, пропускную способность и сквозное взаимодействие с пользователем. Способ управления документом и извлеченной из него информацией в решении является ключом к обеспечению согласованности, безопасности и конфиденциальности данных. Кроме того, решение должно обрабатывать большие объемы данных с низкой задержкой и высокой пропускной способностью.

Разбирая вопросы этого направления, вы ознакомитесь с документооборотом. Сюда входит прием данных, предварительная обработка данных, преобразование документов в типы документов, принимаемые Amazon Textract, обработка входящих потоков документов, маршрутизация документов по типам, а также реализация политик контроля доступа и хранения.

Например, сохраняя документ на разных этапах обработки, вы можете при необходимости отменить обработку к предыдущему этапу. Жизненный цикл данных обеспечивает надежность и соответствие рабочей нагрузке. С помощью Калькулятор квот сервиса Amazon Textract (см. следующий снимок экрана), асинхронные функции в Amazon Textract, Lambda, Step Functions, Простой сервис очередей Amazon (Amazon SQS) и Amazon Простая служба уведомлений (Amazon SNS) организации могут автоматизировать и масштабировать задачи обработки документов в соответствии с конкретными потребностями рабочей нагрузки.

Обработка ошибок

Надежная обработка ошибок имеет решающее значение для отслеживания состояния процесса обработки документов и дает операционной группе время для реагирования на любые аномальные действия, такие как неожиданные объемы документов, новые типы документов или другие незапланированные проблемы со стороны сторонних служб. С точки зрения организации правильная обработка ошибок может увеличить время безотказной работы и производительность системы.

Обработку ошибок можно разделить на два ключевых аспекта:

• Конфигурация сервиса AWS – Вы можете реализовать логику повтора с экспоненциальной задержкой для обработки временных ошибок, таких как регулирование. Когда вы начинаете обработку, вызывая асинхронную операцию Start*, например Стартдокументтекстдетектион, вы можете указать, что статус выполнения запроса будет опубликован в теме SNS в канал уведомлений конфигурация. Это поможет вам избежать ограничения ограничений на вызовы API из-за опроса API Get*. Вы также можете реализовать сигналы тревоги в Amazon CloudWatch и запускает оповещение при возникновении необычных всплесков ошибок.
• Улучшение отчета об ошибках – Сюда входят подробные сообщения с соответствующим уровнем детализации по типу ошибки и описания ответов на обработку ошибок. При правильной настройке обработки ошибок системы могут стать более устойчивыми за счет реализации общих шаблонов, таких как автоматическое повторение периодических ошибок, использование автоматических выключателей для обработки каскадных сбоев и служб мониторинга для получения информации об ошибках. Это позволяет решению балансировать между ограничениями повторных попыток и предотвращает бесконечные циклы в цепях.

Мониторинг модели

Производительность моделей машинного обучения отслеживается на предмет ухудшения с течением времени. По мере изменения данных и условий системы показатели производительности и эффективности модели отслеживаются, чтобы гарантировать выполнение переобучения при необходимости.

Моделью машинного обучения в рабочем процессе IDP может быть модель OCR, модель распознавания объектов или модель классификации. Модель может быть взята из сервиса AWS AI, модели с открытым исходным кодом на Создатель мудреца Амазонки, Коренная порода Амазонкиили другие сторонние сервисы. Вы должны понимать ограничения и варианты использования каждого сервиса, чтобы определить способы улучшения модели с помощью обратной связи с людьми и повышения производительности сервиса с течением времени.

Распространенный подход — использование журналов обслуживания для понимания различных уровней точности. Эти журналы могут помочь команде по обработке данных выявить и понять необходимость переобучения модели. Ваша организация может выбрать механизм переобучения — он может быть ежеквартальным, ежемесячным или основанным на научных показателях, например, когда точность падает ниже заданного порога.

Целью мониторинга является не просто обнаружение проблем, а замыкание цикла для постоянного совершенствования моделей и обеспечения работоспособности решения IDP по мере развития внешней среды.

Мониторинг системы

После развертывания решения IDP в рабочей среде важно отслеживать ключевые показатели и производительность автоматизации, чтобы определить области, требующие улучшения. Метрики должны включать бизнес-показатели и технические показатели. Это позволяет компании оценивать производительность системы, выявлять проблемы и со временем вносить улучшения в модели, правила и рабочие процессы, чтобы повысить уровень автоматизации и понять влияние на эксплуатацию.

С точки зрения бизнеса первостепенное значение имеют такие показатели, как точность извлечения важных полей, общий уровень автоматизации, указывающий процент документов, обработанных без вмешательства человека, и среднее время обработки одного документа. Эти бизнес-показатели помогают количественно оценить качество обслуживания конечных пользователей и повышение операционной эффективности.

Технические показатели, включая частоту ошибок и исключений, возникающих на протяжении всего рабочего процесса, необходимы для отслеживания с инженерной точки зрения. Технические метрики также позволяют осуществлять сквозной мониторинг на каждом уровне и обеспечивать комплексное представление сложной рабочей нагрузки. Вы можете разбить метрики на разные уровни, такие как уровень решения, уровень сквозного рабочего процесса, уровень типа документа, уровень документа, уровень распознавания объектов и уровень OCR.

Теперь, когда вы рассмотрели все вопросы этого компонента, вы можете оценить другие компоненты и разработать план улучшения рабочей нагрузки вашего ВПЛ.

Заключение

В этом посте мы обсудили общие индикаторы, которые могут вам понадобиться для выполнения проверки Well-Architected Framework для компонента «Эффективность производительности» для вашей рабочей нагрузки IDP. Затем мы рассмотрели принципы проектирования, чтобы дать общий обзор и обсудить цель решения. Следуя этим предложениям в отношении индивидуальной линзы IDP Well-Architected Custom Lens и рассмотрев вопросы по основным областям, вы теперь должны иметь план улучшения проекта.

---

Об авторах

Миа Чанг — специалист по архитектуре решений машинного обучения для Amazon Web Services. Она работает с клиентами в регионе EMEA и делится лучшими практиками выполнения рабочих нагрузок AI/ML в облаке, имея опыт работы в области прикладной математики, информатики и AI/ML. Она фокусируется на рабочих нагрузках, специфичных для НЛП, и делится своим опытом докладчика на конференциях и автора книги. В свободное время она любит пешие прогулки, настольные игры и варит кофе.

Бриджеш Пати — архитектор корпоративных решений в AWS. Его основная задача — помочь корпоративным клиентам внедрить облачные технологии для своих рабочих задач. Он имеет опыт разработки приложений и корпоративной архитектуры и работал с клиентами из различных отраслей, таких как спорт, финансы, энергетика и профессиональные услуги. В сферу его интересов входят бессерверные архитектуры и искусственный интеллект и машинное обучение.

Руи Кардосо — партнерский архитектор решений в Amazon Web Services (AWS). Он специализируется на AI/ML и IoT. Он работает с партнерами AWS и поддерживает их в разработке решений для AWS. В свободное от работы время он любит кататься на велосипеде, ходить в походы и узнавать что-то новое.

Тим Конделло — старший специалист по разработке решений в области искусственного интеллекта (ИИ) и машинного обучения (ML) в Amazon Web Services (AWS). Его сфера деятельности — обработка естественного языка и компьютерное зрение. Тиму нравится брать идеи клиентов и превращать их в масштабируемые решения.

Шерри Дин — старший специалист по разработке решений в области искусственного интеллекта (ИИ) и машинного обучения (ML) в Amazon Web Services (AWS). Она имеет обширный опыт в области машинного обучения и имеет степень доктора компьютерных наук. В основном она работает с клиентами из государственного сектора над различными бизнес-задачами, связанными с искусственным интеллектом и машинным обучением, помогая им ускорить процесс машинного обучения в облаке AWS. Когда она не помогает клиентам, она любит активный отдых на свежем воздухе.

Суйин Ван — специалист по архитектуре решений AI/ML в AWS. Она имеет междисциплинарное образование в области машинного обучения, финансовых информационных услуг и экономики, а также многолетний опыт создания приложений для анализа данных и машинного обучения, которые решали реальные бизнес-задачи. Ей нравится помогать клиентам определять правильные бизнес-вопросы и создавать правильные решения AI/ML. В свободное время она любит петь и готовить.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/