Створюйте добре архітектурні рішення IDP за допомогою спеціального об’єктива – Частина 4: Ефективність | Веб-сервіси Amazon

Коли клієнт готовий до виробництва інтелектуальна обробка документів (IDP) ми часто отримуємо запити на перевірку добре архітектури. Щоб створити корпоративне рішення, ресурси розробника, вартість, час і досвід користувача мають бути збалансовані для досягнення бажаного бізнес-результату. The Добре побудований фреймворк AWS надає організаціям систематичний спосіб вивчення операційних та архітектурних найкращих практик для проектування та експлуатації надійних, безпечних, ефективних, економічно ефективних і стійких робочих навантажень у хмарі.

IDP Well-Architected Custom Lens дотримується AWS Well-Architected Framework, переглядаючи рішення з шістьма опорами з деталізацією конкретного випадку використання штучного інтелекту або машинного навчання (ML), а також надає вказівки для вирішення типових проблем. Користувацький об’єктив IDP із добре архітектурою в Добре архітектурний інструмент містить запитання щодо кожного зі стовпів. Відповівши на ці запитання, ви зможете визначити потенційні ризики та вирішити їх, дотримуючись свого плану покращення.

Ця публікація присвячена Стовп ефективності продуктивності робочого навантаження ВПО. Ми глибоко занурюємось у розробку та впровадження рішення для оптимізації пропускної здатності, затримки та загальної продуктивності. Ми починаємо з обговорення деяких загальних показників, за якими ви повинні провести перевірку добре архітектури, і представляємо фундаментальні підходи до принципів проектування. Потім ми розглядаємо кожну фокусну сферу з технічної точки зору.

Щоб слідкувати за цією публікацією, ви повинні бути знайомі з попередніми публікаціями цієї серії (Частина 1 та Частина 2) і вказівки в Керівництво з інтелектуальної обробки документів на AWS. Ці ресурси представляють загальні служби AWS для робочих навантажень IDP і запропоновані робочі процеси. З цими знаннями ви тепер готові дізнатися більше про виробництво свого робочого навантаження.

Загальні показники

Нижче наведено загальні показники того, що вам слід провести перевірку добре архітектурної структури для компонента ефективності продуктивності:

• Висока затримка – Якщо затримка оптичного розпізнавання символів (OCR), розпізнавання об’єктів або наскрізного робочого процесу займає більше часу, ніж ваш попередній еталонний тест, це може означати, що проект архітектури не охоплює тестування навантаження чи обробки помилок.
• Часте дроселювання – Ви можете зіткнутися з обмеженнями через служби AWS, як-от Текст Amazon через обмеження запитів. Це означає, що архітектуру потрібно скоригувати, переглянувши робочий процес архітектури, синхронну та асинхронну реалізацію, обчислення транзакцій за секунду (TPS) тощо.
• Труднощі налагодження – У разі збою в процесі обробки документів ви можете не мати ефективного способу визначити, де в робочому процесі розташована помилка, з якою службою вона пов’язана та чому сталася помилка. Це означає, що системі бракує видимості журналів і збоїв. Розгляньте можливість перегляду дизайну журналювання телеметричних даних і додавання до рішення інфраструктури як коду (IaC), наприклад конвеєрів обробки документів.

індикатори	Опис	Архітектурний розрив
Висока затримка	OCR, розпізнавання об’єктів або наскрізна затримка робочого процесу перевищує попередній контрольний показник	Тестування навантаження Обробка помилок
Часте дроселювання	Регулювання за допомогою служб AWS, таких як Amazon Texttract, через обмеження запитів	Синхронізація проти асинхронності Розрахунок TPS
Важко налагодити	Відсутність видимості місцезнаходження, причини та причини збоїв обробки документів	Дизайн журналу Конвеєри обробки документів

Принципи дизайну

У цій публікації ми обговорюємо три принципи проектування: делегування складних завдань штучного інтелекту, архітектури IaC і архітектури без серверів. Коли ви стикаєтеся з компромісом між двома впровадженнями, ви можете переглянути принципи дизайну з бізнес-пріоритетами вашої організації, щоб ви могли ефективно приймати рішення.

• Делегування складних завдань ШІ – Ви можете швидше запровадити штучний інтелект у своїй організації, перенісши життєвий цикл розробки моделі машинного навчання на керовані служби та скориставшись перевагами розробки моделей та інфраструктури, які надає AWS. Замість того, щоб вимагати від ваших спеціалістів з обробки даних та ІТ створювати та підтримувати моделі штучного інтелекту, ви можете використовувати попередньо навчені служби штучного інтелекту, які можуть автоматизувати завдання за вас. Це дозволяє вашим командам зосередитися на більш цінній роботі, яка вирізняє ваш бізнес, у той час як хмарний постачальник справляється зі складністю навчання, розгортання та масштабування моделей ШІ.
• Архітектури IaC – Під час запуску рішення IDP рішення включає кілька служб AI для виконання наскрізного робочого процесу в хронологічному порядку. Ви можете спроектувати рішення за допомогою конвеєрів робочого процесу Функції кроку AWS для підвищення відмовостійкості, паралельної обробки, видимості та масштабованості. Ці переваги можуть дозволити вам оптимізувати використання та вартість базових служб ШІ.
• Без сервера архітектури – IDP часто є рішенням, керованим подіями, ініційованим завантаженнями користувачів або запланованими завданнями. Рішення можна масштабувати горизонтально, підвищивши тарифи на дзвінки для служб ШІ, AWS Lambdaта інші залучені служби. Безсерверний підхід забезпечує масштабованість без надмірного виділення ресурсів, запобігаючи непотрібним витратам. Моніторинг безсерверного дизайну допомагає виявити проблеми з продуктивністю.

Враховуючи ці три принципи дизайну, організації можуть створити ефективну основу для впровадження AI/ML на хмарних платформах. Делегуючи складність, впроваджуючи стійку інфраструктуру та проектуючи для масштабу, організації можуть оптимізувати свої рішення AI/ML.

У наступних розділах ми обговорюємо, як вирішувати загальні виклики щодо технічних напрямків.

Фокусні зони

Переглядаючи ефективність продуктивності, ми розглядаємо рішення з п’яти основних напрямків: проектування архітектури, керування даними, обробка помилок, моніторинг системи та моніторинг моделі. За допомогою цих напрямків ви можете провести аналіз архітектури з різних аспектів, щоб підвищити ефективність, спостережуваність і масштабованість трьох компонентів проекту AI/ML, даних, моделі або бізнес-цілі.

Архітектурний дизайн

Переглядаючи запитання в цій темі, ви переглянете існуючий робочий процес, щоб побачити, чи відповідає він найкращим практикам. Запропонований робочий процес забезпечує загальний шаблон, якому можуть слідувати організації, і запобігає витратам на спроби й помилки.

На підставі запропонована архітектура, робочий процес складається з шести етапів збору даних, класифікації, вилучення, збагачення, перегляду та перевірки та використання. У загальних індикаторах, які ми обговорювали раніше, два з трьох походять від проблем проектування архітектури. Це пов’язано з тим, що коли ви починаєте проект із імпровізованим підходом, ви можете зіткнутися з обмеженнями проекту, намагаючись узгодити свою інфраструктуру з вашим рішенням. За допомогою аналізу архітектурного проекту імпровізований проект можна розділити на етапи, і кожен з них можна переоцінити та змінити порядок.

Ви можете заощадити час, гроші та працю, впровадивши класифікації у вашому робочому процесі, а документи переходять до подальших програм та API на основі типу документа. Це покращує спостережуваність процесу обробки документів і робить рішення простим для обслуговування під час додавання нових типів документів.

Управління даними

Продуктивність рішення IDP включає затримку, пропускну здатність і наскрізну взаємодію з користувачем. Те, як керувати документом і витягнутою інформацією в рішенні, є ключем до узгодженості даних, безпеки та конфіденційності. Крім того, рішення має обробляти великі обсяги даних з низькою затримкою та високою пропускною здатністю.

Переглядаючи питання цієї тематичної теми, ви ознайомитеся з документообігом. Це включає прийом даних, попередню обробку даних, перетворення документів на типи документів, які приймає Amazon Texttract, обробку вхідних потоків документів, маршрутизацію документів за типом і впровадження політики контролю доступу та збереження.

Наприклад, зберігаючи документ у різних оброблених фазах, ви можете за потреби повернути обробку до попереднього кроку. Життєвий цикл даних забезпечує надійність і відповідність робочому навантаженню. Використовуючи Калькулятор квот сервісу Amazon Texttract (див. наступний знімок екрана), асинхронні функції на Amazon Texttract, Lambda, Step Functions, Служба простої черги Amazon (Amazon SQS), і Служба простих сповіщень Amazon (Amazon SNS), організації можуть автоматизувати та масштабувати завдання обробки документів відповідно до потреб конкретного робочого навантаження.

Помилка обробки

Надійна обробка помилок має вирішальне значення для відстеження стану обробки документів, і вона дає операторській групі час для реагування на будь-яку ненормальну поведінку, наприклад неочікувані обсяги документів, нові типи документів або інші незаплановані проблеми від сторонніх служб. З точки зору організації, правильна обробка помилок може збільшити час безвідмовної роботи та продуктивність системи.

Ви можете розділити обробку помилок на два ключові аспекти:

• Конфігурація сервісу AWS – Ви можете реалізувати логіку повтору з експоненціальним відстрочкою для обробки тимчасових помилок, таких як дроселювання. Коли ви починаєте обробку, викликаючи асинхронну операцію Start*, наприклад StartDocumentTextDetection, ви можете вказати, що статус завершення запиту публікується в темі SNS у Канал сповіщень конфігурація. Це допоможе вам уникнути обмежень обмежень на виклики API через опитування API Get*. Ви також можете встановити сигналізацію Amazon CloudWatch і запускає сповіщення, коли виникають незвичайні спалахи помилок.
• Покращення звіту про помилки – Це включає докладні повідомлення з відповідним рівнем деталізації за типом помилки та описи відповідей обробки помилок. З належним налаштуванням обробки помилок системи можуть бути більш стійкими, реалізуючи загальні шаблони, такі як автоматичне повторення періодичних помилок, використання автоматичних вимикачів для обробки каскадних збоїв і служби моніторингу для отримання інформації про помилки. Це дозволяє рішенню балансувати між обмеженнями на повторні спроби та запобігає нескінченним циклам.

Моніторинг моделі

Продуктивність моделей ML відстежується на предмет погіршення з часом. У міру того, як дані та умови системи змінюються, показники продуктивності та ефективності моделі відстежуються, щоб за потреби було проведено перенавчання.

Модель ML у робочому процесі IDP може бути моделлю OCR, моделлю розпізнавання сутності або моделлю класифікації. Модель може надходити зі служби штучного інтелекту AWS, моделі з відкритим кодом Amazon SageMaker, Amazon Bedrockабо інші сторонні служби. Ви повинні розуміти обмеження та випадки використання кожної служби, щоб визначити способи вдосконалення моделі за допомогою людського відгуку та підвищення продуктивності служби з часом.

Поширеним підходом є використання журналів обслуговування для розуміння різних рівнів точності. Ці журнали можуть допомогти групі з вивчення даних визначити та зрозуміти будь-яку потребу в перенавчанні моделі. Ваша організація може вибрати механізм перенавчання — це може бути щоквартально, щомісяця або на основі наукових показників, наприклад, коли точність падає нижче заданого порогу.

Метою моніторингу є не лише виявлення проблем, але й замикання циклу для постійного вдосконалення моделей і підтримки продуктивності рішення IDP у міру розвитку зовнішнього середовища.

Системний моніторинг

Після розгортання рішення IDP у виробництві важливо відстежувати ключові показники та продуктивність автоматизації, щоб визначити області, які потрібно вдосконалити. Показники повинні включати бізнес-метрики та технічні показники. Це дозволяє компанії оцінювати продуктивність системи, виявляти проблеми та з часом удосконалювати моделі, правила та робочі процеси, щоб підвищити рівень автоматизації та зрозуміти вплив на роботу.

З точки зору бізнесу найважливішими є такі показники, як точність вилучення для важливих полів, загальний рівень автоматизації, що вказує на відсоток документів, оброблених без втручання людини, і середній час обробки на документ. Ці бізнес-метрики допомагають кількісно оцінити досвід кінцевого користувача та підвищення ефективності роботи.

Технічні показники, включаючи частоту помилок і винятків, що виникають протягом робочого процесу, є важливими для відстеження з інженерної точки зору. Технічні показники також можуть відстежувати на кожному рівні від кінця до кінця та надавати повне уявлення про складне робоче навантаження. Ви можете розділити показники на різні рівні, наприклад рівень рішення, рівень наскрізного робочого процесу, рівень типу документа, рівень документа, рівень розпізнавання сутності та рівень OCR.

Тепер, коли ви переглянули всі запитання в цьому стовпі, ви можете оцінити інші стовпи та розробити план покращення робочого навантаження ВПО.

Висновок

У цій публікації ми обговорювали загальні показники, які можуть знадобитися для виконання перевірки добре архітектурної інфраструктури для компонента «Ефективність продуктивності» для вашого робочого навантаження IDP. Потім ми розглянули принципи проектування, щоб надати огляд високого рівня та обговорити мету рішення. Дотримуючись цих пропозицій щодо IDP Well-Architected Custom Lens і переглядаючи запитання за областю фокусування, тепер у вас має бути план покращення проекту.

---

Про авторів

Міа Чанг є архітектором рішень ML Specialist для Amazon Web Services. Вона працює з клієнтами в регіоні EMEA та ділиться найкращими практиками для виконання робочих навантажень AI/ML у хмарі зі своїм досвідом із прикладної математики, інформатики та AI/ML. Вона зосереджується на навантаженнях, пов’язаних із НЛП, і ділиться своїм досвідом виступу на конференції та автора книг. У вільний час вона захоплюється походами, настільними іграми та варінням кави.

Брієш Паті є архітектором корпоративних рішень в AWS. Його основна увага — допомогти корпоративним клієнтам адаптувати хмарні технології для своїх робочих навантажень. Він має досвід розробки додатків та корпоративної архітектури та працював із клієнтами з різних галузей, таких як спорт, фінанси, енергетика та професійні послуги. Його інтереси включають безсерверні архітектури та AI/ML.

Руї Кардозу є партнером-архітектором рішень Amazon Web Services (AWS). Він зосереджується на AI/ML та IoT. Він працює з партнерами AWS і підтримує їх у розробці рішень в AWS. Коли не працює, він любить їздити на велосипеді, піти в походи та вивчати нові речі.

Тім Конделло є старшим архітектором рішень у сфері штучного інтелекту (AI) і машинного навчання (ML) в Amazon Web Services (AWS). Його фокус — обробка природної мови та комп’ютерне зір. Тім любить використовувати ідеї клієнтів і перетворювати їх на масштабовані рішення.

Шеррі Дін є старшим архітектором рішень у сфері штучного інтелекту (AI) і машинного навчання (ML) в Amazon Web Services (AWS). Вона має великий досвід машинного навчання зі ступенем доктора філософії з інформатики. В основному вона працює з клієнтами державного сектору над різними бізнес-завданнями, пов’язаними зі штучним інтелектом/ML, допомагаючи їм прискорити процес машинного навчання в AWS Cloud. Коли вона не допомагає клієнтам, вона любить активний відпочинок.

Суінь Ван є архітектором спеціалістів із штучного інтелекту та ML в AWS. Вона має міждисциплінарну освіту в галузі машинного навчання, фінансових інформаційних служб та економіки, а також багаторічний досвід створення програм Data Science і Machine Learning, які вирішували реальні бізнес-проблеми. Їй подобається допомагати клієнтам визначати правильні бізнес-питання та створювати правильні рішення AI/ML. У вільний час вона любить співати та готувати.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/