Налаштуйте бізнес-правила для інтелектуальної обробки документів із переглядом персоналом і візуалізацією BI

У різних галузях щодня обробляється величезна кількість ділових документів. Багато з цих документів є паперовими, відсканованими у вашій системі як зображення або у неструктурованому форматі, як-от PDF. Кожна компанія може застосовувати унікальні правила, пов’язані з її діловою практикою, під час обробки цих документів. Як точно отримувати інформацію та гнучко її обробляти – це проблема, з якою стикаються багато компаній.

Amazon Intelligent Document Processing (IDP) дозволяє вам скористатися перевагами передової технології машинного навчання (ML) без попереднього досвіду ML. Ця публікація представляє рішення, включене в Семінар Amazon IDP демонструючи, як обробляти документи для обслуговування гнучких бізнес-правил за допомогою служб Amazon AI. Ви можете скористатися наступним кроком Блокнот Юпітера завершити лабораторію.

Текст Amazon допомагає легко отримувати текст із різних документів, а також Розширений ШІ в Амазонці (Amazon A2I) дозволяє реалізувати людський перегляд прогнозів ML. Шаблон Amazon A2I за замовчуванням дає змогу створювати конвеєр людської перевірки на основі правил, наприклад, коли оцінка достовірності вилучення нижча за попередньо визначене порогове значення або відсутні необхідні ключі. Але у виробничому середовищі вам потрібен конвеєр обробки документів для підтримки гнучких бізнес-правил, таких як перевірка формату рядка, перевірка типу та діапазону даних і перевірка полів у документах. У цьому дописі показано, як можна використовувати Amazon Texttract і Amazon A2I для налаштування загального конвеєра обробки документів із підтримкою гнучких бізнес-правил.

Огляд рішення

Для нашого зразка рішення ми використовуємо Податкова форма 990, форма IRS (Служби внутрішніх доходів США), яка надає громадськості фінансову інформацію про некомерційну організацію. У цьому прикладі ми розглядаємо лише логіку вилучення для деяких полів на першій сторінці форми. Ви можете знайти більше зразків документів на Веб-сайт IRS.

На наведеній нижче схемі показано конвеєр IDP, який підтримує налаштовані бізнес-правила з перевіркою людиною.

Архітектура складається з трьох логічних етапів:

• Видобуток – Витягніть дані з податкової форми 990 (ми використовуємо сторінку 1 як приклад).
  • Отримайте зразок зображення, що зберігається в Служба простого зберігання Amazon (Amazon S3) відро.
  • Викличте API Amazon Texttract analy_document за допомогою Запити функція вилучення тексту зі сторінки.
• Перевірка – Застосовуйте гнучкі бізнес-правила з перевіркою з боку людини.
  • Перевірте отримані дані на відповідність бізнес-правилам, наприклад перевірте довжину поля ID.
  • Надішліть документ до Amazon A2I, щоб людина перевірила його, якщо будь-які бізнес-правила не працюють.
  • Рецензенти використовують інтерфейс користувача Amazon A2I (настроюваний веб-сайт), щоб перевірити результат вилучення.
• BI візуалізація - Ми використовуємо Amazon QuickSight щоб створити інформаційну панель бізнес-аналітики (BI), яка показує інформацію про процеси.

Налаштуйте бізнес-правила

Ви можете визначити загальне бізнес-правило в такому форматі JSON. У прикладі коду ми визначаємо три правила:

• Перше правило стосується поля ID роботодавця. Правило не діє, якщо показник достовірності Amazon Texttract нижчий за 99%. Для цієї публікації ми встановили високий поріг оцінки достовірності, який буде перевищено за задумом. Ви можете налаштувати поріг до більш прийнятного значення, щоб зменшити непотрібні людські зусилля в реальному середовищі, наприклад 90%.
• Друге правило стосується поля DLN (унікальний ідентифікатор податкової форми), яке потрібне для логіки подальшої обробки. Це правило не виконується, якщо поле DLN відсутнє або має порожнє значення.
• Третє правило також стосується поля DLN, але з іншим типом умови: LengthCheck. Правило порушується, якщо довжина DLN не становить 16 символів.

Наступний код показує наші бізнес-правила у форматі JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Ви можете розширити рішення, додавши більше бізнес-правил, що відповідають тій же структурі.

Витягніть текст за допомогою запиту Amazon Texttract

У прикладі рішення ми називаємо Amazon Texttract analy_document API запит можливість вилучення полів, ставлячи конкретні запитання. Вам не потрібно знати структуру даних у документі (таблиці, форми, неявних полів, вкладених даних) або турбуватися про варіації між версіями та форматами документів. У запитах використовується комбінація візуальних, просторових і мовних підказок, щоб отримати потрібну інформацію з високою точністю.

Щоб отримати значення для поля DLN, ви можете надіслати запит із запитаннями природними мовами, наприклад «Що таке DLN?» Amazon Texttract повертає текст, конфіденційність та інші метадані, якщо знаходить відповідну інформацію на зображенні чи документі. Нижче наведено приклад запиту Amazon Texttract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Визначте модель даних

Зразок рішення створює дані в структурованому форматі для оцінки загального бізнес-правила. Щоб зберегти витягнуті значення, ви можете визначити модель даних для кожної сторінки документа. На наступному зображенні показано, як текст на сторінці 1 зіставляється з полями JSON.

Кожне поле представляє текст документа, прапорець або клітинку таблиці/форми на сторінці. Об’єкт JSON виглядає так:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Ви можете знайти детальне визначення структури JSON у GitHub репо.

Оцініть дані відповідно до бізнес-правил

Зразок рішення поставляється з класом Condition — механізмом загальних правил, який приймає витягнуті дані (як визначено в моделі даних) і правила (як визначено в налаштованих бізнес-правилах). Він повертає два списки з невиконаними та задоволеними умовами. Ми можемо використати результат, щоб вирішити, чи слід надсилати документ до Amazon A2I для перевірки персоналом.

Вихідний код класу Condition наведено у зразку GitHub репо. Він підтримує базову логіку перевірки, наприклад перевірку довжини рядка, діапазону значень і порогового значення оцінки достовірності. Ви можете змінити код, щоб підтримувати більше типів умов і складну логіку перевірки.

Створіть налаштований веб-інтерфейс Amazon A2I

Amazon A2I дозволяє налаштувати веб-інтерфейс рецензента, визначивши a шаблон завдання працівника. Шаблон — це статична веб-сторінка на HTML і JavaScript. Ви можете передавати дані на налаштовану сторінку рецензента за допомогою Рідина синтаксис

У зразку розчину спеціальний шаблон інтерфейсу Amazon A2I відображає сторінку ліворуч і умови несправності праворуч. Рецензенти можуть використовувати його, щоб виправити значення вилучення та додати свої коментарі.

На наступному знімку екрана показано наш налаштований інтерфейс користувача Amazon A2I. Він показує оригінальний документ із зображенням ліворуч і наступні помилкові умови праворуч:

• Номери DLN мають містити 16 символів. Фактичний DLN має 15 символів.
• Показник довіри employer_id нижчий за 99%. Фактичний показник довіри становить близько 98%.

Рецензенти можуть вручну перевірити ці результати та додати коментарі в ЗМІНИ ПРИЧИНУ текстові поля.

Щоб отримати додаткові відомості про інтеграцію Amazon A2I у будь-який користувацький робочий процес машинного навчання, зверніться до понад 60 попередньо створені робочі шаблони на репозиторії GitHub і Використовуйте Amazon Augmented AI зі спеціальними типами завдань.

Обробити вихід Amazon A2I

Після того, як рецензент за допомогою налаштованого інтерфейсу користувача Amazon A2I перевірить результат і вибере Надіслати, Amazon A2I зберігає файл JSON у папці сегмента S3. Файл JSON містить таку інформацію на кореневому рівні:

• ARN визначення потоку Amazon A2I та ім’я людського циклу
• Відповіді людей (вхід рецензента, зібраний налаштованим інтерфейсом користувача Amazon A2I)
• Вхідний вміст (оригінальні дані, надіслані в Amazon A2I під час запуску завдання людського циклу)

Нижче наведено зразок JSON, створений Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Ви можете реалізувати логіку вилучення, трансформації та завантаження (ETL), щоб аналізувати інформацію з виходу JSON Amazon A2I та зберігати її у файлі чи базі даних. Зразок розчину поставляється з a Файл CSV з обробленими даними. Ви можете використовувати його для створення інформаційної панелі BI, дотримуючись інструкцій у наступному розділі.

Створіть інформаційну панель в Amazon QuickSight

Зразок рішення містить етап звітування з інформаційною панеллю візуалізації, яка обслуговується Amazon QuickSight. На інформаційній панелі BI відображаються такі ключові показники, як кількість документів, оброблених автоматично або вручну, найпопулярніші поля, які вимагали перевірки персоналом, та інші статистичні дані. Ця інформаційна панель може допомогти вам отримати нагляд за процесом обробки документів і проаналізувати поширені причини перевірки людьми. Ви можете оптимізувати робочий процес, додатково зменшивши втручання людини.

Зразок інформаційної панелі містить основні показники. Ви можете розширити рішення за допомогою Amazon QuickSight, щоб показати більше аналізу даних.

Розширте рішення, щоб підтримувати більше документів і бізнес-правил

Щоб розширити рішення для підтримки більшої кількості сторінок документа з відповідними бізнес-правилами, потрібно внести такі зміни:

• Створіть модель даних для нової сторінки в структурі JSON, яка представлятиме всі значення, які ви хочете отримати зі сторінок. Зверніться до Визначте модель даних розділ для детального формату.
• Використовуйте Amazon Texttract, щоб витягти текст із документа та заповнити значення в моделі даних.
• Додайте бізнес-правила, що відповідають сторінці у форматі JSON. Зверніться до Налаштуйте бізнес-правила розділ для детального формату.

Користувацький інтерфейс Amazon A2I у рішенні є загальним і не потребує змін для підтримки нових бізнес-правил.

Висновок

Інтелектуальна обробка документів користується високим попитом, і компаніям потрібен індивідуальний конвеєр для підтримки їх унікальної бізнес-логіки. Amazon A2I також пропонує вбудований шаблон, інтегрований з Amazon Texttract, щоб реалізувати ваші випадки використання перевірки руками. Це також дає змогу налаштувати сторінку рецензента відповідно до гнучких вимог.

У цьому дописі описано довідкове рішення за допомогою Amazon Texttract і Amazon A2I для створення конвеєра IDP, який підтримує гнучкі бізнес-правила. Ви можете спробувати це за допомогою Блокнот Юпітера у сховищі семінару GitHub IDP.

Про авторів

Лана Чжан є старшим архітектором рішень у команді AWS WWSO AI Services, який має досвід у сфері штучного інтелекту та машинного навчання для інтелектуальної обробки документів і модерації вмісту. Вона захоплена просуванням послуг штучного інтелекту AWS і допомогою клієнтам трансформувати їхні бізнес-рішення.

Соналі Саху очолює групу архітекторів рішень інтелектуальної обробки документів AI/ML в Amazon Web Services. Вона є пристрасним технофілом і любить працювати з клієнтами над вирішенням складних проблем за допомогою інновацій. Основна сфера її діяльності – штучний інтелект і машинне навчання для інтелектуальної обробки документів.