Настройте бизнес-правила для интеллектуальной обработки документов с помощью проверки человеком и визуализации BI.

Ежедневно в разных отраслях обрабатывается огромное количество деловых документов. Многие из этих документов являются бумажными, отсканированы в вашу систему в виде изображений или представлены в неструктурированном формате, таком как PDF. Каждая компания может применять уникальные правила, связанные с ее бизнес-опытом, при обработке этих документов. Как точно извлекать информацию и гибко ее обрабатывать — проблема, с которой сталкиваются многие компании.

Amazon Intelligent Document Processing (IDP) позволяет вам воспользоваться преимуществами ведущей в отрасли технологии машинного обучения (ML), не имея опыта работы с ML. Этот пост представляет решение, включенное в Семинар Amazon IDP демонстрация того, как обрабатывать документы для выполнения гибких бизнес-правил с помощью сервисов Amazon AI. Вы можете использовать следующую пошаговую Блокнот Jupyter чтобы закончить лабораторию.

Амазонка Текст помогает легко извлекать текст из различных документов и Amazon увеличил AI (Amazon A2I) позволяет реализовать проверку прогнозов машинного обучения человеком. Шаблон Amazon A2I по умолчанию позволяет создавать конвейер проверки человеком на основе правил, например, когда показатель достоверности извлечения ниже заранее определенного порога или отсутствуют необходимые ключи. Но в производственной среде вам нужен конвейер обработки документов для поддержки гибких бизнес-правил, таких как проверка формата строки, проверка типа и диапазона данных, а также проверка полей в документах. В этом посте показано, как можно использовать Amazon Textract и Amazon A2I для настройки общего конвейера обработки документов, поддерживающего гибкие бизнес-правила.

Обзор решения

Для нашего примера решения мы используем Налоговая форма 990, форма Налогового управления США (Internal Revenue Service), которая предоставляет общественности финансовую информацию о некоммерческой организации. В этом примере мы рассмотрим логику извлечения только для некоторых полей на первой странице формы. Вы можете найти больше образцов документов на Веб-сайт IRS.

На следующей диаграмме показан конвейер IDP, который поддерживает настраиваемые бизнес-правила с проверкой человеком.

Архитектура состоит из трех логических этапов:

• Добыча – Извлеките данные из налоговой формы 990 (в качестве примера мы используем страницу 1).
  • Получить образец изображения, хранящийся в Простой сервис хранения Amazon (Amazon S3) ведро.
  • Вызовите Amazon Text Analyze_document API, используя Запросы функция извлечения текста со страницы.
• Проверка – Применяйте гибкие бизнес-правила с непосредственным контролем.
  • Проверьте извлеченные данные на соответствие бизнес-правилам, например, проверьте длину поля идентификатора.
  • Отправьте документ в Amazon A2I, чтобы человек проверил его, если какое-либо бизнес-правило не работает.
  • Рецензенты используют пользовательский интерфейс Amazon A2I (настраиваемый веб-сайт) для проверки результатов извлечения.
• BI-визуализация - Мы используем Amazon QuickSight для создания информационной панели бизнес-аналитики (BI), показывающей информацию о процессах.

Настройка бизнес-правил

Вы можете определить общее бизнес-правило в следующем формате JSON. В примере кода мы определяем три правила:

• Первое правило относится к полю идентификатора работодателя. Правило не работает, если показатель достоверности Amazon Textract ниже 99 %. Для этого поста мы установили высокий порог оценки достоверности, который будет нарушаться по замыслу. Вы можете настроить пороговое значение на более разумное значение, чтобы уменьшить ненужные человеческие усилия в реальной среде, например, на 90%.
• Второе правило относится к полю DLN (уникальный идентификатор налоговой формы), которое требуется для логики последующей обработки. Это правило не работает, если поле DLN отсутствует или имеет пустое значение.
• Третье правило также относится к полю DLN, но с другим типом условия: LengthCheck. Правило нарушается, если длина DLN не составляет 16 символов.

Следующий код показывает наши бизнес-правила в формате JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Вы можете расширить решение, добавив больше бизнес-правил той же структуры.

Извлечение текста с помощью запроса Amazon Text

В примере решения мы называем Amazon Text analysis_document API запрос возможность извлекать поля, задавая конкретные вопросы. Вам не нужно знать структуру данных в документе (таблица, форма, подразумеваемое поле, вложенные данные) или беспокоиться о различиях между версиями и форматами документа. Запросы используют комбинацию визуальных, пространственных и языковых сигналов для извлечения информации, которую вы ищете, с высокой точностью.

Чтобы извлечь значение для поля DLN, вы можете отправить запрос с вопросами на естественных языках, например «Что такое DLN?» Amazon Textract возвращает текст, достоверность и другие метаданные, если находит соответствующую информацию об изображении или документе. Ниже приведен пример запроса запроса Amazon Text:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Определить модель данных

Образец решения создает данные в структурированном формате для выполнения общей оценки бизнес-правил. Чтобы сохранить извлеченные значения, вы можете определить модель данных для каждой страницы документа. На следующем изображении показано, как текст на странице 1 сопоставляется с полями JSON.

Каждое поле представляет собой текст документа, флажок или ячейку таблицы/формы на странице. Объект JSON выглядит следующим образом:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Вы можете найти подробное определение структуры JSON в Репо GitHub.

Оценивайте данные в соответствии с бизнес-правилами

Пример решения поставляется с классом Condition — универсальным механизмом правил, который принимает извлеченные данные (как определено в модели данных) и правила (как определено в настраиваемых бизнес-правилах). Он возвращает два списка с невыполненными и удовлетворенными условиями. Мы можем использовать результат, чтобы решить, следует ли отправлять документ в Amazon A2I для проверки человеком.

Исходный код класса Condition находится в образце. Репо GitHub. Он поддерживает базовую логику проверки, такую ​​как проверка длины строки, диапазона значений и порога достоверности. Вы можете изменить код, чтобы он поддерживал больше типов условий и сложную логику проверки.

Создайте индивидуальный веб-интерфейс Amazon A2I

Amazon A2I позволяет настроить веб-интерфейс рецензента, определив шаблон рабочего задания. Шаблон представляет собой статическую веб-страницу в HTML и JavaScript. Вы можете передать данные на настроенную страницу рецензента, используя жидкость синтаксис.

В растворе образца собственный шаблон пользовательского интерфейса Amazon A2I отображает страницу слева и условия отказа справа. Рецензенты могут использовать его, чтобы исправить значение извлечения и добавить свои комментарии.

На следующем снимке экрана показан наш настроенный пользовательский интерфейс Amazon A2I. Он показывает исходный документ изображения слева и следующие неудачные условия справа:

• Номера DLN должны состоять из 16 символов. Фактический DLN состоит из 15 символов.
• Показатель уверенности работодателя_id ниже 99%. Фактическая оценка достоверности составляет около 98%.

Рецензенты могут вручную проверить эти результаты и добавить комментарии в ПРИЧИНА ИЗМЕНЕНИЯ текстовые поля.

Для получения дополнительной информации об интеграции Amazon A2I в любой пользовательский рабочий процесс машинного обучения см. более 60 готовые рабочие шаблоны на репозитории GitHub и Использовать расширенный AI Amazon с пользовательскими типами задач.

Обработка выходных данных Amazon A2I

После того, как рецензент с помощью настроенного пользовательского интерфейса Amazon A2I проверит результат и выберет Отправить, Amazon A2I хранит файл JSON в папке корзины S3. Файл JSON включает следующую информацию на корневом уровне:

• ARN определения потока Amazon A2I и имя цикла для человека
• Человеческие ответы (вклад рецензента, собранный настроенным пользовательским интерфейсом Amazon A2I)
• Входное содержимое (исходные данные, отправленные в Amazon A2I при запуске задачи человеческого цикла)

Ниже приведен пример JSON, сгенерированный Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Вы можете реализовать логику извлечения, преобразования и загрузки (ETL) для анализа информации из выходных данных Amazon A2I в формате JSON и сохранения ее в файле или базе данных. Образец решения поставляется с CSV-файл с обработанными данными. Вы можете использовать его для создания информационной панели BI, следуя инструкциям в следующем разделе.

Создайте информационную панель в Amazon QuickSight

Пример решения включает в себя этап создания отчетов с панелью визуализации, которую обслуживает Amazon QuickSight. На информационной панели BI отображаются ключевые показатели, такие как количество документов, обработанных автоматически или вручную, наиболее популярные поля, требующие проверки человеком, и другие аналитические данные. Эта информационная панель может помочь вам получить представление о конвейере обработки документов и проанализировать распространенные причины, вызывающие проверку человеком. Вы можете оптимизировать рабочий процесс, еще больше уменьшив человеческий фактор.

Пример панели мониторинга включает основные показатели. Вы можете расширить решение с помощью Amazon QuickSight, чтобы получить больше информации о данных.

Расширьте решение для поддержки большего количества документов и бизнес-правил

Чтобы расширить решение для поддержки большего количества страниц документов с соответствующими бизнес-правилами, необходимо внести следующие изменения:

• Создайте модель данных для новой страницы в структуре JSON, представляющую все значения, которые вы хотите извлечь из страниц. Обратитесь к Определить модель данных раздел для подробного формата.
• Используйте Amazon Textract для извлечения текста из документа и заполнения значениями модели данных.
• Добавьте соответствующие странице бизнес-правила в формате JSON. Обратитесь к Настройка бизнес-правил раздел для подробного формата.

Пользовательский пользовательский интерфейс Amazon A2I в решении является универсальным и не требует изменений для поддержки новых бизнес-правил.

Заключение

Интеллектуальная обработка документов пользуется большим спросом, и компаниям нужен настраиваемый конвейер для поддержки их уникальной бизнес-логики. Amazon A2I также предлагает встроенный шаблон, интегрированный с Amazon Textract, для реализации ваших сценариев использования проверки человеком. Это также позволяет настроить страницу рецензента в соответствии с гибкими требованиями.

В этом посте вы ознакомились с эталонным решением, использующим Amazon Textract и Amazon A2I для создания конвейера IDP, поддерживающего гибкие бизнес-правила. Вы можете попробовать его с помощью Блокнот Jupyter в репозитории GitHub IDP Workshop.

Об авторах

Лана Чжан является старшим архитектором решений в команде AWS WWSO AI Services с опытом работы с искусственным интеллектом и машинным обучением для интеллектуальной обработки документов и модерации контента. Она увлечена продвижением сервисов AWS AI и помогает клиентам трансформировать их бизнес-решения.

Сонали Саху возглавляет команду архитекторов решений AI/ML для интеллектуальной обработки документов в Amazon Web Services. Она страстный технофил и любит работать с клиентами для решения сложных проблем с использованием инноваций. Ее основная сфера деятельности — искусственный интеллект и машинное обучение для интеллектуальной обработки документов.