Улучшение интеллектуальной обработки документов AWS с помощью генеративного искусственного интеллекта | Веб-сервисы Амазонки

Классификация, извлечение и анализ данных могут быть сложными для организаций, которые имеют дело с большими объемами документов. Традиционные решения для обработки документов являются ручными, дорогими, подверженными ошибкам и трудно масштабируемыми. Интеллектуальная обработка документов (IDP) AWS с такими сервисами ИИ, как Амазонка Текст, позволяет использовать передовую технологию машинного обучения (ML) для быстрой и точной обработки данных из любого отсканированного документа или изображения. Генеративный искусственный интеллект (генеративный ИИ) дополняет Amazon Textract для дальнейшей автоматизации рабочих процессов обработки документов. Такие функции, как нормализация ключевых полей и суммирование входных данных, поддерживают более быстрые циклы управления рабочими процессами обработки документов, снижая при этом вероятность ошибок.

Генеративный ИИ управляется большими моделями ML, называемыми базовыми моделями (FM). FM меняют способ решения традиционно сложных рабочих нагрузок по обработке документов. В дополнение к существующим возможностям предприятиям необходимо обобщать определенные категории информации, включая данные о дебете и кредите из таких документов, как финансовые отчеты и банковские выписки. FM упрощает получение такого понимания из извлеченных данных. Чтобы оптимизировать время, затрачиваемое на проверку вручную, и повысить производительность труда сотрудников, такие ошибки, как пропущенные цифры в телефонных номерах, недостающие документы или адреса без номеров улиц, можно помечать автоматически. В текущем сценарии вам необходимо выделить ресурсы для выполнения таких задач, используя проверку человеком и сложные сценарии. Такой подход утомителен и затратен. FM могут помочь выполнять эти задачи быстрее, с меньшими ресурсами и преобразовывать различные входные форматы в стандартный шаблон, который можно обрабатывать дальше. В AWS мы предлагаем такие услуги, как Коренная порода Амазонки, самый простой способ создавать и масштабировать приложения генеративного ИИ с помощью FM. Amazon Bedrock – это полностью управляемый сервис, который делает FM от ведущих стартапов в области искусственного интеллекта и Amazon доступными через API, поэтому вы можете найти модель, которая лучше всего соответствует вашим требованиям. Мы также предлагаем Amazon SageMaker JumpStart, что позволяет специалистам по машинному обучению выбирать из широкого набора FM с открытым исходным кодом. Практики машинного обучения могут развертывать FM на выделенных Создатель мудреца Амазонки экземпляры из сетевой изолированной среды и настраивать модели с помощью SageMaker для обучения и развертывания моделей.

Ricoh предлагает решения для рабочих мест и услуги по цифровому преобразованию, призванные помочь клиентам управлять информационными потоками в своем бизнесе и оптимизировать его. Ашок Шеной, вице-президент по разработке портфельных решений, говорит: «Мы добавляем генеративный ИИ в наши решения IDP, чтобы помочь нашим клиентам выполнять свою работу быстрее и точнее, используя новые возможности, такие как вопросы и ответы, обобщение и стандартизированные выходные данные. AWS позволяет нам использовать преимущества генеративного искусственного интеллекта, сохраняя при этом отдельные и безопасные данные каждого из наших клиентов».

В этом посте мы расскажем, как улучшить ваше решение IDP на AWS с помощью генеративного ИИ.

Улучшение конвейера IDP

В этом разделе мы рассмотрим, как традиционный конвейер IDP можно расширить с помощью FM, и рассмотрим пример использования Amazon Textract с FM.

AWS IDP состоит из трех этапов: классификация, извлечение и обогащение. Подробнее о каждом этапе см. Интеллектуальная обработка документов с помощью сервисов AWS AI: часть 1 и Часть 2. На этапе классификации FM теперь могут классифицировать документы без дополнительного обучения. Это означает, что документы можно классифицировать, даже если модель ранее не видела подобных примеров. FM на этапе извлечения нормализуют поля даты и проверяют адреса и номера телефонов, обеспечивая при этом согласованное форматирование. FM на этапе обогащения позволяют делать выводы, логические рассуждения и обобщения. Когда вы используете FM на каждом этапе IDP, ваш рабочий процесс будет более упорядоченным, а производительность повысится. На следующей диаграмме показан конвейер IDP с генеративным ИИ.

Этап извлечения конвейера IDP

Когда FM не могут напрямую обрабатывать документы в их исходных форматах (например, PDF, img, jpeg и tiff) в качестве входных данных, необходим механизм для преобразования документов в текст. Чтобы извлечь текст из документа перед его отправкой в ​​FM, вы можете использовать Amazon Textract. С помощью Amazon Textract вы можете извлекать строки и слова и передавать их нижестоящим модулям FM. Следующая архитектура использует Amazon Textract для точного извлечения текста из любого типа документа перед его отправкой в ​​FM для дальнейшей обработки.

Как правило, документы состоят из структурированной и полуструктурированной информации. Amazon Textract можно использовать для извлечения необработанного текста и данных из таблиц и форм. Связь между данными в таблицах и формах играет жизненно важную роль в автоматизации бизнес-процессов. Некоторые типы информации не могут быть обработаны FM. В результате мы можем либо сохранить эту информацию в нижестоящем хранилище, либо отправить ее в FM. На следующем рисунке показан пример того, как Amazon Textract может извлекать из документа структурированную и полуструктурированную информацию в дополнение к строкам текста, которые должны быть обработаны FM.

Использование бессерверных сервисов AWS для подведения итогов с помощью FM

Конвейер IDP, который мы проиллюстрировали ранее, можно легко автоматизировать с помощью бессерверных сервисов AWS. Сильно неструктурированные документы распространены на крупных предприятиях. Эти документы могут варьироваться от документов Комиссии по ценным бумагам и биржам (SEC) в банковской сфере до документов о покрытии в сфере медицинского страхования. С развитием генеративного ИИ в AWS люди в этих отраслях ищут способы автоматического и экономичного получения сводки из этих документов. Бессерверные службы помогают предоставить механизм для быстрого создания решения для IDP. Такие услуги, как AWS Lambda, Шаговые функции AWSи Amazon EventBridge может помочь построить конвейер обработки документов с интеграцией FM, как показано на следующей диаграмме.

Ассоциация пример приложения используемый в предыдущей архитектуре движимый событиями. мероприятие определяется как изменение состояния, которое произошло недавно. Например, когда объект загружается в Простой сервис хранения Amazon (Amazon S3), Amazon S3 генерирует событие Object Created. Это уведомление о событии от Amazon S3 может активировать функцию Lambda или рабочий процесс Step Functions. Этот тип архитектуры называется событийно-ориентированная архитектура. В этом посте наш образец приложения использует архитектуру, управляемую событиями, для обработки образца документа о выписке из больницы и обобщения деталей документа. Поток работает следующим образом:

1. Когда документ загружается в корзину S3, Amazon S3 запускает событие Object Created.
2. Шина событий EventBridge по умолчанию распространяет событие в Step Functions на основе правила EventBridge.
3. Рабочий процесс конечного автомата обрабатывает документ, начиная с Amazon Textract.
4. Лямбда-функция преобразует проанализированные данные для следующего шага.
5. Государственная машина Запускает a Конечная точка SageMaker, на котором размещается FM с использованием прямой интеграции AWS SDK.
6. Сводная корзина назначения S3 получает сводный ответ, полученный от FM.

Мы использовали пример приложения с flan-t5 Обнимающая модель лица чтобы обобщить следующий образец сводки о выписке пациента с использованием рабочего процесса Step Functions.

Рабочий процесс Step Functions использует Интеграция SDK AWS вызвать Amazon Text АнализДокумент и среда выполнения SageMaker Вызвать конечную точку API, как показано на следующем рисунке.

Этот рабочий процесс приводит к созданию сводного объекта JSON, который хранится в целевом сегменте. Объект JSON выглядит следующим образом:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Создание этих сводок с помощью IDP с бессерверной реализацией в масштабе помогает организациям получать значимые, краткие и презентабельные данные экономичным способом. Step Functions не ограничивает метод обработки документов одним документом за раз. Его распределенная карта функция может суммировать большое количество документов по расписанию.

Ассоциация пример приложения использует flan-t5 Обнимающая модель лица; однако вы можете использовать конечную точку FM по вашему выбору. Обучение и запуск модели выходит за рамки примера приложения. Следуйте инструкциям в репозитории GitHub, чтобы развернуть пример приложения. Предыдущая архитектура представляет собой руководство по организации рабочего процесса IDP с помощью пошаговых функций. Обратитесь к Семинар IDP по генеративному ИИ подробные инструкции о том, как создать приложение с сервисами AWS AI и FM.

Настройка решения

Следуйте инструкциям в README файл для установки архитектуры решения (за исключением конечных точек SageMaker). Когда у вас появится собственная конечная точка SageMaker, вы можете передать имя конечной точки в качестве параметра в шаблон.

Убирать

Чтобы сократить расходы, удалите ресурсы, которые вы развернули в рамках руководства:

1. Выполните действия, описанные в разделе очистки README .
2. Удалите любой контент из корзины S3, а затем удалите корзину через консоль Amazon S3.
3. Удалите все конечные точки SageMaker, созданные с помощью консоли SageMaker.

Заключение

Генеративный ИИ меняет способ обработки документов с помощью IDP для получения информации. Сервисы AWS AI, такие как Amazon Textract, вместе с AWS FM помогают точно обрабатывать документы любого типа. Дополнительную информацию о работе с генеративным ИИ на AWS см. Анонс новых инструментов для разработки с помощью генеративного ИИ на AWS.

---

Об авторах

Сонали Саху руководит интеллектуальной обработкой документов вместе с группой сервисов AI/ML в AWS. Она писатель, идейный лидер и страстный технолог. Ее основная сфера деятельности — искусственный интеллект и машинное обучение, и она часто выступает на конференциях и встречах по искусственному интеллекту и машинному обучению по всему миру. Она обладает как обширным, так и глубоким опытом работы в области технологий и технологической отрасли, а также с отраслевым опытом в области здравоохранения, финансового сектора и страхования.

Ашиш Лал — старший менеджер по маркетингу продуктов, который руководит маркетингом продуктов для сервисов ИИ в AWS. Он имеет 9-летний опыт работы в области маркетинга и руководил маркетинговыми усилиями по интеллектуальной обработке документов. Он получил степень магистра делового администрирования в Вашингтонском университете.

Мрунал Дафтари является старшим архитектором корпоративных решений в Amazon Web Services. Он базируется в Бостоне, Массачусетс. Он энтузиаст облачных вычислений и очень увлечен поиском решений для клиентов, которые являются простыми и учитывают их бизнес-результаты. Ему нравится работать с облачными технологиями, предлагая простые, масштабируемые решения, обеспечивающие положительные результаты в бизнесе, стратегию внедрения облачных технологий, а также разработку инновационных решений и повышение эффективности работы.

Дхирадж Махапатро является главным архитектором бессерверных решений в AWS. Он специализируется на оказании помощи корпоративным финансовым службам во внедрении бессерверных и управляемых событиями архитектур для модернизации своих приложений и ускорения темпов внедрения инноваций. В последнее время он работает над приближением контейнерных рабочих нагрузок и практического использования генеративного ИИ к бессерверным технологиям и EDA для клиентов из сферы финансовых услуг.

Джейкоб Хаускенс является главным специалистом по искусственному интеллекту с более чем 15-летним опытом стратегического развития бизнеса и партнерства. В течение последних 7 лет он руководил созданием и реализацией стратегий выхода на рынок для новых услуг B2B на основе ИИ. В последнее время он помогает независимым поставщикам программного обеспечения увеличивать свои доходы, добавляя генеративный ИИ в рабочие процессы интеллектуальной обработки документов.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/