Покращення інтелектуальної обробки документів AWS за допомогою генеративного штучного інтелекту | Веб-сервіси Amazon

Класифікація, вилучення та аналіз даних можуть бути складними для організацій, які мають справу з великою кількістю документів. Традиційні рішення для обробки документів є ручними, дорогими, схильними до помилок і їх важко масштабувати. Інтелектуальна обробка документів AWS (IDP) із такими службами ШІ, як Текст Amazon, дозволяє скористатися перевагами передової технології машинного навчання (ML) для швидкої та точної обробки даних із будь-якого відсканованого документа чи зображення. Генеративний штучний інтелект (generative AI) доповнює Amazon Texttract для подальшої автоматизації робочих процесів обробки документів. Такі функції, як нормалізація ключових полів і підсумовування вхідних даних, підтримують швидші цикли для керування процесами обробки документів, одночасно зменшуючи ймовірність помилок.

Генеративний штучний інтелект керується великими моделями машинного навчання, які називаються базовими моделями (FM). FM змінюють спосіб вирішення традиційно складних завдань обробки документів. На додаток до наявних можливостей підприємствам необхідно узагальнювати певні категорії інформації, зокрема дебетові та кредитні дані з таких документів, як фінансові звіти та банківські виписки. FMs полегшує генерування таких ідей на основі витягнутих даних. Щоб оптимізувати час, витрачений на перевірку персоналом, і підвищити продуктивність співробітників, такі помилки, як пропущені цифри в номерах телефонів, відсутні документи або адреси без номерів вулиць, можна позначати автоматично. У поточному сценарії вам потрібно виділити ресурси для виконання таких завдань за допомогою перевірки персоналом і складних сценаріїв. Такий підхід утомливий і дорогий. FM може допомогти виконати ці завдання швидше, з меншими ресурсами та перетворити різні формати введення в стандартний шаблон, який можна обробляти далі. В AWS ми пропонуємо такі послуги, як Amazon Bedrock, найпростіший спосіб створювати та масштабувати генеративні програми ШІ за допомогою FM. Amazon Bedrock — це повністю керована служба, яка робить FM-повідомлення від провідних стартапів зі штучним інтелектом і Amazon доступними через API, тож ви можете знайти модель, яка найкраще відповідає вашим вимогам. Ми також пропонуємо Amazon SageMaker JumpStart, що дозволяє фахівцям ML вибирати з широкого вибору FM з відкритим кодом. Практикуючі ML можуть розгортати FMs на виділених Amazon SageMaker екземпляри з мережевого ізольованого середовища та налаштовуйте моделі за допомогою SageMaker для навчання та розгортання моделі.

Ріко пропонує рішення для робочих місць і послуги з цифрової трансформації, розроблені, щоб допомогти клієнтам керувати та оптимізувати потік інформації в їхньому бізнесі. Ашок Шеной, віце-президент із розробки портфоліо рішень, каже: «Ми додаємо генеративний штучний інтелект до наших рішень IDP, щоб допомогти нашим клієнтам виконувати свою роботу швидше й точніше, використовуючи нові можливості, такі як запитання та відповіді, узагальнення та стандартизовані виходи. AWS дозволяє нам використовувати переваги генеративного штучного інтелекту, зберігаючи дані кожного клієнта окремо та безпечно».

У цій публікації ми розповідаємо, як покращити ваше рішення IDP на AWS за допомогою генеративного штучного інтелекту.

Удосконалення трубопроводу IDP

У цьому розділі ми розглядаємо, як традиційний конвеєр IDP можна розширити за допомогою FM, і розглядаємо приклад використання Amazon Texttract з FM.

AWS IDP складається з трьох етапів: класифікація, вилучення та збагачення. Додаткову інформацію про кожен етап див Інтелектуальна обробка документів за допомогою сервісів AWS AI: Частина 1 та Частина 2. На етапі класифікації фінансові керівники тепер можуть класифікувати документи без додаткового навчання. Це означає, що документи можна класифікувати, навіть якщо модель раніше не бачила подібних прикладів. FM на етапі вилучення нормалізують поля дат і перевіряють адреси та номери телефонів, забезпечуючи узгоджене форматування. ФМ на етапі збагачення дозволяють робити висновок, логічне міркування та узагальнення. Якщо ви використовуєте FM на кожному етапі IDP, ваш робочий процес буде більш раціональним, а продуктивність покращиться. На наступній діаграмі показано конвеєр IDP із генеративним AI.

Стадія видобутку трубопроводу ІВВ

Якщо FM не може безпосередньо обробляти документи у своїх рідних форматах (таких як PDF, img, jpeg і tiff) як вхідні дані, потрібен механізм для перетворення документів у текст. Щоб витягти текст із документа перед надсиланням на FM, ви можете скористатися Amazon Texttract. За допомогою Amazon Texttract ви можете видобувати рядки та слова та передавати їх на FM-станції, що перебувають нижче. Наступна архітектура використовує Amazon Texttract для точного вилучення тексту з будь-якого типу документа перед надсиланням його в FM для подальшої обробки.

Як правило, документи складаються зі структурованої та напівструктурованої інформації. Amazon Texttract можна використовувати для отримання необробленого тексту та даних із таблиць і форм. Зв’язок між даними в таблицях і формах відіграє важливу роль в автоматизації бізнес-процесів. Деякі типи інформації можуть не оброблятися FM. Як наслідок, ми можемо вибрати, чи зберігати цю інформацію в подальшому сховищі, чи надіслати її до FM. На наступному малюнку показано, як Amazon Texttract може витягувати структуровану та напівструктуровану інформацію з документа на додаток до рядків тексту, які мають бути оброблені FM.

Використання безсерверних служб AWS для підсумовування з FM

Конвеєр IDP, який ми проілюстрували раніше, можна легко автоматизувати за допомогою безсерверних служб AWS. Дуже неструктуровані документи поширені на великих підприємствах. Ці документи можуть охоплювати документи Комісії з цінних паперів і бірж (SEC) у банківській галузі до документів про покриття в галузі медичного страхування. З еволюцією генеративного штучного інтелекту в AWS люди в цих галузях шукають способи отримати зведення з цих документів автоматизованим і економічно ефективним способом. Безсерверні служби допомагають забезпечити механізм для швидкого створення рішення для IDP. Такі послуги, як AWS Lambda, Функції кроку AWS та Amazon EventBridge може допомогти створити конвеєр обробки документів з інтеграцією FM, як показано на наступній діаграмі.

Команда додаток зразка використовується в попередній архітектурі керований подіями. подія визначається як зміна стану, яка нещодавно відбулася. Наприклад, коли об’єкт завантажується в Служба простого зберігання Amazon (Amazon S3), Amazon S3 видає подію Object Created. Це сповіщення про подію від Amazon S3 може ініціювати функцію Lambda або робочий процес Step Functions. Такий тип архітектури називають ан архітектура, орієнтована на події. У цьому дописі наш зразок програми використовує архітектуру, керовану подіями, для обробки зразка документа про виписку з лікарні та узагальнення деталей документа. Потік працює наступним чином:

1. Коли документ завантажується в сегмент S3, Amazon S3 запускає подію Object Created.
2. Шина подій EventBridge за замовчуванням передає подію на крокові функції на основі правила EventBridge.
3. Робочий процес кінцевого автомата обробляє документ, починаючи з Amazon Texttract.
4. Лямбда-функція перетворює проаналізовані дані для наступного кроку.
5. Державна машина викликає a Кінцева точка SageMaker, який розміщує FM за допомогою прямої інтеграції AWS SDK.
6. Підсумковий сегмент призначення S3 отримує підсумкову відповідь, зібрану від FM.

Ми використали зразок програми з a flan-t5 Модель обличчя, що обіймається щоб узагальнити наведений нижче зразок звіту про виписку пацієнта за допомогою робочого циклу крокових функцій.

Робочий процес Step Functions використовує Інтеграція AWS SDK щоб викликати Amazon Text Аналіз документа і середовище виконання SageMaker InvokeEndpoint API, як показано на малюнку нижче.

Цей робочий процес призводить до підсумкового об’єкта JSON, який зберігається в цільовому сегменті. Об'єкт JSON виглядає наступним чином:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Створення цих зведень за допомогою IDP із безсерверною реалізацією в масштабі допомагає організаціям отримувати значущі, лаконічні та презентабельні дані економічно ефективним способом. Step Functions не обмежує метод обробки документів одним документом за раз. Його розподілена карта Функція може підсумовувати велику кількість документів за розкладом.

Команда додаток зразка використовує a flan-t5 Модель обличчя, що обіймається; однак ви можете використовувати кінцеву точку FM на свій вибір. Навчання та запуск моделі не входять до прикладної програми. Дотримуйтесь інструкцій у сховищі GitHub, щоб розгорнути зразок програми. Попередня архітектура є вказівкою щодо того, як можна організувати робочий процес IDP за допомогою покрокових функцій. Зверніться до Семінар IDP Generative AI для детальних інструкцій щодо створення програми за допомогою служб AWS AI та FM.

Налаштуйте рішення

Виконайте кроки в розділі README файл для встановлення архітектури рішення (окрім кінцевих точок SageMaker). Коли у вас буде доступна власна кінцева точка SageMaker, ви можете передати назву кінцевої точки як параметр до шаблону.

Прибирати

Щоб заощадити кошти, видаліть ресурси, які ви розгорнули під час навчання:

1. Виконайте дії, наведені в розділі очищення README файлу.
2. Видаліть будь-який вміст із сегмента S3, а потім видаліть сегмент за допомогою консолі Amazon S3.
3. Видаліть усі кінцеві точки SageMaker, які ви могли створити за допомогою консолі SageMaker.

Висновок

Generative AI змінює спосіб обробки документів за допомогою IDP для отримання розуміння. Сервіси AWS AI, такі як Amazon Texttract разом із AWS FMs, можуть допомогти точно обробляти будь-які типи документів. Додаткову інформацію про роботу з генеративним ШІ на AWS див Анонс нових інструментів для створення з Generative AI на AWS.

---

Про авторів

Соналі Саху керує інтелектуальною обробкою документів разом із командою послуг AI/ML в AWS. Вона автор, лідер думок і захоплений технолог. Основною сферою її діяльності є штучний інтелект та машинне навчання, і вона часто виступає на конференціях і зустрічах із штучного інтелекту та машинного навчання по всьому світу. Вона має як широкий, так і глибокий досвід у технологіях і технологічній індустрії, а також у галузі охорони здоров’я, фінансового сектору та страхування.

Ашиш Лал є старшим менеджером з маркетингу продуктів, який керує маркетингом продуктів для послуг ШІ в AWS. Він має 9 років досвіду роботи в маркетингу та очолював зусилля з маркетингу продуктів для інтелектуальної обробки документів. Він отримав ступінь магістра ділового адміністрування у Вашингтонському університеті.

Мрунал Дафтарі є старшим архітектором корпоративних рішень в Amazon Web Services. Він живе в Бостоні, Массачусетс. Він ентузіаст хмарних технологій і дуже захоплений пошуком простих і ефективних рішень для клієнтів. Йому подобається працювати з хмарними технологіями, пропонувати прості, масштабовані рішення, які сприяють позитивним бізнес-результатам, стратегію впровадження хмарних технологій, розробляти інноваційні рішення та досягати операційної досконалості.

Дхірадж Махапатро є головним архітектором спеціалізованих безсерверних рішень в AWS. Він спеціалізується на допомозі корпоративним фінансовим службам адаптувати безсерверні та керовані подіями архітектури, щоб модернізувати свої програми та прискорити темп інновацій. Останнім часом він працював над наближенням робочих навантажень контейнерів і практичного використання генеративного штучного інтелекту до безсерверних систем і EDA для клієнтів галузі фінансових послуг.

Джейкоб Гаускенс є головним спеціалістом зі штучного інтелекту з понад 15 роками досвіду стратегічного розвитку бізнесу та партнерства. Протягом останніх 7 років він керував розробкою та впровадженням стратегій виходу на ринок нових B2B-сервісів на основі ШІ. Останнім часом він допомагає незалежним постачальникам програмного забезпечення збільшити їхні доходи, додаючи генеративний ШІ до інтелектуальних робочих процесів обробки документів.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/