Ulepszenie inteligentnego przetwarzania dokumentów AWS za pomocą generatywnej sztucznej inteligencji | Usługi sieciowe Amazona

Klasyfikacja, ekstrakcja i analiza danych może stanowić wyzwanie dla organizacji, które mają do czynienia z dużą ilością dokumentów. Tradycyjne rozwiązania do przetwarzania dokumentów są ręczne, drogie, podatne na błędy i trudne do skalowania. Inteligentne przetwarzanie dokumentów AWS (IDP) z usługami AI, takimi jak Ekstrakt z amazonki, pozwala korzystać z wiodącej w branży technologii uczenia maszynowego (ML) w celu szybkiego i dokładnego przetwarzania danych z dowolnego zeskanowanego dokumentu lub obrazu. Generatywna sztuczna inteligencja (generatywna sztuczna inteligencja) uzupełnia Amazon Texttract w celu dalszej automatyzacji przepływów pracy związanych z przetwarzaniem dokumentów. Funkcje takie jak normalizacja kluczowych pól i podsumowywanie danych wejściowych umożliwiają szybsze cykle zarządzania obiegiem dokumentów, jednocześnie zmniejszając ryzyko wystąpienia błędów.

Generatywna sztuczna inteligencja jest napędzana przez duże modele ML zwane modelami podstawowymi (FM). Oprogramowanie FM zmienia sposób, w jaki można rozwiązywać tradycyjnie złożone zadania związane z przetwarzaniem dokumentów. Oprócz istniejących możliwości firmy muszą podsumowywać określone kategorie informacji, w tym dane debetowe i kredytowe z dokumentów, takich jak raporty finansowe i wyciągi bankowe. FM ułatwiają generowanie takich spostrzeżeń z wyodrębnionych danych. Aby zoptymalizować czas poświęcony na weryfikację ludzką i poprawić produktywność pracowników, błędy takie jak brakujące cyfry w numerach telefonów, brakujące dokumenty lub adresy bez numerów ulic mogą być oznaczane w sposób automatyczny. W bieżącym scenariuszu należy przeznaczyć zasoby na wykonanie takich zadań przy użyciu przeglądu manualnego i złożonych skryptów. Takie podejście jest żmudne i kosztowne. FM może pomóc wykonać te zadania szybciej, przy użyciu mniejszej ilości zasobów i przekształcić różne formaty danych wejściowych w standardowy szablon, który można dalej przetwarzać. W AWS oferujemy usługi takie jak Amazońska skała macierzysta, najłatwiejszy sposób tworzenia i skalowania generatywnych aplikacji AI za pomocą FM. Amazon Bedrock to w pełni zarządzana usługa, dzięki której rozwiązania FM od wiodących startupów zajmujących się sztuczną inteligencją i Amazon są dostępne za pośrednictwem interfejsu API, dzięki czemu możesz znaleźć model, który najlepiej odpowiada Twoim wymaganiom. Oferujemy również Amazon SageMaker JumpStart, która umożliwia praktykom ML wybór z szerokiego wyboru FM typu open source. Praktycy ML mogą wdrażać FM do dedykowanych Amazon Sage Maker instancje z izolowanego środowiska sieciowego i dostosowywać modele za pomocą SageMaker do trenowania i wdrażania modeli.

Ricoh oferuje rozwiązania dla miejsca pracy i usługi transformacji cyfrowej zaprojektowane, aby pomóc klientom zarządzać i optymalizować przepływ informacji w ich firmach. Ashok Shenoy, wiceprezes ds. rozwoju rozwiązań portfelowych, mówi: „Do naszych rozwiązań IDP dodajemy generatywną sztuczną inteligencję, aby pomóc naszym klientom wykonywać pracę szybciej i dokładniej, wykorzystując nowe możliwości, takie jak pytania i odpowiedzi, podsumowania i standaryzowane dane wyjściowe. AWS pozwala nam korzystać z generatywnej sztucznej inteligencji, jednocześnie zachowując odrębność i bezpieczeństwo danych naszych klientów”.

W tym poście dzielimy się tym, jak ulepszyć rozwiązanie IDP w AWS za pomocą generatywnej sztucznej inteligencji.

Poprawa potoku IDP

W tej sekcji przyjrzymy się, w jaki sposób tradycyjny potok IDP może zostać rozszerzony przez FM i przejdziemy przez przykładowy przypadek użycia przy użyciu Amazon Texttract z FM.

AWS IDP składa się z trzech etapów: klasyfikacji, ekstrakcji i wzbogacania. Aby uzyskać więcej informacji na temat każdego etapu, patrz Inteligentne przetwarzanie dokumentów z usługami AWS AI: Część 1 i Część 2. Na etapie klasyfikacji FM może teraz klasyfikować dokumenty bez dodatkowego szkolenia. Oznacza to, że dokumenty można kategoryzować, nawet jeśli model nie widział wcześniej podobnych przykładów. FM na etapie ekstrakcji normalizują pola daty oraz weryfikują adresy i numery telefonów, zapewniając jednocześnie spójne formatowanie. FM na etapie wzbogacania umożliwiają wnioskowanie, logiczne rozumowanie i podsumowanie. Gdy korzystasz z FM na każdym etapie IDP, przepływ pracy będzie bardziej usprawniony, a wydajność poprawi się. Poniższy diagram ilustruje potok IDP z generatywną sztuczną inteligencją.

Etap wydobycia rurociągu IDP

Gdy FM nie może bezpośrednio przetwarzać dokumentów w ich natywnych formatach (takich jak PDF, img, jpeg i tiff) jako danych wejściowych, potrzebny jest mechanizm konwersji dokumentów na tekst. Aby wyodrębnić tekst z dokumentu przed wysłaniem go do FM, możesz użyć Amazon Texttract. Dzięki Amazon Texttract możesz wyodrębniać wiersze i słowa i przekazywać je do dalszych FM. Poniższa architektura wykorzystuje Amazon Texttract do dokładnego wyodrębniania tekstu z dowolnego typu dokumentu przed wysłaniem go do FM w celu dalszego przetwarzania.

Zazwyczaj dokumenty składają się z informacji ustrukturyzowanych i częściowo ustrukturyzowanych. Amazon Texttract może być używany do wydobywania nieprzetworzonego tekstu i danych z tabel i formularzy. Relacje między danymi w tabelach i formularzach odgrywają istotną rolę w automatyzacji procesów biznesowych. Niektóre rodzaje informacji mogą nie być przetwarzane przez FM. W rezultacie możemy zdecydować, czy przechowywać te informacje w sklepie podrzędnym, czy też wysłać je do FM. Poniższy rysunek jest przykładem tego, jak Amazon Texttract może wyodrębnić ustrukturyzowane i częściowo ustrukturyzowane informacje z dokumentu, oprócz wierszy tekstu, które muszą zostać przetworzone przez FM.

Korzystanie z usług bezserwerowych AWS do podsumowania za pomocą FM

Potok IDP, który zilustrowaliśmy wcześniej, można bezproblemowo zautomatyzować za pomocą usług bezserwerowych AWS. Wysoce nieustrukturyzowane dokumenty są powszechne w dużych przedsiębiorstwach. Dokumenty te mogą rozciągać się od dokumentów Komisji Papierów Wartościowych i Giełd (SEC) w branży bankowej po dokumenty ubezpieczenia w branży ubezpieczeń zdrowotnych. Wraz z ewolucją generatywnej sztucznej inteligencji w AWS ludzie z tych branż szukają sposobów na uzyskanie podsumowania tych dokumentów w sposób zautomatyzowany i opłacalny. Usługi bezserwerowe pomagają zapewnić mechanizm szybkiego tworzenia rozwiązania dla IDP. Usługi takie jak AWS Lambda, Funkcje kroków AWS, Most zdarzeń Amazona może pomóc w zbudowaniu potoku przetwarzania dokumentów z integracją FM, jak pokazano na poniższym diagramie.

Połączenia przykładowa aplikacja używany w poprzedniej architekturze to napędzane wydarzeniami. wydarzenie definiuje się jako zmianę stanu, która nastąpiła w ostatnim czasie. Na przykład, gdy obiekt zostanie przesłany do pliku Usługa Amazon Simple Storage (Amazon S3), Amazon S3 emituje zdarzenie Utworzono obiekt. To powiadomienie o zdarzeniu z Amazon S3 może wyzwolić funkcję Lambda lub przepływ pracy Step Functions. Ten typ architektury jest określany jako architektura sterowana zdarzeniami. W tym poście nasza przykładowa aplikacja wykorzystuje architekturę sterowaną zdarzeniami do przetwarzania przykładowego dokumentu zwolnienia lekarskiego i podsumowania szczegółów dokumentu. Przepływ działa w następujący sposób:

1. Gdy dokument jest przesyłany do zasobnika S3, Amazon S3 wyzwala zdarzenie Utworzono obiekt.
2. Domyślna magistrala zdarzeń EventBridge propaguje zdarzenie do funkcji kroku na podstawie reguły EventBridge.
3. Przepływ pracy automatu stanów przetwarza dokument, zaczynając od Amazon Text.
4. Funkcja Lambda przekształca analizowane dane do następnego kroku.
5. Maszyna stanu inwokuje a Punkt końcowy SageMaker, która hostuje FM przy użyciu bezpośredniej integracji AWS SDK.
6. Podsumowanie docelowego zasobnika S3 otrzymuje odpowiedź podsumowującą zebraną z FM.

Użyliśmy przykładowej aplikacji z a flan-t5 Model przytulającej się twarzy aby podsumować następujące przykładowe podsumowanie wypisu pacjenta, korzystając z przepływu pracy Step Functions.

Używa przepływu pracy Step Functions Integracja AWS SDK zadzwonić do Amazon Text AnalizujDokument i środowisko wykonawcze SageMaker Wywołaj punkt końcowy API, jak pokazano na poniższym rysunku.

Wynikiem tego przepływu pracy jest podsumowujący obiekt JSON, który jest przechowywany w zasobniku docelowym. Obiekt JSON wygląda następująco:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Generowanie tych podsumowań za pomocą IDP z implementacją bezserwerową na dużą skalę pomaga organizacjom uzyskiwać znaczące, zwięzłe i prezentowalne dane w opłacalny sposób. Step Functions nie ogranicza metody przetwarzania dokumentów do jednego dokumentu na raz. Jego dystrybuowana mapa funkcja może podsumować dużą liczbę dokumentów zgodnie z harmonogramem.

Połączenia przykładowa aplikacja używa a flan-t5 Model przytulającej się twarzy; można jednak użyć wybranego punktu końcowego FM. Szkolenie i uruchamianie modelu jest poza zakresem przykładowej aplikacji. Postępuj zgodnie z instrukcjami w repozytorium GitHub, aby wdrożyć przykładową aplikację. Powyższa architektura zawiera wskazówki dotyczące sposobu organizowania przepływu pracy dostawcy tożsamości przy użyciu funkcji kroku. Patrz Warsztaty IDP Generative AI aby uzyskać szczegółowe instrukcje, jak zbudować aplikację z usługami AWS AI i FM.

Skonfiguruj rozwiązanie

Postępuj zgodnie z instrukcjami w README plik, aby ustawić architekturę rozwiązania (z wyjątkiem punktów końcowych SageMaker). Po udostępnieniu własnego punktu końcowego SageMaker możesz przekazać nazwę punktu końcowego jako parametr do szablonu.

Sprzątać

Aby zaoszczędzić na kosztach, usuń zasoby wdrożone w ramach samouczka:

1. Postępuj zgodnie z instrukcjami w sekcji czyszczenia pliku README plik.
2. Usuń dowolną zawartość z wiadra S3, a następnie usuń wiadro za pomocą konsoli Amazon S3.
3. Usuń wszystkie punkty końcowe SageMaker, które mogłeś utworzyć za pomocą konsoli SageMaker.

Wnioski

Generative AI zmienia sposób przetwarzania dokumentów za pomocą IDP w celu uzyskania wglądu. Usługi AWS AI, takie jak Amazon Texttract wraz z AWS FM, mogą pomóc w dokładnym przetwarzaniu wszelkiego rodzaju dokumentów. Aby uzyskać więcej informacji na temat pracy z generatywną sztuczną inteligencją w AWS, zobacz Ogłaszamy nowe narzędzia do budowania z generatywną sztuczną inteligencją w AWS.

---

O autorach

Sonali Sahu kieruje inteligentnym przetwarzaniem dokumentów w zespole usług AI/ML w AWS. Jest autorką, liderem myśli i pasjonatką technologii. Jej głównym obszarem zainteresowania jest AI i ML, często przemawia na konferencjach i spotkaniach AI i ML na całym świecie. Ma zarówno szerokie, jak i głębokie doświadczenie w technologii i branży technologicznej, z doświadczeniem branżowym w opiece zdrowotnej, sektorze finansowym i ubezpieczeniach.

Ashisz Lal jest Senior Product Marketing Managerem, który kieruje marketingiem produktów dla usług AI w AWS. Ma 9-letnie doświadczenie w marketingu i kierował działaniami marketingowymi w zakresie inteligentnego przetwarzania dokumentów. Uzyskał tytuł magistra zarządzania biznesem na Uniwersytecie Waszyngtońskim.

Mrunala Daftariego jest starszym architektem rozwiązań dla przedsiębiorstw w Amazon Web Services. Mieszka w Bostonie, MA. Jest entuzjastą chmury i bardzo pasjonuje go znajdowanie rozwiązań dla klientów, które są proste i odnoszą się do ich wyników biznesowych. Uwielbia pracować z technologiami chmurowymi, dostarczając proste, skalowalne rozwiązania, które napędzają pozytywne wyniki biznesowe, strategię wdrażania chmury oraz projektują innowacyjne rozwiązania i napędzają doskonałość operacyjną.

Dhiraj Mahapatro jest głównym architektem specjalistycznych rozwiązań bezserwerowych w AWS. Specjalizuje się w pomaganiu usługom finansowym przedsiębiorstw we wdrażaniu architektur bezserwerowych i sterowanych zdarzeniami w celu modernizacji ich aplikacji i przyspieszenia tempa innowacji. Ostatnio pracował nad zbliżeniem obciążeń kontenerowych i praktycznego wykorzystania generatywnej sztucznej inteligencji do rozwiązań bezserwerowych i EDA dla klientów z branży usług finansowych.

Jakuba Hauskensa jest głównym specjalistą ds. sztucznej inteligencji z ponad 15-letnim doświadczeniem w strategicznym rozwoju biznesowym i partnerstwach. Przez ostatnie 7 lat kierował tworzeniem i wdrażaniem strategii wejścia na rynek nowych usług B2B opartych na sztucznej inteligencji. Ostatnio pomaga niezależnym dostawcom oprogramowania zwiększać ich przychody, dodając generatywną sztuczną inteligencję do inteligentnych przepływów pracy związanych z przetwarzaniem dokumentów.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/