Przedstawiamy jednoetapową klasyfikację i rozpoznawanie jednostek z Amazon Comprehend do inteligentnego przetwarzania dokumentów

„Inteligentne rozwiązania do przetwarzania dokumentów (IDP) wyodrębniają dane w celu wspierania automatyzacji wysokonakładowych, powtarzalnych zadań przetwarzania dokumentów oraz analizy i wglądu. IDP wykorzystuje technologie języka naturalnego i widzenie komputerowe do wydobywania danych z treści ustrukturyzowanych i nieustrukturyzowanych, zwłaszcza z dokumentów, w celu wspierania automatyzacji i rozszerzania.”  – Gartnera

Celem inteligentnego przetwarzania dokumentów (IDP) firmy Amazon jest automatyzacja przetwarzania dużych ilości dokumentów przy użyciu uczenia maszynowego (ML) w celu zwiększenia produktywności, obniżenia kosztów związanych z pracą ludzką i zapewnienia bezproblemowego doświadczenia użytkownika. Klienci spędzają dużo czasu i wysiłku na identyfikowaniu dokumentów i wydobywaniu z nich krytycznych informacji dla różnych przypadków użycia. Dziś, Amazon Comprehend obsługuje klasyfikację dokumentów w postaci zwykłego tekstu, która wymaga wstępnego przetworzenia dokumentów w częściowo ustrukturyzowanych formatach (zeskanowanych, cyfrowych PDF lub obrazów, takich jak PNG, JPG, TIFF), a następnie użycia zwykłego tekstu wyjściowego do przeprowadzenia wnioskowania z klasyfikacja niestandardowa Model. Podobnie za rozpoznawanie jednostek niestandardowych w czasie rzeczywistym wstępne przetwarzanie w celu wyodrębnienia tekstu jest wymagane w przypadku dokumentów o częściowo ustrukturyzowanej strukturze, takich jak pliki PDF i pliki graficzne. Ten dwuetapowy proces wprowadza złożoność w przepływach pracy związanych z przetwarzaniem dokumentów.

W zeszłym roku my ogłosił wsparcie dla natywnych formatów dokumentów z niestandardowym rozpoznawaniem nazwanych jednostek (NER) zadania asynchroniczne. Dziś z radością ogłaszamy jednoetapową klasyfikację dokumentów i analizę w czasie rzeczywistym dla NER dla częściowo ustrukturyzowanych dokumentów w formatach natywnych (PDF, TIFF, JPG, PNG) przy użyciu Amazon Comprehend. W szczególności ogłaszamy następujące możliwości:

• Obsługa dokumentów w formatach natywnych do niestandardowej klasyfikacji, analizy w czasie rzeczywistym i zadań asynchronicznych
• Obsługa dokumentów w formatach natywnych do analizy rozpoznawania jednostek niestandardowych w czasie rzeczywistym

Dzięki tej nowej wersji niestandardowa klasyfikacja Amazon Comprehend i niestandardowe rozpoznawanie jednostek (NER) obsługuje bezpośrednio dokumenty w formatach takich jak PDF, TIFF, PNG i JPEG, bez konieczności wyodrębniania z nich zwykłego tekstu zakodowanego w formacie UTF8. Poniższy rysunek porównuje poprzedni proces z nową procedurą i wsparciem.

Ta funkcja upraszcza przepływy pracy związane z przetwarzaniem dokumentów, eliminując wszelkie etapy wstępnego przetwarzania wymagane do wyodrębnienia zwykłego tekstu z dokumentów i skraca całkowity czas potrzebny do ich przetworzenia.

W tym poście omawiamy projekt rozwiązania przepływu pracy na wysokim poziomie IDP, kilka przypadków użycia w branży, nowe funkcje Amazon Comprehend i sposoby ich używania.

Przegląd rozwiązania

Zacznijmy od zbadania powszechnego przypadku użycia w branży ubezpieczeniowej. Typowy proces roszczenia ubezpieczeniowego obejmuje pakiet roszczenia, który może zawierać wiele dokumentów. Zgłoszenie roszczenia ubezpieczeniowego obejmuje dokumenty, takie jak formularz roszczenia ubezpieczeniowego, raporty z incydentów, dokumenty tożsamości i dokumenty roszczeń osób trzecich. Liczba dokumentów do rozpatrzenia i rozpatrzenia roszczenia ubezpieczeniowego może sięgać setek, a nawet tysięcy stron, w zależności od rodzaju roszczenia i procesów biznesowych. Przedstawiciele ds. roszczeń ubezpieczeniowych i sędziowie zwykle spędzają setki godzin ręcznie przeszukując, sortując i wydobywając informacje z setek, a nawet tysięcy wniosków o odszkodowanie.

Podobnie jak w przypadku użycia w branży ubezpieczeniowej, branża płatnicza przetwarza również duże ilości częściowo ustrukturyzowanych dokumentów na potrzeby transgranicznych umów o płatność, faktur i zestawień walutowych. Użytkownicy biznesowi spędzają większość czasu na czynnościach ręcznych, takich jak identyfikacja, organizowanie, sprawdzanie poprawności, wydobywanie i przekazywanie wymaganych informacji do dalszych aplikacji. Ten ręczny proces jest żmudny, powtarzalny, podatny na błędy, kosztowny i trudny do skalowania. Inne branże, które stoją przed podobnymi wyzwaniami, to kredyty hipoteczne i kredyty, opieka zdrowotna i nauki przyrodnicze, prawo, księgowość i zarządzanie podatkami. Dla firm niezwykle ważne jest, aby przetwarzać tak duże ilości dokumentów w odpowiednim czasie, z dużą dokładnością i nominalnym wysiłkiem ręcznym.

Amazon Comprehend zapewnia kluczowe możliwości automatyzacji klasyfikacji dokumentów i ekstrakcji informacji z dużej liczby dokumentów z dużą dokładnością, w skalowalny i ekonomiczny sposób. Poniższy diagram przedstawia logiczny przepływ pracy IDP z Amazon Comprehend. Rdzeń przepływu pracy składa się z klasyfikacji dokumentów i ekstrakcji informacji przy użyciu NER z niestandardowymi modelami Amazon Comprehend. Diagram pokazuje również, w jaki sposób niestandardowe modele mogą być stale ulepszane w celu zapewnienia większej dokładności w miarę ewolucji dokumentów i procesów biznesowych.

Niestandardowa klasyfikacja dokumentów

Dzięki niestandardowej klasyfikacji Amazon Comprehend możesz organizować swoje dokumenty w predefiniowane kategorie (klasy). Na wysokim poziomie, aby skonfigurować niestandardowy klasyfikator dokumentów i przeprowadzić klasyfikację dokumentów, należy wykonać następujące kroki:

1. Przygotuj dane szkoleniowe, aby wyszkolić niestandardowy klasyfikator dokumentów.
2. Wytrenuj klasyfikator dokumentów klienta za pomocą danych szkoleniowych.
3. Po przeszkoleniu modelu opcjonalnie Wdróż punkt końcowy w czasie rzeczywistym.
4. Wykonuj klasyfikację dokumentów za pomocą zadania asynchronicznego lub w czasie rzeczywistym za pomocą punktu końcowego.

Kroki 1 i 2 są zwykle wykonywane na początku projektu IDP po zidentyfikowaniu klas dokumentów odpowiednich dla procesu biznesowego. Niestandardowy model klasyfikatora można następnie okresowo przeszkolić, aby poprawić dokładność i wprowadzić nowe klasy dokumentów. Niestandardowy model klasyfikacji można trenować w programie tryb wielu klas or tryb wielu etykiet. Szkolenie można przeprowadzić dla każdego na jeden z dwóch sposobów: przy użyciu pliku CSV lub rozszerzonego pliku manifestu. Odnosić się do Przygotowanie danych treningowych , aby uzyskać więcej informacji na temat szkolenia niestandardowego modelu klasyfikacji. Po przeszkoleniu niestandardowego modelu klasyfikatora dokument można sklasyfikować za pomocą analiza w czasie rzeczywistym lub zadanie asynchroniczne. Analiza w czasie rzeczywistym wymaga punkt końcowy do wdrożenia z przeszkolonym modelem i najlepiej nadaje się do małych dokumentów, w zależności od przypadku użycia. W przypadku dużej liczby dokumentów najlepiej nadaje się zadanie klasyfikacji asynchronicznej.

Wytrenuj niestandardowy model klasyfikacji dokumentów

Aby zademonstrować nową funkcję, przeszkoliliśmy niestandardowy model klasyfikacji w trybie wielu etykiet, który może klasyfikować dokumenty ubezpieczeniowe do jednej z siedmiu różnych klas. Zajęcia są INSURANCE_ID, PASSPORT, LICENSE, INVOICE_RECEIPT, MEDICAL_TRANSCRIPTION, DISCHARGE_SUMMARY, CMS1500. Chcemy sklasyfikować przykładowe dokumenty w natywnych formatach PDF, PNG i JPEG, przechowywane w formacie Usługa Amazon Simple Storage (Amazon S3), korzystając z modelu klasyfikacji. Aby uruchomić zadanie klasyfikacji asynchronicznej, wykonaj następujące kroki:

1. Na konsoli Amazon Comprehend wybierz Analiza zadań w okienku nawigacji.
2. Dodaj Utwórz pracę.
   
3. W razie zamówieenia projektu Imię, wprowadź nazwę zadania klasyfikacji.
4. W razie zamówieenia projektu Typ analizy¸ wybierz Niestandardowa klasyfikacja.
5. W razie zamówieenia projektu Model klasyfikatora, wybierz odpowiedni przeszkolony model klasyfikacji.
6. W razie zamówieenia projektu Wersja, wybierz odpowiednią wersję modelu.
   

W Dane wejściowe w sekcji podajemy lokalizację, w której przechowywane są nasze dokumenty.

7. W razie zamówieenia projektu Format wejściowywybierz Jeden dokument na plik.
8. W razie zamówieenia projektu Tryb odczytu dokumentu¸ wybierz Wymuś akcję odczytu dokumentu.
9. W razie zamówieenia projektu Akcja odczytu dokumentuwybierz Text wykryj tekst dokumentu.

Dzięki temu Amazon Comprehend może korzystać z Ekstrakt z amazonki Wykryj tekst dokumentu API do odczytu dokumentów przed uruchomieniem klasyfikacji. The DetectDocumentText API jest pomocne w wydobywaniu linii i słów tekstu z dokumentów. Możesz też wybrać Dokument analizy tekstu dla Akcja odczytu dokumentu, w takim przypadku Amazon Comprehend używa Amazon Texttract AnalizujDokument API do odczytu dokumentów. z AnalyzeDocument API, możesz wybrać do wyodrębnienia Stoły, Formularze, lub oba. ten Tryb odczytu dokumentu opcja umożliwia Amazon Comprehend wyodrębnienie tekstu z dokumentów za kulisami, co pomaga zredukować dodatkowy etap wyodrębniania tekstu z dokumentu, który jest wymagany w naszym przepływie pracy przetwarzania dokumentów.

Niestandardowy klasyfikator Amazon Comprehend może również przetwarzać surowe odpowiedzi JSON generowane przez DetectDocumentText i AnalyzeDocument API, bez żadnych modyfikacji i wstępnego przetwarzania. Jest to przydatne w przypadku istniejących przepływów pracy, w których Amazon Texttract jest już zaangażowany w wyodrębnianie tekstu z dokumentów. W takim przypadku dane wyjściowe JSON z Amazon Texttract można przesłać bezpośrednio do interfejsów API klasyfikacji dokumentów Amazon Comprehend.

10. W Dane wyjściowe sekcja dla Lokalizacja S3, określ lokalizację Amazon S3, w której zadanie asynchroniczne ma zapisywać wyniki wnioskowania.
11. Pozostałe opcje pozostaw jako domyślne.
12. Dodaj Utwórz pracę rozpocząć pracę.
    

Możesz zobaczyć status zadania na Analiza zadań strona.

Po zakończeniu zadania możemy wyświetlić dane wyjściowe zadania analizy, które są przechowywane w lokalizacji Amazon S3 podanej podczas konfiguracji zadania. Wynik klasyfikacji dla naszego jednostronicowego przykładowego dokumentu PDF CMS1500 jest następujący. Dane wyjściowe to plik w formacie linii JSON, który został sformatowany w celu poprawy czytelności.

{
  "Classes": [
    { "Name": "CMS1500", "Score": 0.9998 },
    { "Name": "DISCHARGE_SUMMARY", "Score": 0.0001 },
    { "Name": "INSURANCE_ID", "Score": 0 },
    { "Name": "PASSPORT", "Score": 0 },
    { "Name": "LICENSE", "Score": 0 },
    { "Name": "INVOICE_RECEIPT", "Score": 0 },
    { "Name": "MEDICAL_TRANSCRIPTION", "Score": 0 }
  ],
  "DocumentMetadata": {
    "PageNumber": 1,
    "Pages": 1
  },
  "DocumentType": "NativePDFScanned",
  "File": "sample-cms1500.pdf",
  "Version": "2022-08-30"
}

Poprzedni przykład to jednostronicowy dokument PDF; jednak klasyfikacja niestandardowa może również obsługiwać wielostronicowe dokumenty PDF. W przypadku dokumentów wielostronicowych dane wyjściowe zawierają wiele wierszy JSON, gdzie każdy wiersz jest wynikiem klasyfikacji każdej ze stron w dokumencie. Poniżej znajduje się przykładowy wynik wielostronicowej klasyfikacji:

{"Classes": [{"Name": "CMS1500", "Score": 0.4718}, {"Name": "MEDICAL_TRANSCRIPTION", "Score": 0.0841}, {"Name": "PASSPORT", "Score": 0.0722}], "DocumentMetadata": {"PageNumber": 1, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 2, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 3, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

{"Classes": [{"Name": "DISCHARGE_SUMMARY", "Score": 0.9998}, {"Name": "CMS1500", "Score": 0.0001}, {"Name": "INVOICE_RECEIPT", "Score": 0.0}], "DocumentMetadata": {"PageNumber": 4, "Pages": 4}, "DocumentType": "NativePDFScanned", "File": "sample-document.pdf", "Version": "2022-08-30"}

Rozpoznawanie jednostek niestandardowych

Dzięki niestandardowemu rozpoznawaniu encji Amazon Comprehend możesz analizować dokumenty i wyodrębniać encje, takie jak kody produktów lub encje specyficzne dla Twojej firmy, które pasują do Twoich konkretnych potrzeb. Na wysokim poziomie, aby skonfigurować niestandardowy moduł rozpoznawania jednostek i przeprowadzić wykrywanie jednostek, wykonaj następujące kroki:

1. Przygotuj dane szkoleniowe, aby wyszkolić niestandardowy aparat rozpoznawania jednostek.
2. Wytrenuj niestandardowy aparat rozpoznawania jednostek przy użyciu danych szkoleniowych.
3. Po przeszkoleniu modelu opcjonalnie Wdróż punkt końcowy w czasie rzeczywistym.
4. Wykonuj wykrywanie jednostek za pomocą zadania asynchronicznego lub w czasie rzeczywistym przy użyciu punktu końcowego.

Niestandardowy model rozpoznawania jednostek może być okresowo przeszkolony w celu zwiększenia dokładności i wprowadzenia nowych typów jednostek. Możesz trenować niestandardowy model rozpoznawania jednostek za pomocą jednego z nich listy jednostek or adnotacje. W obu przypadkach Amazon Comprehend uczy się o rodzaju dokumentów i kontekście, w którym występują jednostki, aby zbudować model rozpoznawania jednostek, który można uogólnić w celu wykrycia nowych jednostek. Odnosić się do Przygotowanie danych treningowych aby dowiedzieć się więcej o przygotowywaniu danych szkoleniowych dla niestandardowego rozpoznawania jednostek.

Po przeszkoleniu niestandardowego modelu rozpoznawania jednostek wykrywanie jednostek można wykonać przy użyciu analiza w czasie rzeczywistym lub zadanie asynchroniczne. Analiza w czasie rzeczywistym wymaga punkt końcowy do wdrożenia z przeszkolonym modelem i najlepiej nadaje się do małych dokumentów, w zależności od przypadku użycia. W przypadku dużej liczby dokumentów najlepiej nadaje się zadanie klasyfikacji asynchronicznej.

Wytrenuj niestandardowy model rozpoznawania jednostek

Aby zademonstrować wykrywanie jednostek w czasie rzeczywistym, przeszkoliliśmy niestandardowy model rozpoznawania jednostek z dokumentami ubezpieczeniowymi i rozszerzonymi plikami manifestu przy użyciu niestandardowych adnotacji i wdrożyliśmy punkt końcowy przy użyciu wyszkolonego modelu. Typy jednostek to Law Firm, Law Office Address, Insurance Company, Insurance Company Address, Policy Holder Name, Beneficiary Name, Policy Number, Payout, Required Action, Sender. Chcemy wykryć jednostki z przykładowych dokumentów w natywnym formacie PDF, PNG i JPEG, przechowywanych w zasobniku S3, przy użyciu modelu rozpoznawania.

Należy pamiętać, że można użyć niestandardowego modelu rozpoznawania jednostek, który jest trenowany z dokumentami PDF, aby wyodrębnić niestandardowe jednostki z dokumentów PDF, TIFF, obrazów, programów Word i zwykłych dokumentów tekstowych. Jeśli Twój model jest szkolony przy użyciu dokumentów tekstowych i listy encji, do wyodrębniania encji możesz używać tylko zwykłych dokumentów tekstowych.

Musimy wykryć jednostki z przykładowego dokumentu w dowolnym natywnym formacie PDF, PNG i JPEG przy użyciu modelu rozpoznawania. Aby uruchomić zadanie wykrywania jednostek synchronicznych, wykonaj następujące kroki:

1. Na konsoli Amazon Comprehend wybierz Analiza w czasie rzeczywistym w okienku nawigacji.
2. Pod Typ analizy, Wybierz Zamówienia Indywidualne.
3. W razie zamówieenia projektu Rozpoznawanie jednostek niestandardowych, wybierz niestandardowy typ modelu.
4. W razie zamówieenia projektu Punkt końcowywybierz punkt końcowy czasu rzeczywistego utworzony dla modelu rozpoznawania jednostek.
5. Wybierz Dodaj plik i wybierz Wybierz Plik aby przesłać plik PDF lub plik obrazu do wnioskowania.
6. rozwiń Zaawansowane wprowadzanie dokumentów sekcja i dla Tryb odczytu dokumentuwybierz Usługa domyślna.
7. W razie zamówieenia projektu Akcja odczytu dokumentuwybierz Text wykryj tekst dokumentu.
8. Dodaj Analizować analizować dokument w czasie rzeczywistym.
   

Uznane podmioty są wymienione w Insights Sekcja. Każda encja zawiera wartość encji (tekst), typ encji zdefiniowany przez użytkownika podczas procesu szkolenia oraz odpowiednią ocenę ufności.

Aby uzyskać więcej informacji i kompletny przewodnik dotyczący uczenia niestandardowego modelu rozpoznawania jednostek i używania go do wykonywania asynchronicznego wnioskowania przy użyciu zadań analizy asynchronicznej, zobacz Wyodrębnij niestandardowe encje z dokumentów w ich natywnym formacie za pomocą Amazon Comprehend.

Wnioski

W tym poście pokazano, jak można klasyfikować i kategoryzować częściowo ustrukturyzowane dokumenty w ich natywnym formacie oraz wykrywać na ich podstawie jednostki specyficzne dla biznesu za pomocą Amazon Comprehend. Możesz używać interfejsów API działających w czasie rzeczywistym w przypadkach użycia o małych opóźnieniach lub używać zadań analizy asynchronicznej do masowego przetwarzania dokumentów.

W kolejnym kroku zachęcamy do odwiedzenia serwisu Amazon Comprehend Repozytorium GitHub aby uzyskać pełne próbki kodu, aby wypróbować te nowe funkcje. Możesz także odwiedzić tzw Przewodnik dla programistów Amazon Zrozum i Zasoby dla programistów Amazon Comprehen do filmów, samouczków, blogów i nie tylko.

O autorach

Wricka Talukdara jest starszym architektem w zespole Amazon Comprehend Service. Współpracuje z klientami AWS, aby pomóc im wdrożyć uczenie maszynowe na dużą skalę. Poza pracą lubi czytać i fotografować.

Anjana Biswasa jest starszym architektem rozwiązań usług AI ze szczególnym uwzględnieniem AI/ML i analizy danych. Anjan jest częścią ogólnoświatowego zespołu usług AI i współpracuje z klientami, pomagając im zrozumieć i opracować rozwiązania problemów biznesowych związanych ze sztuczną inteligencją i uczeniem się. Anjan ma ponad 14-letnie doświadczenie w pracy z globalnymi organizacjami zajmującymi się łańcuchem dostaw, produkcją i sprzedażą detaliczną oraz aktywnie pomaga klientom rozpocząć i skalować usługi AWS AI.

Godwina Sahayaraja Vincent jest architektem rozwiązań dla przedsiębiorstw w AWS, pasjonatem uczenia maszynowego i udzielaniem klientom wskazówek dotyczących projektowania, wdrażania i zarządzania obciążeniami i architekturami AWS. W wolnym czasie uwielbia grać w krykieta z przyjaciółmi i tenisa z trójką dzieci.