Dostosuj reguły biznesowe do inteligentnego przetwarzania dokumentów dzięki ocenie przez człowieka i wizualizacji BI

Ogromna ilość dokumentów biznesowych jest przetwarzana codziennie w różnych branżach. Wiele z tych dokumentów jest w formie papierowej, skanowanych do systemu jako obrazy lub w nieustrukturyzowanym formacie, takim jak PDF. Każda firma może stosować unikalne zasady związane z jej środowiskiem biznesowym podczas przetwarzania tych dokumentów. Jak dokładnie wydobyć informacje i elastycznie je przetwarzać, to wyzwanie, przed którym stoi wiele firm.

Amazon Intelligent Document Processing (IDP) umożliwia korzystanie z wiodącej w branży technologii uczenia maszynowego (ML) bez wcześniejszego doświadczenia z ML. Ten post przedstawia rozwiązanie zawarte w Warsztaty Amazon IDP pokazanie, jak przetwarzać dokumenty w celu obsługi elastycznych reguł biznesowych z wykorzystaniem usług Amazon AI. Możesz użyć następującego krok po kroku Notatnik Jupyter aby ukończyć laboratorium.

Ekstrakt z amazonki pomaga łatwo wyodrębnić tekst z różnych dokumentów i Amazon AI Augmented (Amazon A2I) umożliwia zaimplementowanie ludzkiego przeglądu prognoz ML. Domyślny szablon Amazon A2I umożliwia zbudowanie potoku oceny manualnej w oparciu o reguły, na przykład gdy wynik ufności ekstrakcji jest niższy niż wstępnie zdefiniowany próg lub gdy brakuje wymaganych kluczy. Jednak w środowisku produkcyjnym potrzebny jest potok przetwarzania dokumentów do obsługi elastycznych reguł biznesowych, takich jak sprawdzanie poprawności formatu ciągu, weryfikacja typu i zakresu danych oraz sprawdzanie poprawności pól w dokumentach. W tym poście pokazano, w jaki sposób można wykorzystać Amazon Text i Amazon A2I do dostosowania ogólnego potoku przetwarzania dokumentów obsługującego elastyczne reguły biznesowe.

Omówienie rozwiązania

Do naszego przykładowego rozwiązania używamy Formularz podatkowy 990, formularz US IRS (Internal Revenue Service), który dostarcza opinii publicznej informacji finansowych o organizacji non-profit. W tym przykładzie omówimy tylko logikę wyodrębniania niektórych pól na pierwszej stronie formularza. Więcej przykładowych dokumentów znajdziesz na Strona internetowa IRS.

Poniższy diagram ilustruje potok IDP, który obsługuje dostosowane reguły biznesowe z oceną ludzką.

Architektura składa się z trzech logicznych etapów:

• Ekstrakcja – Wyodrębnij dane z formularza podatkowego 990 (przykładowo używamy strony 1).
  • Pobierz przykładowy obraz przechowywany w Usługa Amazon Simple Storage Łyżka (Amazon S3).
  • Wywołaj interfejs API analizy_dokumentu Amazon Text za pomocą Pytania funkcja wyodrębniania tekstu ze strony.
• Walidacja – Stosuj elastyczne reguły biznesowe z przeglądem „human-in-the-loop”.
  • Sprawdź poprawność wyodrębnionych danych pod kątem reguł biznesowych, takich jak sprawdzanie długości pola identyfikatora.
  • Wyślij dokument do Amazon A2I w celu sprawdzenia przez człowieka, jeśli jakiekolwiek reguły biznesowe zawiodą.
  • Recenzenci korzystają z interfejsu użytkownika Amazon A2I (strony internetowej, którą można dostosowywać), aby zweryfikować wynik wyodrębniania.
• Wizualizacja BI - Używamy Amazon QuickSight do zbudowania dashboardu Business Intelligence (BI) pokazującego wgląd w proces.

Dostosuj reguły biznesowe

Możesz zdefiniować ogólną regułę biznesową w następującym formacie JSON. W przykładowym kodzie definiujemy trzy zasady:

• Pierwsza zasada dotyczy pola pracodawcy. Reguła nie powiedzie się, jeśli wynik zaufania Amazon Text jest niższy niż 99%. W tym poście ustawiliśmy wysoki próg wyniku zaufania, który z założenia zostanie przekroczony. Możesz dostosować próg do bardziej rozsądnej wartości, aby zmniejszyć niepotrzebny wysiłek ludzki w rzeczywistym środowisku, na przykład 90%.
• Druga reguła dotyczy pola DLN (unikalny identyfikator formularza podatkowego), który jest wymagany dla logiki przetwarzania w dół. Ta reguła nie powiedzie się, jeśli brakuje pola DLN lub ma pustą wartość.
• Trzecia reguła dotyczy również pola DLN, ale z innym typem warunku: LengthCheck. Reguła ulega zerwaniu, jeśli długość DLN nie wynosi 16 znaków.

Poniższy kod przedstawia nasze reguły biznesowe w formacie JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Możesz rozszerzyć rozwiązanie, dodając więcej reguł biznesowych o tej samej strukturze.

Wyodrębnij tekst za pomocą zapytania Amazon Text

W przykładowym rozwiązaniu nazywamy Amazon Text Analysis_document API pytanie funkcja wyodrębniania pól poprzez zadawanie konkretnych pytań. Nie musisz znać struktury danych w dokumencie (tabela, formularz, niejawne pole, dane zagnieżdżone) ani martwić się o różnice w różnych wersjach i formatach dokumentu. Zapytania wykorzystują kombinację wskazówek wizualnych, przestrzennych i językowych w celu wyodrębnienia poszukiwanych informacji z dużą dokładnością.

Aby wyodrębnić wartość pola DLN, możesz wysłać żądanie z pytaniami w językach naturalnych, np. „Co to jest DLN?” Amazon Text zwraca tekst, zaufanie i inne metadane, jeśli znajdzie odpowiednie informacje na obrazie lub dokumencie. Poniżej znajduje się przykład żądania zapytania Amazon Text:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Zdefiniuj model danych

Przykładowe rozwiązanie konstruuje dane w ustrukturyzowanym formacie na potrzeby oceny ogólnej reguły biznesowej. Aby zachować wyodrębnione wartości, możesz zdefiniować model danych dla każdej strony dokumentu. Poniższy obraz przedstawia sposób mapowania tekstu na stronie 1 na pola JSON.

Każde pole reprezentuje tekst dokumentu, pole wyboru lub komórkę tabeli/formularza na stronie. Obiekt JSON wygląda jak następujący kod:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Szczegółową definicję struktury JSON można znaleźć w GitHub repo.

Oceń dane pod kątem reguł biznesowych

Przykładowe rozwiązanie zawiera klasę Condition — ogólny aparat reguł, który pobiera wyodrębnione dane (zdefiniowane w modelu danych) oraz reguły (zdefiniowane w dostosowanych regułach biznesowych). Zwraca dwie listy z nieudanymi i spełnionymi warunkami. Na podstawie wyniku możemy zdecydować, czy powinniśmy wysłać dokument do Amazon A2I do weryfikacji przez człowieka.

Kod źródłowy klasy Condition znajduje się w przykładzie GitHub repo. Obsługuje podstawową logikę walidacji, taką jak walidacja długości ciągu, zakresu wartości i progu wyniku ufności. Możesz zmodyfikować kod, aby obsługiwał więcej typów warunków i złożoną logikę walidacji.

Utwórz dostosowany internetowy interfejs użytkownika Amazon A2I

Amazon A2I umożliwia dostosowanie interfejsu internetowego recenzenta poprzez zdefiniowanie szablon zadania pracownika. Szablon jest statyczną stroną internetową w HTML i JavaScript. Możesz przekazać dane do dostosowanej strony recenzenta za pomocą Ciecz składnia.

W przykładowym rozwiązaniu niestandardowy szablon interfejsu użytkownika Amazon A2I wyświetla stronę po lewej stronie i warunki awarii po prawej. Recenzenci mogą go używać do poprawiania wartości wyodrębniania i dodawania komentarzy.

Poniższy zrzut ekranu przedstawia nasz dostosowany interfejs użytkownika Amazon A2I. Po lewej stronie znajduje się oryginalny dokument obrazu, a po prawej następujące warunki zakończone niepowodzeniem:

• Numery DLN powinny mieć 16 znaków. Rzeczywisty DLN ma 15 znaków.
• Wynik zaufania pracodawcy_id jest niższy niż 99%. Rzeczywisty wynik zaufania wynosi około 98%.

Recenzenci mogą ręcznie weryfikować te wyniki i dodawać komentarze w ZMIEŃ POWÓD pola tekstowe.

Aby uzyskać więcej informacji na temat integracji Amazon A2I z dowolnym niestandardowym przepływem pracy ML, zapoznaj się z ponad 60 gotowe szablony pracowników w repozytorium GitHub i Użyj rozszerzonej sztucznej inteligencji Amazon z niestandardowymi typami zadań.

Przetwórz dane wyjściowe Amazon A2I

Po tym, jak recenzent za pomocą dostosowanego interfejsu użytkownika Amazon A2I zweryfikuje wynik i dokona wyboru Prześlij, Amazon A2I przechowuje plik JSON w folderze zasobnika S3. Plik JSON zawiera następujące informacje na poziomie głównym:

• Definicja przepływu Amazon A2I ARN i nazwa ludzkiej pętli
• Odpowiedzi ludzkie (wkład recenzenta zebrany przez dostosowany interfejs użytkownika Amazon A2I)
• Treść wejściowa (oryginalne dane wysyłane do Amazon A2I podczas uruchamiania zadania ludzkiej pętli)

Poniżej znajduje się przykładowy plik JSON wygenerowany przez Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Można zaimplementować logikę wyodrębniania, przekształcania i ładowania (ETL), aby analizować informacje z wyjściowego pliku JSON Amazon A2I i przechowywać je w pliku lub bazie danych. Przykładowe rozwiązanie jest dostarczane z Plik CSV z przetwarzanymi danymi. Możesz go użyć do zbudowania pulpitu nawigacyjnego BI, postępując zgodnie z instrukcjami w następnej sekcji.

Utwórz pulpit nawigacyjny w Amazon QuickSight

Przykładowe rozwiązanie obejmuje etap raportowania z pulpitem wizualizacyjnym obsługiwanym przez Amazon QuickSight. Pulpit nawigacyjny BI pokazuje kluczowe metryki, takie jak liczba dokumentów przetwarzanych automatycznie lub ręcznie, najpopularniejsze pola wymagające weryfikacji przez człowieka oraz inne informacje. Ten pulpit nawigacyjny może pomóc w przeanalizowaniu procesu przetwarzania dokumentów i przeanalizowaniu typowych przyczyn powodujących weryfikację ludzką. Możesz zoptymalizować przepływ pracy, jeszcze bardziej ograniczając wkład ludzki.

Przykładowy pulpit nawigacyjny zawiera podstawowe metryki. Możesz rozszerzyć rozwiązanie za pomocą Amazon QuickSight, aby pokazać więcej wglądu w dane.

Rozbuduj rozwiązanie, aby obsługiwało więcej dokumentów i reguł biznesowych

Aby rozszerzyć rozwiązanie o obsługę większej liczby stron dokumentów z odpowiednimi regułami biznesowymi, należy wprowadzić następujące zmiany:

• Utwórz model danych dla nowej strony w strukturze JSON reprezentujący wszystkie wartości, które chcesz wyodrębnić ze stron. Zapoznaj się z Zdefiniuj model danych w sekcji szczegółowego formatu.
• Użyj Amazon Text, aby wyodrębnić tekst z dokumentu i wypełnić wartościami w modelu danych.
• Dodaj reguły biznesowe odpowiadające stronie w formacie JSON. Zapoznaj się z Dostosuj reguły biznesowe sekcja dla szczegółowego formatu.

Niestandardowy interfejs użytkownika Amazon A2I w rozwiązaniu jest ogólny, co nie wymaga zmian w celu obsługi nowych reguł biznesowych.

Wnioski

Istnieje duże zapotrzebowanie na inteligentne przetwarzanie dokumentów, a firmy potrzebują dostosowanego potoku do obsługi ich unikalnej logiki biznesowej. Amazon A2I oferuje również wbudowany szablon zintegrowany z Amazon Texttract, aby zaimplementować przypadki użycia oparte na analizie ludzkiej. Pozwala również dostosować stronę recenzenta do elastycznych wymagań.

Ten post poprowadził Cię przez rozwiązanie referencyjne wykorzystujące Amazon Text i Amazon A2I do zbudowania potoku IDP, który obsługuje elastyczne reguły biznesowe. Możesz to wypróbować za pomocą Notatnik Jupyter w repozytorium warsztatowym GitHub IDP.

O autorach

Lana Zhang jest starszym architektem rozwiązań w zespole AWS WWSO AI Services z doświadczeniem w zakresie AI i ML w zakresie inteligentnego przetwarzania dokumentów i moderacji treści. Z pasją promuje usługi AWS AI i pomaga klientom przekształcać ich rozwiązania biznesowe.

Sonali Sahu kieruje zespołem Inteligentnego Przetwarzania Dokumentów AI/ML Solutions Architect w Amazon Web Services. Jest pasjonatką technofilki i lubi pracować z klientami przy rozwiązywaniu złożonych problemów przy użyciu innowacji. Jej głównym obszarem zainteresowania są sztuczna inteligencja i uczenie maszynowe do inteligentnego przetwarzania dokumentów.