Analiza faktury — wyodrębnianie danych faktury dla plików PDF i zeskanowanych dokumentów

Jeśli kiedykolwiek musiałeś przetwarzać fakturę ręcznie, wiesz, jak czasochłonny i żmudny może być ten proces. Nie wspominając o tym, że jest podatny na błędy, ponieważ łatwo jest coś przeoczyć, gdy robisz wszystko ręcznie.

I tu właśnie wkraczają parsery faktur. Narzędzia te automatyzują proces wyodrębniania danych z faktur, ułatwiając i przyspieszając uzyskanie potrzebnych informacji. Może to zaoszczędzić dużo czasu i kłopotów oraz zapewnić prawidłowe przetwarzanie faktur.

W tym artykule omówiono proces wyodrębniania danych faktur za pomocą parserów faktur, wraz z omówieniem niektórych najlepszych metod, w tym wyodrębniania tabel, zaawansowanego OCR i głębokiego uczenia.

Przeanalizujemy również zalety automatycznego wyodrębniania danych z faktur w porównaniu z przetwarzaniem ręcznym. Zanurzmy się od razu.

Co to jest parser faktur?

Parser faktur to rodzaj oprogramowania przeznaczonego do odczytywania i interpretowania dokumentów fakturowych. Może to obejmować pliki PDF, obrazy i inne typy plików.

Celem parsera faktur jest wyodrębnienie kluczowych informacji z faktury, takich jak identyfikator faktury, całkowita należna kwota, data faktury, nazwa klienta i tak dalej. Parsery faktur mogą pomóc w zapewnieniu dokładności, unikając błędów, które mogą wystąpić podczas ręcznego wyodrębniania danych.

Informacje te mogą być następnie wykorzystywane do różnych celów, takich jak: Automatyzacja AP, proces zamknięcia księgowania na koniec miesiącaoraz zarządzanie fakturami.

Parsery faktur mogą być samodzielnymi programami lub być zintegrowane z większymi systemami oprogramowania biznesowego. Narzędzia te ułatwiają zespołom generowanie raportów lub eksportowanie danych do innych aplikacji, takich jak Excel, i są często używane razem z innymi aplikacjami do zarządzania przedsiębiorstwem.

Na rynku dostępnych jest wiele różnych rozwiązań oprogramowania do analizowania faktur, więc wybór takiego, który spełnia Twoje specyficzne potrzeby, jest niezbędny.

Jak działa parser faktur?

Aby zrozumieć, jak działają parsery faktur, ważna jest praktyczna znajomość parserów.

Parsery służą do interpretacji i przetwarzania dokumentów napisanych w określonym języku znaczników. Dzielą dokument na mniejsze części, zwane tokenami, a następnie analizują każdy token, aby określić jego znaczenie i dopasowanie do ogólnej struktury dokumentu.

Aby to zrobić, parsery muszą dobrze rozumieć gramatykę używanego języka znaczników. Dzięki temu mogą identyfikować poszczególne tokeny i poprawnie rozumieć relacje między nimi. W zależności od parsera proces ten może być ręczny lub automatyczny. Ręczne parsery wymagają, aby ktoś przeszedł przez dokument i zidentyfikował każdy token, podczas gdy automatyczne parsery używają algorytmów do automatycznego wykrywania i przetwarzania tokenów. Tak czy inaczej, parsery odgrywają zasadniczą rolę w zrozumieniu dokumentów napisanych w językach znaczników.

Podczas ekstrakcji danych parsowanie faktur może analizować dokument faktury i wyodrębniać odpowiednie informacje.

Rozważmy na przykład przypadek, w którym otrzymałeś wiele faktur i chcesz przechowywać dane z nich w ustrukturyzowanym formacie. Analiza składni faktury umożliwia załadowanie wszystkich plików i uruchomienie optycznego rozpoznawania znaków (OCR), dzięki czemu można odczytać dane i wyodrębnić wszystkie pary klucz-wartość w ciągu kilku minut. Następnie możesz użyć niektórych algorytmów przetwarzania końcowego, aby zapisać je w bardziej czytelnych formatach, takich jak JSON lub CSV. Możesz także budować procesy i przepływy pracy używanie analizowania faktur do zautomatyzowania wyodrębniania faktur z ewidencji firmy.

Parsowanie faktur za pomocą Pythona

Python to język programowania do różnych zadań ekstrakcji danych, w tym parsowania faktur. W tej sekcji dowiesz się, jak używać bibliotek Pythona do wyodrębniania danych z faktur.

Stworzenie ogólnego, nowoczesnego parsera faktur, który może działać na wszystkich typach danych, jest trudne, ponieważ obejmuje różne zadania, takie jak czytanie tekstu, obsługa języków, czcionki, wyrównywanie dokumentów i wyodrębnianie par klucz-wartość. Jednak z pomocą projektów open source i pewnej pomysłowości moglibyśmy przynajmniej rozwiązać kilka z tych problemów i zacząć.

Na przykład użyjemy narzędzia o nazwie tabula na przykładowej fakturze — biblioteki Pythona do wyodrębniania tabel do analizy faktur. Aby uruchomić poniższy fragment kodu, upewnij się, że zarówno Python, jak i tabula/tabulate są zainstalowane na komputerze lokalnym.

przykładowa-faktura.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Wydajność

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Moglibyśmy wyodrębnić tabele z pliku PDF za pomocą kilku linijek kodu. Dzieje się tak, ponieważ plik PDF został dobrze sformatowany, wyrównany i utworzony elektronicznie (nie przechwycony przez aparat). W przeciwieństwie do tego, gdyby dokument został przechwycony przez kamerę, a nie wyprodukowany elektronicznie, algorytmy te miałyby znacznie większe trudności z wyodrębnieniem danych — w tym przypadku w grę wchodzi optyczne rozpoznawanie znaków.

Użyjmy tesseract, popularny silnik OCR dla Pythona, który analizuje fakturę.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Powinno to dać następujący wynik -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Korzystając z tego słownika, możemy uzyskać każde wykryte słowo, informacje o jego ramce ograniczającej, zawarty w nich tekst i ich oceny ufności.

Możesz wykreślić pola za pomocą poniższego kodu -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Zobaczysz następujące dane wyjściowe:

W ten sposób możemy wykorzystać i rozpoznać regiony faktury. Należy jednak utworzyć niestandardowe algorytmy do wyodrębniania par klucz-wartość. Dowiemy się więcej na ten temat w kolejnych sekcjach.

Problemy ze starszymi analizatorami faktur (przechwytywanie oparte na regułach)

Obecnie wiele organizacji nadal polega na starszych systemach do ekstrakcji danych z faktur.

Te „oparte na regułach” systemy analizują każdą pozycję na fakturze, a następnie porównują ją z zestawem reguł, aby określić, czy informacje powinny zostać dodane do ich bazy danych.

Ta metoda jest stosowana od dawna, ale ma kilka wad. Przyjrzyjmy się niektórym typowym problemom, z jakimi borykają się starsze parsery faktur.

• Przechylanie strony podczas skanowania: Jednym z problemów z parserami faktur opartymi na regułach jest to, że mogą mieć trudności z „przechylaniem strony”. Dzieje się tak, gdy pola na fakturze nie są ustawione w linii prostej, co utrudnia parserowi dokładną identyfikację i wyodrębnienie danych. Często może to być spowodowane drukarkami, które nie drukują równomiernie lub ręcznym wprowadzaniem danych, które mogą nie być prawidłowo wyrównane.
• Zmiana formatu: Jednym z najczęstszych problemów, z jakimi boryka się firma, są faktury, które nie są sformatowane w standardowym formacie. Może to powodować problemy podczas próby wyodrębnienia danych z faktury. Można na przykład użyć różnych czcionek, a układ faktury może zmieniać się z miesiąca na miesiąc. Trudno jest przeanalizować dane i określić, co reprezentuje każda kolumna. Na przykład do faktury można dodać nowe pola lub niektóre istniejące pola można umieścić w różnych pozycjach. Lub może istnieć zupełnie nowa struktura, przez którą zwykły parser oparty na regułach nie będzie w stanie poprawnie rozpoznać faktur.
• Ekstrakcja tabeli: Ekstraktory tabel oparte na regułach są często najprostszym i najłatwiejszym sposobem wyodrębniania danych z tabeli. Jednak mająswoje ograniczenia w przypadku tabel które nie zawierajążadnych nagłówków lub zawierająwartości null w określonych kolumnach ponieważte scenariusze spowodująnieskończonąpętlępodczas przetwarzania co spowoduje albo stratę czasu na ładowanie nieskończenie długich wierszy do pamięci (lub niczego na wyjściu w ogóle), gdyby istniały wyrażenia zależne również z tymi atrybutami. Ponadto, gdy tabele obejmują wiele stron, parsery oparte na regułach traktują je jako różne tabele zamiast jednej i w ten sposób wprowadzają w błąd proces wyodrębniania.

Zbuduj parser faktur oparty na sztucznej inteligencji za pomocą Nanonets

Parsery faktur z optycznym rozpoznawaniem znaków (OCR) i głębokim uczeniem mogą wyodrębniać dane z faktur, które zostały zeskanowane lub przekonwertowane do formatu PDF. Te dane mogą następnie wypełniać oprogramowanie księgowe, śledzić wydatki i generować raporty.

Algorytmy głębokiego uczenia mogą nauczyć się identyfikować określone elementy na fakturze, takie jak nazwa klienta, adres i informacje o produkcie. Pozwala to na dokładniejsze wyodrębnianie danych i może skrócić czas potrzebny na ręczne wprowadzanie danych do systemu. Jednak budowanie takich algorytmów wymaga dużo czasu i wiedzy, ale nie martw się; Nanonets ma Twoje plecy!

Nanonets to oprogramowanie OCR, które wykorzystuje sztuczną inteligencję do automatyzacji ekstrakcji tabel z dokumentów PDF, obrazów i zeskanowanych plików. W przeciwieństwie do innych rozwiązań nie wymaga osobnych reguł i szablonów dla każdego nowego typu dokumentu. Zamiast tego opiera się na inteligencji kognitywnej, aby obsługiwać częściowo ustrukturyzowane i niewidoczne dokumenty, jednocześnie poprawiając się z biegiem czasu. Możesz także dostosować dane wyjściowe, aby wyodrębniać tylko interesujące Cię tabele lub wpisy danych.

Jest szybki, dokładny, łatwy w użyciu, pozwala użytkownikom budować niestandardowe modele OCR od podstaw i ma kilka zgrabnych integracji z Zapier. Digitalizuj dokumenty, wyodrębniaj tabele lub pola danych i integruj z codziennymi aplikacjami za pomocą interfejsów API w prostym, intuicyjnym interfejsie.

[Osadzone treści]

Dlaczego Nanonets jest najlepszym parserem PDF?

• Nanonety mogą wyodrębniać dane na stronie, podczas gdy parsery PDF wiersza poleceń wyodrębniają tylko obiekty, nagłówki i metadane, takie jak (tytuł, #strony, stan szyfrowania itp.)
• Technologia analizy plików PDF Nanonets nie jest oparta na szablonach. Oprócz oferowania wstępnie wyszkolonych modeli dla popularnych przypadków użycia, algorytm analizy plików PDF Nanonets może również obsługiwać niewidoczne typy dokumentów!
• Oprócz obsługi natywnych dokumentów PDF, wbudowane funkcje OCR Nanonet umożliwiają również obsługę zeskanowanych dokumentów i obrazów!
• Solidne funkcje automatyzacji z funkcjami AI i ML.
• Nanonety z łatwością obsługują dane nieustrukturyzowane, typowe ograniczenia danych, wielostronicowe dokumenty PDF, tabele i elementy wielowierszowe.
• Nanonets to narzędzie niewymagające kodowania, które może stale uczyć się i ponownie szkolić się na niestandardowych danych, aby zapewnić wyniki niewymagające przetwarzania końcowego.

Zautomatyzowane parsowanie faktur za pomocą Nanonets – tworzenie całkowicie bezdotykowych procesów przetwarzania faktur

Zintegruj istniejące narzędzia z Nanonets i zautomatyzuj zbieranie danych, przechowywanie eksportu i księgowość.

Nanonets może również pomóc w zautomatyzowaniu przepływu pracy parsowania faktur poprzez:

• Import i konsolidacja danych faktur z wielu źródeł – e-mail, zeskanowane dokumenty, cyfrowe pliki/obrazy, przechowywanie w chmurze, ERP, API itp.
• Inteligentne przechwytywanie i wyodrębnianie danych faktur z faktur, paragonów, rachunków i innych dokumentów finansowych.
• Kategoryzacja i kodowanie transakcji w oparciu o reguły biznesowe.
• Konfigurowanie automatycznych przepływów pracy zatwierdzania w celu uzyskiwania zatwierdzeń wewnętrznych i zarządzania wyjątkami.
• Uzgadnianie wszystkich transakcji.
• Bezproblemowa integracja z systemami ERP lub oprogramowaniem księgowym, takim jak Quickbooks, Sage, Xero, Netsuite i innymi.