Invoice Parse – Extragerea datelor de factură pentru PDF-uri și documente scanate

Dacă ați trebuit vreodată să procesați o factură manual, știți cât de consumator de timp și de obositor poate fi procesul. Ca să nu mai vorbim, este predispus la greșeli, deoarece este ușor să ratezi ceva când faci totul manual.

Aici intervin analizatorii de facturi. Aceste instrumente automatizează procesul de extragere a datelor din facturi, făcând obținerea rapidă și ușoară a informațiilor de care aveți nevoie. Acest lucru vă poate economisi mult timp și bătăi de cap și vă poate ajuta să vă asigurați că facturile sunt procesate cu acuratețe.

Acest articol explorează procesul de extragere a datelor de factură folosind analizatori de facturi, cu o discuție despre unele dintre cele mai bune metode pentru a face acest lucru, inclusiv extragerea tabelelor, OCR avansat și învățarea profundă.

Vom examina, de asemenea, beneficiile extragerii automate a datelor facturilor față de procesarea manuală. Să ne scufundăm direct.

Ce este un analizator de facturi?

Un analizator de facturi este un tip de software conceput pentru a citi și interpreta documentele facturii. Acestea pot include PDF-uri, imagini și alte tipuri de fișiere.

Scopul unui analizator de facturi este de a extrage informații cheie dintr-o factură, cum ar fi ID-ul facturii, suma totală datorată, data facturii, numele clientului și așa mai departe. Analizatoarele de facturi pot ajuta la asigurarea acurateței evitând greșelile care pot apărea în urma extragerii manuale a datelor.

Aceste informații pot fi apoi utilizate în diverse scopuri, cum ar fi Automatizarea AP, procesul de închidere a contabilității la sfârșitul lunii, și gestionarea facturilor.

Analizatoarele de facturi pot fi programe de sine stătătoare sau pot fi integrate în sisteme software de afaceri mai mari. Aceste instrumente facilitează generarea de rapoarte sau exportul datelor către alte aplicații, cum ar fi Excel și sunt adesea folosite împreună cu alte aplicații de management de afaceri.

Pe piață există multe soluții software diferite de analiză a facturilor, așa că alegerea uneia care să corespundă nevoilor dumneavoastră specifice este esențială.

Cum funcționează un analizator de facturi?

Pentru a înțelege cum funcționează analizatorii de facturi, este important să aveți cunoștințe de lucru despre analizatorii.

Parserii sunt utilizați pentru a interpreta și procesa documente scrise într-un anumit limbaj de marcare. Ei descompun documentul în bucăți mai mici, numite jetoane, apoi analizează fiecare jetoane pentru a-i determina semnificația și modul în care se încadrează în structura generală a documentului.

Pentru a face acest lucru, analizatorii trebuie să aibă o înțelegere puternică a gramaticii limbajului de marcare utilizat. Acest lucru le permite să identifice jetoanele individuale și să înțeleagă corect relațiile dintre ele. În funcție de parser, acest proces poate fi fie manual, fie automat. Analizatoarele manuale necesită ca cineva să parcurgă documentul și să identifice fiecare token, în timp ce analizatorii automati folosesc algoritmi pentru a detecta și procesa automat token-urile. În orice caz, analizatorii joacă un rol esențial în a da sens documentelor scrise în limbaje de marcare.

În extragerea datelor, analiza facturilor poate analiza un document de factură și poate extrage informații relevante.

Luați în considerare, de exemplu, cazul în care vi s-au dat multe facturi și doriți să stocați datele din acestea într-un format structurat. Analiza facturii vă permite să încărcați toate fișierele și să rulați recunoașterea optică a caracterelor (OCR), astfel încât datele să poată fi citite și toate perechile cheie-valoare extrase în câteva minute. Apoi, puteți folosi niște algoritmi de post-procesare pentru a-i stoca în formate mai lizibile, cum ar fi JSON sau CSV. Poti de asemenea construiți procese și fluxuri de lucru folosind parsarea facturilor pentru a automatiza extragerea facturilor din evidențele companiei dvs.

Analizarea facturii cu Python

Python este un limbaj de programare pentru diverse sarcini de extragere a datelor, inclusiv analizarea facturii. Această secțiune vă va învăța cum să utilizați bibliotecile Python pentru a extrage date din facturi.

Construirea unui analizator de facturi generic de ultimă generație care poate rula pe toate tipurile de date este dificilă, deoarece include diverse sarcini, cum ar fi citirea textului, gestionarea limbilor, fonturile, alinierea documentelor și extragerea perechilor cheie-valoare. Cu toate acestea, cu ajutorul proiectelor open-source și puțină ingeniozitate, am putea cel puțin să rezolvăm câteva dintre aceste probleme și să începem.

De exemplu, vom folosi un instrument numit tabula pe un exemplu de factură - o bibliotecă Python pentru a extrage tabele pentru analizarea facturii. Pentru a rula fragmentul de cod de mai jos, asigurați-vă că atât Python, cât și tabula/tabulate sunt instalate pe computerul local.

sample-invoice.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

producție

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Am putea extrage tabelele dintr-un fișier PDF cu câteva rânduri de cod. Acest lucru se datorează faptului că fișierul PDF a fost bine formatat, aliniat și creat electronic (nu capturat de cameră). În schimb, dacă documentul ar fi fost capturat de o cameră în loc să fie produs electronic, ar fi fost mult mai greu pentru acești algoritmi să extragă datele – aici intervine recunoașterea optică a caracterelor.

Să folosim Tesseract, un motor OCR popular pentru python, pentru a analiza o factură.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Acest lucru ar trebui să vă ofere următorul rezultat -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Folosind acest dicționar, putem obține fiecare cuvânt detectat, informațiile despre caseta de delimitare, textul din el și scorurile de încredere.

Puteți trasa casetele folosind codul de mai jos -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Veți vedea următoarea ieșire:

Acesta este modul în care putem folosi și recunoaște regiunile unei facturi. Cu toate acestea, trebuie să fie creați algoritmi personalizați pentru extragerea perechilor cheie-valoare. Vom afla mai multe despre acest lucru în secțiunile următoare.

Probleme cu analizatoarele de facturi vechi (capturare bazată pe reguli)

Astăzi, multe organizații se bazează în continuare pe sisteme vechi pentru extragerea datelor de factură.

Aceste sisteme „bazate pe reguli” analizează fiecare element rând pe facturi și apoi le compară cu un set de reguli pentru a determina dacă informațiile ar trebui adăugate în baza lor de date.

Această metodă a fost folosită de mult timp, dar are mai multe dezavantaje. Să ne uităm la câteva probleme obișnuite cu care se confruntă analizatoarele vechi de facturi.

• Înclinarea paginii în timpul scanării: O problemă cu analizatoarele de facturi bazate pe reguli este că pot avea dificultăți cu „înclinarea paginii”. Acest lucru se întâmplă atunci când câmpurile dintr-o factură nu sunt poziționate în linie dreaptă, ceea ce face dificilă identificarea și extragerea exactă a datelor de către parser. Acest lucru poate fi adesea cauzat de imprimante care nu imprimă uniform sau de introducerea manuală a datelor care ar putea să nu fie aliniate corect.
• Schimbarea formatului: Una dintre cele mai frecvente probleme cu care se confruntă o companie este facturile care nu sunt formatate într-un format standard. Acest lucru poate cauza probleme atunci când încercați să extrageți date dintr-o factură. De exemplu, pot fi folosite diferite fonturi, iar aspectul facturii se poate schimba de la o lună la alta. Este dificil să analizați datele și să determinați ce reprezintă fiecare coloană. De exemplu, unele câmpuri noi ar putea fi adăugate la factură sau unele câmpuri existente ar putea fi plasate în poziții diferite. Sau ar putea exista o structură complet nouă, din cauza căreia un parser obișnuit bazat pe reguli nu va putea recunoaște corect facturile.
• Extragerea tabelului: Extractoarele de tabel bazate pe reguli sunt adesea cea mai simplă și mai ușoară modalitate de a extrage date dintr-un tabel. Cu toate acestea, ele au limitările lor atunci când se ocupă cu tabele care nu conțin antet sau care includ valori nule în anumite coloane, deoarece aceste scenarii vor provoca o buclă infinită în timpul procesării, ceea ce duce fie la pierderea timpului la încărcarea în memorie a rândurilor infinit de lungi (sau la ieșirea nimic). deloc) dacă ar exista expresii dependente care implică și acele atribute. În plus, atunci când tabelele se întind pe mai multe pagini, analizatorii bazați pe reguli le tratează ca tabele diferite în loc de unul și astfel induc în eroare procesul de extracție.

Creați un analizator de facturi bazat pe inteligență artificială cu Nanonets

Analizatoarele de facturi cu recunoaștere optică a caracterelor (OCR) și deep learning pot extrage date din facturile care au fost scanate sau convertite în fișiere PDF. Aceste date pot popula apoi software-ul de contabilitate, pot urmări cheltuielile și pot genera rapoarte.

Algoritmii de învățare profundă pot învăța cum să identifice anumite elemente dintr-o factură, cum ar fi numele clientului, adresa și informațiile despre produs. Acest lucru permite extragerea mai precisă a datelor și poate reduce timpul necesar pentru introducerea manuală a datelor într-un sistem. Cu toate acestea, construirea unor astfel de algoritmi necesită mult timp și expertiză, dar nu vă faceți griji; Nanonets te sprijină!

Nanonets este un software OCR care utilizează inteligența artificială pentru a automatiza extragerea tabelelor din documente PDF, imagini și fișiere scanate. Spre deosebire de alte soluții, nu necesită reguli și șabloane separate pentru fiecare tip de document nou. În schimb, se bazează pe inteligența cognitivă pentru a gestiona documente semi-structurate și nevăzute în timp ce se îmbunătățește în timp. De asemenea, puteți personaliza rezultatul pentru a extrage numai tabele sau intrările de date care vă interesează.

Este rapid, precis, ușor de utilizat, permite utilizatorilor să creeze modele OCR personalizate de la zero și are câteva integrări Zapier. Digitalizați documente, extrageți tabele sau câmpuri de date și integrați-vă cu aplicațiile de zi cu zi prin intermediul API-urilor într-o interfață simplă și intuitivă.

[Conținutul încorporat]

De ce este Nanonets cel mai bun analizator PDF?

• Nanonets poate extrage date de pe pagină, în timp ce analizatorii PDF din linia de comandă extrag doar obiecte, anteturi și metadate, cum ar fi (titlu, #pages, starea criptării etc.)
• Tehnologia Nanonets de analiză PDF nu este bazată pe șabloane. Pe lângă faptul că oferă modele pre-instruite pentru cazuri de utilizare populare, algoritmul de analiză PDF Nanonets poate gestiona și tipuri de documente nevăzute!
• Pe lângă gestionarea documentelor PDF native, capacitățile OCR încorporate ale Nanonet îi permit să gestioneze și documentele și imaginile scanate!
• Funcții robuste de automatizare cu capabilități AI și ML.
• Nanonets gestionează cu ușurință datele nestructurate, constrângerile comune de date, documentele PDF cu mai multe pagini, tabelele și elementele cu mai multe rânduri.
• Nanonets este un instrument fără cod care se poate învăța și se reinstrui în mod continuu pe date personalizate pentru a oferi rezultate care nu necesită post-procesare.

Analiza automată a facturilor cu Nanonets – creând fluxuri de lucru de procesare a facturilor complet fără atingere

Integrați-vă instrumentele existente cu Nanonets și automatizați colectarea datelor, stocarea exportului și evidența contabilă.

Nanonets poate ajuta, de asemenea, la automatizarea fluxurilor de lucru de analiză a facturilor prin:

• Importarea și consolidarea datelor de factură din mai multe surse – e-mail, documente scanate, fișiere/imagini digitale, stocare în cloud, ERP, API etc.
• Captarea și extragerea inteligentă a datelor despre facturi din facturi, chitanțe, facturi și alte documente financiare.
• Clasificarea și codificarea tranzacțiilor pe baza regulilor de afaceri.
• Configurarea fluxurilor de lucru automate de aprobare pentru a obține aprobări interne și a gestiona excepțiile.
• Reconcilierea tuturor tranzacțiilor.
• Integrarea perfectă cu ERP-uri sau software de contabilitate, cum ar fi Quickbooks, Sage, Xero, Netsuite și multe altele.