Analisi fattura – Estrazione dati fattura per PDF e documenti scansionati

Se hai mai dovuto elaborare una fattura manualmente, sai quanto può essere lungo e noioso il processo. Per non parlare del fatto che è soggetto a errori poiché è facile perdere qualcosa quando fai tutto a mano.

È qui che entrano in gioco i parser delle fatture. Questi strumenti automatizzano il processo di estrazione dei dati dalle fatture, rendendo facile e veloce ottenere le informazioni necessarie. Ciò può farti risparmiare un sacco di tempo e fatica e aiutarti a garantire che le tue fatture vengano elaborate in modo accurato.

Questo articolo esplora il processo di estrazione dei dati delle fatture utilizzando i parser delle fatture, con una discussione su alcuni dei metodi migliori per farlo, tra cui l'estrazione di tabelle, l'OCR avanzato e il deep learning.

Esamineremo anche i vantaggi dell'estrazione automatizzata dei dati delle fatture rispetto all'elaborazione manuale. Entriamo subito.

Che cos'è un analizzatore di fatture?

Un analizzatore di fatture è un tipo di software progettato per leggere e interpretare i documenti delle fatture. Questo può includere PDF, immagini e altri tipi di file.

Lo scopo di un analizzatore di fatture è estrarre le informazioni chiave da una fattura, come l'ID fattura, l'importo totale dovuto, la data della fattura, il nome del cliente e così via. I parser delle fatture possono aiutare a garantire l'accuratezza evitando gli errori che possono verificarsi dall'estrazione manuale dei dati.

Queste informazioni possono quindi essere utilizzate per vari scopi, ad es Automazione AP, processo di chiusura della contabilità di fine mesee gestione delle fatture.

I parser di fatture possono essere programmi autonomi o essere integrati in sistemi software aziendali più grandi. Questi strumenti consentono ai team di generare report o esportare i dati più facilmente in altre applicazioni, come Excel, e sono spesso utilizzati insieme ad altre applicazioni di gestione aziendale.

Esistono molte diverse soluzioni software di analisi delle fatture sul mercato, quindi è essenziale sceglierne una che soddisfi le tue esigenze specifiche.

Come funziona un analizzatore di fatture?

Per capire come funzionano i parser di fatture, è importante avere una conoscenza pratica dei parser.

I parser vengono utilizzati per interpretare ed elaborare documenti scritti in un linguaggio di markup specifico. Scompongono il documento in parti più piccole, chiamate token, quindi analizzano ciascun token per determinarne il significato e come si inserisce nella struttura generale del documento.

Per fare ciò, i parser devono avere una profonda comprensione della grammatica del linguaggio di markup utilizzato. Ciò consente loro di identificare i singoli token e di comprendere correttamente le relazioni tra di loro. A seconda del parser, questo processo può essere manuale o automatico. I parser manuali richiedono che qualcuno esegua un'analisi del documento e identifichi ogni token, mentre i parser automatici utilizzano algoritmi per rilevare ed elaborare i token automaticamente. In ogni caso, i parser svolgono un ruolo essenziale nel dare un senso ai documenti scritti nei linguaggi di markup.

Nell'estrazione dei dati, l'analisi delle fatture può analizzare un documento di fattura ed estrarre informazioni rilevanti.

Considera, ad esempio, il caso in cui ti sono state emesse molte fatture e desideri archiviare i dati da esse in un formato strutturato. L'analisi delle fatture consente di caricare tutti i file ed eseguire il riconoscimento ottico dei caratteri (OCR) in modo che i dati possano essere letti e tutte le coppie chiave-valore estratte in pochi minuti. Successivamente, puoi utilizzare alcuni algoritmi di post-elaborazione per archiviarli in formati più leggibili come JSON o CSV. Puoi anche costruire processi e flussi di lavoro utilizzando l'analisi delle fatture per automatizzare l'estrazione delle fatture dai record della tua attività.

Analisi delle fatture con Python

Python è un linguaggio di programmazione per varie attività di estrazione dei dati, inclusa l'analisi delle fatture. Questa sezione ti insegnerà come utilizzare le librerie Python per estrarre i dati dalle fatture.

La creazione di un parser di fatture generico all'avanguardia che può essere eseguito su tutti i tipi di dati è difficile, poiché include varie attività come la lettura di testo, la gestione di lingue, caratteri, allineamento dei documenti ed estrazione di coppie chiave-valore. Tuttavia, con l'aiuto di progetti open source e un po' di ingegno, potremmo almeno risolvere alcuni di questi problemi e iniziare.

Ad esempio, utilizzeremo uno strumento chiamato tabula su una fattura di esempio, una libreria Python per estrarre le tabelle per l'analisi delle fatture. Per eseguire il frammento di codice seguente, assicurati che sia Python che tabula/tabulate siano installati sul computer locale.

fattura-campione.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Uscita

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Potremmo estrarre le tabelle da un file PDF con poche righe di codice. Questo perché il file PDF è stato ben formattato, allineato e creato elettronicamente (non catturato dalla fotocamera). Al contrario, se il documento fosse stato catturato da una fotocamera invece di essere prodotto elettronicamente, sarebbe stato molto più difficile per questi algoritmi estrarre i dati: è qui che entra in gioco il riconoscimento ottico dei caratteri.

Usiamo tesseract, un popolare motore OCR per Python, per analizzare una fattura.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Questo dovrebbe darti il ​​seguente output:

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Usando questo dizionario, possiamo ottenere ogni parola rilevata, le informazioni sul riquadro di delimitazione, il testo in esse contenuto e i loro punteggi di affidabilità.

Puoi tracciare le caselle utilizzando il codice qui sotto -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Vedrai il seguente output:

È così che possiamo utilizzare e riconoscere le regioni di una fattura. Tuttavia, è necessario creare algoritmi personalizzati per l'estrazione della coppia chiave-valore. Impareremo di più su questo nelle sezioni seguenti.

I problemi con i parser di fatture legacy (acquisizione basata su regole)

Oggi molte organizzazioni si affidano ancora a sistemi legacy per l'estrazione dei dati delle fatture.

Questi sistemi "basati su regole" analizzano ciascuna voce delle fatture e quindi le confrontano con una serie di regole per determinare se le informazioni devono essere aggiunte al loro database.

Questo metodo è stato utilizzato per molto tempo ma presenta diversi inconvenienti. Diamo un'occhiata ad alcuni problemi comuni incontrati dai parser di fatture legacy.

• Inclinazione della pagina durante la scansione: Un problema con i parser di fatture basati su regole è che possono avere difficoltà con "l'inclinazione della pagina". Ciò si verifica quando i campi di una fattura non sono posizionati in linea retta, rendendo difficile per il parser identificare ed estrarre con precisione i dati. Ciò può essere spesso causato da stampanti che non stampano in modo uniforme o dall'immissione manuale di dati che potrebbero non essere allineati correttamente.
• Cambio formato: uno dei problemi più comuni che un'azienda deve affrontare sono le fatture che non sono formattate in un formato standard. Ciò può causare problemi quando si tenta di estrarre i dati da una fattura. Ad esempio, è possibile utilizzare diversi tipi di carattere e il layout della fattura può cambiare da un mese all'altro. È difficile analizzare i dati e determinare cosa rappresenta ogni colonna. Ad esempio, alcuni nuovi campi potrebbero essere aggiunti alla fattura o alcuni campi esistenti potrebbero essere collocati in posizioni diverse. Oppure potrebbe esserci una struttura completamente nuova a causa della quale un normale parser basato su regole non sarà in grado di riconoscere correttamente le fatture.
• Estrazione da tavolo: gli estrattori di tabelle basati su regole sono spesso il modo più semplice e diretto per estrarre i dati da una tabella. Tuttavia, hanno i loro limiti quando si tratta di tabelle che non contengono intestazioni o includono valori null in colonne specifiche perché questi scenari causeranno un ciclo infinito durante l'elaborazione che si tradurrà in una perdita di tempo nel caricare righe infinitamente lunghe in memoria (o non emettendo nulla del tutto) se esistessero espressioni dipendenti che coinvolgono anche quegli attributi. Inoltre, quando le tabelle si estendono su più pagine, i parser basati su regole le trattano come tabelle diverse anziché come una sola e quindi fuorviano il processo di estrazione.

Crea un parser di fatture basato sull'intelligenza artificiale con Nanonets

I parser di fatture con riconoscimento ottico dei caratteri (OCR) e deep learning possono estrarre dati da fatture che sono state scansionate o convertite in PDF. Questi dati possono quindi popolare il software di contabilità, tenere traccia delle spese e generare report.

Gli algoritmi di deep learning possono imparare a identificare elementi specifici in una fattura, come il nome del cliente, l'indirizzo e le informazioni sul prodotto. Ciò consente un'estrazione dei dati più accurata e può ridurre il tempo necessario per inserire manualmente i dati in un sistema. Tuttavia, la creazione di tali algoritmi richiede molto tempo ed esperienza, ma non preoccuparti; Nanonets ti dà le spalle!

Nanonets è un software OCR che utilizza l'intelligenza artificiale per automatizzare l'estrazione di tabelle da documenti PDF, immagini e file scansionati. A differenza di altre soluzioni, non richiede regole e modelli separati per ogni nuovo tipo di documento. Invece, si basa sull'intelligenza cognitiva per gestire documenti semi-strutturati e invisibili migliorando nel tempo. Puoi anche personalizzare l'output per estrarre solo tabelle o voci di dati di tuo interesse.

È veloce, preciso, facile da usare, consente agli utenti di creare modelli OCR personalizzati da zero e ha alcune integrazioni Zapier. Digitalizza documenti, estrai tabelle o campi di dati e integra con le tue app quotidiane tramite API in un'interfaccia semplice e intuitiva.

[Contenuto incorporato]

Perché Nanonets è il miglior parser PDF?

• I nanonet possono estrarre i dati sulla pagina mentre i parser PDF della riga di comando estraggono solo oggetti, intestazioni e metadati come (titolo, #pagine, stato di crittografia, ecc.)
• La tecnologia di analisi PDF di Nanonets non è basata su modelli. Oltre a offrire modelli pre-addestrati per casi d'uso comuni, l'algoritmo di analisi PDF di Nanonets può anche gestire tipi di documenti invisibili!
• Oltre a gestire documenti PDF nativi, le funzionalità OCR integrate di Nanonet consentono di gestire anche documenti e immagini scansionati!
• Funzionalità di automazione robuste con funzionalità AI e ML.
• I nanonet gestiscono facilmente dati non strutturati, vincoli di dati comuni, documenti PDF multipagina, tabelle ed elementi multilinea.
• Nanonets è uno strumento senza codice in grado di apprendere e riqualificarsi continuamente su dati personalizzati per fornire output che non richiedono post-elaborazione.

Analisi automatizzata delle fatture con Nanonets: creazione di flussi di lavoro di elaborazione delle fatture completamente touchless

Integra i tuoi strumenti esistenti con Nanonets e automatizza la raccolta dei dati, l'archiviazione delle esportazioni e la contabilità.

Nanonet può anche aiutare ad automatizzare i flussi di lavoro di analisi delle fatture:

• Importazione e consolidamento dei dati delle fatture da più fonti: e-mail, documenti scansionati, file/immagini digitali, archiviazione cloud, ERP, API, ecc.
• Acquisizione ed estrazione intelligente dei dati delle fatture da fatture, ricevute, fatture e altri documenti finanziari.
• Classificazione e codifica delle transazioni in base a regole aziendali.
• Impostazione di flussi di lavoro di approvazione automatizzati per ottenere approvazioni interne e gestire le eccezioni.
• Riconciliazione di tutte le transazioni.
• Integrazione perfetta con ERP o software di contabilità come Quickbooks, Sage, Xero, Netsuite e altri.