Automatizzazione dell'elaborazione delle fatture con OCR e deep learning

Ripubblicato da Platone

Seguaci: 0

Automatizzazione dell'elaborazione delle fatture con OCR e Deep Learning

Vuoi automatizzare l'elaborazione delle fatture? Dai un'occhiata al pre-addestrato di Nanonets Fattura OCR or costruisci il tuo OCR personalizzato per fatture. Puoi anche programmare una demo per saperne di più sui nostri casi d'uso degli AP!

Introduzione

Per molto tempo ci siamo affidati alle fatture cartacee per elaborare i pagamenti e mantenere la contabilità. La riconciliazione delle fatture in genere comporta che qualcuno trascorra manualmente ore a sfogliare diverse fatture e annotare le cose in un libro mastro.

Ma questo processo può essere fatto meglio, in modo più efficiente, con meno spreco di carta, lavoro umano e tempo?

Tra i numerosi inconvenienti del passare attraverso queste procedure manualmente ci sono costi più elevati, maggiore fabbisogno di manodopera, una maggiore quantità di tempo impiegata in attività ripetitive e una maggiore impronta di carbonio.

Il processo di digitalizzazione di una fattura può essere suddiviso in 4 fasi:

Conversione del documento fisico in una variante digitale: questo potrebbe essere fatto attraverso
- scansione delle fatture
- facendo clic su un'immagine attraverso una telecamera
Estrazione delle informazioni: questa operazione può essere eseguita da
- Umani: eseguito manualmente dai revisori che analizzeranno la fattura per gli errori, leggeranno il testo in essa contenuto e lo immetteranno in un software per l'archiviazione e il recupero futuro.
- Macchine -
  - Riconoscimento ottico dei caratteri: riconoscimento del testo e dei numeri presenti nei documenti.
  - Estrazione delle informazioni: una volta completato il processo di OCR, è importante identificare quale parte di testo corrisponde a quale campo estratto. Se un campo è il totale, il totale parziale, la data della fattura, il fornitore, ecc.
Dump dei dati: una volta che le informazioni sono state estratte, devono essere archiviate in un formato recuperabile come
- Un database
- Un foglio Excel
- Un sistema ERP.

Questo post si concentrerà principalmente sull'OCR e sull'estrazione delle informazioni. Prima di approfondire cosa c'è che non va nello stato attuale dell'OCR e dell'estrazione delle informazioni elaborazione fattura, vediamo innanzitutto perché dovremmo preoccuparci della digitalizzazione delle fatture.

Supporta Nanonet acquisizione della fattura, gestione delle fatture & automazione delle fatture in oltre 60 lingue. Costruisci il tuo modello o richiedi una demo oggi stesso!

Perché digitalizzare le fatture?

La digitalizzazione delle informazioni presenta numerosi vantaggi che un'azienda può ottenere per diversi motivi. Le aziende possono monitorare meglio i propri processi, fornire un servizio clienti migliore, migliorare la produttività dei propri dipendenti e ridurre i costi.

Ecco alcuni motivi per cui dovresti prendere in considerazione la digitalizzazione delle fatture per la tua attività.

Per automatizzare i processi
Con il deep learning e l'OCR, puoi prendere automaticamente queste immagini delle fatture, estrarre tabelle e testo da esse, estrarre i valori di diversi campi, apportare correzioni agli errori, controllare se i prodotti corrispondono al tuo inventario approvabile e infine elaborare il reclamo se tutto va a buon fine. Questo è un enorme passo avanti rispetto a ciò che il settore assicurativo ha fatto tradizionalmente, ma può comunque rivelarsi molto vantaggioso.
Per aumentare l'efficienza
Digitalizzando le fatture, diversi processi possono essere resi molto più rapidi e fluidi. Prendiamo ad esempio una catena di negozi al dettaglio che tratta con alcuni venditori abituali di materie prime ed elabora i pagamenti alla fine di ogni mese. Questo negozio può risparmiare molto tempo automatizzando il processo di gestione delle fatture. I venditori devono semplicemente caricare le fatture su un'app o un sito Web e possono ottenere un feedback immediato se le immagini sono di buona risoluzione, se l'immagine rappresenta l'intera fattura, se l'immagine è falsa o è stata manipolata digitalmente, ecc., Risparmiando molto tempo.
Per ridurre i costi
Il franchising degli stessi negozi al dettaglio consente di risparmiare molti soldi automatizzando la digitalizzazione delle fatture utilizzando l'OCR e il deep learning. Una fattura che deve passare per le mani di tre revisori affinché non vi siano errori si riduce a uno. Il numero di fatture elaborate da un computer è molte volte più veloce di quanto potrebbe fare un essere umano. Il tempo include verificare se la fattura è una frode, se contiene tutte le informazioni, se tutte le informazioni sono corrette, inserire manualmente tutti i dati in un foglio di calcolo o in un database, eseguire calcoli e infine elaborare il pagamento.
Per una migliore conservazione
In caso di controversia, il venditore può raggiungere l'app e consultare tutte le fatture che ha caricato e i risultati di post-elaborazione di ciascuna fattura, spiegando le merci, le loro quantità, i costi di ciascuna, le tasse e gli sconti. L'azienda, avendo automatizzato il processo di immissione di questi dati in un database, può ora anche recuperare queste informazioni in qualsiasi momento.
Per aumentare la soddisfazione del cliente
L'elaborazione delle fatture in modo simile può anche aiutare le aziende a migliorare il proprio servizio clienti. Nella tua consegna da una piattaforma di e-commerce manca un prodotto? Contattali, invia loro la fattura e spiega cosa manca e l'azienda la leggerà automaticamente ricevimento, trova ciò che ha lasciato i loro magazzini e ti invia una risposta dicendoti che il tuo prodotto mancante è in arrivo!
Per ridurre l'impronta ecologica
Facendo alcuni semplici calcoli come quelli fatti qui ci rendiamo conto che un'organizzazione di medie dimensioni che elabora 50000 fatture al mese finisce per sacrificare più di 30 alberi all'anno. Questo numero è il più delle volte destinato ad aumentare a causa della duplicazione delle fatture. Questo stesso volume di carta richiederà anche 2.5 milioni di litri di acqua per la produzione. In un momento simile, prendere le misure necessarie dalle organizzazioni per ridurre la loro impronta ecologica può fare molto per aiutare l'ambiente.

Evoluzione del processo di fatturazione

Il processo di revisione delle fatture si è evoluto molto nel tempo. La crescita della tecnologia ha visto il processo di elaborazione delle fatture passare attraverso tre fasi principali.

Fase 1: revisione manuale

Considera un caso d'uso in cui un'organizzazione sta attraversando il processo di rimborso dei suoi fornitori abituali per le spese del mese.

Automatizzazione dell'elaborazione delle fatture con OCR e Deep Learning

I seguenti passaggi sono seguiti per elaborare le fatture:

Ci si aspetta che le persone presentino personalmente diverse fatture al punto di contatto dell'organizzazione interessata.
Questa persona a sua volta inoltrerà tutte le fatture a un revisore che esaminerà interamente ogni documento. Ciò include la scrittura o l'inserimento di ogni dettaglio in un software come il nome della persona che effettua l'acquisto, il nome del negozio da cui è stato acquistato, la data e l'ora dell'acquisto, gli articoli acquistati, i relativi costi, sconti e tasse.
La somma totale di ciascuna fattura calcolata, sempre manualmente o se il software di data entry è specificamente progettato per scopi contabili, utilizzando tale software.
Un conto finale /ricevimento viene effettuato con i dati finali e vengono elaborati i pagamenti.

Fase 2: scansione delle fatture e revisione manuale

Con l'avvento delle tecniche OCR, molto tempo è stato risparmiato automaticamente estrarre il testo da un'immagine digitale di qualsiasi fattura o documento. È qui che si trova attualmente la maggior parte delle organizzazioni che utilizzano l'OCR per qualsiasi forma di automazione.

Le copie digitali delle fatture vengono ottenute da scansione delle fatture o scattare foto utilizzando una fotocamera.
Il il testo viene estratto da queste fatture utilizzando l'OCR. Questo è in grado di fornire testo digitale che semplifica leggermente l'inserimento dei dati. Ma molto lavoro deve ancora essere fatto manualmente.
I risultati OCR di ciascuna fattura devono essere analizzati in modo appropriato per trovare i dati rilevanti e scartare i dati irrilevanti.
Fatto ciò, i dati devono essere inseriti in un software che fornisce al revisore un modello per facilitare il suo compito. Questo modello è unico per ogni caso d'uso, organizzazione e soprattutto per ogni diverso tipo di fattura. Sebbene il processo OCR aiuti l'elaborazione delle fatture, non risolve molte parti noiose a causa dei risultati non strutturati dell'OCR.
I dati inseriti vengono sottoposti a revisione manuale per correggere gli errori. Questo processo richiede del tempo poiché passa attraverso più revisori a causa delle scarse prestazioni degli strumenti OCR attualmente disponibili.
Infine, i calcoli vengono eseguiti e i dettagli del pagamento vengono inoltrati alla divisione finanziaria.

Come digitalizzare meglio le fatture?

Utilizzando l'OCR e l'apprendimento profondo, abbiamo consentito alle macchine di funzionare altrettanto bene e in alcuni casi anche meglio degli esseri umani.

La digitalizzazione delle fatture prevede diversi passaggi moderati dall'uomo:

Immagini digitali di fatture prese e caricate dall'utente.
Immagine verificata per essere idonea per ulteriori elaborazioni: buona risoluzione, tutti i dati visibili nell'immagine, date verificate, ecc.
Immagini controllate per frode.
Il testo in queste immagini viene estratto e inserito nel formato corretto.
Dati di testo inseriti in tabelle, fogli di calcolo, database, bilanci, ecc.

Fase 3: apprendimento approfondito e OCR

Gli approcci di apprendimento profondo hanno visto progressi nel particolare problema della lettura del testo e dell'estrazione di informazioni strutturate e non strutturate dalle immagini. Unendo i metodi di apprendimento profondo esistenti con la tecnologia di riconoscimento ottico dei caratteri, aziende e individui sono stati in grado di automatizzare il processo di digitalizzazione di documenti e ha consentito procedure di immissione manuale dei dati più semplici, migliore registrazione e archiviazione, minori errori e migliori tempi di risposta.

Diversi strumenti sono disponibili sul mercato e nella comunità open source per tali attività, tutti con i loro pro e contro. Alcuni di loro sono Google Vision API, Amazon Rekognition e Microsoft Cognitive Services. Gli strumenti open source più comunemente usati sono Attenzione-OCR ed Tesseract.

Tutti questi strumenti non sono all'altezza nello stesso modo: scarsa precisione che richiede la correzione manuale degli errori e la necessità di motori basati su regole che seguano il estrazione del testo per essere effettivamente in grado di utilizzare i dati in modo significativo. Parleremo di più di questi problemi e di più nelle prossime sezioni.

Cosa rende interessante il problema?

Il Panorama OCR consiste principalmente di motori basati su regole che si basano fortemente sui risultati dell'OCR di post-elaborazione abbinando modelli o definendo modelli specifici in cui i risultati dell'OCR sono costretti ad adattarsi. Questo approccio ha avuto un certo successo ma richiede uno strato di software costruito sopra Motori OCR che è un'attività che consuma risorse.

Un problema più grande con questo approccio basato su regole è che questo livello aggiuntivo di software deve essere progettato di nuovo ogni volta che si ha a che fare con un nuovo modello di fattura. L'automazione del processo di creazione dei modelli insieme all'OCR può creare un impatto enorme per chiunque lavori con le fatture.

E questo è proprio il problema che stiamo affrontando nanonet risoluto a risolvere.

Un approccio meno noto a questo problema include l'utilizzo del machine learning per apprendere la struttura di un documento o di una fattura stessa, permettendoci di lavorare con i dati, localizzare i campi che dobbiamo estrarre prima come se stessimo risolvendo un problema di Object Detection (e non OCR) e quindi estrarre il testo da esso. Questo può essere fatto modellando le tue reti neurali in modo da imparare come identificare ed estrarre tabelle, comprendere colonne e campi presenti in essa, quali colonne e campi si trovano comunemente in una fattura nonostante il formato.

Il vantaggio di un tale approccio è che diventa possibile realizzare un modello di apprendimento automatico che può essere generalizzato a qualsiasi tipo di documento o fattura e può essere utilizzato immediatamente senza personalizzazioni. L'aggiunta di un ciclo di apprendimento continuo mediante la raccolta di nuovi dati e la riqualificazione periodica dei modelli può portare a prestazioni eccezionali su un'ampia varietà di dati.

Hai in mente un problema OCR? Vuoi digitalizzare fatture, PDF o targhe? Vai a nanonet e costruisci modelli OCR gratis!

Perché gli attuali strumenti di deep learning non sono sufficienti?

Anche con tutti i vantaggi elaborazione automatica delle fatture ha da offrire, le industrie non hanno visto un'adozione diffusa delle tecnologie OCR e di deep learning e ci sono diverse ragioni per questo.

Cerchiamo di capirlo con un esempio: una compagnia di assicurazione sanitaria che si occupa di prescrizioni e fatture. Automatizza l'elaborazione dei sinistri nella tua compagnia assicurativa consentendo agli utenti di caricare immagini delle fatture scattando foto sui loro telefoni o computer o scansione delle fatture aumenterà la comodità per i clienti e li attirerà di più. Queste immagini caricate di solito vengono sottoposte a diversi cicli di revisione manuale in cui si verifica se le fatture sono legittime, se i numeri si sommano, se si tratta dei prodotti menzionati nella fattura. ricevute sono validi per una richiesta di indennizzo assicurativo, ecc. Ma con l'automazione dell'elaborazione delle fatture, queste attività possono essere eseguite in una frazione del tempo necessario per eseguirle manualmente e con una riduzione di almeno il 50% della manodopera richiesta.

Ma ci sono ostacoli alla costruzione di un tale approccio end-to-end che funzioni secondo un caso d'uso del settore, può guidare l'automazione assicurandosi che gli errori non consumino gran parte del budget e stia anche guidando tassi più elevati di onboarding dei clienti.

Precisione della tecnologia OCR

Attualmente, i migliori strumenti OCR disponibili sul mercato non funzionano in modo soddisfacente per applicare queste API su larga scala per qualsiasi caso d'uso. Secondo questo articolo, Google Visione, La migliore API OCR disponibile al momento è in grado di fornire solo una precisione dell'80%. Le accuratezze di altri prodotti sul mercato come Rekognition di Amazon e Microsoft Cognitive Services sono tristi. Microsoft ha eseguito con una precisione del 65% mentre il riconoscimento AWS è stato eseguito solo con una precisione del 21%.

Ciò è aggravato dal fatto che queste API non consentono l'addestramento personalizzato per dati specifici che l'azienda utilizzerebbe di più. Investire in un software che funziona peggio degli umani in termini di accuratezza, richiede comunque l'inserimento manuale, la correzione manuale degli errori e la revisione manuale sembra una perdita di tempo e denaro.

Competenza nel deep learning

I prodotti OCR come Google Vision devono affrontare diversi inconvenienti quando devono gestire testo con orientamenti diversi, lingue diverse, testo ombreggiato o rumoroso. Non consentono di utilizzare i dati e creare modelli personalizzati, rendendo difficile l'integrazione diretta del prodotto nel flusso di lavoro di un'organizzazione. Molte volte, per risolvere un problema come questo, le organizzazioni devono assumere un team di data science o machine learning e costruire questi strumenti da sole. Ciò richiede tempo, denaro e impegno.

Successivamente, i data scientist devono allineare le loro conoscenze e competenze con gli obiettivi aziendali e capire esattamente quali metriche ottimizzare per fornire quei risultati. Ciò richiede al data scientist di comprendere una proposta di business, trasformarla in un problema matematico, comprendere gli SLA aziendali, trovare i dati giusti, costruire modelli di machine learning, ottimizzarli per ottenere la precisione richiesta assicurandosi che anche i casi di errore siano gestiti con garbo .

Ottenere i dati giusti

Una parte molto importante della creazione del giusto modello di machine learning è trovare i dati giusti, ma semplicemente non ci sono abbastanza dati con cui lavorare. Sono disponibili set di dati per l'OCR per attività come il riconoscimento della targa o il riconoscimento della grafia, ma questi set di dati non sono sufficienti per ottenere il tipo di precisione che richiederebbe l'elaborazione di una richiesta di indennizzo assicurativo o l'assegnazione di un rimborso al fornitore.

Questi casi d'uso ci richiedono di costruire i nostri modelli e addestrarli sul tipo di dati con cui avremo a che fare maggiormente, assicurandoci anche che gli errori siano ridotti al minimo e che il set di dati sia bilanciato. Affrontare, ad esempio, prescrizioni di medici o ricevute da piccoli fornitori richiedono che i nostri modelli funzionino bene su documenti di testo digitali e scritti a mano.

Risorse computazionali

Il compito di creare una soluzione ML interna implica molto di più che assumere i migliori ingegneri di machine learning per progettare gli algoritmi con la massima precisione. I requisiti di calcolo per la creazione di modelli su dati di immagine sono elevati e di solito includono GPU sia in sede che su cloud. L'esecuzione di un'istanza GPU K-80 su Google Cloud Platform costa circa $ 230 al mese. Questi costi aumentano quando devi addestrare modelli o riqualificare vecchi modelli con nuovi dati.

Se la creazione di una soluzione interna è l'approccio che scegli, i costi di costruzione devono essere compensati da un aumento del numero di clienti che si iscrivono, un aumento della velocità di elaborazione delle fatture e una diminuzione del numero di revisori manuali richiesti.

Soluzioni su misura per le tue esigenze aziendali

La creazione di un sistema di rimborso del fornitore, ad esempio, richiede di includere diversi passaggi. Trovare un flusso di lavoro per le tue esigenze organizzative non è la stessa cosa che costruire un modello di apprendimento automatico che ti garantirà una buona precisione.

Ciò di cui hai bisogno sono modelli in grado di:

Fornire una precisione almeno a livello umano
Può gestire tutti i tipi di dati
Adatta la gestione degli errori
Aumenta la comodità della supervisione umana
Fornire trasparenza nelle fasi di elaborazione dei dati
Verifica la presenza di frodi
Consenti ai risultati dell'OCR di post-elaborazione di inserirli in una struttura
Consenti assicurandoti che tutti i campi obbligatori siano presenti e che i valori siano corretti
Consentire una facile memorizzazione e archiviazione di questi dati
Consentire l'automazione delle procedure di notifica a seconda dei risultati

Questa è, come avrai intuito, una procedura lunga e difficile, spesso con soluzioni non così semplici.

Supporta Nanonet acquisizione della fattura & automazione delle fatture in oltre 60 lingue. Costruisci il tuo modello o richiedi una demo oggi stesso!

Inserisci le nanonette

Con nanonet non devi preoccuparti di trovare talenti di machine learning, costruire modelli, comprendere l'infrastruttura cloud o la distribuzione. Tutto ciò di cui hai bisogno è un problema aziendale per il quale hai bisogno di soluzioni.

GUI basata sul Web facile da usare

Nanonets offre una GUI basata sul web facile da usare che comunica con le loro API e ti consente di creare modelli, addestrarli sui tuoi dati, ottenere metriche importanti come precisione e accuratezza e eseguire inferenze sulle tue immagini, il tutto senza scrivere alcun codice.

Modelli ospitati su cloud

Oltre a fornire diversi modelli che possono essere utilizzati immediatamente per ottenere soluzioni, gli utenti possono creare i loro modelli che sono ospitati sul cloud e sono accessibili con una richiesta API a fini di inferenza. Non è necessario preoccuparsi di ottenere un'istanza GCP o GPU per la formazione.

Algoritmi all'avanguardia

I modelli creati utilizzano algoritmi all'avanguardia per ottenere i migliori risultati. Questi modelli si evolvono costantemente per migliorare con dati sempre più numerosi e una migliore tecnologia, una migliore progettazione dell'architettura e impostazioni più efficaci dell'iperparametro.

Estrazione sul campo

La più grande sfida nella costruzione di un prodotto di digitalizzazione delle fatture è quella di dare struttura al testo estratto. Ciò è reso più semplice dalla nostra API OCR che estrae automaticamente tutti i campi necessari con i valori e li mette in una tabella o in un formato JSON per consentirti di accedere e costruire facilmente.

Automazione guidata

Noi di Nanonets crediamo che l'automazione di processi come la digitalizzazione delle fatture possa creare un impatto enorme sulla vostra organizzazione in termini di vantaggi monetari, soddisfazione del cliente e soddisfazione dei dipendenti. Nanonets si impegna a rendere onnipresente l'apprendimento automatico e, a tal fine, il nostro obiettivo rimane quello di risolvere qualsiasi problema aziendale risolto in un modo che richieda supervisione umana e budget minimi in futuro.

OCR con nanoneti

Il Piattaforma Nanonets ti permette di costruire facilmente modelli OCR. Puoi caricare i tuoi dati, annotarli, impostare il modello per l'addestramento e attendere la previsione attraverso un'interfaccia utente basata su browser senza scrivere una singola riga di codice, preoccuparti delle GPU o trovare le architetture giuste per i tuoi modelli di apprendimento profondo.

Aggiornamento: i nostri modelli sono ancora più accurati. Abbiamo aggiunto nuovi campi come numero di ordine di acquisto, ID e-mail ed estrazione di tabelle per migliorare ulteriormente la tua automazione delle fatture flussi di lavoro.

Inizia a digitalizzare le fatture con Nanonets - 1 Fare clic su Digitalizzazione:

Imposta una demo

Installa una demo per scoprire come le nanonette possono aiutarti a risolvere questo problema

‌‌

Letture consigliate

Aggiornare:‌
‌ Aggiunto ulteriore materiale di lettura sui diversi approcci all'automazione dell'elaborazione delle fatture utilizzando OCR e Deep Learning.

Timestamp: 21 aprile 2022

Timestamp: 8 agosto 2022