Automating Invoice Processing With OCR And Deep Learning

Republicat de Platon

Urmaritori: 0

Automatizarea procesării facturilor cu OCR și Deep Learning

Vrei sa automatizați procesarea facturilor? Check out Nanonets' pre-trained Factura OCR or construiește-ți propriul customized Invoice OCR. You can also programează o demonstrație pentru a afla mai multe despre cazurile noastre de utilizare AP!

Introducere

De mult timp, ne-am bazat pe facturile pe hârtie pentru a procesa plățile și a menține conturile. Reconcilierea facturilor implică, de obicei, ca cineva să petreacă manual ore întregi răsfoind mai multe facturi și notând lucrurile într-un registru.

Dar se poate face acest proces mai bine, mai eficient, cu mai puțină risipă de hârtie, muncă umană și timp?

Printre numeroasele dezavantaje ale parcurgerii manuale a acestor proceduri se numără costurile mai mari, cerința mai mare de forță de muncă, o cantitate mai mare de timp consumată în sarcini repetitive și o amprentă de carbon mai mare.

Procesul de digitalizare a unei facturi poate fi împărțit în 4 pași:

Conversia documentului fizic într-o variantă digitală - acest lucru se poate face prin
- scanarea facturii
- făcând clic pe o imagine printr-o cameră
Extragerea informațiilor – aceasta se poate face prin
- Oameni – realizat manual de recenzenți care vor analiza factura pentru erori, vor citi textul din ea și îl vor introduce într-un software pentru stocare și preluare viitoare.
- Mașini -
  - Recunoașterea optică a caracterelor – recunoașterea textului și a numerelor prezente în documente.
  - Extragerea informațiilor – odată ce Procesul de OCR este complet, este important să identificați ce fragment de text corespunde câmpului extras. Dacă un câmp este totalul, subtotalul, data facturii, furnizorul etc.
Dump de date - odată ce informațiile au fost extrase, acestea trebuie stocate într-un format recuperabil, cum ar fi
- O bază de date
- O foaie excel
- Un sistem ERP.

This post is mostly going to focus on OCR and information extraction. Before we dive into what is wrong with the current state of OCR and information extraction in procesarea facturii, let us first look at why we should care about invoice digitization in the first place.

Nanonets supports captarea facturii, gestionarea facturilor & automatizarea facturilor în peste 60 de limbi. Construiește-ți propriul model sau solicită un demo astăzi!

De ce să digitalizezi facturile?

Digitalizarea informațiilor are mai multe avantaje pe care o afacere le poate câștiga din mai multe motive. Companiile își pot urmări mai bine procesele, pot oferi un serviciu mai bun pentru clienți, pot îmbunătăți productivitatea angajaților lor și pot reduce costurile.

Iată câteva motive pentru care ar trebui să luați în considerare digitalizarea facturilor pentru propria afacere.

Pentru a automatiza procesele
Cu deep learning și OCR, puteți prelua automat aceste imagini ale facturii, puteți extrage tabele și text din ele, puteți extrage valorile diferitelor câmpuri, puteți efectua corectări ale erorilor, puteți verifica dacă produsele se potrivesc cu inventarul dvs. aprobat și, în cele din urmă, procesați reclamația dacă totul este verificat. Acesta este un salt masiv față de ceea ce a făcut industria asigurărilor în mod tradițional, dar se poate dovedi totuși foarte benefic.
Pentru a crește eficiența
By digitizing invoices, several processes can be made a lot faster and smoother. Take for example a retail store chain that deals with a few regular vendors for commodities and process payments at the end of every month. This store can save a lot of time by automating the process of gestionarea facturilor. Vendors just have to upload the bills on an app or a website and they can get instant feedback on if the images are of good resolution if the image is of the entire invoice if the image is fake or was digitally manipulated, etc saving a lot of time.
Pentru a reduce costurile
The same retail stores' franchise saves a lot of money by automating invoice digitization using OCR and deep learning. An invoice which has to pass through the hands of three reviewers so there are no errors reduces to one. The number of invoices processed by a computer is several times faster than what a human could do. The time includes checking if the invoice is a fraud, if it has all the information, if all the information is correct, entering all of the data manually into a spreadsheet or a database, running calculations and finally processing the payment.
Pentru o mai bună depozitare
În cazul litigiilor, vânzătorul poate accesa aplicația și poate consulta toate facturile pe care le-a încărcat și rezultatele post-procesare ale fiecărei facturi, explicând mărfurile, cantitățile acestora, costurile fiecăreia, taxele și reducerile. Compania, după ce a automatizat procesul de introducere a acestor date într-o bază de date, poate acum să recupereze aceste informații oricând.
Pentru a crește satisfacția clienților
Invoice processing in a similar way can also help companies improve their customer service. Your delivery from an e-commerce platform missing a product? Reach out to them, send them the invoice and explain what's missing and the company will automatically read the primire, find what left their warehouses and send you a response saying your missing product is now on the way!
Pentru a reduce amprenta ecologică
Făcând niște calcule simple ca cele făcute aici ne dăm seama că o organizație mijlocie care procesează 50000 de facturi pe lună ajunge să sacrifice mai mult de 30 de copaci pe an. Acest număr va crește de cele mai multe ori din cauza dublării facturilor. Același volum de hârtie va necesita, de asemenea, 2.5 milioane de litri de apă pentru fabricare. Într-un astfel de timp, luarea măsurilor necesare de către organizații pentru a-și reduce amprenta ecologică poate ajuta foarte mult mediul.

Evolutia procesului de facturare

Procesul de revizuire a facturilor a evoluat foarte mult de-a lungul timpului. Creșterea tehnologiei a făcut ca procesul de procesare a facturilor să treacă prin trei faze majore.

Faza 1: Revizuirea manuală

Consider a use case where an organisation is going through it's process of reimbursing its regular vendors for the expenses of the month.

Automatizarea procesării facturilor cu OCR și Deep Learning

Următorii pași sunt urmați pentru procesarea facturilor -

People are expected to submit several invoices in person to the concerned organisation's point of contact.
Această persoană va transmite, la rândul său, toate facturile unui examinator care va examina în întregime fiecare document. Aceasta include notarea sau introducerea fiecărui detaliu într-un software, cum ar fi numele persoanei care face achiziția, numele magazinului de la achiziționat, data și ora achiziției, articolele achiziționate, costurile acestora, reducerile și taxele.
Suma totală a fiecărei facturi calculată, din nou manual sau dacă software-ul de introducere a datelor este conceput special pentru scopuri contabile, utilizând respectivul software.
A final bill/primire is made with the final figures and the payments are processed.

Faza 2: Scanarea facturilor și revizuirea manuală

Odată cu apariția tehnicilor OCR, sa economisit mult timp în mod automat extragerea textului dintr-o imagine digitală a oricărei facturi sau a unui document. Aici se află în prezent majoritatea organizațiilor care folosesc OCR pentru orice formă de automatizare.

Digital copies of invoices are obtained by scanarea facturilor or taking pictures using a camera.
textul este extras din aceste facturi folosind OCR. Acest lucru este capabil să ofere text digital care facilitează puțin introducerea datelor. Dar multă muncă trebuie făcută manual.
Rezultatele OCR ale fiecărei facturi trebuie analizate în mod corespunzător pentru a găsi datele relevante și pentru a elimina datele irelevante.
Once this is done, the data has to be entered into a software which provides the reviewer with a template to make his task easier. This template is unique to each use case, organisation and mostly for each different kind of invoice. While the OCR process helps the invoice processing, it doesn't solve many tedious parts due to the unstructured results of OCR.
Datele introduse sunt supuse revizuirii manuale pentru a corecta erorile. Acest proces durează ceva timp, deoarece trece prin mai mulți examinatori din cauza performanței slabe a instrumentelor OCR disponibile în prezent.
În final, calculele sunt făcute și detaliile de plată sunt transmise diviziei de finanțe.

Cum să digitalizezi mai bine facturile?

Prin utilizarea OCR și a învățării profunde, am permis mașinilor să funcționeze la fel de bine și, în unele cazuri, chiar mai bine decât oamenii.

Digitalizarea facturilor implică mai mulți pași moderati de oameni:

Imagini digitale ale facturilor preluate și încărcate de utilizator.
Imaginea verificată pentru a fi potrivită pentru procesarea ulterioară – rezoluție bună, toate datele vizibile în imagine, datele verificate etc.
Imaginile verificate pentru fraudă.
Textul din aceste imagini este extras și pus în formatul potrivit.
Date text introduse în tabele, foi de calcul, baze de date, bilanţuri etc.

Faza 3: Învățare profundă și OCR

Abordările de învățare profundă au înregistrat progrese în problema particulară a citirii textului și a extragerii de informații structurate și nestructurate din imagini. Prin îmbinarea metodelor existente de învățare profundă cu tehnologia de recunoaștere optică a caracterelor, companiile și persoanele fizice au reușit să automatizeze procesul de digitizarea documentelor și a permis proceduri mai ușoare de introducere manuală a datelor, înregistrare și stocare mai bune, erori mai mici și timpi de răspuns mai buni.

Mai multe instrumente sunt disponibile pe piață și în comunitatea open-source pentru astfel de sarcini, toate cu avantajele și dezavantajele lor. Unele dintre ele sunt Google Vision API, Amazon Rekognition și Microsoft Cognitive Services. Cele mai frecvent utilizate instrumente open-source sunt Atenție-OCR și Tesseract.

Toate aceste instrumente sunt scurte în același mod - precizie proastă care necesită corectarea manuală a erorilor și necesitatea unor motoare bazate pe reguli care urmează extragerea textului pentru a putea folosi efectiv datele în orice mod semnificativ. Vom vorbi mai multe despre aceste probleme și mai multe în secțiunile următoare.

Ce face problema interesantă?

Peisaj OCR constă în cea mai mare parte din motoare bazate pe reguli care se bazează în mare măsură pe rezultatele OCR de post-procesare prin potrivirea tiparelor sau definirea unor șabloane specifice în care rezultatele OCR sunt forțate să se încadreze. Această abordare a înregistrat un oarecare succes, dar necesită un strat de software construit pe deasupra Motoare OCR, care este o sarcină consumatoare de resurse.

O problemă mai mare cu această abordare bazată pe reguli este că acest strat suplimentar de software trebuie să fie proiectat din nou de fiecare dată când aveți de-a face cu un nou șablon de factură. Automatizarea procesului de șabloane împreună cu OCR poate crea un impact masiv pentru oricine lucrează cu facturi.

And that's just the problem we at Nanoneți hotărât să rezolve.

O abordare mai puțin cunoscută a acestei probleme include utilizarea machine learning pentru a învăța structura unui document sau a unei facturi în sine, permițându-ne să lucrăm cu date, să localizăm câmpurile pe care trebuie să le extragem mai întâi ca și cum am rezolva o problemă de detectare a obiectelor (și nu OCR) și apoi scoaterea textului din acesta. Acest lucru se poate face prin modelarea rețelelor neuronale astfel încât să înveți cum să identifici și să extragi tabele, să înțelegi coloanele și câmpurile prezente în ele, ce coloane și câmpuri se găsesc de obicei într-o factură, indiferent de format.

Avantajul unei astfel de abordări este că devine posibil să se realizeze un model de învățare automată care poate fi generalizat la orice tip de document sau factură și poate fi folosit din cutie fără personalizări. Adăugarea unei bucle de învățare continuă prin colectarea de date noi și reinstruirea periodică a modelelor poate duce la performanțe excelente pe o mare varietate de date.

Ai în minte o problemă OCR? Doriți să digitalizați facturile, PDF-urile sau plăcuțele de înmatriculare? Îndreptați-vă spre Nanoneți și construiește gratuit modele OCR!

Why current deep learning tools don't suffice?

Chiar și cu toate beneficiile prelucrarea automată a facturilor has to offer, industries haven't seen widespread adoption of OCR and deep learning technologies and there are several reasons for it.

Let's try to understand with an example – a health insurance company dealing with prescriptions and invoices. Automating claims processing in your insurance company by letting users upload images of invoices by taking pictures on their phones or computers or scanarea facturilor will increase the convenience for customers and will attract them more. These uploaded images usually go through several rounds of the manual review where you verify if the invoices are legitimate if the numbers add up, it the products mentioned in the încasări are valid for an insurance claim, etc. But with invoice processing automation, these tasks can be done in a fraction of the time taken to do it manually, and with at least a 50% reduction in manpower required.

Dar există obstacole în construirea unei astfel de abordări de la capăt la capăt care funcționează conform unui caz de utilizare al industriei, poate conduce automatizarea, asigurându-se în același timp că erorile nu consumă mult din buget și, de asemenea, generează rate mai mari de integrare a clienților.

Precizia tehnologiei OCR

În prezent, cele mai bune instrumente OCR disponibile pe piață nu funcționează în mod satisfăcător pentru a aplica aceste API-uri la scară pentru orice caz de utilizare. Conform cu aceasta articol, Google Vision, Cel mai bine API OCR disponibil chiar acum poate oferi doar o precizie de 80%. Precizia altor produse de pe piață, cum ar fi Amazon Rekognition și Microsoft Cognitive Services sunt dezamăgitoare. Microsoft a avut rezultate cu o precizie de 65%, în timp ce recunoașterea AWS a funcționat doar cu o precizie de 21%.

Acest lucru este agravat de faptul că aceste API-uri nu permit instruire personalizată pentru anumite date pe care compania le-ar folosi cel mai mult. Investiția în software care funcționează mai rău decât oamenii în ceea ce privește acuratețea, necesită încă introducere manuală, corectarea manuală a erorilor și revizuirea manuală pare o pierdere de timp și bani.

Expertiză Deep Learning

OCR products like Google Vision face several drawbacks when it has to deal with text in different orientations, different languages, shadowy or noisy text. They do not allow you to use your data and build custom models, making the product's direct integration into an organization's workflow difficult. Many times, to work around a problem like this, organizations have to hire a data science or machine learning team and build these tools for themselves. This takes time, money and effort.

După aceasta, oamenii de știință de date trebuie să-și alinieze cunoștințele și expertiza cu obiectivele companiei și să descopere exact ce măsurători să optimizeze pentru a oferi acele rezultate. Acest lucru necesită ca cercetătorul de date să înțeleagă o propunere de afaceri, să o transforme într-o problemă matematică, să înțeleagă SLA-urile companiei, să găsească datele potrivite, să construiască modele de învățare automată, să le ajusteze pentru a obține acuratețea necesară, asigurându-se în același timp că cazurile de eroare sunt gestionate cu grație. .

Obținerea datelor corecte

A very important part of building the right machine learning model is finding the right data, and there just isn't enough data for us to work with. There are datasets available for OCR for tasks like number plate recognition or handwriting recognition but these datasets are hardly enough to get the kind of accuracy an insurance claims processing or a vendor repayment assignment would require.

These use cases require us to build our models and train them on the kind of data we are going to be dealing with the most while also making sure that errors are minimized and the dataset is balanced. Dealing with, say prescriptions from doctors or încasări from small vendors require our models to perform well on digital as well as handwritten text documents.

Resurse de calcul

Sarcina de a construi o soluție ML internă implică mai mult decât angajarea celor mai buni ingineri de învățare automată pentru a proiecta algoritmii cu cea mai bună acuratețe. Cerințele de calcul pentru construirea de modele pe date de imagine sunt mari și de obicei includ GPU-uri fie on-premise, fie on-cloud. Rularea unei instanțe GPU K-80 pe Google Cloud Platform costă aproximativ 230 USD pe lună. Aceste costuri cresc atunci când trebuie să antrenați modele sau să reeducați modele vechi cu date noi.

Dacă construirea unei soluții interne este abordarea pe care o alegeți, costurile construirii acesteia trebuie compensate printr-un număr crescut de clienți care se înscriu, o rată crescută de procesare a facturilor și o scădere a numărului de evaluatori manuali necesari.

Adaptarea soluțiilor la nevoile afacerii dvs

Construirea unui sistem de rambursare a furnizorilor, de exemplu, necesită să includem mai mulți pași. Găsirea unui flux de lucru pentru nevoile dumneavoastră organizaționale nu este același lucru cu construirea unui model de învățare automată care vă va oferi o precizie bună.

Ceea ce aveți nevoie sunt modele care pot:

Oferă precizie cel puțin la nivel uman
Poate gestiona tot felul de date
Acomodați gestionarea erorilor
Creșteți confortul supravegherii umane
Asigurați transparență în etapele de prelucrare a datelor
Verificați dacă există fraude
Permiteți postprocesării rezultatelor OCR pentru a le pune într-o structură
Permiteți să vă asigurați că toate câmpurile obligatorii sunt acolo și că valorile sunt corecte
Permite stocarea și baza de date ușoară a acestor date
Permite automatizarea procedurilor de notificare în funcție de rezultate

Aceasta este, după cum probabil ați ghicit, o procedură lungă și dificilă, adesea cu soluții nu atât de directe.

Nanonets supports captarea facturii & automatizarea facturilor în peste 60 de limbi. Construiește-ți propriul model sau solicită un demo astăzi!

Intră Nanonets

cu Nanoneți nu trebuie să vă faceți griji pentru a găsi talent de învățare a mașinilor, pentru a construi modele, pentru a înțelege infrastructura de cloud sau pentru implementare Tot ce ai nevoie este o problemă de afaceri pentru care ai nevoie de soluții.

GUI ușor de utilizat pe web

Nanonets oferă un GUI bazat pe web ușor de utilizat, care comunică cu API-ul lor și vă permite să creați modele, să le instruiți pe datele dvs., să obțineți valori importante precum precizia și acuratețea și să rulați inferențe pe imaginile dvs., toate fără a scrie cod.

Modele găzduite de cloud

În afară de furnizarea mai multor modele care pot fi utilizate direct din cutie pentru a obține soluții, utilizatorii își pot construi modelele care sunt găzduite pe cloud și pot fi accesate cu o cerere API pentru scopuri inferente. Nu este nevoie să vă faceți griji cu privire la obținerea unei instanțe GCP sau a GPU-urilor pentru instruire.

Algoritmi de ultimă generație

Modelele construite folosesc algoritmi de ultimă generație pentru a obține cele mai bune rezultate. Aceste modele evoluează în mod constant pentru a deveni mai bune cu date mai multe și mai bune și tehnologie mai bună, design arhitectural mai bun și setări de hiperparametri mai robuste.

Field extraction

Cea mai mare provocare în construirea unui produs de digitalizare a facturilor este de a oferi structură textului extras. Acest lucru este ușor de către API-ul nostru OCR, care extrage automat toate câmpurile necesare cu valorile și le pune într-un tabel sau într-un format JSON pentru a putea accesa și construi mai ușor.

Automatizat

Noi, cei de la Nanonets, credem că automatizarea proceselor precum digitizarea facturilor poate crea un impact masiv asupra organizației dumneavoastră în ceea ce privește beneficiile monetare, satisfacția clienților și satisfacția angajaților. Nanonets se străduiește să facă învățarea automată omniprezentă și, în acest scop, scopul nostru rămâne să facem orice problemă de afaceri pe care ați rezolvat-o într-un mod care necesită supraveghere umană minimă și bugete în viitor.

OCR cu nanonete

Platforma Nanonets vă permite să construiți modele OCR cu ușurință. Puteți încărca datele, adnota, seta modelul să se antreneze și să așteptați să primiți predicții printr-o interfață de utilizator bazată pe browser fără să scrieți o singură linie de cod, să vă faceți griji pentru GPU sau să găsiți arhitecturile potrivite pentru modelele dvs. de învățare profundă.

Update: Our models are even more accurate. We've added new fields like PO number, email IDs and table extraction for further improving your automatizarea facturilor fluxuri de lucru.

Începeți să digitalizați facturile cu Nanonets – 1 Faceți clic pe Digitalizare:

Configurați o demonstrație

Configurați o demonstrație pentru a afla cum Nanonetele vă pot ajuta să rezolvați această problemă

‌‌

Lecturi suplimentare

Actualizați:‌
‌ Added more reading material about different approaches in automating invoice processing using OCR and Deep Learning.

Timestamp-ul: Aprilie 21, 2022

Timestamp-ul: August 8, 2022