Avtomatizacija obdelave računov z OCR in poglobljenim učenjem

Ponovno objavil Platon

Spremljevalci: 0

Avtomatizacija obdelave računov z OCR in globinskim učenjem

Želite avtomatsko obdelavo računov? Oglejte si predhodno usposabljanje Nanonets OCR računa or zgraditi svoje prilagojen OCR računa. Lahko tudi načrtuj predstavitev če želite izvedeti več o naših primerih uporabe AP!

Predstavitev

Dolgo časa smo se za obdelavo plačil in vodenje računov zanašali na papirnate račune. Usklajevanje računov običajno vključuje nekoga, ki ročno porabi ure za brskanje po več računih in zapisovanje stvari v glavno knjigo.

Toda ali je ta proces mogoče izvesti bolje, učinkoviteje, z manj izgube papirja, človeškega dela in časa?

Med številnimi pomanjkljivostmi ročnega izvajanja teh postopkov so višji stroški, večja zahteva po delovni sili, več časa, porabljenega za ponavljajoče se naloge, in večji ogljični odtis.

Postopek digitalizacije računa lahko razdelimo na 4 korake:

Pretvorba fizičnega dokumenta v digitalno različico – to je mogoče storiti prek
- skeniranje računov
- klikanje slike skozi kamero
Pridobivanje informacij – to lahko storite z
- Ljudje – ročno opravijo pregledovalci, ki bodo analizirali račun za napake, prebrali besedilo v njem in ga vnesli v programsko opremo za shranjevanje in prihodnji priklic.
- Stroji -
  - Optično prepoznavanje znakov – prepoznavanje besedila in številk v dokumentih.
  - Ekstrakcija informacij – ko je postopek OCR končan, je pomembno ugotoviti, kateri del besedila ustreza kateremu ekstrahiranemu polju. Če je polje vsota, delna vsota, datum računa, prodajalec itd.
Izpis podatkov – ko so informacije ekstrahirane, jih je treba shraniti v obliki, ki jo je mogoče pridobiti, npr
- Baza podatkov
- Excelov list
- Sistem ERP.

Ta objava se bo večinoma osredotočala na OCR in pridobivanje informacij. Preden se poglobimo v to, kaj je narobe s trenutnim stanjem OCR in pridobivanja informacij obdelava računov, si najprej poglejmo, zakaj bi sploh morali skrbeti za digitalizacijo računov.

Nanonet podpira zajem računa, upravljanje računov & avtomatizacija računov v več kot 60 jezikih. Zgradite svoj model ali zahtevajte predstavitev še danes!

Zakaj digitalizirati račune?

Digitalizacija informacij ima številne prednosti, ki jih podjetje lahko pridobi iz več razlogov. Podjetja lahko bolje spremljajo svoje procese, lahko zagotovijo boljše storitve za stranke, izboljšajo produktivnost svojih zaposlenih in zmanjšajo stroške.

Tukaj je nekaj razlogov, zakaj bi morali razmisliti o digitalizaciji računov za svoje podjetje.

Za avtomatizacijo procesov
Z globokim učenjem in OCR lahko samodejno vzamete te slike računov, iz njih izvlečete tabele in besedilo, izvlečete vrednosti različnih polj, popravite napake, preverite, ali se izdelki ujemajo z vašo odobreno zalogo, in končno obdelate zahtevek, če je vse potrjeno. To je ogromen preskok od tega, kar je tradicionalno počela zavarovalniška industrija, vendar se lahko kljub temu izkaže za zelo koristnega.
Za povečanje učinkovitosti
Z digitalizacijo računov lahko številne procese naredimo veliko hitrejše in bolj gladke. Vzemimo za primer verigo maloprodajnih trgovin, ki posluje z nekaj rednimi prodajalci blaga in obdeluje plačila ob koncu vsakega meseca. Ta trgovina lahko prihrani veliko časa z avtomatizacijo postopka upravljanje računov. Prodajalci morajo le naložiti račune v aplikacijo ali na spletno mesto in takoj lahko dobijo povratne informacije o tem, ali so slike dobre ločljivosti, ali je slika celotnega računa, ali je slika ponarejena ali je bila digitalno spremenjena itd., s čimer prihranijo veliko čas.
Za zmanjšanje stroškov
Franšiza iste maloprodajne trgovine prihrani veliko denarja z avtomatizacijo digitalizacije računov z OCR in globokim učenjem. Račun, ki mora iti skozi roke treh pregledovalcev, da ne pride do napak, se zmanjša na enega. Število računov, ki jih obdela računalnik, je nekajkrat hitrejše od tistega, kar bi lahko naredil človek. Čas vključuje preverjanje, ali je račun goljufija, ali vsebuje vse podatke, ali so vsi podatki pravilni, ročni vnos vseh podatkov v preglednico ali bazo podatkov, izvajanje izračunov in končno obdelavo plačila.
Za boljše shranjevanje
V primeru spora lahko prodajalec doseže aplikacijo in si ogleda vse račune, ki jih je naložil, in rezultate naknadne obdelave vsakega računa, pri čemer pojasni blago, njegovo količino, stroške vsakega, davke in popuste. Podjetje, ki je avtomatiziralo proces vnašanja teh podatkov v podatkovno bazo, lahko zdaj te informacije pridobi tudi kadarkoli.
Za povečanje zadovoljstva strank
Obdelava računov na podoben način lahko tudi pomaga podjetjem izboljšati storitve za stranke. Pri vaši dostavi s platforme za e-trgovino manjka izdelek? Obrnite se nanje, jim pošljite račun in razložite, kaj manjka, in podjetje bo samodejno prebralo Prejem, najdejo, kaj je zapustilo njihova skladišča, in vam pošljejo odgovor, da je vaš manjkajoči izdelek zdaj na poti!
Za zmanjšanje ekološkega odtisa
Izvedite nekaj preprostih izračunov, kot so ti tukaj zavedamo se, da srednje velika organizacija, ki mesečno obdela 50000 računov, na koncu žrtvuje več kot 30 dreves na leto. To število se bo večinoma povečalo zaradi podvajanja računov. Ta ista količina papirja bo za proizvodnjo zahtevala tudi 2.5 milijona litrov vode. V tem času lahko organizacije, ki sprejmejo potrebne ukrepe za zmanjšanje svojega okoljskega odtisa, zelo pomagajo okolju.

Razvoj postopka fakturiranja

Postopek pregleda računov se je skozi čas zelo razvil. Zaradi rasti tehnologije je postopek obdelave računov potekal skozi tri glavne faze.

Faza 1: Ročno pregledovanje

Razmislite o primeru uporabe, ko gre organizacija skozi svoj postopek povračila mesečnih stroškov svojim rednim prodajalcem.

Avtomatizacija obdelave računov z OCR in globinskim učenjem

Za obdelavo računov sledite naslednjim korakom –

Od ljudi se pričakuje, da bodo osebno predložili več računov kontaktni točki zadevne organizacije.
Ta oseba bi nato posredovala vse račune pregledovalcu, ki bo v celoti pregledal vsak dokument. To vključuje zapisovanje ali vnos vsake podrobnosti v programsko opremo, kot je ime osebe, ki je opravila nakup, ime trgovine, v kateri je bilo kupljeno, datum in čas nakupa, kupljeni izdelki, njihovi stroški, popusti in davki.
Skupna vsota vsakega računa, izračunana, ponovno ročno ali če je programska oprema za vnos podatkov zasnovana posebej za računovodske namene, z uporabo omenjene programske opreme.
Končni račun/Prejem je izdelan s končnimi zneski in plačila so obdelana.

2. faza: Skeniranje računov in ročni pregled

S pojavom tehnik OCR se je samodejno prihranilo veliko časa ekstrahiranje besedila iz digitalne slike katerega koli računa ali dokumenta. Tukaj je trenutno večina organizacij, ki uporabljajo OCR za kakršno koli obliko avtomatizacije.

Digitalne kopije računov pridobi skeniranje računov ali fotografiranje s fotoaparatom.
O besedilo je izvlečeno iz teh računov z OCR. To lahko zagotovi digitalno besedilo, ki olajša vnos podatkov. Toda še vedno je treba veliko dela opraviti ročno.
Rezultate OCR vsakega računa je treba ustrezno razčleniti, da se najdejo ustrezni podatki in zavreči nepomembne podatke.
Ko je to storjeno, je treba podatke vnesti v programsko opremo, ki recenzentu ponudi predlogo, ki mu olajša nalogo. Ta predloga je edinstvena za vsak primer uporabe, organizacijo in večinoma za vsako drugo vrsto računa. Medtem ko postopek OCR pomaga pri obdelavi računov, ne reši številnih dolgočasnih delov zaradi nestrukturiranih rezultatov OCR.
Vneseni podatki so ročno pregledani, da se odpravijo napake. Ta postopek traja nekaj časa, saj gre skozi več pregledovalcev zaradi slabega delovanja trenutno razpoložljivih orodij OCR.
Nazadnje so izračuni opravljeni in podatki o plačilu so posredovani finančnemu oddelku.

Kako bolje digitalizirati račune?

Z uporabo OCR in poglobljenega učenja smo strojem omogočili enako dobro in v nekaterih primerih celo boljše delovanje kot ljudje.

Digitalizacija računov vključuje več korakov, ki jih vodi človek:

Digitalne slike računov, ki jih posname in naloži uporabnik.
Slika preverjena, da je primerna za nadaljnjo obdelavo – dobra ločljivost, vsi podatki vidni na sliki, datumi preverjeni itd.
Slike so bile preverjene glede goljufije.
Besedilo na teh slikah je ekstrahirano in postavljeno v pravo obliko.
Besedilni podatki, vneseni v tabele, preglednice, baze podatkov, bilance itd.

Faza 3: Globoko učenje in OCR

Pristopi globokega učenja so opazili napredek pri določenem problemu branja besedila in pridobivanja strukturiranih in nestrukturiranih informacij iz slik. Z združitvijo obstoječih metod globokega učenja s tehnologijo optičnega prepoznavanja znakov so podjetja in posamezniki lahko avtomatizirali proces digitalizacija dokumentov in omogočil lažje postopke ročnega vnosa podatkov, boljše beleženje in shranjevanje, manj napak in boljši odzivni čas.

Za takšne naloge je na trgu in v odprtokodni skupnosti na voljo več orodij, vsa s svojimi prednostmi in slabostmi. Nekateri od njih so Google Vision API, Amazon Rekognition in Microsoft Cognitive Services. Najpogosteje uporabljena odprtokodna orodja so Pozor-OCR in Teseract.

Vsa ta orodja so nezadostna na enak način – slaba natančnost, ki zahteva ročno odpravljanje napak in potreba po motorjih, ki temeljijo na pravilih in sledijo izvlečenje besedila da bi dejansko lahko uporabili podatke na smiseln način. O teh težavah in več bomo govorili v naslednjih razdelkih.

Zakaj je problem zanimiv?

O pokrajina OCR je večinoma sestavljen iz mehanizmov, ki temeljijo na pravilih in se v veliki meri zanašajo na naknadno obdelavo rezultatov OCR z ujemanjem vzorcev ali definiranjem specifičnih predlog, ki jim morajo biti rezultati OCR prisiljeni ustrezati. Ta pristop je bil nekoliko uspešen, vendar zahteva plast programske opreme, zgrajene na vrhu OCR motorjev, kar je naloga, ki porablja vire.

Večja težava pri tem pristopu, ki temelji na pravilih, je, da je treba to dodano plast programske opreme znova oblikovati vsakič, ko imate opravka z novo predlogo računa. Avtomatizacija postopka oblikovanja predlog skupaj z OCR lahko povzroči ogromen učinek na vse, ki delajo z računi.

In to je samo problem, v katerem smo Nanoneti odločeno rešiti.

Manj znan pristop k tej težavi vključuje uporabo strojnega učenja za učenje strukture samega dokumenta ali računa, kar nam omogoča delo s podatki, lokalizacijo polj, ki jih moramo najprej ekstrahirati, kot da bi reševali problem zaznavanja predmetov (in ne OCR) in nato iz njega pridobite besedilo. To je mogoče storiti z modeliranjem vaših nevronskih mrež na način, da se naučite prepoznati in ekstrahirati tabele, razumeti stolpce in polja, ki so v njih prisotni, katere stolpce in polja običajno najdemo na računu, ne glede na obliko.

Prednost takšnega pristopa je v tem, da je mogoče izdelati model strojnega učenja, ki ga je mogoče posplošiti na kakršen koli dokument ali račun in ga je mogoče uporabiti takoj, brez kakršnih koli prilagoditev. Dodajanje nenehne učne zanke z zbiranjem novih podatkov in periodičnim ponovnim usposabljanjem modelov lahko privede do odlične učinkovitosti pri najrazličnejših podatkih.

Imate v mislih težavo z OCR? Želite digitalizirati račune, PDF datoteke ali tipske tablice? Pojdite na Nanoneti in gradite OCR modele brezplačno!

Zakaj trenutna orodja za globoko učenje ne zadoščajo?

Tudi z vsemi ugodnostmi avtomatizirana obdelava računov ponuja, panoge niso bile deležne širokega sprejetja tehnologij OCR in globokega učenja in za to obstaja več razlogov.

Poskusimo razumeti na primeru – zdravstvena zavarovalnica, ki se ukvarja z recepti in računi. Avtomatizacija obdelave odškodninskih zahtevkov v vaši zavarovalnici tako, da uporabnikom omogočite nalaganje slik računov s fotografiranjem na svojih telefonih ali računalnikih oz. skeniranje računov bo povečalo udobje za stranke in jih bo še bolj pritegnilo. Te naložene slike gredo običajno skozi več krogov ročnega pregleda, kjer preverite, ali so računi zakoniti, če se številke seštejejo, ali izdelki, omenjeni v prejemki veljajo za zavarovalni zahtevek itd. Toda z avtomatizacijo obdelave računov je mogoče te naloge opraviti v delčku časa, ki je potreben za ročno izvedbo, in z najmanj 50-odstotnim zmanjšanjem potrebne delovne sile.

Vendar pa obstajajo ovire pri gradnji takšnega pristopa od konca do konca, ki deluje v skladu s primerom uporabe v panogi, lahko spodbuja avtomatizacijo, hkrati pa zagotavlja, da napake ne porabijo velikega dela proračuna, in spodbuja tudi višje stopnje vključitve strank.

Natančnost tehnologije OCR

Trenutno najboljša orodja OCR, ki so na voljo na trgu, ne delujejo zadovoljivo za uporabo teh API-jev v velikem obsegu za kateri koli primer uporabe. Glede na to članek, Google Vision, Najboljši API za OCR ki je trenutno na voljo, lahko zagotovi samo 80-odstotno natančnost. Točnost drugih izdelkov na trgu, kot je Amazonsko ponovno vžiganje in Microsoft Cognitive Services so žalostne. Microsoft je deloval s 65-odstotno natančnostjo, medtem ko je prepoznavanje AWS delovalo le z 21-odstotno natančnostjo.

To je še slabše zaradi dejstva, da ti API-ji ne omogočajo usposabljanja po meri za specifične podatke, ki bi jih podjetje največ uporabljalo. Vlaganje v programsko opremo, ki glede natančnosti deluje slabše od ljudi, še vedno potrebuje ročni vnos, ročno odpravljanje napak in ročni pregled, se zdi izguba časa in denarja.

Strokovno znanje o globokem učenju

Izdelki OCR, kot je Google Vision, se soočajo z več pomanjkljivostmi, ko se morajo ukvarjati z besedilom v različnih orientacijah, različnih jezikih, senčnem ali šumnem besedilu. Ne dovoljujejo vam uporabe vaših podatkov in gradnje modelov po meri, zaradi česar je neposredna integracija izdelka v potek dela organizacije težavna. Velikokrat morajo organizacije, da bi rešile problem, kot je ta, najeti ekipo za podatkovno znanost ali strojno učenje in zase zgraditi ta orodja. To zahteva čas, denar in trud.

Po tem morajo podatkovni znanstveniki uskladiti svoje znanje in strokovnost s cilji podjetja in natančno ugotoviti, katere meritve optimizirati, da bodo dosegli te rezultate. To od podatkovnega znanstvenika zahteva, da razume poslovni predlog, ga spremeni v matematični problem, razume SLA podjetja, poišče prave podatke, zgradi modele strojnega učenja, jih prilagodi, da dobijo zahtevano natančnost, hkrati pa poskrbi, da se primeri napak obravnavajo elegantno. .

Pridobivanje pravih podatkov

Zelo pomemben del gradnje pravega modela strojnega učenja je iskanje pravih podatkov, podatkov pa preprosto ni dovolj, s katerimi bi lahko delali. Obstajajo nabori podatkov, ki so na voljo za OCR za naloge, kot je prepoznavanje registrskih tablic ali prepoznavanje rokopisa, vendar ti nabori podatkov komajda zadoščajo za točnost, ki bi jo zahtevala obdelava zavarovalnih zahtevkov ali dodelitev odplačil prodajalcu.

Ti primeri uporabe zahtevajo, da zgradimo svoje modele in jih usposobimo za vrsto podatkov, s katerimi bomo imeli največ opravka, hkrati pa poskrbimo, da so napake čim manjše in da je nabor podatkov uravnotežen. Ukvarjanje z recimo recepti zdravnikov oz prejemki od malih prodajalcev zahtevajo, da se naši modeli dobro obnesejo na digitalnih in ročno napisanih besedilnih dokumentih.

Računalniška sredstva

Naloga izdelave interne rešitve ML vključuje več kot le najem najboljših inženirjev za strojno učenje za oblikovanje algoritmov z najboljšo natančnostjo. Računalniške zahteve za gradnjo modelov na slikovnih podatkih so visoke in običajno vključujejo grafične procesorje na mestu uporabe ali v oblaku. Zagon instance K-80 GPU na Google Cloud Platform stane približno 230 USD na mesec. Ti stroški se povečajo, ko morate usposobiti modele ali preučiti stare modele z novimi podatki.

Če je izgradnja interne rešitve pristop, ki ga izberete, je treba stroške njene izgradnje nadomestiti s povečanim številom strank, ki se prijavijo, povečano stopnjo obdelave računov in zmanjšanjem števila potrebnih ročnih pregledovalcev.

Prilagajanje rešitev vašim poslovnim potrebam

Izgradnja sistema odplačevanja dobavitelja na primer zahteva, da vključimo več korakov. Iskanje poteka dela za vaše organizacijske potrebe ni isto kot izgradnja modela strojnega učenja, ki vam bo zagotovil dobro natančnost.

Kar potrebujete, so modeli, ki lahko:

Zagotovite natančnost vsaj na človeški ravni
Lahko obdeluje vse vrste podatkov
Prilagodite obravnavo napak
Povečajte udobje človeškega nadzora
Zagotovite preglednost v korakih obdelave podatkov
Preverite goljufijo
Dovolite naknadno obdelavo rezultatov OCR, da jih postavite v strukturo
Dovolite, da se prepričate, ali so tam vsa zahtevana polja in so vrednosti pravilne
Omogoča enostavno shranjevanje in bazo teh podatkov
Dovolite avtomatizacijo postopkov obveščanja glede na rezultate

Kot ste morda uganili, je to dolg in težaven postopek, pogosto z ne tako jasnimi rešitvami.

Nanonet podpira zajem računa & avtomatizacija računov v več kot 60 jezikih. Zgradite svoj model ali zahtevajte predstavitev še danes!

Vstopite v Nanonets

z Nanoneti vam ni treba skrbeti za iskanje talentov za strojno učenje, gradnjo modelov, razumevanje infrastrukture v oblaku ali uvajanje. Vse, kar potrebujete, je poslovni problem, za katerega potrebujete rešitve.

Enostaven za uporabo spletnega uporabniškega vmesnika

Nanonets ponuja spletni uporabniški vmesnik, ki je enostaven za uporabo, ki komunicira z njihovim API-jem in vam omogoča ustvarjanje modelov, njihovo usposabljanje na vaših podatkih, pridobivanje pomembnih meritev, kot sta natančnost in natančnost ter sklepanje na vaših slikah, vse brez pisanja kode.

Modeli v oblaku

Poleg zagotavljanja več modelov, ki jih je mogoče neposredno uporabiti za iskanje rešitev, lahko uporabniki izdelajo svoje modele, ki gostujejo v oblaku in so dostopni z zahtevo API za namene sklepanja. Ni vam treba skrbeti, ali boste za usposabljanje dobili primerek GCP ali grafične procesorje.

Najsodobnejši algoritmi

Zgrajeni modeli uporabljajo najsodobnejše algoritme, da vam zagotovijo najboljše rezultate. Ti modeli se nenehno razvijajo, da postanejo boljši z več in boljšimi podatki in boljšo tehnologijo, boljšo zasnovo arhitekture in robustnejšimi nastavitvami hiperparametrov.

Ekstrakcija na terenu

Največji izziv pri izdelavi izdelka za digitalizacijo računov je dati strukturirano izvlečeno besedilo. To nam olajša naš OCR API, ki samodejno izvleče vsa potrebna polja z vrednostmi in jih postavi v tabelo ali format JSON, da boste lahko dostopali do njih in nadaljevali z njimi.

Poganja avtomatizacija

V podjetju Nanonets verjamemo, da lahko avtomatizacija procesov, kot je digitalizacija računov, močno vpliva na vašo organizacijo v smislu denarnih koristi, zadovoljstva strank in zaposlenih. Nanonets si prizadeva narediti strojno učenje vseprisotno in v ta namen je naš cilj še vedno rešiti vse poslovne težave, ki ste jih rešili, na način, ki v prihodnosti zahteva minimalen človeški nadzor in proračune.

OCR z Nanoneti

O Nanonets platforma vam omogoča enostavno izdelavo modelov OCR. Podatke lahko naložite, jih označite, nastavite model, da se usposobi in počakate na napovedi prek uporabniškega vmesnika, ki temelji na brskalniku, ne da bi vpisali eno vrstico kode, skrbeli za grafične procesorje ali našli prave arhitekture za svoje modele globokega učenja.

Posodobitev: naši modeli so še natančnejši. Dodali smo nova polja, kot so številka naročila, e-poštni ID-ji in ekstrakcija tabele, da še izboljšamo vaše avtomatizacija računov delovnih tokov.

Začnite digitalizirati račune z Nanoneti – 1 Kliknite Digitalizacija:

Nastavite predstavitev

Namestite predstavitev, če želite izvedeti, kako vam Nanonets lahko pomaga rešiti to težavo

‌‌

Nadaljnje branje

Posodobitev:‌
‌ Dodano več gradiva za branje o različnih pristopih pri avtomatizaciji obdelave računov z uporabo OCR in poglobljenega učenja.

Časovni žig: April 21, 2022

Časovni žig: Avgust 8, 2022