Arvete töötlemise automatiseerimine OCR-i ja süvaõppega

Taasavaldanud Platon

järgijaid: 0

Arvete töötlemise automatiseerimine optilise tekstituvastuse ja süvaõppega

Tahad automatiseerida arvete töötlemist? Tutvuge Nanonetsi eelkoolitusega Arve OCR or ehitada ise kohandatud arve OCR. Sa saad ka ajakava demo meie AP kasutusjuhtude kohta lisateabe saamiseks!

Sissejuhatus

Pikka aega oleme maksete töötlemisel ja raamatupidamise pidamisel tuginenud paberarvetele. Arvete vastavusse viimine tähendab tavaliselt, et keegi veedab tunde käsitsi mitut arvet sirvides ja asju pearaamatusse üles kirjutades.

Kuid kas seda protsessi saab teha paremini, tõhusamalt, kulutades vähem paberit, inimtööjõudu ja aega?

Nende protseduuride käsitsi läbimise mitmete puuduste hulka kuuluvad kõrgemad kulud, suurem tööjõuvajadus, suurem korduvate ülesannete täitmiseks kuluv aeg ja suurem süsiniku jalajälg.

Arve digiteerimise protsessi saab jagada neljaks etapiks:

Füüsilise dokumendi teisendamine digitaalseks variandiks – seda saab teha läbi
- arve skaneerimine
- klõpsates pildil läbi kaamera
Teabe ekstraheerimine – seda saab teha
- Inimesed – seda teevad käsitsi ülevaatajad, kes analüüsivad arvet vigade suhtes, loevad selle teksti läbi ja sisestavad selle tarkvara salvestamiseks ja edaspidiseks otsimiseks.
- Masinad -
  - Optiline märgituvastus – dokumentides oleva teksti ja numbrite tuvastamine.
  - Teabe ekstraheerimine – kui optilise tekstituvastuse protsess on lõppenud, on oluline kindlaks teha, milline tekstiosa millisele väljavõetud väljale vastab. Kui väli on kogusumma, vahesumma, arve kuupäev, hankija jne.
Andmeväljavõte – kui teave on ekstraheeritud, tuleb see salvestada taastatavas vormingus, näiteks
- Andmebaas
- Exceli leht
- ERP süsteem.

See postitus keskendub peamiselt OCR-ile ja teabe hankimisele. Enne kui sukeldume sellesse, mis on OCR-i ja teabe ammutamise praeguses seisukorras valesti arvete töötlemine, vaatame esmalt, miks peaksime üldse hoolima arvete digiteerimisest.

Nanonets toetab arve püüdmine, arvete haldamine & arvete automatiseerimine enam kui 60 keeles. Ehitage oma mudel või taotlege demo juba täna!

Miks arveid digitaliseerida?

Teabe digiteerimisel on ettevõttel mitmeid eeliseid mitmel põhjusel. Ettevõtted saavad oma protsesse paremini jälgida, pakkuda paremat klienditeenindust, tõsta oma töötajate tootlikkust ja vähendada kulusid.

Siin on mõned põhjused, miks peaksite kaaluma oma ettevõtte arvete digiteerimist.

Protsesside automatiseerimiseks
Süvaõppe ja OCR-iga saate need arvepildid automaatselt teha, eraldada neist tabeleid ja teksti, eraldada erinevate väljade väärtused, teha veaparandusi, kontrollida, kas tooted vastavad teie heakskiidetavale laoseisule ja lõpuks töödelda kaebust, kui kõik on kontrollitud. See on tohutu hüpe võrreldes sellega, mida kindlustussektor on traditsiooniliselt teinud, kuid sellest hoolimata võib see osutuda väga kasulikuks.
Tõhususe suurendamiseks
Arvete digiteerimisega saab mitmeid protsesse oluliselt kiiremaks ja sujuvamaks muuta. Võtke näiteks jaemüügikett, mis tegeleb mõne tavapäraste kaupade müüjaga ja töötleb makseid iga kuu lõpus. See pood võib protsessi automatiseerimisega säästa palju aega arvete haldamine. Müüjad peavad lihtsalt arved rakendusse või veebisaidile üles laadima ja nad saavad kohest tagasisidet selle kohta, kas pildid on hea eraldusvõimega, kui pilt on kogu arvest, kui pilt on võlts või seda on digitaalselt manipuleeritud jne, säästes palju aega.
Kulude vähendamiseks
Sama jaekaupluste frantsiis säästab palju raha, automatiseerides arvete digiteerimise OCR-i ja süvaõppe abil. Arve, mis peab läbima kolme ülevaataja käest, et vigu ei oleks, taandub ühele. Arvuti töödeldavate arvete arv on kordades kiirem, kui inimene suudaks. Ajakulu sisaldab kontrollimist, kas arve on pettus, kas sellel on kogu teave, kas kõik andmed on õiged, kõigi andmete käsitsi sisestamine tabelisse või andmebaasi, arvutuste tegemine ja lõpuks makse töötlemine.
Parema ladustamise jaoks
Vaidluste korral saab müüja jõuda rakendusse ja vaadata läbi kõik enda üleslaaditud arved ja iga arve järeltöötluse tulemused, selgitades kaubad, nende kogused, iga maksumus, maksud ja allahindlused. Ettevõte, olles automatiseerinud nende andmete andmebaasi sisestamise protsessi, saab nüüd ka seda teavet igal ajal kätte saada.
Klientide rahulolu suurendamiseks
Sarnasel viisil arvete töötlemine võib aidata ka ettevõtetel oma klienditeenindust parandada. Teie tarne e-kaubanduse platvormilt on puudu tootest? Võtke nendega ühendust, saatke neile arve ja selgitage, mis puudu on, ning ettevõte loeb selle automaatselt läbi kviitung, otsige üles, mis nende ladudest lahkus, ja saadab teile vastuse, et teie kadunud toode on nüüd teel!
Ökoloogilise jalajälje vähendamiseks
Tehke mõned lihtsad arvutused, nagu need, mis on tehtud siin me mõistame, et keskmise suurusega organisatsioon, mis töötleb 50000 30 arvet kuus, ohverdab lõpuks rohkem kui 2.5 puud aastas. See arv suureneb enamasti arvete dubleerimise tõttu. Sama mahu paberi valmistamiseks kulub ka XNUMX miljonit liitrit vett. Sel ajal võib organisatsioonide ökoloogilise jalajälje vähendamiseks vajalike sammude võtmine aidata palju keskkonda.

Arveldusprotsessi areng

Arvete ülevaatamise protsess on aja jooksul palju arenenud. Tehnoloogia areng on näidanud, et arvete töötlemise protsess on läbinud kolm peamist etappi.

1. etapp: käsitsi ülevaatamine

Mõelge kasutusjuhtumile, kus organisatsioon teeb läbi oma tavamüüjatele kuu kulude hüvitamise protsessi.

Arvete töötlemise automatiseerimine optilise tekstituvastuse ja süvaõppega

Arvete töötlemiseks järgitakse järgmisi samme:

Inimesed peavad esitama mitu arvet isiklikult asjaomase organisatsiooni kontaktpunktile.
See inimene edastab omakorda kõik arved ülevaatajale, kes vaatab kõik dokumendid täielikult üle. See hõlmab iga detaili üleskirjutamist või tarkvarasse sisestamist, nagu ostva isiku nimi, poe nimi, kust osteti, ostukuupäev ja kellaaeg, ostetud kaubad, nende kulud, allahindlused ja maksud.
Iga arve kogusumma, mis arvutatakse uuesti käsitsi või juhul, kui andmesisestustarkvara on spetsiaalselt loodud raamatupidamise jaoks, kasutades nimetatud tarkvara.
Lõpparve/kviitung tehakse lõplike arvudega ja makseid töödeldakse.

2. etapp: arvete skannimine ja käsitsi ülevaatamine

OCR-tehnika tulekuga säästeti automaatselt palju aega teksti eraldamine digipildist mis tahes arve või dokumendi kohta. See on praegu koht, kus enamik organisatsioone, kes kasutavad OCR-i mis tahes automatiseerimiseks.

Arvete digitaalsed koopiad hangib arvete skaneerimine või pildistada kaameraga.
. tekst ekstraheeritakse nendelt arvetelt, kasutades OCR-i. See suudab pakkuda digitaalset teksti, mis muudab andmete sisestamise pisut lihtsamaks. Kuid palju tööd tuleb veel käsitsi teha.
Iga arve OCR-tulemusi tuleb asjakohaste andmete leidmiseks ja ebaolulistest andmetest loobumiseks asjakohaselt sõeluda.
Kui see on tehtud, tuleb andmed sisestada tarkvara, mis annab ülevaatajale ülesande hõlbustamiseks malli. See mall on iga kasutusjuhtumi, organisatsiooni ja enamasti iga erineva arvetüübi jaoks ainulaadne. Kuigi OCR-protsess aitab arveid töödelda, ei lahenda see paljusid OCR-i struktureerimata tulemuste tõttu tüütuid osi.
Sisestatud andmed vaadatakse vigade parandamiseks käsitsi üle. See protsess võtab veidi aega, kuna praegu saadaolevate OCR-tööriistade halva jõudluse tõttu läbib see mitu ülevaatajat.
Lõpuks tehakse arvutused ja makseandmed edastatakse finantsdivisjonile.

Kuidas arveid paremini digitaliseerida?

OCR-i ja süvaõppe abil oleme võimaldanud masinatel töötada sama hästi ja mõnel juhul isegi paremini kui inimestel.

Arvete digiteerimine hõlmab mitut inimese poolt juhitavat sammu:

Kasutaja tehtud ja üles laaditud arvete digitaalsed pildid.
Pilt kinnitatud edasiseks töötlemiseks sobivaks – hea eraldusvõime, kõik pildil olevad andmed, kontrollimise kuupäevad jne.
Pilte kontrolliti pettuse suhtes.
Nendel piltidel olev tekst ekstraheeriti ja asetati õigesse vormingusse.
Tabelitesse, tabelitesse, andmebaasidesse, bilanssidesse jne sisestatud tekstandmed.

3. faas: sügav õppimine ja optiline tekstituvastus

Süvaõppe lähenemisviisid on edenenud konkreetses probleemis, mis on seotud teksti lugemisega ning piltidest struktureeritud ja struktureerimata teabe eraldamisega. Ühendades olemasolevad süvaõppe meetodid optilise märgituvastustehnoloogiaga, on ettevõtted ja üksikisikud suutnud selle protsessi automatiseerida dokumentide digiteerimine ja võimaldas lihtsamaid käsitsi andmesisestusprotseduure, paremat logimist ja salvestamist, vähem vigu ja paremaid reageerimisaegu.

Turul ja avatud lähtekoodiga kogukonnas on selliste ülesannete jaoks saadaval mitmeid tööriistu, millel kõigil on oma plussid ja miinused. Mõned neist on Google Vision API, Amazon Rekognition ja Microsoft Cognitive Services. Kõige sagedamini kasutatavad avatud lähtekoodiga tööriistad on Tähelepanu - OCR ja Tesseract.

Kõik need tööriistad on samasugused – halb täpsus, mis nõuab käsitsi vigade parandamist ja vajadus reeglipõhiste mootorite järele. teksti väljavõtmine et saaksime andmeid tegelikult mis tahes tähendusrikkal viisil kasutada. Nendest probleemidest ja muustki räägime järgmistes osades.

Mis teeb probleemi huvitavaks?

. OCR-maastik koosneb enamasti reeglipõhistest mootoritest, mis sõltuvad suuresti OCR-i tulemuste järeltöötlusest, sobitades mustreid või määratledes konkreetsed mallid, millesse OCR-i tulemused on sunnitud sobituma. See lähenemine on saavutanud mõningast edu, kuid nõuab tarkvarakihti, mis on üles ehitatud OCR-mootorid, mis on ressursse nõudev ülesanne.

Selle reeglipõhise lähenemisviisi suurem probleem on see, et see lisatud tarkvarakiht tuleb iga kord uuesti kujundada, kui tegelete uue arvemalliga. Mallide koostamise protsessi automatiseerimine koos OCR-iga võib avaldada tohutut mõju kõigile, kes arvetega töötavad.

Ja see on meie probleem Nanonetid otsustanud lahendada.

Vähemtuntud lähenemisviis sellele probleemile hõlmab masinõppe kasutamist dokumendi või arve enda struktuuri õppimiseks, mis võimaldab meil töötada andmetega, lokaliseerida väljad, mida peame esmalt eraldama, nagu lahendaksime objektituvastuse probleemi (ja mitte OCR) ja seejärel sellest teksti välja saamine. Seda saab teha, modelleerides oma närvivõrke nii, et õppida tabeleid tuvastama ja ekstraheerima, mõistma neis olevaid veerge ja välju ning milliseid veerge ja välju arvel olenemata vormingust tavaliselt leidub.

Sellise lähenemise eeliseks on see, et saab võimalikuks teha masinõppemudeli, mida saab üldistada mis tahes dokumendile või arvele ja mida saab kasutada ilma kohandamiseta. Pideva õppetsükli lisamine uute andmete kogumise ja mudelite perioodilise ümberõppe kaudu võib tuua kaasa suure jõudluse suure hulga andmete puhul.

Kas teil on OCR-probleem meeles? Kas soovite digiteerida arveid, PDF-e või numbrimärke? Suunduge poole Nanonetid ja looge OCR-mudeleid tasuta!

Miks praegustest süvaõppevahenditest ei piisa?

Isegi kõigi eelistega automatiseeritud arvete töötlemine on pakkuda, ei ole tööstusharud OCR-i ja süvaõppetehnoloogiate laialdast kasutuselevõttu näinud ning sellel on mitu põhjust.

Proovime näitega aru saada – retseptide ja arvetega tegelev haigekassa. Kahjude töötlemise automatiseerimine teie kindlustusseltsis, lubades kasutajatel laadida üles arvete pilte, tehes pilte oma telefonis või arvutis või arvete skaneerimine suurendab klientide mugavust ja meelitab neid rohkem ligi. Need üleslaaditud pildid läbivad tavaliselt mitu käsitsi ülevaatuse vooru, mille käigus kontrollite, kas arved on õiged, kui numbrid kokku lähevad, kui need on laekumised kehtivad kindlustusnõude vms puhul. Kuid arvete töötlemise automatiseerimisega saab neid ülesandeid teha murdosa ajast, mis kulub käsitsi tegemiseks ja tööjõuvajaduse vähenemisega vähemalt 50%.

Kuid sellise otsast lõpuni lähenemisviisi loomiseks on takistusi, mis toimivad vastavalt tööstusharu kasutusjuhtumitele, võivad automatiseerida, tagades samas, et vead ei kuluta suurt osa eelarvest ja suurendab ka klientide kaasamist.

OCR-tehnoloogia täpsus

Praegu ei toimi parimad turul saadaolevad OCR-tööriistad rahuldavalt, et neid API-sid igal kasutusjuhul ulatuslikult rakendada. Selle järgi artikkel, Google Vision, parim OCR API praegu saadaval on ainult 80% täpsus. Teiste turul olevate toodete täpsused nagu Amazon Rekognitsioon ja Microsoft Cognitive Services on kurvad. Microsoft toimis 65% täpsusega, samas kui AWS-i tuvastamine toimis ainult 21% täpsusega.

Selle teeb hullemaks asjaolu, et need API-d ei võimalda kohandatud koolitust konkreetsete andmete jaoks, mida ettevõte kõige rohkem kasutaks. Investeerimine tarkvarasse, mis töötab inimestest täpsuse poolest halvemini, vajab siiski käsitsi sisestamist, käsitsi vigade parandamist ja käsitsi ülevaatamist, tundub aja- ja raharaiskamisena.

Süvaõppe asjatundlikkus

OCR-toodetel, nagu Google Vision, on mitmeid puudusi, kui see peab käsitlema erineva orientatsiooni, eri keelte, varjulise või mürarikka tekstiga teksti. Need ei võimalda teil kasutada oma andmeid ega koostada kohandatud mudeleid, mis muudab toote otsese integreerimise organisatsiooni töövoogu keeruliseks. Sageli peavad organisatsioonid sellise probleemi lahendamiseks palkama andmeteaduse või masinõppe meeskonna ja looma need tööriistad endale. See võtab aega, raha ja vaeva.

Pärast seda peavad andmeteadlased oma teadmised ja teadmised ettevõtte eesmärkidega vastavusse viima ning täpselt välja selgitama, milliseid mõõdikuid nende tulemuste saavutamiseks optimeerida. See nõuab, et andmeteadlane mõistaks äriettepanekut, muudaks see matemaatiliseks probleemiks, mõistma ettevõtte SLA-sid, leidma õigeid andmeid, looma masinõppemudeleid, häälestama neid nii, et see saavutaks vajaliku täpsuse, tagades samal ajal ka veajuhtumite graatsilise käsitlemise. .

Õigete andmete hankimine

Õige masinõppemudeli loomise väga oluline osa on õigete andmete leidmine ja meie jaoks pole lihtsalt piisavalt andmeid, millega saaksime töötada. OCR-i jaoks on saadaval andmestikud selliste ülesannete jaoks nagu numbrimärgituvastus või käekirjatuvastus, kuid nendest andmekogumitest vaevalt piisab, et saada sellist täpsust, mida kindlustusnõuete töötlemine või müüja tagasimakse määramine nõuab.

Need kasutusjuhtumid nõuavad meilt oma mudelite koostamist ja nende väljaõpet selliste andmete põhjal, millega me kõige rohkem tegeleme, tagades ühtlasi, et vead oleksid minimaalsed ja andmekogum oleks tasakaalus. Tegelemine ütleme arstide retseptidega või laekumised väikeste tarnijate jaoks nõuavad, et meie mudelid toimiksid hästi nii digitaalsete kui ka käsitsi kirjutatud tekstidokumentide puhul.

Arvutusressursid

Ettevõttesisese ML-lahenduse loomise ülesanne hõlmab enamat kui lihtsalt parimate masinõppeinseneride palkamist, et algoritmid parima täpsusega kavandada. Arvutusnõuded mudelite loomisel pildiandmetele on kõrged ja hõlmavad tavaliselt kas kohapealseid või pilvepõhiseid GPU-sid. K-80 GPU eksemplari käitamine Google Cloud Platformis maksab umbes 230 dollarit kuus. Need kulud suurenevad, kui peate mudeleid koolitama või vanu mudeleid uute andmetega ümber õpetama.

Kui teie valitud lähenemine on ettevõttesisese lahenduse loomine, tuleb selle ehitamise kulud kompenseerida klientide suurenenud registreerumise, arvete töötlemise suurema arvu ja nõutavate käsitsi ülevaatajate arvu vähenemisega.

Lahenduste kohandamine teie ettevõtte vajadustele

Näiteks müüja tagasimaksesüsteemi loomine nõuab meilt mitmeid samme. Organisatsiooni vajadustele vastava töövoo leidmine ei ole sama, mis masinõppemudeli koostamine, mis tagab teile hea täpsuse.

Vaja on mudeleid, mis suudavad:

Esitage vähemalt inimtasemel täpsus
Saab hakkama igasuguste andmetega
Kohaldage vigade käsitlemist
Suurendage inimeste järelevalve mugavust
Tagage andmetöötlusetappide läbipaistvus
Kontrollige pettusi
Lubage OCR-i tulemuste järeltöötlust nende struktuuri paigutamiseks
Veenduge, et kõik kohustuslikud väljad on olemas ja väärtused õiged
Lubage nende andmete lihtne salvestamine ja andmebaaside loomine
Lubage teavitusprotseduuride automatiseerimine olenevalt tulemustest

See on, nagu võis arvata, pikk ja keeruline protseduur, mis sageli ei sisalda nii sirgjoonelisi lahendusi.

Nanonets toetab arve püüdmine & arvete automatiseerimine enam kui 60 keeles. Ehitage oma mudel või taotlege demo juba täna!

Sisestage Nanonets

koos Nanonetid te ei pea muretsema masinõppe talentide leidmise, mudelite ehitamise, pilveinfrastruktuuri või juurutamise mõistmise pärast. Kõik, mida vajate, on äriprobleem, millele vajate lahendusi.

Lihtne kasutada veebipõhist GUI-d

Nanonets pakub hõlpsasti kasutatavat veebipõhist GUI-d, mis suhtleb nende API-ga ja võimaldab teil luua mudeleid, koolitada neid oma andmete põhjal, hankida olulisi mõõdikuid (nt täpsus ja täpsus) ning teha järeldusi oma piltidest, seda kõike ilma koodi kirjutamata.

Pilve hostitud mudelid

Lisaks mitmete mudelite pakkumisele, mida saab lahenduste hankimiseks otse karbist välja võtta, saavad kasutajad luua oma mudeleid, mida majutatakse pilves ja millele pääseb juurde API päringu abil järelduste tegemiseks. Pole vaja muretseda koolituseks GCP eksemplari või GPU-de hankimise pärast.

Kaasaegsed algoritmid

Ehitatud mudelid kasutavad parimate tulemuste saavutamiseks tipptasemel algoritme. Need mudelid arenevad pidevalt, et muutuda paremaks, kasutades üha paremaid andmeid ja paremat tehnoloogiat, paremat arhitektuurilist disaini ja tugevamaid hüperparameetri sätteid.

Põllu kaevandamine

Suurim väljakutse arvete digiteerimistoote loomisel on väljavõetud tekstile struktuuri andmine. Selle teeb lihtsamaks meie OCR API, mis ekstraheerib automaatselt kõik vajalikud väljad koos väärtustega ja lisab need tabelisse või JSON-vormingusse, et saaksite hõlpsasti juurde pääseda ja edasi arendada.

Automaatika juhitav

Meie Nanonetsis usume, et selliste protsesside automatiseerimine nagu arvete digiteerimine võib avaldada teie organisatsioonile tohutut mõju rahalise kasu, klientide rahulolu ja töötajate rahulolu osas. Nanonets püüab muuta masinõppe üldlevinud ja selleks jääb meie eesmärgiks muuta kõik teie lahendatud äriprobleemid viisil, mis nõuab tulevikus minimaalset inimjärelevalvet ja eelarvet.

OCR nanovõrkudega

. Nanonetsi platvorm võimaldab hõlpsasti luua OCR-mudeleid. Saate oma andmed üles laadida, märkmeid teha, mudelit treenima panna ja oodata ennustuste saamist brauseripõhise kasutajaliidese kaudu, kirjutamata ühtki koodirida, muretsemata GPU-de pärast või oma süvaõppemudelite jaoks õigeid arhitektuure otsimata.

Värskendus: meie mudelid on veelgi täpsemad. Oleme lisanud uusi välju, nagu ostutellimuse number, e-posti ID-d ja tabeli väljavõte, et teie tööd veelgi paremaks muuta arvete automatiseerimine Töövoogud.

Alustage arvete digiteerimist nanovõrkudega – 1 Klõpsake nuppu Digitaliseerimine:

Seadistage demo

Seadistage demo, et saada teavet selle kohta, kuidas Nanonets aitab teil seda probleemi lahendada

‌‌

Lisalugemist

Värskenda:‌
‌ Lisatud on rohkem lugemismaterjali erinevate lähenemisviiside kohta arvete töötlemise automatiseerimisel OCRi ja Deep Learningi abil.

Ajatempel: Aprill 21, 2022

Ajatempel: August 8, 2022