Invoice Parse – Εξαγωγή δεδομένων τιμολογίου για PDF και σαρωμένα έγγραφα

Εάν χρειάστηκε ποτέ να επεξεργαστείτε ένα τιμολόγιο με μη αυτόματο τρόπο, ξέρετε πόσο χρονοβόρα και κουραστική μπορεί να είναι η διαδικασία. Για να μην τα πολυλογώ, είναι επιρρεπής σε λάθη αφού είναι εύκολο να χάσεις κάτι όταν τα κάνεις όλα με το χέρι.

Εκεί μπαίνουν οι αναλυτές τιμολογίων. Αυτά τα εργαλεία αυτοματοποιούν τη διαδικασία εξαγωγής δεδομένων από τιμολόγια, καθιστώντας γρήγορη και εύκολη τη λήψη των πληροφοριών που χρειάζεστε. Αυτό μπορεί να σας εξοικονομήσει πολύ χρόνο και ταλαιπωρία και να σας βοηθήσει να διασφαλίσετε ότι τα τιμολόγιά σας διεκπεραιώνονται με ακρίβεια.

Αυτό το άρθρο διερευνά τη διαδικασία εξαγωγής δεδομένων τιμολογίου με χρήση αναλυτών τιμολογίων, με μια συζήτηση για μερικές από τις καλύτερες μεθόδους για να το κάνετε, συμπεριλαμβανομένης της εξαγωγής πίνακα, προηγμένης OCR και βαθιάς εκμάθησης.

Θα εξετάσουμε επίσης τα πλεονεκτήματα της αυτοματοποιημένης εξαγωγής δεδομένων τιμολογίου έναντι της μη αυτόματης επεξεργασίας. Ας βουτήξουμε αμέσως.

Τι είναι ο Αναλυτής Τιμολογίων;

Ο αναλυτής τιμολογίων είναι ένας τύπος λογισμικού που έχει σχεδιαστεί για να διαβάζει και να ερμηνεύει έγγραφα τιμολογίων. Αυτό μπορεί να περιλαμβάνει αρχεία PDF, εικόνες και άλλους τύπους αρχείων.

Ο σκοπός ενός αναλυτή τιμολογίου είναι να εξάγει βασικές πληροφορίες από ένα τιμολόγιο, όπως το αναγνωριστικό τιμολογίου, το συνολικό οφειλόμενο ποσό, την ημερομηνία τιμολογίου, το όνομα πελάτη κ.λπ. Οι αναλυτές τιμολογίων μπορούν να βοηθήσουν στη διασφάλιση της ακρίβειας αποφεύγοντας λάθη που μπορεί να προκύψουν από τη μη αυτόματη εξαγωγή δεδομένων.

Αυτές οι πληροφορίες μπορούν στη συνέχεια να χρησιμοποιηθούν για διάφορους σκοπούς, όπως π.χ Αυτοματισμός AP, διαδικασία κλεισίματος λογιστικής στο τέλος του μήνακαι διαχείριση τιμολογίων.

Οι αναλυτές τιμολογίων μπορούν να είναι αυτόνομα προγράμματα ή να ενσωματωθούν σε μεγαλύτερα επιχειρηματικά συστήματα λογισμικού. Αυτά τα εργαλεία διευκολύνουν τις ομάδες να δημιουργούν αναφορές ή να εξάγουν τα δεδομένα σε άλλες εφαρμογές, όπως το Excel και συχνά χρησιμοποιούνται μαζί με άλλες εφαρμογές διαχείρισης επιχειρήσεων.

Υπάρχουν πολλές διαφορετικές λύσεις λογισμικού ανάλυσης τιμολογίων στην αγορά, επομένως είναι απαραίτητη η επιλογή μιας που να καλύπτει τις συγκεκριμένες ανάγκες σας.

Πώς λειτουργεί ένας Αναλυτής Τιμολογίων;

Για να κατανοήσετε πώς λειτουργούν οι αναλυτές τιμολογίων, είναι σημαντικό να έχετε γνώσεις σχετικά με τους αναλυτές.

Οι αναλυτές χρησιμοποιούνται για την ερμηνεία και την επεξεργασία εγγράφων που είναι γραμμένα σε μια συγκεκριμένη γλώσσα σήμανσης. Αναλύουν το έγγραφο σε μικρότερα κομμάτια, που ονομάζονται tokens, και στη συνέχεια αναλύουν κάθε διακριτικό για να προσδιορίσουν τη σημασία του και πώς ταιριάζει στη συνολική δομή του εγγράφου.

Για να γίνει αυτό, οι αναλυτές πρέπει να κατανοούν καλά τη γραμματική της γλώσσας σήμανσης που χρησιμοποιείται. Αυτό τους επιτρέπει να αναγνωρίζουν μεμονωμένα διακριτικά και να κατανοούν σωστά τις σχέσεις μεταξύ τους. Ανάλογα με τον αναλυτή, αυτή η διαδικασία μπορεί να είναι είτε χειροκίνητη είτε αυτόματη. Οι χειροκίνητοι αναλυτές απαιτούν από κάποιον να περάσει μέσα από το έγγραφο και να αναγνωρίσει κάθε διακριτικό, ενώ οι αυτόματοι αναλυτές χρησιμοποιούν αλγόριθμους για την αυτόματη ανίχνευση και επεξεργασία των διακριτικών. Είτε έτσι είτε αλλιώς, οι αναλυτές διαδραματίζουν ουσιαστικό ρόλο στην κατανόηση των εγγράφων που είναι γραμμένα σε γλώσσες σήμανσης.

Στην εξαγωγή δεδομένων, η ανάλυση τιμολογίων μπορεί να αναλύσει ένα έγγραφο τιμολογίου και να εξάγει σχετικές πληροφορίες.

Σκεφτείτε, για παράδειγμα, την περίπτωση που σας έχουν δοθεί πολλά τιμολόγια και θέλετε να αποθηκεύσετε δεδομένα από αυτά σε δομημένη μορφή. Η ανάλυση τιμολογίων σάς δίνει τη δυνατότητα να φορτώσετε όλα τα αρχεία και να εκτελέσετε την οπτική αναγνώριση χαρακτήρων (OCR), έτσι ώστε να είναι δυνατή η ανάγνωση των δεδομένων και η εξαγωγή όλων των ζευγών κλειδιού-τιμής μέσα σε λίγα λεπτά. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε ορισμένους αλγόριθμους μετα-επεξεργασίας για να τους αποθηκεύσετε σε πιο ευανάγνωστες μορφές όπως JSON ή CSV. Μπορείτε επίσης να δημιουργία διαδικασιών και ροών εργασίας χρησιμοποιώντας ανάλυση τιμολογίων για την αυτοματοποίηση της εξαγωγής τιμολογίων από τα αρχεία της επιχείρησής σας.

Ανάλυση τιμολογίων με Python

Η Python είναι μια γλώσσα προγραμματισμού για διάφορες εργασίες εξαγωγής δεδομένων, συμπεριλαμβανομένης της ανάλυσης τιμολογίων. Αυτή η ενότητα θα σας διδάξει πώς να χρησιμοποιείτε βιβλιοθήκες Python για την εξαγωγή δεδομένων από τιμολόγια.

Η δημιουργία ενός γενικού προγράμματος ανάλυσης τιμολογίων τελευταίας τεχνολογίας που μπορεί να εκτελεστεί σε όλους τους τύπους δεδομένων είναι δύσκολη, καθώς περιλαμβάνει διάφορες εργασίες όπως ανάγνωση κειμένου, χειρισμός γλωσσών, γραμματοσειρές, στοίχιση εγγράφων και εξαγωγή ζευγών κλειδιών-τιμών. Ωστόσο, με τη βοήθεια έργων ανοιχτού κώδικα και κάποια εφευρετικότητα, θα μπορούσαμε τουλάχιστον να λύσουμε μερικά από αυτά τα προβλήματα και να ξεκινήσουμε.

Για παράδειγμα, θα χρησιμοποιήσουμε ένα εργαλείο που ονομάζεται tabula σε ένα δείγμα τιμολογίου — μια βιβλιοθήκη python για την εξαγωγή πινάκων για ανάλυση τιμολογίων. Για να εκτελέσετε το παρακάτω απόσπασμα κώδικα, βεβαιωθείτε ότι τόσο η Python όσο και η tabula/tabula είναι εγκατεστημένα στον τοπικό υπολογιστή.

δείγμα-τιμολόγιο.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Παραγωγή

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Θα μπορούσαμε να εξαγάγουμε τους πίνακες από ένα αρχείο PDF με μερικές γραμμές κώδικα. Αυτό συμβαίνει επειδή το αρχείο PDF ήταν καλά μορφοποιημένο, ευθυγραμμισμένο και δημιουργημένο ηλεκτρονικά (δεν καταγράφηκε από κάμερα). Αντίθετα, αν το έγγραφο είχε καταγραφεί από κάμερα αντί να παράγεται ηλεκτρονικά, θα ήταν πολύ πιο δύσκολο για αυτούς τους αλγόριθμους να εξαγάγουν τα δεδομένα - εδώ είναι που παίζει η οπτική αναγνώριση χαρακτήρων.

Ας χρησιμοποιήσουμε tesseract, μια δημοφιλής μηχανή OCR για python, για ανάλυση μέσω τιμολογίου.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Αυτό θα σας δώσει την ακόλουθη έξοδο -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Χρησιμοποιώντας αυτό το λεξικό, μπορούμε να πάρουμε την ανίχνευση κάθε λέξης, τις πληροφορίες του πλαισίου οριοθέτησής της, το κείμενο σε αυτές και τους βαθμούς εμπιστοσύνης τους.

Μπορείτε να σχεδιάσετε τα πλαίσια χρησιμοποιώντας τον παρακάτω κώδικα –

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Θα δείτε την ακόλουθη έξοδο:

Έτσι μπορούμε να χρησιμοποιήσουμε και να αναγνωρίσουμε τις περιοχές ενός τιμολογίου. Ωστόσο, πρέπει να δημιουργηθούν προσαρμοσμένοι αλγόριθμοι για την εξαγωγή ζεύγους κλειδιού-τιμής. Θα μάθουμε περισσότερα για αυτό στις επόμενες ενότητες.

Τα ζητήματα με τους αναλυτές τιμολογίων παλαιού τύπου (Αποτύπωση βάσει κανόνων)

Σήμερα, πολλοί οργανισμοί εξακολουθούν να βασίζονται σε παλαιού τύπου συστήματα για την εξαγωγή δεδομένων τιμολογίων.

Αυτά τα συστήματα «βασισμένα σε κανόνες» αναλύουν κάθε στοιχείο γραμμής στα τιμολόγια και στη συνέχεια τα συγκρίνουν με ένα σύνολο κανόνων για να καθορίσουν εάν οι πληροφορίες πρέπει να προστεθούν στη βάση δεδομένων τους.

Αυτή η μέθοδος έχει χρησιμοποιηθεί για μεγάλο χρονικό διάστημα, αλλά έχει αρκετά μειονεκτήματα. Ας δούμε μερικά κοινά προβλήματα που αντιμετωπίζουν οι αναλυτές τιμολογίων παλαιού τύπου.

• Κλίση σελίδας κατά τη σάρωση: Ένα πρόβλημα με τους αναλυτές τιμολογίων που βασίζονται σε κανόνες είναι ότι μπορεί να έχουν δυσκολίες με την "κλίση σελίδας". Αυτό συμβαίνει όταν τα πεδία σε ένα τιμολόγιο δεν είναι τοποθετημένα σε ευθεία γραμμή, καθιστώντας δύσκολη την ακριβή αναγνώριση και εξαγωγή των δεδομένων από τον αναλυτή. Αυτό μπορεί συχνά να προκληθεί από εκτυπωτές που δεν εκτυπώνουν ομοιόμορφα ή από μη αυτόματη εισαγωγή δεδομένων που ενδέχεται να μην είναι σωστά ευθυγραμμισμένα.
• Αλλαγή μορφής: Ένα από τα πιο συνηθισμένα προβλήματα που αντιμετωπίζει μια επιχείρηση είναι τα τιμολόγια που δεν έχουν μορφοποιηθεί σε τυπική μορφή. Αυτό μπορεί να προκαλέσει προβλήματα κατά την προσπάθεια εξαγωγής δεδομένων από ένα τιμολόγιο. Για παράδειγμα, θα μπορούσαν να χρησιμοποιηθούν διαφορετικές γραμματοσειρές και η διάταξη του τιμολογίου μπορεί να αλλάξει από τον ένα μήνα στον άλλο. Είναι δύσκολο να αναλυθούν τα δεδομένα και να προσδιοριστεί τι αντιπροσωπεύει κάθε στήλη. Για παράδειγμα, ορισμένα νέα πεδία θα μπορούσαν να προστεθούν στο τιμολόγιο ή ορισμένα υπάρχοντα πεδία ενδέχεται να τοποθετηθούν σε διαφορετικές θέσεις. Ή θα μπορούσε να υπάρχει μια εντελώς νέα δομή, εξαιτίας της οποίας ένας συνηθισμένος αναλυτής που βασίζεται σε κανόνες δεν θα μπορεί να αναγνωρίσει σωστά τα τιμολόγια.
• Εξαγωγή πίνακα: Οι εξαγωγείς πινάκων που βασίζονται σε κανόνες είναι συχνά ο πιο απλός και εύκολος τρόπος εξαγωγής δεδομένων από έναν πίνακα. Ωστόσο, έχουν τους περιορισμούς τους όταν ασχολούνται με πίνακες που δεν περιέχουν κεφαλίδες ή περιλαμβάνουν μηδενικές τιμές σε συγκεκριμένες στήλες, επειδή αυτά τα σενάρια θα προκαλέσουν έναν άπειρο βρόχο κατά τη διάρκεια της επεξεργασίας που οδηγεί είτε σε χάσιμο χρόνου για τη φόρτωση άπειρων μεγάλων σειρών στη μνήμη (ή στην έξοδο τίποτα καθόλου) εάν υπήρχαν εξαρτημένες εκφράσεις που εμπλέκουν και αυτά τα χαρακτηριστικά. Επιπλέον, όταν οι πίνακες εκτείνονται σε πολλές σελίδες, οι αναλυτές που βασίζονται σε κανόνες τους αντιμετωπίζουν ως διαφορετικούς πίνακες αντί για έναν και έτσι παραπλανούν τη διαδικασία εξαγωγής.

Δημιουργήστε έναν αναλυτή τιμολογίων που βασίζεται σε AI με τα Nanonets

Οι μηχανές ανάλυσης τιμολογίων με οπτική αναγνώριση χαρακτήρων (OCR) και βαθιά εκμάθηση μπορούν να εξάγουν δεδομένα από τιμολόγια που έχουν σαρωθεί ή μετατραπεί σε PDF. Αυτά τα δεδομένα μπορούν στη συνέχεια να συμπληρώσουν λογιστικό λογισμικό, να παρακολουθήσουν τα έξοδα και να δημιουργήσουν αναφορές.

Οι αλγόριθμοι βαθιάς μάθησης μπορούν να μάθουν πώς να αναγνωρίζουν συγκεκριμένα στοιχεία σε ένα τιμολόγιο, όπως το όνομα, τη διεύθυνση και τις πληροφορίες προϊόντος του πελάτη. Αυτό επιτρέπει την ακριβέστερη εξαγωγή δεδομένων και μπορεί να μειώσει τον χρόνο που απαιτείται για τη μη αυτόματη εισαγωγή δεδομένων σε ένα σύστημα. Ωστόσο, η κατασκευή τέτοιων αλγορίθμων απαιτεί πολύ χρόνο και τεχνογνωσία, αλλά μην ανησυχείτε. Τα Nanonets έχουν την πλάτη σας!

Το Nanonets είναι ένα λογισμικό OCR που χρησιμοποιεί τεχνητή νοημοσύνη για την αυτοματοποίηση της εξαγωγής πινάκων από έγγραφα PDF, εικόνες και σαρωμένα αρχεία. Σε αντίθεση με άλλες λύσεις, δεν απαιτεί ξεχωριστούς κανόνες και πρότυπα για κάθε νέο τύπο εγγράφου. Αντίθετα, βασίζεται στη γνωστική νοημοσύνη για τον χειρισμό ημιδομημένων και μη ορατών εγγράφων ενώ βελτιώνεται με την πάροδο του χρόνου. Μπορείτε επίσης να προσαρμόσετε την έξοδο ώστε να εξάγετε μόνο πίνακες ή καταχωρήσεις δεδομένων που σας ενδιαφέρουν.

Είναι γρήγορο, ακριβές, εύκολο στη χρήση, επιτρέπει στους χρήστες να κατασκευάζουν προσαρμοσμένα μοντέλα OCR από την αρχή και έχει μερικές προσεγμένες ενσωματώσεις Zapier. Ψηφιοποιήστε έγγραφα, εξάγετε πίνακες ή πεδία δεδομένων και ενσωματώστε τις καθημερινές σας εφαρμογές μέσω API σε μια απλή, διαισθητική διεπαφή.

[Ενσωματωμένο περιεχόμενο]

Γιατί το Nanonets είναι ο καλύτερος αναλυτής PDF;

• Τα Nanonets μπορούν να εξάγουν δεδομένα στη σελίδα, ενώ οι αναλυτές PDF γραμμής εντολών εξάγουν μόνο αντικείμενα, κεφαλίδες και μεταδεδομένα όπως (τίτλος, #σελίδες, κατάσταση κρυπτογράφησης κ.λπ.)
• Η τεχνολογία ανάλυσης PDF Nanonets δεν βασίζεται σε πρότυπα. Εκτός από την προσφορά προ-εκπαιδευμένων μοντέλων για δημοφιλείς περιπτώσεις χρήσης, ο αλγόριθμος ανάλυσης PDF Nanonets μπορεί επίσης να χειριστεί αόρατους τύπους εγγράφων!
• Εκτός από το χειρισμό εγγενών εγγράφων PDF, οι ενσωματωμένες δυνατότητες OCR του Nanonet του επιτρέπουν να χειρίζεται και σαρωμένα έγγραφα και εικόνες!
• Ισχυρές δυνατότητες αυτοματισμού με δυνατότητες AI και ML.
• Τα νανοδίκτυα χειρίζονται μη δομημένα δεδομένα, κοινούς περιορισμούς δεδομένων, έγγραφα PDF πολλών σελίδων, πίνακες και στοιχεία πολλαπλών γραμμών με ευκολία.
• Τα Nanonets είναι ένα εργαλείο χωρίς κώδικα που μπορεί συνεχώς να μαθαίνει και να εκπαιδεύεται εκ νέου σε προσαρμοσμένα δεδομένα για να παρέχει αποτελέσματα που δεν απαιτούν μετα-επεξεργασία.

Αυτοματοποιημένη ανάλυση τιμολογίων με Nanonets – δημιουργώντας ροές εργασιών επεξεργασίας τιμολογίων εντελώς ανέγγιχτες

Ενσωματώστε τα υπάρχοντα εργαλεία σας με τα Nanonets και αυτοματοποιήστε τη συλλογή δεδομένων, την αποθήκευση εξαγωγής και την τήρηση βιβλίων.

Τα νανοδίκτυα μπορούν επίσης να βοηθήσουν στην αυτοματοποίηση των ροών εργασίας ανάλυσης τιμολογίων με:

• Εισαγωγή και ενοποίηση δεδομένων τιμολογίων από πολλαπλές πηγές – email, σαρωμένα έγγραφα, ψηφιακά αρχεία/εικόνες, αποθήκευση cloud, ERP, API κ.λπ.
• Λήψη και εξαγωγή δεδομένων τιμολογίων με έξυπνο τρόπο από τιμολόγια, αποδείξεις, λογαριασμούς και άλλα οικονομικά έγγραφα.
• Κατηγοριοποίηση και κωδικοποίηση συναλλαγών βάσει επιχειρηματικών κανόνων.
• Ρύθμιση αυτοματοποιημένων ροών εργασιών έγκρισης για τη λήψη εσωτερικών εγκρίσεων και τη διαχείριση εξαιρέσεων.
• Συμφωνία όλων των συναλλαγών.
• Ενσωματώνεται απρόσκοπτα με ERP ή λογιστικό λογισμικό όπως Quickbooks, Sage, Xero, Netsuite και άλλα.