Rechnungsanalyse – Rechnungsdatenextraktion für PDFs und gescannte Dokumente

Wenn Sie schon einmal eine Rechnung manuell bearbeiten mussten, wissen Sie, wie zeitaufwändig und mühsam das sein kann. Ganz zu schweigen davon, dass es fehleranfällig ist, da man leicht etwas übersieht, wenn man alles von Hand macht.

Hier kommen Rechnungsparser ins Spiel. Diese Tools automatisieren das Extrahieren von Daten aus Rechnungen, sodass Sie schnell und einfach die benötigten Informationen erhalten. Dies kann Ihnen viel Zeit und Ärger ersparen und dazu beitragen, dass Ihre Rechnungen korrekt verarbeitet werden.

In diesem Artikel wird der Prozess der Rechnungsdatenextraktion mit Rechnungsparsern untersucht, wobei einige der besten Methoden dafür besprochen werden, darunter Tabellenextraktion, erweiterte OCR und Deep Learning.

Wir werden auch die Vorteile der automatisierten Extraktion von Rechnungsdaten gegenüber der manuellen Verarbeitung untersuchen. Lassen Sie uns gleich eintauchen.

Was ist ein Rechnungsparser?

Ein Rechnungsparser ist eine Art Software, die zum Lesen und Interpretieren von Rechnungsdokumenten entwickelt wurde. Dies kann PDFs, Bilder und andere Dateitypen umfassen.

Der Zweck eines Rechnungsparsers besteht darin, wichtige Informationen aus einer Rechnung zu extrahieren, z. B. die Rechnungs-ID, den fälligen Gesamtbetrag, das Rechnungsdatum, den Kundennamen usw. Rechnungsparser können dabei helfen, die Genauigkeit sicherzustellen, indem sie Fehler vermeiden, die bei der manuellen Datenextraktion auftreten können.

Diese Informationen können dann für verschiedene Zwecke verwendet werden, wie z AP-Automatisierung, Abschlussprozess der Monatsabrechnung, und Rechnungsverwaltung.

Rechnungsparser können eigenständige Programme sein oder in größere Unternehmenssoftwaresysteme integriert werden. Diese Tools erleichtern es Teams, Berichte zu erstellen oder die Daten in andere Anwendungen wie Excel zu exportieren, und werden häufig zusammen mit anderen Business-Management-Anwendungen verwendet.

Es gibt viele verschiedene Softwarelösungen zum Analysieren von Rechnungen auf dem Markt, daher ist es wichtig, eine auszuwählen, die Ihren spezifischen Anforderungen entspricht.

Wie funktioniert ein Rechnungsparser?

Um zu verstehen, wie Rechnungsparser funktionieren, ist es wichtig, über praktische Kenntnisse über Parser zu verfügen.

Parser werden verwendet, um Dokumente zu interpretieren und zu verarbeiten, die in einer bestimmten Auszeichnungssprache geschrieben sind. Sie zerlegen das Dokument in kleinere Teile, Token genannt, und analysieren dann jedes Token, um seine Bedeutung zu bestimmen und wie es in die Gesamtstruktur des Dokuments passt.

Dazu müssen Parser die Grammatik der verwendeten Auszeichnungssprache gut verstehen. Dadurch können sie einzelne Token identifizieren und die Beziehungen zwischen ihnen richtig verstehen. Je nach Parser kann dieser Vorgang entweder manuell oder automatisch erfolgen. Manuelle Parser erfordern, dass jemand das Dokument durchgeht und jedes Token identifiziert, während automatische Parser Algorithmen verwenden, um Token automatisch zu erkennen und zu verarbeiten. In jedem Fall spielen Parser eine wesentliche Rolle dabei, Dokumente zu verstehen, die in Auszeichnungssprachen geschrieben sind.

Bei der Datenextraktion kann das Rechnungsparsing ein Rechnungsdokument analysieren und relevante Informationen extrahieren.

Betrachten Sie zum Beispiel den Fall, dass Sie viele Rechnungen erhalten haben und Daten daraus in einem strukturierten Format speichern möchten. Mit dem Rechnungsparsing können Sie alle Dateien laden und die optische Zeichenerkennung (OCR) ausführen, sodass die Daten gelesen und alle Schlüssel-Wert-Paare innerhalb weniger Minuten extrahiert werden können. Als Nächstes können Sie einige Nachbearbeitungsalgorithmen verwenden, um sie in besser lesbaren Formaten wie JSON oder CSV zu speichern. Du kannst auch Erstellen Sie Prozesse und Workflows Rechnungsparsing verwenden, um die Extraktion von Rechnungen aus den Aufzeichnungen Ihres Unternehmens zu automatisieren.

Rechnungsparsing mit Python

Python ist eine Programmiersprache für verschiedene Datenextraktionsaufgaben, einschließlich Rechnungsparsing. In diesem Abschnitt erfahren Sie, wie Sie Python-Bibliotheken verwenden, um Daten aus Rechnungen zu extrahieren.

Das Erstellen eines generischen State-of-the-Art-Rechnungsparsers, der auf allen Datentypen ausgeführt werden kann, ist schwierig, da er verschiedene Aufgaben wie das Lesen von Text, den Umgang mit Sprachen, Schriftarten, die Dokumentausrichtung und das Extrahieren von Schlüssel-Wert-Paaren umfasst. Mit Hilfe von Open-Source-Projekten und etwas Einfallsreichtum konnten wir jedoch zumindest einige dieser Probleme lösen und loslegen.

Zum Beispiel verwenden wir ein Tool namens tabula für eine Musterrechnung – eine Python-Bibliothek zum Extrahieren von Tabellen für das Parsing von Rechnungen. Stellen Sie zum Ausführen des folgenden Codeausschnitts sicher, dass sowohl Python als auch tabula/tabulate auf dem lokalen Computer installiert sind.

Musterrechnung.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Output

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Wir könnten die Tabellen mit ein paar Zeilen Code aus einer PDF-Datei extrahieren. Dies liegt daran, dass die PDF-Datei gut formatiert, ausgerichtet und elektronisch erstellt (nicht von der Kamera erfasst) wurde. Wäre das Dokument dagegen von einer Kamera erfasst und nicht elektronisch produziert worden, wäre es für diese Algorithmen viel schwieriger gewesen, die Daten zu extrahieren – hier kommt die optische Zeichenerkennung ins Spiel.

Lass uns benutzen Tesserakt, eine beliebte OCR-Engine für Python, um eine Rechnung zu analysieren.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Dies sollte Ihnen die folgende Ausgabe geben -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Mit diesem Wörterbuch können wir jedes erkannte Wort, seine Begrenzungsrahmeninformationen, den darin enthaltenen Text und seine Vertrauenswerte abrufen.

Sie können die Felder mit dem folgenden Code zeichnen -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Sie sehen die folgende Ausgabe:

So können wir die Regionen einer Rechnung nutzen und erkennen. Für die Extraktion von Schlüssel-Wert-Paaren müssen jedoch benutzerdefinierte Algorithmen erstellt werden. Mehr dazu erfahren wir in den folgenden Abschnitten.

Die Probleme mit Legacy-Rechnungsparsern (regelbasierte Erfassung)

Heutzutage verlassen sich viele Unternehmen immer noch auf Legacy-Systeme für die Extraktion von Rechnungsdaten.

Diese „regelbasierten“ Systeme parsen jeden Einzelposten auf Rechnungen und vergleichen sie dann mit einer Reihe von Regeln, um zu bestimmen, ob die Informationen zu ihrer Datenbank hinzugefügt werden sollten.

Diese Methode wird seit langem verwendet, hat aber mehrere Nachteile. Sehen wir uns einige häufige Probleme an, mit denen ältere Rechnungsparser konfrontiert sind.

• Seitenneigung beim Scannen: Ein Problem mit regelbasierten Rechnungsparsern ist, dass sie Schwierigkeiten mit „Page Tilt“ haben können. Dies tritt auf, wenn die Felder in einer Rechnung nicht in einer geraden Linie positioniert sind, wodurch es für den Parser schwierig wird, die Daten genau zu identifizieren und zu extrahieren. Dies kann häufig durch Drucker verursacht werden, die nicht gleichmäßig drucken, oder durch manuelle Eingabe von Daten, die möglicherweise nicht korrekt ausgerichtet sind.
• Formatänderung: Eines der häufigsten Probleme, mit denen Unternehmen konfrontiert sind, sind Rechnungen, die nicht in einem Standardformat formatiert sind. Dies kann beim Versuch, Daten aus einer Rechnung zu extrahieren, zu Problemen führen. Beispielsweise könnten unterschiedliche Schriftarten verwendet werden und das Rechnungslayout kann sich von Monat zu Monat ändern. Es ist schwierig, die Daten zu analysieren und zu bestimmen, was jede Spalte darstellt. Beispielsweise könnten der Rechnung einige neue Felder hinzugefügt oder einige vorhandene Felder an anderen Positionen platziert werden. Oder es könnte eine völlig neue Struktur vorliegen, aufgrund derer ein gewöhnlicher regelbasierter Parser Rechnungen nicht korrekt erkennen kann.
• Tabellenextraktion: Regelbasierte Tabellenextraktoren sind oft die direkteste und einfachste Möglichkeit, Daten aus einer Tabelle zu extrahieren. Sie haben jedoch ihre Grenzen beim Umgang mit Tabellen, die keine Überschriften enthalten oder Nullwerte in bestimmten Spalten enthalten, da diese Szenarien während der Verarbeitung eine Endlosschleife verursachen, die entweder zu Zeitverschwendung beim Laden unendlich langer Zeilen in den Speicher führt (oder nichts ausgibt überhaupt), wenn es abhängige Ausdrücke gibt, die diese Attribute ebenfalls beinhalten. Wenn sich Tabellen über mehrere Seiten erstrecken, behandeln regelbasierte Parser sie außerdem als verschiedene Tabellen und nicht als eine und führen somit den Extraktionsprozess in die Irre.

Erstellen Sie mit Nanonets einen KI-basierten Rechnungsparser

Rechnungsparser mit optischer Zeichenerkennung (OCR) und Deep Learning können Daten aus Rechnungen extrahieren, die gescannt oder in PDFs konvertiert wurden. Diese Daten können dann in Buchhaltungssoftware gefüllt, Ausgaben verfolgt und Berichte erstellt werden.

Deep-Learning-Algorithmen können lernen, bestimmte Elemente in einer Rechnung zu identifizieren, wie z. B. den Namen, die Adresse und Produktinformationen des Kunden. Dies ermöglicht eine genauere Datenextraktion und kann die Zeit reduzieren, die für die manuelle Eingabe von Daten in ein System erforderlich ist. Das Erstellen solcher Algorithmen erfordert jedoch viel Zeit und Fachwissen, aber keine Sorge; Nanonets steht hinter Ihnen!

Nanonets ist eine OCR-Software, die mithilfe künstlicher Intelligenz die Extraktion von Tabellen aus PDF-Dokumenten, Bildern und gescannten Dateien automatisiert. Im Gegensatz zu anderen Lösungen sind keine separaten Regeln und Vorlagen für jeden neuen Dokumenttyp erforderlich. Stattdessen verlässt es sich auf die kognitive Intelligenz, um mit halbstrukturierten und unsichtbaren Dokumenten umzugehen und sich im Laufe der Zeit zu verbessern. Sie können die Ausgabe auch so anpassen, dass nur Tabellen oder Dateneinträge extrahiert werden, die Sie interessieren.

Es ist schnell, genau, einfach zu bedienen, ermöglicht es Benutzern, benutzerdefinierte OCR-Modelle von Grund auf neu zu erstellen, und verfügt über einige nette Zapier-Integrationen. Digitalisieren Sie Dokumente, extrahieren Sie Tabellen oder Datenfelder und integrieren Sie sie über APIs in Ihre alltäglichen Apps in einer einfachen, intuitiven Benutzeroberfläche.

[Eingebetteten Inhalt]

Warum ist Nanonets der beste PDF-Parser?

• Nanonets können On-Page-Daten extrahieren, während Befehlszeilen-PDF-Parser nur Objekte, Header und Metadaten wie (Titel, #Seiten, Verschlüsselungsstatus usw.) extrahieren.
• Die PDF-Parsing-Technologie von Nanonets basiert nicht auf Vorlagen. Der PDF-Parsing-Algorithmus von Nanonets bietet nicht nur vorgefertigte Modelle für gängige Anwendungsfälle, sondern kann auch unsichtbare Dokumenttypen verarbeiten!
• Abgesehen von der Verarbeitung von nativen PDF-Dokumenten ermöglichen die integrierten OCR-Funktionen von Nanonet auch die Verarbeitung von gescannten Dokumenten und Bildern!
• Robuste Automatisierungsfunktionen mit AI- und ML-Funktionen.
• Nanonets verarbeiten problemlos unstrukturierte Daten, allgemeine Dateneinschränkungen, mehrseitige PDF-Dokumente, Tabellen und mehrzeilige Elemente.
• Nanonets ist ein No-Code-Tool, das kontinuierlich lernen und sich selbst mit benutzerdefinierten Daten neu trainieren kann, um Ergebnisse bereitzustellen, die keine Nachbearbeitung erfordern.

Automatisiertes Rechnungs-Parsing mit Nanonets – Erstellen von vollständig berührungslosen Rechnungsverarbeitungs-Workflows

Integrieren Sie Ihre bestehenden Tools in Nanonets und automatisieren Sie die Datenerfassung, Exportspeicherung und Buchhaltung.

Nanonets können auch bei der Automatisierung von Rechnungsparsing-Workflows helfen, indem sie:

• Importieren und Konsolidieren von Rechnungsdaten aus mehreren Quellen – E-Mail, gescannte Dokumente, digitale Dateien/Bilder, Cloud-Speicher, ERP, API usw.
• Intelligentes Erfassen und Extrahieren von Rechnungsdaten aus Rechnungen, Quittungen, Rechnungen und anderen Finanzdokumenten.
• Kategorisieren und Kodieren von Transaktionen basierend auf Geschäftsregeln.
• Einrichten automatisierter Genehmigungsworkflows, um interne Genehmigungen zu erhalten und Ausnahmen zu verwalten.
• Abgleich aller Transaktionen.
• Nahtlose Integration mit ERPs oder Buchhaltungssoftware wie Quickbooks, Sage, Xero, Netsuite und mehr.