Penguraian Faktur – Ekstraksi Data Faktur untuk PDF dan Dokumen yang Dipindai

Jika Anda pernah harus memproses faktur secara manual, Anda tahu betapa memakan waktu dan membosankan prosesnya. Belum lagi, itu rentan terhadap kesalahan karena mudah melewatkan sesuatu ketika Anda melakukan semuanya dengan tangan.

Di situlah parser faktur masuk. Alat-alat ini mengotomatiskan proses penggalian data dari faktur, membuatnya cepat dan mudah untuk mendapatkan informasi yang Anda butuhkan. Ini dapat menghemat banyak waktu dan kerumitan serta membantu memastikan bahwa faktur Anda diproses secara akurat.

Artikel ini mengeksplorasi proses ekstraksi data faktur menggunakan parser faktur, dengan diskusi tentang beberapa metode terbaik untuk melakukannya, termasuk ekstraksi tabel, OCR lanjutan, dan pembelajaran mendalam.

Kami juga akan memeriksa manfaat ekstraksi data faktur otomatis dibandingkan pemrosesan manual. Mari kita selami.

Apa itu Pengurai Faktur?

Pengurai faktur adalah jenis perangkat lunak yang dirancang untuk membaca dan menafsirkan dokumen faktur. Ini dapat mencakup PDF, gambar, dan jenis file lainnya.

Tujuan dari pengurai faktur adalah untuk mengekstrak informasi penting dari faktur, seperti id faktur, jumlah total jatuh tempo, tanggal faktur, nama pelanggan, dan sebagainya. Pengurai faktur dapat membantu memastikan akurasi dengan menghindari kesalahan yang dapat terjadi dari ekstraksi data manual.

Informasi ini kemudian dapat digunakan untuk berbagai tujuan, seperti: Otomatisasi AP, proses penutupan akuntansi akhir bulan, dan manajemen faktur.

Pengurai faktur dapat berupa program mandiri atau diintegrasikan ke dalam sistem perangkat lunak bisnis yang lebih besar. Alat ini memudahkan tim untuk membuat laporan atau mengekspor data ke aplikasi lain, seperti Excel dan sering digunakan bersama aplikasi manajemen bisnis lainnya.

Ada banyak solusi perangkat lunak penguraian faktur yang berbeda di pasaran, jadi memilih salah satu yang memenuhi kebutuhan spesifik Anda sangat penting.

Bagaimana cara kerja pengurai faktur?

Untuk memahami cara kerja pengurai faktur, penting untuk memiliki pengetahuan tentang pengurai.

Parser digunakan untuk menafsirkan dan memproses dokumen yang ditulis dalam bahasa markup tertentu. Mereka memecah dokumen menjadi bagian-bagian yang lebih kecil, yang disebut token, dan kemudian menganalisis setiap token untuk menentukan maknanya dan bagaimana itu cocok dengan keseluruhan struktur dokumen.

Untuk melakukan ini, parser harus memiliki pemahaman yang kuat tentang tata bahasa dari bahasa markup yang digunakan. Ini memungkinkan mereka untuk mengidentifikasi token individu dan memahami dengan benar hubungan di antara mereka. Tergantung pada parsernya, proses ini bisa manual atau otomatis. Pengurai manual memerlukan seseorang untuk menelusuri dokumen dan mengidentifikasi setiap token, sementara pengurai otomatis menggunakan algoritme untuk mendeteksi dan memproses token secara otomatis. Either way, parser memainkan peran penting dalam memahami dokumen yang ditulis dalam bahasa markup.

Dalam ekstraksi data, penguraian faktur dapat menganalisis dokumen faktur dan mengekstrak informasi yang relevan.

Pertimbangkan, misalnya, kasus di mana Anda telah diberikan banyak faktur dan ingin menyimpan data dari mereka dalam format terstruktur. Penguraian faktur memungkinkan Anda memuat semua file dan menjalankan pengenalan karakter optik (OCR) sehingga data dapat dibaca dan semua pasangan nilai kunci diekstraksi dalam beberapa menit. Selanjutnya, Anda dapat menggunakan beberapa algoritme pascapemrosesan untuk menyimpannya ke dalam format yang lebih mudah dibaca seperti JSON atau CSV. Anda juga bisa membangun proses dan alur kerja menggunakan penguraian faktur untuk mengotomatiskan ekstraksi faktur dari catatan bisnis Anda.

Penguraian Faktur dengan Python

Python adalah bahasa pemrograman untuk berbagai tugas ekstraksi data, termasuk penguraian faktur. Bagian ini akan mengajari Anda cara menggunakan pustaka Python untuk mengekstrak data dari faktur.

Membangun parser faktur canggih umum yang dapat berjalan pada semua tipe data itu sulit, karena mencakup berbagai tugas seperti membaca teks, menangani bahasa, font, perataan dokumen, dan mengekstrak pasangan nilai kunci. Namun, dengan bantuan dari proyek sumber terbuka dan beberapa kecerdikan, kami setidaknya dapat memecahkan beberapa masalah ini dan memulai.

Misalnya, kami akan menggunakan alat yang disebut tabula pada contoh faktur — pustaka python untuk mengekstrak tabel untuk penguraian faktur. Untuk menjalankan cuplikan kode di bawah ini, pastikan Python dan tabula/tabulasi diinstal pada mesin lokal.

contoh-faktur.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Keluaran

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Kita bisa mengekstrak tabel dari file PDF dengan beberapa baris kode. Ini karena file PDF diformat dengan baik, disejajarkan, dan dibuat secara elektronik (tidak ditangkap oleh kamera). Sebaliknya, jika dokumen telah ditangkap oleh kamera alih-alih diproduksi secara elektronik, akan jauh lebih sulit bagi algoritme ini untuk mengekstrak data—di sinilah pengenalan karakter optik berperan.

Ayo gunakan tesseract, mesin OCR populer untuk python, untuk menguraikan faktur.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Ini akan memberi Anda keluaran berikut -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Dengan menggunakan kamus ini, kita dapat mendeteksi setiap kata, informasi kotak pembatasnya, teks di dalamnya, dan skor kepercayaannya.

Anda dapat memplot kotak dengan menggunakan kode di bawah ini -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Anda akan melihat output berikut:

Ini adalah bagaimana kami dapat menggunakan dan mengenali wilayah faktur. Namun, algoritme khusus harus dibuat untuk ekstraksi pasangan nilai kunci. Kita akan mempelajari lebih lanjut tentang ini di bagian berikut.

Masalah dengan Pengurai Faktur Lama (Pengambilan Berbasis Aturan)

Saat ini, banyak organisasi masih mengandalkan sistem lama untuk ekstraksi data faktur.

Sistem "berbasis aturan" ini mengurai setiap item baris pada faktur dan kemudian membandingkannya dengan seperangkat aturan untuk menentukan apakah informasi tersebut harus ditambahkan ke database mereka.

Metode ini telah digunakan untuk waktu yang lama tetapi memiliki beberapa kelemahan. Mari kita lihat beberapa masalah umum yang dihadapi oleh pengurai faktur lama.

• Kemiringan halaman saat memindai: Satu masalah dengan pengurai faktur berbasis aturan adalah mereka dapat mengalami kesulitan dengan "kemiringan halaman". Ini terjadi ketika bidang dalam faktur tidak diposisikan dalam garis lurus, sehingga sulit bagi pengurai untuk mengidentifikasi dan mengekstrak data secara akurat. Hal ini sering kali dapat disebabkan oleh printer yang tidak mencetak secara merata atau input data secara manual yang mungkin tidak disejajarkan dengan benar.
• Perubahan format: Salah satu masalah paling umum yang dihadapi bisnis adalah faktur yang tidak diformat dalam format standar. Ini dapat menyebabkan masalah saat mencoba mengekstrak data dari faktur. Misalnya, font yang berbeda dapat digunakan, dan tata letak faktur dapat berubah dari satu bulan ke bulan lainnya. Sulit untuk mengurai data dan menentukan apa yang diwakili oleh setiap kolom. Misalnya, beberapa bidang baru dapat ditambahkan ke faktur, atau beberapa bidang yang ada mungkin ditempatkan di posisi yang berbeda. Atau mungkin ada struktur yang sama sekali baru karena pengurai berbasis aturan biasa tidak akan dapat mengenali faktur dengan benar.
• Ekstraksi Tabel: Ekstraktor tabel berbasis aturan sering kali merupakan cara paling mudah dan mudah untuk mengekstrak data dari tabel. Namun, mereka memiliki keterbatasan ketika berhadapan dengan tabel yang tidak berisi header atau menyertakan nilai nol dalam kolom tertentu karena skenario ini akan menyebabkan loop tak terbatas selama pemrosesan yang mengakibatkan membuang waktu untuk memuat baris yang sangat panjang ke dalam memori (atau tidak menghasilkan apa-apa sama sekali) jika ada ekspresi dependen yang melibatkan atribut tersebut juga. Selain itu, ketika tabel menjangkau beberapa halaman, parser berbasis aturan memperlakukannya sebagai tabel yang berbeda, bukan satu dan dengan demikian menyesatkan proses ekstraksi.

Buat pengurai faktur berbasis AI dengan Nanonets

Pengurai faktur dengan pengenalan karakter optik (OCR) dan pembelajaran mendalam dapat mengekstrak data dari faktur yang telah dipindai atau dikonversi ke PDF. Data ini kemudian dapat mengisi perangkat lunak akuntansi, melacak pengeluaran, dan menghasilkan laporan.

Algoritme pembelajaran mendalam dapat mempelajari cara mengidentifikasi elemen tertentu dalam faktur, seperti nama pelanggan, alamat, dan informasi produk. Hal ini memungkinkan ekstraksi data yang lebih akurat dan dapat mengurangi waktu yang diperlukan untuk memasukkan data secara manual ke dalam sistem. Namun, membangun algoritme semacam itu membutuhkan banyak waktu dan keahlian, tetapi jangan khawatir; Nanonet mendukung Anda!

Nanonets adalah perangkat lunak OCR yang menggunakan kecerdasan buatan untuk mengotomatiskan ekstraksi tabel dari dokumen PDF, gambar, dan file yang dipindai. Tidak seperti solusi lain, tidak memerlukan aturan dan template terpisah untuk setiap jenis dokumen baru. Sebaliknya, itu bergantung pada kecerdasan kognitif untuk menangani dokumen semi-terstruktur dan tak terlihat sambil meningkatkan dari waktu ke waktu. Anda juga dapat menyesuaikan output untuk hanya mengekstrak tabel atau entri data yang Anda minati.

Ini cepat, akurat, mudah digunakan, memungkinkan pengguna untuk membuat model OCR khusus dari awal, dan memiliki beberapa integrasi Zapier yang rapi. Digitasi dokumen, ekstrak tabel atau bidang data, dan integrasikan dengan aplikasi sehari-hari Anda melalui API dalam antarmuka yang sederhana dan intuitif.

[Embedded content]

Mengapa Nanonets adalah Pengurai PDF Terbaik?

• Nanonet dapat mengekstrak data di halaman sementara pengurai PDF baris perintah hanya mengekstrak objek, header & metadata seperti (judul, #halaman, status enkripsi, dll.)
• Teknologi penguraian PDF Nanonets tidak berbasis template. Selain menawarkan model terlatih untuk kasus penggunaan populer, algoritma penguraian Nanonets PDF juga dapat menangani jenis dokumen yang tidak terlihat!
• Selain menangani dokumen PDF asli, kemampuan OCR bawaan Nanonet memungkinkannya menangani dokumen dan gambar yang dipindai juga!
• Fitur otomatisasi yang kuat dengan kemampuan AI dan ML.
• Nanonets menangani data tidak terstruktur, kendala data umum, dokumen PDF multi-halaman, tabel, dan item multi-baris dengan mudah.
• Nanonets adalah alat tanpa kode yang dapat terus belajar dan melatih kembali dirinya sendiri pada data khusus untuk memberikan output yang tidak memerlukan pasca-pemrosesan.

Penguraian faktur otomatis dengan Nanonets – menciptakan alur kerja pemrosesan faktur yang benar-benar tanpa sentuhan

Integrasikan alat Anda yang ada dengan Nanonets dan otomatisasi pengumpulan data, penyimpanan ekspor, dan pembukuan.

Nanonets juga dapat membantu dalam mengotomatisasi alur kerja penguraian faktur dengan:

• Mengimpor dan menggabungkan data faktur dari berbagai sumber – email, dokumen yang dipindai, file/gambar digital, penyimpanan cloud, ERP, API, dll.
• Menangkap dan mengekstrak data faktur secara cerdas dari faktur, kwitansi, tagihan, dan dokumen keuangan lainnya.
• Mengkategorikan dan mengkodekan transaksi berdasarkan aturan bisnis.
• Menyiapkan alur kerja persetujuan otomatis untuk mendapatkan persetujuan internal dan mengelola pengecualian.
• Rekonsiliasi semua transaksi.
• Mengintegrasikan secara mulus dengan ERP atau perangkat lunak akuntansi seperti Quickbooks, Sage, Xero, Netsuite, dan banyak lagi.