Invoice Parse — извлечение данных счета для PDF-файлов и отсканированных документов

Если вам когда-либо приходилось обрабатывать счета вручную, вы знаете, насколько трудоемким и утомительным может быть этот процесс. Не говоря уже о том, что он подвержен ошибкам, поскольку легко что-то упустить, когда вы делаете все вручную.

Вот где на помощь приходят синтаксические анализаторы счетов. Эти инструменты автоматизируют процесс извлечения данных из счетов, упрощая и ускоряя получение необходимой информации. Это сэкономит вам много времени и усилий, а также поможет обеспечить точную обработку ваших счетов.

В этой статье рассматривается процесс извлечения данных счета-фактуры с помощью парсеров счетов-фактур, а также обсуждаются некоторые из лучших методов для этого, включая извлечение таблиц, расширенное распознавание символов и глубокое обучение.

Мы также рассмотрим преимущества автоматического извлечения данных счетов по сравнению с ручной обработкой. Давайте погрузимся прямо в.

Что такое парсер счетов?

Анализатор счетов — это тип программного обеспечения, предназначенного для чтения и интерпретации документов счетов. Это могут быть PDF-файлы, изображения и другие типы файлов.

Целью анализатора счетов является извлечение из счета ключевой информации, такой как идентификатор счета, общая сумма к оплате, дата счета, имя клиента и т. д. Анализаторы счетов могут помочь обеспечить точность, избегая ошибок, которые могут возникнуть при ручном извлечении данных.

Эта информация затем может быть использована для различных целей, таких как AP автоматизация, процесс закрытия бухгалтерского учета на конец месяцаи управление счетами.

Парсеры счетов могут быть автономными программами или быть интегрированы в более крупные программные системы для бизнеса. Эти инструменты упрощают для команд создание отчетов или экспорт данных в другие приложения, такие как Excel, и часто используются вместе с другими приложениями для управления бизнесом.

На рынке существует множество различных программных решений для анализа счетов, поэтому очень важно выбрать то, которое соответствует вашим конкретным потребностям.

Как работает парсер счетов?

Чтобы понять, как работают парсеры счетов, важно иметь практические знания парсеров.

Парсеры используются для интерпретации и обработки документов, написанных на определенном языке разметки. Они разбивают документ на более мелкие части, называемые токенами, а затем анализируют каждый токен, чтобы определить его значение и то, как он вписывается в общую структуру документа.

Для этого парсеры должны хорошо понимать грамматику используемого языка разметки. Это позволяет им идентифицировать отдельные токены и правильно понимать отношения между ними. В зависимости от парсера этот процесс может быть как ручным, так и автоматическим. Ручные синтаксические анализаторы требуют, чтобы кто-то прошел через документ и идентифицировал каждый токен, в то время как автоматические синтаксические анализаторы используют алгоритмы для автоматического обнаружения и обработки токенов. В любом случае синтаксические анализаторы играют важную роль в понимании документов, написанных на языках разметки.

При извлечении данных синтаксический анализ счета-фактуры может анализировать документ счета-фактуры и извлекать соответствующую информацию.

Рассмотрим, например, случай, когда вам выдали много счетов-фактур и вы хотите сохранить данные из них в структурированном формате. Синтаксический анализ счетов позволяет загружать все файлы и запускать оптическое распознавание символов (OCR), чтобы можно было прочитать данные и извлечь все пары «ключ-значение» в течение нескольких минут. Затем вы можете использовать некоторые алгоритмы постобработки, чтобы сохранить их в более удобочитаемых форматах, таких как JSON или CSV. Вы также можете строить процессы и рабочие процессы использование анализа счетов для автоматизации извлечения счетов из записей вашего бизнеса.

Анализ счетов с помощью Python

Python — это язык программирования для различных задач извлечения данных, включая анализ счетов. В этом разделе вы узнаете, как использовать библиотеки Python для извлечения данных из счетов-фактур.

Создать универсальный современный анализатор счетов, который может работать со всеми типами данных, сложно, поскольку он включает в себя различные задачи, такие как чтение текста, обработка языков, шрифтов, выравнивание документов и извлечение пар ключ-значение. Однако с помощью проектов с открытым исходным кодом и некоторой изобретательности мы могли решить по крайней мере несколько из этих проблем и приступить к работе.

Например, мы будем использовать инструмент под названием tabula для образца счета-фактуры — библиотеку Python для извлечения таблиц для анализа счета-фактуры. Чтобы запустить приведенный ниже фрагмент кода, убедитесь, что Python и tabula/tabulate установлены на локальном компьютере.

образец-счет-фактура.pdf.

from tabula import read_pdf
from tabulate import tabulate
# PDF file to extract tables from
file = "sample-invoice.pdf"

# extract all the tables in the PDF file
#reads table from pdf file
df = read_pdf(file ,pages="all") #address of pdf file
print(tabulate(df[0]))
print(tabulate(df[1]))

Результат

-  ------------  ----------------
0  Order Number  12345
1  Invoice Date  January 25, 2016
2  Due Date      January 31, 2016
3  Total Due     $93.50
-  ------------  ----------------

-  -  -------------------------------  ------  -----  ------
0  1  Web Design                       $85.00  0.00%  $85.00
      This is a sample description...
-  -  -------------------------------  ------  -----  ------

Мы могли бы извлечь таблицы из файла PDF с помощью нескольких строк кода. Это связано с тем, что файл PDF был хорошо отформатирован, выровнен и создан в электронном виде (не захвачен камерой). Напротив, если бы документ был снят камерой, а не создан в электронном виде, этим алгоритмам было бы намного сложнее извлечь данные — именно здесь вступает в игру оптическое распознавание символов.

Давайте использовать тессеракт, популярный движок OCR для Python для разбора счета.

import cv2
import pytesseract
from pytesseract import Output

img = cv2.imread('sample-invoice.jpg')

d = pytesseract.image_to_data(img, output_type=Output.DICT)
print(d.keys())

Это должно дать вам следующий результат -

dict_keys(['level', 'page_num', 'block_num', 'par_num', 'line_num', 'word_num', 'left', 'top', 'width', 'height', 'conf', 'text'])

Используя этот словарь, мы можем получить каждое обнаруженное слово, информацию об их ограничивающей рамке, текст в них и их оценки достоверности.

Вы можете построить коробки, используя приведенный ниже код -

n_boxes = len(d['text'])
for i in range(n_boxes):
    if float(d['conf'][i]) > 60:
        (x, y, w, h) = (d['left'][i], d['top'][i], d['width'][i], d['height'][i])
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2)

cv2.imshow('img', img)
cv2.waitKey(0)

Вы увидите следующий вывод:

Вот как мы можем использовать и распознавать области счета-фактуры. Однако для извлечения пары ключ-значение должны быть созданы специальные алгоритмы. Мы узнаем больше об этом в следующих разделах.

Проблемы с устаревшими анализаторами счетов (захват на основе правил)

Сегодня многие организации по-прежнему полагаются на устаревшие системы для извлечения данных о счетах.

Эти «основанные на правилах» системы анализируют каждую позицию в счетах-фактурах, а затем сравнивают их с набором правил, чтобы определить, следует ли добавлять информацию в их базу данных.

Этот метод используется давно, но имеет ряд недостатков. Давайте рассмотрим некоторые распространенные проблемы, с которыми сталкиваются устаревшие анализаторы счетов.

• Наклон страницы при сканировании: Одна из проблем с парсерами счетов на основе правил заключается в том, что у них могут возникнуть трудности с «наклоном страницы». Это происходит, когда поля в счете расположены не по прямой линии, что затрудняет точное определение и извлечение данных синтаксическим анализатором. Это часто может быть вызвано принтерами, которые печатают неравномерно, или ручным вводом данных, которые могут быть неправильно выровнены.
• Изменение формата: Одна из наиболее распространенных проблем, с которыми сталкивается бизнес, — это счета, которые не оформлены в стандартном формате. Это может вызвать проблемы при попытке извлечь данные из счета. Например, могут использоваться разные шрифты, а макет счета может меняться от месяца к месяцу. Трудно проанализировать данные и определить, что представляет каждый столбец. Например, в счет могут быть добавлены новые поля или некоторые существующие поля могут быть размещены в разных местах. Или вообще может быть совершенно новая структура, из-за которой обычный парсер, основанный на правилах, не сможет корректно распознавать счета.
• Извлечение таблицы: Экстракторы таблиц на основе правил часто являются самым простым и простым способом извлечения данных из таблицы. Однако у них есть свои ограничения при работе с таблицами, которые не содержат заголовков или содержат нулевые значения в определенных столбцах, потому что эти сценарии вызовут бесконечный цикл во время обработки, что приведет либо к трате времени на загрузку бесконечно длинных строк в память (или ничего не выводить). вообще), если есть зависимые выражения, включающие эти атрибуты. Кроме того, когда таблицы охватывают несколько страниц, синтаксические анализаторы на основе правил рассматривают их как разные таблицы, а не как одну, что вводит процесс извлечения в заблуждение.

Создайте анализатор счетов на основе искусственного интеллекта с помощью Nanonets

Анализаторы счетов с оптическим распознаванием символов (OCR) и глубоким обучением могут извлекать данные из счетов, которые были отсканированы или преобразованы в PDF-файлы. Затем эти данные можно использовать в бухгалтерском ПО, отслеживать расходы и создавать отчеты.

Алгоритмы глубокого обучения могут научиться идентифицировать определенные элементы в счете-фактуре, такие как имя клиента, адрес и информация о продукте. Это позволяет более точно извлекать данные и может сократить время, необходимое для ручного ввода данных в систему. Однако создание таких алгоритмов требует много времени и опыта, но не беспокойтесь; Нанонец прикрывает вашу спину!

Nanonets — это программное обеспечение для оптического распознавания символов, использующее искусственный интеллект для автоматизации извлечения таблиц из PDF-документов, изображений и отсканированных файлов. В отличие от других решений, оно не требует отдельных правил и шаблонов для каждого нового типа документа. Вместо этого он полагается на когнитивный интеллект для обработки полуструктурированных и невидимых документов, со временем совершенствуясь. Вы также можете настроить вывод, чтобы извлекать только интересующие вас таблицы или записи данных.

Он быстрый, точный, простой в использовании, позволяет пользователям создавать собственные модели OCR с нуля и имеет несколько удобных интеграций с Zapier. Оцифровывайте документы, извлекайте таблицы или поля данных и интегрируйтесь с вашими повседневными приложениями через API в простом интуитивно понятном интерфейсе.

[Встраиваемое содержимое]

Почему Nanonets лучший парсер PDF?

• Nanonets могут извлекать данные на странице, в то время как синтаксические анализаторы PDF из командной строки извлекают только объекты, заголовки и метаданные, такие как (заголовок, #pages, статус шифрования и т. д.)
• Технология синтаксического анализа Nanonets PDF не основана на шаблонах. Помимо предложения предварительно обученных моделей для популярных случаев использования, алгоритм синтаксического анализа Nanonets PDF также может обрабатывать невидимые типы документов!
• Помимо обработки собственных PDF-документов, встроенные возможности OCR Nanonet позволяют обрабатывать отсканированные документы и изображения!
• Надежные функции автоматизации с возможностями AI и ML.
• Наносети с легкостью обрабатывают неструктурированные данные, общие ограничения данных, многостраничные PDF-документы, таблицы и многострочные элементы.
• Nanonets — это инструмент без кода, который может постоянно обучаться и переобучаться на пользовательских данных, чтобы предоставлять выходные данные, не требующие постобработки.

Автоматический анализ счетов с помощью Nanonets — создание полностью бесконтактных рабочих процессов обработки счетов.

Интегрируйте существующие инструменты с Nanonets и автоматизируйте сбор данных, экспортное хранение и бухгалтерский учет.

Nanonets также могут помочь в автоматизации рабочих процессов анализа счетов за счет:

• Импорт и объединение данных счетов из нескольких источников — электронной почты, отсканированных документов, цифровых файлов/изображений, облачного хранилища, ERP, API и т. д.
• Интеллектуальный захват и извлечение данных счетов из счетов-фактур, квитанций, счетов и других финансовых документов.
• Классификация и кодирование транзакций на основе бизнес-правил.
• Настройка автоматизированных рабочих процессов утверждения для получения внутренних утверждений и управления исключениями.
• Согласование всех сделок.
• Полная интеграция с ERP-системами или бухгалтерскими программами, такими как Quickbooks, Sage, Xero, Netsuite и другими.