Automatisation du traitement des factures avec OCR et Deep Learning

Republié par Platon

Suiveurs: 0

Automatisation du traitement des factures avec OCR et Deep Learning

Vouloir automatiser le traitement des factures? Découvrez les pré-formés de Nanonets ROC de facture or construit le tien OCR de facture personnalisé. Vous pouvez aussi planifier une démo pour en savoir plus sur nos cas d'utilisation AP !

Introduction

Depuis longtemps, nous nous appuyons sur des factures papier pour traiter les paiements et tenir les comptes. Le rapprochement des factures implique généralement que quelqu'un passe manuellement des heures à parcourir plusieurs factures et à noter les choses dans un grand livre.

Mais ce processus peut-il être fait mieux, plus efficacement, avec moins de perte de papier, de travail humain et de temps?

Parmi les nombreux inconvénients de suivre ces procédures manuellement, il y a des coûts plus élevés, une plus grande exigence de main-d'œuvre, une plus grande quantité de temps consommé dans des tâches répétitives et une plus grande empreinte carbone.

Le processus de numérisation d'une facture peut se décomposer en 4 étapes:

Conversion du document physique en une variante numérique - cela pourrait être fait par
- numérisation des factures
- cliquer sur une image à travers une caméra
Extraction d'informations - cela peut être fait par
- Humains - fait manuellement par des réviseurs qui analyseront la facture pour les erreurs, liront le texte et le saisiront dans un logiciel pour le stockage et la récupération future.
- Machines -
  - Reconnaissance optique de caractères - reconnaissance du texte et des nombres présents dans les documents.
  - Extraction d'informations - une fois le processus OCR terminé, il est important d'identifier quel morceau de texte correspond à quel champ extrait. Si un champ est le total, le sous-total, la date de la facture, le fournisseur, etc.
Dump de données - une fois que les informations ont été extraites, elles doivent être stockées dans un format récupérable comme
- Une base de données
- Une feuille Excel
- Un système ERP.

Cet article se concentrera principalement sur l'OCR et l'extraction d'informations. Avant de nous pencher sur ce qui ne va pas avec l'état actuel de l'OCR et de l'extraction d'informations dans traitement de facture, voyons d'abord pourquoi nous devrions nous soucier en premier lieu de la numérisation des factures.

Supports Nanonets capture de facture, gestion des factures & automatisation des factures dans plus de 60 langues. Créez votre propre modèle ou demandez une démo dès aujourd'hui!

Pourquoi numériser les factures?

La numérisation des informations présente plusieurs avantages qu'une entreprise peut gagner pour plusieurs raisons. Les entreprises peuvent mieux suivre leurs processus, fournir un meilleur service client, améliorer la productivité de leurs employés et réduire les coûts.

Voici quelques raisons pour lesquelles vous devriez envisager de numériser les factures de votre propre entreprise.

Pour automatiser les processus
Avec l'apprentissage en profondeur et l'OCR, vous pouvez automatiquement prendre ces images de facture, en extraire des tableaux et du texte, extraire les valeurs de différents champs, apporter des corrections d'erreurs, vérifier si les produits correspondent à votre inventaire approuvable et enfin traiter la réclamation si tout se vérifie. Il s'agit d'un saut massif par rapport à ce que l'industrie de l'assurance a fait traditionnellement, mais cela peut néanmoins s'avérer très bénéfique.
Pour augmenter l'efficacité
En numérisant les factures, plusieurs processus peuvent être rendus beaucoup plus rapides et plus fluides. Prenons par exemple une chaîne de magasins de détail qui traite avec quelques vendeurs réguliers de produits et traite les paiements à la fin de chaque mois. Ce magasin peut gagner beaucoup de temps en automatisant le processus de gestion des factures. Les vendeurs n'ont qu'à télécharger les factures sur une application ou un site Web et ils peuvent obtenir un retour instantané indiquant si les images sont de bonne résolution si l'image représente la facture entière si l'image est fausse ou a été manipulée numériquement, etc. temps.
Réduire les coûts
La même franchise de magasins de détail économise beaucoup d'argent en automatisant la numérisation des factures à l'aide de l'OCR et du deep learning. Une facture qui doit passer entre les mains de trois réviseurs pour qu'il n'y ait pas d'erreur se réduit à une. Le nombre de factures traitées par un ordinateur est plusieurs fois plus rapide que ce qu’un humain pourrait faire. Le temps comprend la vérification si la facture est une fraude, si elle contient toutes les informations, si toutes les informations sont correctes, la saisie manuelle de toutes les données dans une feuille de calcul ou une base de données, l'exécution des calculs et enfin le traitement du paiement.
Pour un meilleur stockage
En cas de litige, le vendeur peut accéder à l'application et consulter toutes les factures qu'il a téléchargées et les résultats du post-traitement de chaque facture, en expliquant les produits, leurs quantités, les coûts de chacun, les taxes et les remises. L'entreprise, ayant automatisé le processus de saisie de ces données dans une base de données, peut désormais récupérer ces informations à tout moment.
Augmenter la satisfaction client
Le traitement des factures de la même manière peut également aider les entreprises à améliorer leur service client. Votre livraison depuis une plateforme e-commerce manque un produit ? Contactez-les, envoyez-leur la facture et expliquez-leur ce qui manque et l'entreprise lira automatiquement le réception, trouvez ce qui a quitté leurs entrepôts et envoyez-vous une réponse indiquant que votre produit manquant est maintenant en route!
Réduire l'empreinte écologique
Faire des calculs simples comme ceux effectués ici on se rend compte qu'une entreprise de taille moyenne traitant 50000 factures par mois finit par sacrifier plus de 30 arbres par an. Ce nombre va la plupart du temps augmenter en raison de la duplication des factures. Ce même volume de papier nécessitera également 2.5 millions de litres d'eau pour sa fabrication. Dans un tel temps, prendre les mesures nécessaires par les organisations pour réduire leur empreinte écologique peut contribuer grandement à aider l'environnement.

Evolution du processus de facturation

Le processus d'examen des factures a beaucoup évolué au fil du temps. La croissance de la technologie a vu le processus de traitement des factures passer par trois phases principales.

Phase 1: Examen manuel

Prenons un cas d'utilisation dans lequel une organisation suit son processus de remboursement de ses fournisseurs habituels pour les dépenses du mois.

Automatisation du traitement des factures avec OCR et Deep Learning

Les étapes suivantes sont suivies pour traiter les factures -

Les personnes doivent soumettre plusieurs factures en personne au point de contact de l'organisation concernée.
Cette personne transmettrait à son tour toutes les factures à un réviseur qui passera en revue chaque document entièrement. Cela comprend l'écriture ou la saisie de chaque détail dans un logiciel comme le nom de la personne effectuant l'achat, le nom du magasin acheté, la date et l'heure de l'achat, les articles achetés, leurs coûts, remises et taxes.
La somme totale de chaque facture calculée, là encore manuellement ou si le logiciel de saisie est spécifiquement conçu à des fins comptables, à l'aide dudit logiciel.
Une facture finale /réception est effectué avec les chiffres définitifs et les paiements sont traités.

Phase 2: Numérisation des factures et révision manuelle

Avec l'avènement des techniques OCR, beaucoup de temps a été gagné en extraire le texte d'une image numérique de toute facture ou document. C'est là que se trouvent actuellement la plupart des organisations qui utilisent l'OCR pour toute forme d'automatisation.

Des copies numériques des factures sont obtenues par scanner des factures ou prendre des photos à l'aide d'un appareil photo.
Le le texte est extrait à partir de ces factures à l'aide de l'OCR. Cela permet de fournir un texte numérique qui facilite la saisie des données. Mais il reste encore beaucoup de travail à faire manuellement.
Les résultats OCR de chaque facture doivent être analysés de manière appropriée pour trouver les données pertinentes et éliminer les données non pertinentes.
Une fois cela fait, les données doivent être saisies dans un logiciel qui fournit au réviseur un modèle pour faciliter sa tâche. Ce modèle est unique à chaque cas d'utilisation, organisation et surtout à chaque type de facture. Bien que le processus OCR facilite le traitement des factures, il ne résout pas de nombreuses parties fastidieuses en raison des résultats non structurés de l'OCR.
Les données saisies sont soumises à un examen manuel pour corriger les erreurs. Ce processus prend un certain temps car il passe par plusieurs réviseurs en raison des performances médiocres des outils OCR actuellement disponibles.
Enfin, les calculs sont effectués et les détails du paiement sont transmis à la direction financière.

Comment mieux numériser les factures?

En utilisant l'OCR et l'apprentissage profond, nous avons permis aux machines de fonctionner aussi bien et dans certains cas même mieux que les humains.

La numérisation des factures implique plusieurs étapes modérées par l'homme:

Images numériques des factures prises et téléchargées par l'utilisateur.
L'image a été vérifiée pour un traitement ultérieur - bonne résolution, toutes les données visibles dans l'image, dates vérifiées, etc.
Images vérifiées pour fraude.
Texte de ces images extrait et mis au bon format.
Données textuelles saisies dans des tableaux, des feuilles de calcul, des bases de données, des bilans, etc.

Phase 3: Deep Learning et OCR

Les approches d'apprentissage en profondeur ont vu des progrès dans le problème particulier de la lecture du texte et de l'extraction d'informations structurées et non structurées à partir d'images. En fusionnant les méthodes d'apprentissage en profondeur existantes avec la technologie de reconnaissance optique de caractères, les entreprises et les particuliers ont pu automatiser le processus de numériser des documents et a permis des procédures de saisie manuelle des données plus faciles, une meilleure journalisation et un meilleur stockage, moins d'erreurs et de meilleurs temps de réponse.

Plusieurs outils sont disponibles sur le marché et dans la communauté open-source pour de telles tâches, tous avec leurs avantages et leurs inconvénients. Certains d'entre eux sont l'API Google Vision, Amazon Rekognition et Microsoft Cognitive Services. Les outils open source les plus couramment utilisés sont Attention-OCR et les Tesseract.

Tous ces outils échouent de la même manière - une mauvaise précision qui nécessite une correction manuelle des erreurs et la nécessité de moteurs basés sur des règles suivant le extraction de texte pour pouvoir réellement utiliser les données de manière significative. Nous parlerons davantage de ces problèmes et plus dans les sections à venir.

Qu'est-ce qui rend le problème intéressant?

Le Paysage OCR se compose principalement de moteurs basés sur des règles qui reposent fortement sur les résultats de post-traitement de l'OCR en faisant correspondre des modèles ou en définissant des modèles spécifiques dans lesquels les résultats de l'OCR sont forcés de s'intégrer. Cette approche a connu un certain succès, mais nécessite une couche de logiciel construite au-dessus du Moteurs OCR qui est une tâche consommatrice de ressources.

Un plus gros problème avec cette approche basée sur des règles est que cette couche supplémentaire de logiciel doit être conçue à nouveau chaque fois que vous traitez avec un nouveau modèle de facture. L'automatisation du processus de création de modèles avec l'OCR peut créer un impact considérable pour quiconque travaille avec des factures.

Et c'est justement le problème auquel nous sommes confrontés nanonets résolu à résoudre.

Une approche moins connue de ce problème consiste à utiliser l'apprentissage automatique pour apprendre la structure d'un document ou d'une facture elle-même, ce qui nous permet de travailler avec des données, de localiser les champs que nous devons extraire en premier comme si nous résolvions un problème de détection d'objets (et pas OCR), puis en extraire le texte. Cela peut être fait en modélisant vos réseaux de neurones de manière à apprendre à identifier et à extraire des tables, à comprendre les colonnes et les champs qui y sont présents, les colonnes et les champs couramment trouvés dans une facture, quel que soit le format.

L'avantage d'une telle approche est qu'il devient possible de créer un modèle d'apprentissage automatique qui peut être généralisé à tout type de document ou de facture et peut être utilisé prêt à l'emploi sans aucune personnalisation. L'ajout d'une boucle d'apprentissage continu en collectant de nouvelles données et en recyclant périodiquement des modèles peut conduire à d'excellentes performances sur une grande variété de données.

Vous avez un problème d'OCR en tête? Vous souhaitez numériser des factures, des PDF ou des plaques d'immatriculation? Rendez-vous sur nanonets et construisez des modèles OCR gratuitement!

Pourquoi les outils de deep learning actuels ne suffisent pas ?

Même avec tous les avantages traitement automatisé des factures a à offrir, les industries n'ont pas vu une adoption généralisée des technologies d'OCR et d'apprentissage profond et cela pour plusieurs raisons.

Essayons de comprendre avec un exemple : une compagnie d'assurance maladie qui s'occupe des ordonnances et des factures. Automatisez le traitement des réclamations dans votre compagnie d'assurance en permettant aux utilisateurs de télécharger des images de factures en prenant des photos sur leur téléphone ou leur ordinateur ou scanner des factures augmentera la commodité pour les clients et les attirera davantage. Ces images téléchargées passent généralement par plusieurs cycles d'examen manuel au cours desquels vous vérifiez si les factures sont légitimes si les chiffres s'additionnent, s'il s'agit des produits mentionnés dans le recettes sont valables pour une réclamation d'assurance, etc. Mais avec l'automatisation du traitement des factures, ces tâches peuvent être effectuées en une fraction du temps nécessaire pour le faire manuellement, et avec une réduction d'au moins 50% des effectifs requis.

Mais il existe des obstacles à la construction d'une telle approche de bout en bout qui fonctionne selon un cas d'utilisation de l'industrie, peut stimuler l'automatisation tout en s'assurant que les erreurs ne consomment pas beaucoup du budget et entraîne également des taux plus élevés d'intégration des clients.

Précision de la technologie OCR

Actuellement, les meilleurs outils OCR disponibles sur le marché ne fonctionnent pas de manière satisfaisante pour appliquer ces API à grande échelle quel que soit le cas d'utilisation. Selon ce article, Google Vision, Le meilleur API OCR disponible actuellement ne peut fournir qu'une précision de 80%. La précision des autres produits sur le marché comme Amazon Reconnaissance et Microsoft Cognitive Services sont lamentables. Microsoft a effectué avec une précision de 65%, tandis que la reconnaissance AWS n'a été effectuée qu'avec une précision de 21%.

Cela est aggravé par le fait que ces API ne permettent pas de formation personnalisée pour des données spécifiques que l'entreprise utiliserait le plus. Investir dans des logiciels moins performants que les humains en termes de précision, nécessite toujours une saisie manuelle, une correction manuelle des erreurs et une révision manuelle semble être une perte de temps et d'argent.

Expertise en Deep Learning

Les produits OCR comme Google Vision sont confrontés à plusieurs inconvénients lorsqu'ils doivent traiter du texte dans différentes orientations, différentes langues, du texte ombragé ou bruyant. Ils ne vous permettent pas d'utiliser vos données et de créer des modèles personnalisés, ce qui rend difficile l'intégration directe du produit dans le flux de travail d'une organisation. Souvent, pour résoudre un problème comme celui-ci, les organisations doivent embaucher une équipe de science des données ou d’apprentissage automatique et créer elles-mêmes ces outils. Cela demande du temps, de l'argent et des efforts.

Par la suite, les data scientists doivent aligner leurs connaissances et leur expertise sur les objectifs de l'entreprise et déterminer exactement quelles mesures optimiser pour obtenir ces résultats. Cela nécessite que le scientifique des données comprenne une proposition commerciale, la transforme en problème mathématique, comprenne les SLA de l'entreprise, trouve les bonnes données, crée des modèles d'apprentissage automatique, les ajuste pour obtenir la précision requise tout en s'assurant que les cas d'erreur sont également traités avec élégance. .

Obtenir les bonnes données

Une partie très importante de la création du bon modèle d’apprentissage automatique consiste à trouver les bonnes données, et il n’y a tout simplement pas assez de données avec lesquelles travailler. Il existe des ensembles de données disponibles pour l'OCR pour des tâches telles que la reconnaissance de plaques d'immatriculation ou la reconnaissance d'écriture manuscrite, mais ces ensembles de données sont à peine suffisants pour obtenir le type de précision qu'exigerait le traitement d'une réclamation d'assurance ou une mission de remboursement d'un fournisseur.

Ces cas d'utilisation nous obligent à construire nos modèles et à les former sur le type de données que nous allons traiter le plus tout en nous assurant que les erreurs sont minimisées et que l'ensemble de données est équilibré. Traiter, par exemple, les ordonnances des médecins ou recettes des petits fournisseurs exigent que nos modèles fonctionnent bien sur les documents texte numériques et manuscrits.

Ressources informatiques

La tâche de créer une solution de ML en interne implique plus que le simple recrutement des meilleurs ingénieurs en apprentissage automatique pour concevoir les algorithmes avec la meilleure précision. Les exigences de calcul pour créer des modèles sur des données d'image sont élevées et incluent généralement des GPU sur site ou sur le cloud. L'exécution d'une instance de GPU K-80 sur Google Cloud Platform coûte environ 230 USD par mois. Ces coûts augmentent lorsque vous devez former des modèles ou recycler d'anciens modèles avec de nouvelles données.

Si la création d'une solution en interne est l'approche que vous choisissez, les coûts de construction doivent être compensés par une augmentation du nombre de clients inscrits, une augmentation du taux de traitement des factures et une diminution du nombre de réviseurs manuels requis.

Adapter les solutions aux besoins de votre entreprise

La construction d'un système de remboursement des fournisseurs, par exemple, nous oblige à inclure plusieurs étapes. Trouver un flux de travail pour vos besoins organisationnels n'est pas la même chose que créer un modèle d'apprentissage automatique qui vous donnera une bonne précision.

Ce dont vous avez besoin, ce sont des modèles qui peuvent:

Offrez au moins une précision au niveau humain
Peut gérer toutes sortes de données
Gérer la gestion des erreurs
Augmenter la commodité de la supervision humaine
Assurer la transparence dans les étapes de traitement des données
Vérifier la fraude
Autoriser le post-traitement des résultats OCR à les mettre dans une structure
Permettez de vous assurer que tous les champs obligatoires sont présents et que les valeurs sont correctes
Permettre un stockage et une base de données faciles de ces données
Autoriser l'automatisation des procédures de notification en fonction des résultats

C'est, comme vous l'avez peut-être deviné, une procédure longue et difficile, souvent avec des solutions pas si simples.

Supports Nanonets capture de facture & automatisation des factures dans plus de 60 langues. Créez votre propre modèle ou demandez une démo dès aujourd'hui!

Entrez Nanonets

Avec nanonets vous n'avez pas à vous soucier de trouver des talents d'apprentissage automatique, de créer des modèles, de comprendre l'infrastructure cloud ou le déploiement. Tout ce dont vous avez besoin est un problème commercial pour lequel vous avez besoin de solutions.

Interface graphique Web facile à utiliser

Nanonets offre une interface graphique Web facile à utiliser qui communique avec leur API et vous permet de créer des modèles, de les former sur vos données, d'obtenir des mesures importantes telles que la précision et l'exactitude et d'exécuter des inférences sur vos images, le tout sans écrire de code.

Modèles hébergés dans le cloud

En plus de fournir plusieurs modèles directement utilisables pour obtenir des solutions, les utilisateurs peuvent créer leurs modèles hébergés sur le cloud et accessibles avec une demande d'API à des fins d'inférence. Pas besoin de vous soucier d'obtenir une instance GCP ou des GPU pour la formation.

Algorithmes de pointe

Les modèles construits utilisent des algorithmes de pointe pour vous offrir les meilleurs résultats. Ces modèles évoluent constamment pour devenir meilleurs avec des données plus nombreuses et de meilleure qualité, une meilleure technologie, une meilleure conception d'architecture et des paramètres d'hyperparamètres plus robustes.

Extraction sur le terrain

Le plus grand défi dans la création d'un produit de numérisation de factures est de structurer le texte extrait. Ceci est rendu plus facile par notre API OCR qui extrait automatiquement tous les champs nécessaires avec les valeurs et les met dans un tableau ou un format JSON pour que vous puissiez y accéder et en tirer facilement parti.

Piloté par l'automatisation

Chez Nanonets, nous pensons que l'automatisation des processus tels que la numérisation des factures peut avoir un impact considérable sur votre organisation en termes d'avantages monétaires, de satisfaction client et de satisfaction des employés. Nanonets s'efforce de rendre l'apprentissage automatique omniprésent et à cette fin, notre objectif reste de rendre tout problème commercial que vous avez résolu d'une manière qui nécessite un minimum de supervision humaine et de budgets à l'avenir.

OCR avec Nanonets

Le Plateforme Nanonets vous permet de créer facilement des modèles OCR. Vous pouvez télécharger vos données, les annoter, configurer le modèle pour qu'il s'entraîne et attendre d'obtenir des prédictions via une interface utilisateur basée sur un navigateur sans écrire une seule ligne de code, sans vous soucier des GPU ou trouver les bonnes architectures pour vos modèles d'apprentissage en profondeur.

Mise à jour : nos modèles sont encore plus précis. Nous avons ajouté de nouveaux champs tels que le numéro de bon de commande, les identifiants de messagerie et l'extraction de table pour améliorer encore votre automatisation des factures workflows.

Commencez à numériser vos factures avec des nanonets - Numérisation en 1 clic:

Configurer une démo

Configurez une démo pour découvrir comment Nanonets peut vous aider à résoudre ce problème

‌‌

Lectures complémentaires

Mettre à jour:‌
‌ Ajout de plus de matériel de lecture sur les différentes approches d'automatisation du traitement des factures à l'aide de l'OCR et du Deep Learning.

Horodatage: 21 avril 2022