Otomasyon İçin Satın Alma Siparişleri Nasıl OCR Yapılır

Herhangi bir şirketteki tipik bir satın alma süreci, kendisiyle ilişkili birden fazla belgeye sahiptir. Faturalar, Satınalma Siparişleri, Teslimat Notları vb. Bu süreç, genel giderleri azaltmaya yönelik teknoloji tabanlı iyileştirmelerin tutarlı bir odağı olmuştur. Bu belgelerin dijitalleştirilmesi yoluyla büyük bir optimizasyon gerçekleştirilmiş, bu da maliyetlerin düşmesine, geri dönüş sürelerinin hızlanmasına ve hata oranlarının azalmasına yol açmıştır. Bu yazı, özellikle Satınalma Siparişlerine odaklanarak bu belgelerden OCR tabanlı veri yakalamadaki mevcut en son teknolojiyi ana hatlarıyla anlatacaktır.

Çok fazla ayrıntıya girmeden, tipik bir tedarik iş akışı şuna benzer:

1. Alıcı bir Satın Alma Siparişi oluşturur
2. Satıcı bir Fatura oluşturur
3. Alıcı bir GRN / Sipariş oluşturur Makbuz not

Bu belgelerin içerdiği bilgiler ve yapıdaki farklılık nedeniyle, bu belgelerin her biri için veri yakalama süreci ve gereksinimler arasında bazı ince farklılıklar vardır. Belgeyi kimin hazırladığı ve bunun sonucunda belgeyi dijitalleştirme ihtiyacının kimde olduğu da önemli bir farklılıktır.

3 Yollu Eşleştirme

Dijitalleştirmenin önemli bir nedeni, bu belgelerin tamamının işlemin tutarlı bir öyküsünü desteklemesi ve anlatması gerektiğidir. Bu 3 belgenin doğrulanması işlemine 3'lü eşleştirme adı verilmektedir. 3'lü eşleştirme ihtiyacı ve süreci, eşleşmeyi kimin, alıcının mı yoksa satıcının mı yürüttüğüne bağlı olarak büyük ölçüde farklılık gösterir.

Alıcının Perspektifi:

Alıcı PO'yu oluşturur ve Makbuz ve yazılımlarında kolayca uzlaştırılabilen bu bilgilere sahiptir. Eşleştirmeniz gerekiyor Fatura Satınalma Siparişine ve Makbuz. Alıcının dijitalleştirmesi gerekiyor Fatura diğer belgeler zaten ERP sistemlerinin içindedir.

Bir Alıcının 3 yönlü eşleştirme yapmasının çeşitli nedenleri vardır:

1. Eşleştirilerek satın alma işleminin yetkilendirilmesinin sağlanması fatura ve Satın Alma Siparişi ile GRN
2. Belgeler arasında eşleştirilerek doğru ürünün satın alınmasını sağlamak
3. İzin verilen doğru miktarın tedarik edildiğinden ve teslim edildiğinden emin olmak.
4. Her ürün için ödenen fiyatın onaylanmasını sağlamak
5. Aynı ürünler farklı satıcılardan tedarik edilebileceğinden, doğru satıcının seçildiğinden ve sonunda doğru satıcıya ödeme yapılacağından emin olmak
6. Aşağı akış kalitesi için envanterin GRN'deki miktarlarla eşleştirilmesi

Satıcının Perspektifi:

Satıcı şunları üretir: Fatura ve PO'dan emin olması gerekiyor ve Makbuz Faturadaki bilgilerle eşleşin. Satıcının Satın Alma Siparişini dijitalleştirmesi gerekiyor ve Faturanın ERP'sinden oluşturulması gerekiyor.

Satıcının 3 Yönlü Eşleştirme ihtiyacı

1. Sistemde envanter verilmiş bir Satınalma siparişinin yerine getirilip getirilemeyeceğinin kontrol edilmesi
2. Malların talep edilen ürünle eşleşecek şekilde gönderilmesini sağlamak
3. Doğru müşteriye talep edilen ürünün gönderilmesini sağlamak
4. İstenilen ürünlerin müşteriye teslim edilmesini sağlamak
5. Müşteriye doğru miktarların verilmesini sağlamak
6. PO'da fiyatın karşılanabilecek brüt bir marjı olmasını sağlamak

---

Satınalma Siparişlerini otomatikleştirmek için yapay zeka tabanlı bir OCR çözümü mü arıyorsunuz? Nanonet Ver™ Akıllı Otomasyon Platformu bir dönüş yapın ve Satın Alma Siparişlerinizi otomatik pilota alın!

---

Manuel 3 Yollu Eşleştirmeyle İlgili Sorunlar

3 yollu eşleştirme problemi, her iki tarafın da sözleşme sonlarını karşılamaları için oldukça kritik olduğundan, verimlilik ve doğruluk çok önemlidir. Ancak bu, çeşitli açılardan oldukça yüksek bir işlem maliyetidir:

Belge Takibinin İnsan Maliyeti ve Hatalar

1. Özellikle PO birden çok kez revize edildiğinde karmaşık bir süreçtir. PO'nun doğru sürümünü korumak zor olabilir. Doğru şekilde yapılmazsa, birden fazla ödemeye, ekstra öğelerin teslimine vb. Neden olabilir.
2. Sık bir tedarikçi ile alıcı arasında çok sayıda benzer belge ve işlem vardır. Bu işlemler tüketilebilir.
3. Süreç ölçeklenemez. Optimal insan kaynaklarını korumak, işlem hacmi hızla değiştiğinde zordur. Çoğu şirket, hacimdeki ani artışları telafi etmek için bu departmanlara gereğinden fazla personel veriyor

Ödeme veya Tedarik Gecikmeleri

1. Belgelerden veriler manuel olarak girilir. Bu süreç, işlenen belgelerin hacmi arttığında bir darboğaz haline gelir
2. Gecikmeler teslimat / ödeme / tedarikte gecikmeye neden olabilir. Hammadde tedarikindeki gecikmeler vb. Nedeniyle yüksek bir işletme sermayesi maliyetine veya gelir kaybına yol açar.

Envanter Hataları

1. Envanter sistemleri bu süreçle doğru bir şekilde entegre edilmezse, envanteri yanlış hesaplamanın yüksek bir maliyeti olabilir. Fazla stoklama, mükerrer siparişler, eksik stoklama ve gelir kaybıyla sonuçlanır.

3 Yollu Eşleştirmede Hatalar

Bu süreçte ortaya çıkan çeşitli farklı hatalar vardır. Aşağıda birkaç örnek verilmiştir

Satıcı Eşleştirme Hataları

Satıcı eşleştirme genellikle iki şeye göre yapılır: Satıcı Adı ve Adresi. Aynı şirketin çeşitli bağlı ortaklıkları ve benzer ihraç eden farklı iş birimleri olabileceğinden faturalar.

Satınalma Siparişindeki adres ve Fatura doğru adres ve Satıcı adı belirtilmemişse eşleştirmede sorunlar yaşanabilir. Ayrıca açıkça görülebileceği gibi, yalnızca doğrudan metin eşleştirme, Fatura ve PO'yu eşleştirmede işe yaramaz.

Satınalma Siparişi	Fatura	Durum
Acme A.Ş.	Acme A.Ş.	Eserler
Acme A.Ş.	Acme Inc. Afrika	başarısız
Zirve	Acme LLC.	başarısız
Acme LLC.	Acme LLC. Topçu Tümeni	başarısız

Ürün Eşleştirme Hataları

Ürünler, satın alma siparişinde ve faturada nadiren aynı adı taşıdıkları için eşleştirilmesi en zor öğelerdir. makbuz. Bu muhtemelen hataların en büyük nedenidir.

Hataların nedenleri, aynı ürünün farklı sürümleri, farklı boyutları, özellikleri ve fiyatları olmasından kaynaklanabilir. Üründe yakın zamanda bir güncelleme yapılmış olabilir, mevcut olmayan bir öğenin yedeği sağlanmıştır vb.

Satınalma Siparişi	Fatura	Durum
TYLENOL Sinüs Basıncı ve Ağrı	TYLENOL Sinüs Basıncı ve Ağrı	Eserler
Tylenol	TYLENOL Sinüs Basıncı ve Ağrı	başarısız
TYLENOL Sinüs Basıncı ve Ağrı	TYLENOL® Sinüs Basıncı ve Ağrı	başarısız
TYLENOL Ekstra Mukavemet	TYLENOL Ekstra Güçlü Ağrı Kesici ve Ateş Düşürücü 500 mg Caplets	başarısız
TYLENOL Ekstra Güçlü Ağrı Kesici ve Ateş Düşürücü 500 mg Caplets	TYLENOL Ekstra Güçlü Ağrı Kesici ve Ateş Düşürücü 250 mg Caplets	başarısız

Miktar Eşleştirme Hataları

Ürün doğru bir şekilde eşleştirilse bile, belirli bir miktardaki ürün mevcut değilse, miktarın eşleştirilmesinde hatalar olabilir. Bu genellikle satın alma siparişi ile GRN arasında da geçerlidir çünkü bu iki belge arasında genellikle bir gecikme vardır.

Fiyat Eşleştirme Hataları

Tüm ürün satın alma yaşam döngüsü boyunca fiyatta bir değişiklik olduysa veya ürün güncellendiyse veya değiştirildiyse bu hata meydana gelebilir.

Yinelenen Belgeler

Aynı satıcıdan sık sık benzer ürünler satın alınıyorsa, birbirine çok benzeyen birden çok belge olabilir. Bir Satın Alma Emrinin referans numarası Faturada ve GRN'de Fatura veya Satın Alma Emri için belirtilmemişse, belge uyuşmazlığı için önemli bir kapsam vardır.

---

Satın Alma Siparişlerini Sayısallaştırma

Satın Alma Siparişlerinden ilgili tüm verileri toplamak için aşağıdaki alanların çıkarılması gerekir:

Çıkarılacak alanların ortak listesi (Satın Alma Siparişlerinde farklı adlara sahip olabilirler):

Fatura Adresi	Ödeme şartları	Ara toplam
Alıcı adı	PO Numarası	Konu
Muhatap	PLATFORM	Toplam
Para birimi	Satın Alma Siparişi Tarihi	Birim fiyat
İçin teslim	Adet	Satıcı adı
Bitiş tarihi	Talep No

Güncel Çözümler ve Sorunları

Şablon + Metin Eşleştirme

Bu, belirli bir bilgi parçasını aramak için tam bölgeyi tanımlamayı içerir. Öyleyse, tarih ve formatın belgeler arasında tam olarak aynı olduğunu ve tarihin belgede tam olarak aynı yerde geçtiğini varsayalım. Tarih için belgede aranacak alanı tanımlıyoruz.
İşte süreç:

1. Belgeyi bir resme dönüştürün
2. Örnek bir belge veriyoruz
3. Tarihin bulunduğu bölgeyi işaretleyin (belge, sol üst köşenin (0,0) olduğu bir koordinat sistemi olarak görülüyor) tarih için ilgi alanı olan (200,300) ila (350,450) olarak işaretleyebiliriz
4. Yeni bir belge olduğunda gidip (200,300) 'e (350,450)' ye bakarız ve oradaki metni çıkarırız

Tarihsel olarak bu, bu sorunu çözmek için en yaygın yaklaşımlardan biri olmuştur. Bu, çeşitli nedenlerden kaynaklanmaktadır:

1. Yazılım ve uygulama kolaylığı. Yetkili bir programcı bu çözümü bir günden daha kısa sürede oluşturabilir
2. Çözümün nasıl çalışacağına dair bir belirsizlik yok, belge tam olarak aynı formatta ise mükemmel çalışacak
3. Verileri çıkarmak için çok sınırlı bilgi işlem kaynakları gerektirir

Bununla birlikte, bu yöntemin ne kadar ilkel olduğu göz önüne alındığında, bazı çok bariz zorluklar vardır:

1. Belgelerde küçük bir fark olsa bile işe yaramıyor
2. Alıcı formatını güncellerse çalışmaz
3. Her alıcı için ayarlanması gereken yeni bir format vardır
4. Taranan belgeler için çalışmıyor

OCR + NLP + Metin Eşleştirme

OCR + NLP, belgelerden veri çıkarmak için daha yeni bir tekniktir. OCR oldukça iyi çalışılmış bir sorundur ve çoğu zaman belgelerden metin çıkarmak işe yarar. Bir sonraki adım, belgeden çıkarılan tüm ham metni almak ve ardından belgedeki her bir metin parçasını ayrıştırmaya çalışmaktır.

NLP'de bu sorunu çözmek için kullanılabilecek çeşitli teknikler vardır.

1. Regex (Normal İfadeler)

Bir tarihi çıkarmak için normal bir ifade şöyle görünür:

^(?:(?:31(/|-|.)(?:0?[13578]|1[02]|(?:Jan|Mar|May|Jul|Aug|Oct|Dec)))1|(?:(?:29|30)(/|-|.)(?:0?[1,3-9]|1[0-2]|(?:Jan|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec))2))(?:(?:1[6-9]|[2-9]d)?d{2})$|^(?:29(/|-|.)(?:0?2|(?:Feb))3(?:(?:(?:1[6-9]|[2-9]d)?(?:0[48]|[2468][048]|[13579][26])|(?:(?:16|[2468][048]|[3579][26])00))))$|^(?:0?[1-9]|1d|2[0-8])(/|-|.)(?:(?:0?[1-9]|(?:Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep))|(?:1[0-2]|(?:Oct|Nov|Dec)))4(?:(?:1[6-9]|[2-9]d)?d{2})$

Alıntılar 01/02/2020

Kaynak: https://stackoverflow.com/questions/15491894/regex-to-validate-date-format-dd-mm-yyyy

Regex tabanlı çözümün dezavantajı, her yeni formatın ayrı ayrı programlanması gerektiğidir. Yeni bir format varsa, normal ifadeye eklenmesi gerekir. Belirli bir tarihin teslim tarihi mi, son ödeme tarihi mi yoksa satın alma siparişinin tarihi mi olduğunu belirlemez.

2. NER (Adlandırılmış Varlık Tanıma)

NER kullanarak alan türlerini çıkarmak için

results = stanford_ner_tagger.tag(article.split()) print('Original Sentence: %s' % (article)) for result in results: tag_value = result[0] tag_type = result[1] if tag_type != 'O': print('Type: %s, Value: %s' % (tag_type, tag_value))

Baskılar
Type: DATE, Value: 01/02/2020

Kaynak: https://towardsdatascience.com/named-entity-recognition-3fad3f53c91e

NER tabanlı ayıklamanın dezavantajı, iyi tanımlanmış türler için iyi çalışması, ancak adresler ve standart olmayan formatlar gibi çeşitli türler için başarısız olmasıdır. Tarihler, Para Birimi, Telefon numaraları vb. İçin iyi çalışır. Ara sıra İsimler ve Varlıklar için çalışır. Satın alma siparişinin teslim tarihi, vade tarihi veya tarihi olduğunu bilmeme gibi benzer bir sorundan muzdariptir.

3. Tedarikçiyi / Alıcıyı, belgenizi göndermek için yazılımınızı kullanmaya zorlayın

Bir Satıcı veya Alıcının bir işlemde önemli bir kaldıracı varsa, diğer tarafı belgelerini göndermek için yazılımlarını kullanmaya zorlayabilir. Bu, çoğu sorunu ortadan kaldırır ve tüm sorumluluğu satıcıya devreder ve belge dijitalleştirmeye gerek yoktur. Ancak bu, her yerde bulunamama sorunundan muzdariptir ve diğer tarafın yazılımınızla etkileşime girmesini gerektirir. Birkaç 3 taraf bu protokole uymasa bile, mevcut sisteminize eklemek için önemli bir çaba gerektirir.

---

Derin Öğrenme

Derin Öğrenme teknolojisi, son zamanlarda veri çıkarma ve daha da önemlisi daha iyi tahminlere yol açabilecek özellikleri çıkarma konusunda oldukça gelişmiş hale geldi.

Grafik Evrişimli Sinir Ağları (GCN), bu belgelerden veri çıkarmak için kullanılabilir. GCN'yi, her biri doğru bilgileri çıkarabilmek için kullanılan çeşitli farklı özellikler besliyoruz.

2 adıma bölünebilir:
1. Özellik Çıkarma

Her bir metin bloğundan çeşitli özellikler çıkarıyoruz.

a) Metin Özellikleri

b) Görsel Özellikler

c) Konum Özellikleri

d) Boyut Özellikleri

e) Yazı Tipi Özellikleri

2. Grafik Oluşturma

Bu özellikler her bir metin bloğu için oluşturulur ve ardından bir grafik oluşturulur. Her bir metin bloğu için komşusunun özelliklerini aktarır. Her metin bloğu için oluşturulan grafik özellikleri ve diğer özelliklerle, daha sonra ilgi alanlarından biri veya Yok olarak sınıflandırılır.

Belge Eşleştirme

Belgeleri eşleştirmek için Derin Öğrenme, belge türlerinin her birinden çıkarılan alanların, belgeler eşleşirse nihai bir tahmin vermek için ayrıştırılabildiği harika bir çözümdür.

Derin Öğrenmeyle İlgili Sorunlar

Çıkarılması gereken iki tür bilgi vardır

1. Anahtar değerlerle ilgili sorunlar (PO numarası, tarih vb.)

• Anahtar değer çiftlerini tanımlama. Biçimler arasında aynı şekilde konumlandırılmamışlardır ve kaç komşuya bakılacağı belirsizdir.
• Birden çok dili hesaba katmak.
• Belirli bir anahtar için eğitmek için yeterli veri yok (sınıf dengesizliği)

2. Tablo değerleriyle ilgili sorunlar

• Herhangi bir kutuyu tablo olarak sınıflandırmak
• Birden çok tablo içeren sayfalarda eksik tablolar
• İki yakın sütunu birleştirme
• Sayfa kenarlıklarını tablo kenarlıkları olarak yanlış yorumlama

3. Diğer Sorunlar

• Döndürme ve Kırpma
• Düşük kaliteli görüntüler
• Veri kayması

---

Nanonets Kullanımı

Satın Alma Siparişlerinde OCR için Derin Öğrenmeyi Kullanmada Sorunları Çözme

Nanonets API'sini Kullanma Belgeleri eşleştirmek için gerekli tüm gerekli anahtarları otomatik olarak çıkarabilirsiniz. Sadece bir belge yükleyin ve seçtiğiniz formatta döndürülen tüm ayıklanmış alanları alın.

Yukarıda listelenen sorunların çoğunu çözüyoruz, böylece tekerleği yeniden icat etmek için zaman harcamanıza gerek kalmaz.

Anahtar Değer Çiftleri:

1. Anahtar değer çiftlerinin belirlenmesi. Biçimler arasında tek tip olarak konumlandırılmazlar.

GCN uygulamamızı kullanarak, anahtarları belgeler arasında ayrıştırabiliyoruz. GCN uygulamamız, modelin her birinin hangi anahtara ait olduğunu doğru şekilde yorumlayabilmesi için özellik patlaması ve bağlam eksikliği arasında en iyi geçişi elde etmek için doğru mahalle aramasını bulmaya yönelik optimizasyonları içerir.

2. Birden fazla dili dikkate almak.

Modellerimiz, dilden bağımsız olan metin yerleştirmeleriyle eğitilmiştir. Bu, 'Fatura' ve 'Faktura' (Almanca Fatura) ve चलाना (Hintçe Fatura) kelimelerinin tümünün aynı özellik alanına eşleneceği bir özellik alanı oluşturarak elde edilir. Böylece metin özellikleri dilden bağımsız hale gelir ve modelin dil bazında eğitilmesi gerekmez.

3. Belirli bir anahtar için eğitmek için yeterli veri olmaması (sınıf dengesizliği)

Modellerimizin üzerinde eğitildiği ve bu sorunu hafifleten büyük bir mali belge külliyatına sahibiz.

tablolar

1. herhangi bir kutuyu tablo olarak sınıflandırmak

Farklı formatlarda ve ayarlarda çeşitli farklı tabloları tanımlayabilen sağlam bir sınıflandırıcı oluşturduk. Bu, tablonun yapısını tanımlamak için metin tabanlı özelliklerle birlikte görsel özellikler ve düzen özelliklerinin bir karışımını kullanır.

2. Birden çok tablo içeren sayfalarda eksik tablolar

Sayfalar arasında farklı tablo yapılarının her birini tanımladıktan sonra, yapının birleştirmek için yeterince benzer olup olmadığına ve iki tablonun birleştirilmesi gerekip gerekmediğini belirlemek için önceki sayfadaki bir tablonun eksik olup olmadığına karar veren bir birleştirme mantığına sahibiz.

3. İki yakın sütunu birleştirme

Yalnızca görsel özelliklere güvenirsek, boşluk temelli ayırmayı tanımlamak zor olduğundan bu bir sorun haline gelir. Bununla birlikte, görsel metin ve konuma dayalı özelliklerin dahil edilmesiyle, bir sütunda bulunan veri türünün nerede yeni bir sütun olarak adlandırılabilecek kadar farklı olduğunu belirlemek mümkün hale gelir.

4. Sayfa kenarlıklarını tablo kenarlıkları olarak yanlış yorumlama

Yukarıdakine benzer şekilde, bu sorun, belirli bir yapının bir tablo veya sayfa sınırı olup olmadığını belirlemek için çeşitli özellikler kullanılarak çözülür.

Diğer problemler

1.Döndürme ve Kırpma

Bir belgenin kenarlarını belirlemek ve ardından belgeyi doğru şekilde yönlendirmek için ön işleme adımımızın bir parçası olarak bir döndürme ve kırpma modeli uyguladık. Bu, bir nesne algılama probleminde standart olan 4 noktanın aksine 2 köşeyi tanımlamak için değiştirilmiş amaç işlevine sahip bir nesne algılama modeline benzer bir model kullanır. Bu hem döndürme hem de kırpma için çözer

2. Bulanık ve Kötü belge kalitesi

Ön işleme hattımızın bir parçası olarak, yalnızca belirli bir kalite eşiğinin üzerindeki belgeleri kabul eden bir kalite modelimiz var. Bu, hem iyi hem de kötü kaliteli bir dizi belge üzerinde eğitilmiş basit bir görüntü sınıflandırma modeli olan ikili bir sınıflandırıcıdır. Belge yakalama boru hattı belgelerinde, gerekli kalite standartlarını karşılamıyorlarsa erken reddedilebilir ve yeniden yakalama veya manuel işleme için gönderilebilir.

2. Veri sürüklenmesi

Veri kayması, model yalnızca tek bir satıcıdan veya tek bir bölgeden gelen verilere maruz kaldığında bir sorundur. Model, çeşitli farklı satıcılar, coğrafya endüstrileri vb. Üzerinde tarihsel olarak eğitildiyse, bu farklılıklara zaten maruz kaldığı için veri sapması olasılığı büyük ölçüde azalır.

PO'ları Dijitalleştirmeye Başlayın ve Faturalar Şimdi Nanonet'lerle - 1 Tıkla PO Dijitalleştirme:

Daha fazla Okuma

Güncelleme 1:
Satınalma Siparişlerinden bilgi çıkarma ve Otomasyon için OCR kullanma hakkında daha fazla okuma materyali eklendi

güncelleme 2: PO'lardan veri çıkarmak için modellerimizin doğruluğunu önemli ölçüde geliştirdik.

Demo Kurun

Nanonet'lerin bu sorunu çözmenize nasıl yardımcı olabileceğini öğrenmek için bir demo kurun