पीडीएफ डेटा को JSON में कैसे बदलें

PDF व्यावसायिक दस्तावेज़ों के लिए सबसे अधिक उपयोग किए जाने वाले डेटा स्वरूपों में से एक है। कई व्यवसाय और संगठन इन PDF दस्तावेज़ों को बनाने और पढ़ने के लिए विभिन्न उपकरणों पर निर्भर हैं।

हालांकि, पीडीएफ से चुनिंदा रूप से विशिष्ट/महत्वपूर्ण डेटा निकालना मुश्किल है।

यह वह जगह है जहाँ JSON (जावास्क्रिप्ट ऑब्जेक्ट नोटेशन) चित्र में आता है।

यह सूचनाओं के आदान-प्रदान के लिए सबसे पसंदीदा डेटा स्वरूपों में से एक है। विशेष रूप से जब वेब अनुप्रयोगों की बात आती है, तो अधिकांश डेटा का संचार JSON का उपयोग करके API के माध्यम से किया जाता है और डीबी प्रश्न.

इस ब्लॉग पोस्ट में, हम देखेंगे:

• Nanonets जटिल डेटा रूपांतरण को जटिल व्यावसायिक PDF दस्तावेज़ों से संरचित JSON फ़ाइलों में कैसे स्वचालित करता है।
• पायथन, लिनक्स और जावास्क्रिप्ट मॉड्यूल का उपयोग करके पीडीएफ को JSON में बदलने के लिए कुछ मुफ्त ओपन सोर्स तकनीकें।
  • PDF से विशिष्ट/जटिल डेटा कैसे निकालें जैसे टेबल और टेक्स्ट के विशिष्ट स्ट्रिंग्स।
  • कस्टम वर्कफ़्लोज़ जो PDF को JSON में बदलने की प्रक्रिया को स्वचालित करने में मदद कर सकते हैं।

---

PDF दस्तावेज़ों से विशिष्ट डेटा निकालना चाहते हैं और JSON में कनवर्ट करना चाहते हैं? चेक आउट नैनोनेट्स एपीआई किसी भी प्रकार के तकनीकी दस्तावेज़ से बैच PDF को JSON रूपांतरण में स्वचालित करने के लिए!

एक डेमो अनुसूची

---

नैनोनेट्स स्वचालित पीडीएफ से JSON कन्वर्टर

• साइन अप करें नैनोनेट्स की मुफ्त योजना के लिए जो 100 पेज का क्रेडिट प्रदान करती है - क्रेडिट कार्ड की जरूरत नहीं.
• अपने व्यवसाय की PDF फ़ाइलों का एक बैच जोड़ें
• नैनोनेट्स कई प्रकार के दस्तावेज़ों (चालान, रसीदें, ड्राइविंग लाइसेंस, पासपोर्ट और टेबल) से फ़ील्ड को स्वतः कैप्चर करता है
  • आप किसी भी प्रकार के दस्तावेज़ से अपनी रुचि के केवल डेटा फ़ील्ड का पता लगाने/कैप्चर करने के लिए नैनोनेट्स के एआई को प्रशिक्षित कर सकते हैं!
• निकाले गए डेटा को सत्यापित करें और JSON आउटपुट के रूप में निर्यात करें
  • आप कई ईआरपी सॉफ्टवेयर के साथ नैनोनेट्स को भी एकीकृत कर सकते हैं - एक कॉल शेड्यूल करें अपने उपयोग के मामले का परीक्षण करने के लिए हमारे एआई विशेषज्ञों के साथ।
• बाहर की जाँच करें हमारे ओसीआर एपीआई JSON वर्कफ़्लोज़ में PDF को स्वचालित करने के लिए

---

चाहते डेटा पर कब्जा PDF दस्तावेज़ों से और JSON, csv या . में कनवर्ट करें एक्सेल? जानें कि नैनोनेट कैसे मदद कर सकते हैं।

एक डेमो अनुसूची

---

पीडीएफ से JSON रूपांतरण की आवश्यकता

लगभग हर व्यवसाय सूचना साझा करने के लिए दस्तावेजों पर निर्भर करता है। ये दस्तावेज़ीकरण, चालान, टैक्स फाइलिंग, रसीदें, चिकित्सा रिपोर्ट और बहुत कुछ हो सकते हैं।

इन दस्तावेज़ों को अक्सर PDF के रूप में साझा/प्राप्त किया जाता है।

लेकिन अगर आप महत्वपूर्ण जानकारी की खोज करना चाहते हैं या सभी महत्वपूर्ण सूचनाओं का विश्लेषण और भंडारण करने के लिए एक डैशबोर्ड बनाना चाहते हैं, तो इन पीडीएफ से मैन्युअल रूप से डेटा एकत्र करना एक कठिन काम हो सकता है।

यदि PDF इलेक्ट्रॉनिक रूप से उत्पन्न होते हैं, तो हम जानकारी को डेटा स्रोतों में कॉपी-पेस्ट कर सकते हैं; अन्यथा, हमें करना पड़ सकता है ओसीआर का प्रयोग करें और जानकारी निकालने के लिए मशीन लर्निंग तकनीक।

साथ ही, PDF में डेटा व्यवस्थित या सीधे मशीन-पठनीय नहीं है। इसलिए, हमें मैन्युअल रूप से जानकारी की खोज करनी पड़ सकती है।

लेकिन जब JSON की बात आती है, तो सब कुछ की-वैल्यू पेयर में व्यवस्थित होता है। यहाँ एक उदाहरण है।

{
  "company_name": "Company Name",
  "Invoice_date": "Date ",
  "Invoice_total":"$0.00",
  "Invoice_line_items: "",
  "Invoice_tax": ""
} 

यदि आप उपरोक्त JSON प्रारूप देख सकते हैं, तो डेटा अधिक व्यवस्थित है, और आप इस जानकारी को वेब पर अधिक आसानी से साझा भी कर सकते हैं। यही कारण है कि PDF से JSON में डेटा निर्यात करना बहुत सी कंपनियों के लिए महत्वपूर्ण है।

व्यावसायिक लाभ जो JSON के साथ आते हैं

जेएसओएन डेटा प्रारूप में व्यवसायों के लिए पीडीएफ पर बहुत सारे फायदे हैं:

1. JSON तेज़ है: JSON सिंटैक्स का उपयोग करना आसान है; जब भी आप किसी JSON डेटा को पार्स करने का प्रयास कर रहे होते हैं, तो PDF और अन्य डेटा प्रारूपों की तुलना में निष्पादन बहुत तेज़ होता है। ऐसा इसलिए है क्योंकि सिंटैक्स हल्का है और प्रतिक्रिया को जल्दी से निष्पादित करता है।
2. अधिक पठनीय: JSON डेटा अधिक पठनीय है; हमारे पास चाबियों और मूल्यों के साथ एक सीधा डेटा मैपिंग होगा। इसलिए, यदि आप कुछ खोज रहे हैं या PDF से डेटा व्यवस्थित कर रहे हैं, तो JSON अधिक सुविधाजनक होगा। इसके अतिरिक्त, JSON डेटा के नेस्टिंग का समर्थन करता है, और इसके साथ, तालिकाओं से डेटा अधिक कुशलता से संग्रहीत किया जा सकता है।
3. सुविधाजनक स्कीमा: JSON अधिकांश ऑपरेटिंग सिस्टम और प्रोग्रामिंग भाषाओं के लिए सार्वभौमिक है; इसलिए, यदि आप अपने व्यवसाय को स्वचालित करने के लिए कोई सॉफ़्टवेयर या वेब एप्लिकेशन बना रहे हैं, तो JSON सही डेटा प्रारूप होना चाहिए। साथ ही, अधिकांश वेब ब्राउज़र JSON प्रारूप का समर्थन करते हैं; इसलिए हमें JSON डेटा के माध्यम से पढ़ने के लिए तृतीय-पक्ष सॉफ़्टवेयर का उपयोग करने के लिए अतिरिक्त प्रयास करने की आवश्यकता नहीं है।
4. आसान शेयरिंग: JSON किसी भी आकार, यहां तक ​​कि बड़ी टेबल या टेक्स्ट आदि के डेटा को साझा करने के लिए सबसे अच्छा टूल है। ऐसा इसलिए है क्योंकि JSON डेटा को सरणियों में संग्रहीत करता है, इसलिए डेटा स्थानांतरण इसे अधिक सुलभ बनाता है। इस कारण से, JSON वेब API और वेब विकास के लिए एक बेहतर फ़ाइल स्वरूप है।

अगले भाग में, आइए पीडीएफ को JSON फॉर्मेट में कनवर्ट करते समय हमारे सामने आने वाली कुछ चुनौतियों को देखें।

---

नैनोनेट्स कई दिलचस्प हैं बक्सों का इस्तेमाल करें जो आपके व्यवसाय के प्रदर्शन को अनुकूलित कर सकता है, लागत बचा सकता है और विकास को बढ़ावा दे सकता है। मालूम करना नैनोनेट्स के उपयोग के मामले आपके उत्पाद पर कैसे लागू हो सकते हैं।

एक डेमो अनुसूची

---

PDF से JSON में कनवर्ट करने की चुनौतियाँ

आइए PDF से JSON में निर्यात करने में आने वाली कुछ चुनौतियों को देखें।

1. फोंट का पता लगाना: लोग PDF दस्तावेज़ों के अंदर विभिन्न फ़ॉन्ट, रंग और संरेखण का उपयोग करते हैं। इसलिए, पार्सर्स के लिए इन्हें पढ़ना वाकई मुश्किल है। साथ ही, इसे निर्यात करते समय, हमें विशिष्ट नियमों को परिभाषित करना होगा ताकि पार्सर डेटा निकालने के बाद, सभी जानकारी को JSON प्रारूप में सही ढंग से मैप किया जाना चाहिए। ऐसे मामलों में, रेगुलर एक्सप्रेशन व्यापक रूप से विशिष्ट टेक्स्ट को चुनने और फिर उसे JSON फॉर्मेट में सही कुंजी पर निर्यात करने के लिए उपयोग किया जाता है।
2. स्कैन किए गए दस्तावेज़ों से पाठ का पता लगाना: जैसा कि चर्चा की गई है, जब पीडीएफ इलेक्ट्रॉनिक रूप से उत्पन्न नहीं होते हैं, तो हमें एक ओसीआर का उपयोग करना होगा और एक ओसीआर चुनना महत्वपूर्ण है। हालाँकि बहुत से उपयोगकर्ता टेस्सेक्ट जैसे ओपन-सोर्स टूल आज़माते हैं, लेकिन उनकी अपनी सीमाएँ होती हैं। उदाहरण के लिए, यदि टेक्स्ट को कैप्चर करते समय अनुचित तरीके से कैप्चर किया गया है या गलत संरेखित किया गया है, तो टेस्सेक्ट काम नहीं कर सकता है, और अन्य टूल चुनना महंगा हो सकता है।

1. तालिकाओं की पहचान: अधिकांश व्यावसायिक दस्तावेज़ों में सारणीबद्ध जानकारी होती है, और इन तालिकाओं को PDF दस्तावेज़ों से निर्धारित करना और उन्हें JSON में परिवर्तित करना एक चुनौतीपूर्ण कार्य है। पायथन और जावा पर आधारित कुछ पुस्तकालय हैं जो इलेक्ट्रॉनिक रूप से बनाए गए पीडीएफ दस्तावेजों से तालिकाओं को निकालने में मदद कर सकते हैं।
2. स्कैन किए गए PDF से तालिकाओं की पहचान करना: जब PDF को स्कैन किया जाता है, तो अधिकांश पैकेज काम नहीं करते हैं। इस मामले में, यदि हम टेस्सेक्ट जैसे ओपन-सोर्स ओसीआर चुनते हैं, तो यह टेक्स्ट निकाल सकता है लेकिन सभी टेबल स्वरूपण खो सकता है। इसलिए, आउटलाइन आइटम को गलत प्रारूप में चुनना चुनौतीपूर्ण है। यहीं पर हमें मशीन लर्निंग और डीप लर्निंग-आधारित एल्गोरिदम का उपयोग करना होगा। कुछ लोकप्रिय एल्गोरिदम सीएनएन पर आधारित हैं, और इन एल्गोरिदम को बेहतर बनाने के लिए बहुत सारे शोध चल रहे हैं।

नीचे कुछ शोध पत्र दिए गए हैं जो दस्तावेजों से तालिका निकालने की समस्या को हल करते हैं:

अगले भाग में, आइए देखें कि JSON फ़ाइलों को उत्पन्न करने के लिए PDF से डेटा को कैसे पार्स किया जाए।

PDF से डेटा पार्स करना और Python और Linux का उपयोग करके JSON फ़ाइलें बनाना

यदि आपके पास डेवलपर अनुभव है तो PDF को पार्स करना कोई जटिल कार्य नहीं है।

सबसे पहले, हमें यह जांचना होगा कि हमारी पीडीएफ फाइलों में टेक्स्ट डेटा है या स्कैन की गई छवियों से युक्त है। हमें यह जांचना होगा कि क्या हम टेक्स्ट डेटा निकाल सकते हैं या ओसीआर लाइब्रेरी के माध्यम से फाइलों को पाइप कर सकते हैं यदि कोई टेक्स्ट वापस नहीं किया गया था।

यह एक पायथन पुस्तकालय का उपयोग करके या कुछ लिनक्स कमांड-लाइन उपयोगिताओं पर भरोसा करके प्राप्त किया जा सकता है।

पीडीएफटीओटेक्स्ट इलेक्ट्रॉनिक PDF को पार्स करने के लिए सबसे लोकप्रिय पुस्तकालयों में से एक है। हम इसका उपयोग सभी पीडीएफ डेटा को टेक्स्ट फॉर्मेट में बदलने के लिए कर सकते हैं और फिर इसे JSON फॉर्मेट में पुश कर सकते हैं।

यहां कुछ निर्देश दिए गए हैं कि हम इसका उपयोग कैसे कर सकते हैं pdftotext और लिनक्स मशीन पर पीडीएफ के माध्यम से पार्स करें।

सबसे पहले, कमांड-लाइन टूल इंस्टॉल करें:

sudo apt-get install poppler-utils

अगला, उपयोग करें pdftotext कमांड करें और पीडीएफ फाइल का सोर्स पाथ और डेस्टिनेशन टेक्स्ट फाइल लोकेशन जोड़ें।

pdftotext {PDF-file} {text-file}

इसके साथ, हमें पीडीएफ फाइलों से सभी पठनीय पाठ निकालने में सक्षम होना चाहिए।

JSON फ़ाइल बनाने के लिए, हमें फिर से अपने डेटा के आधार पर एक स्क्रिप्ट पर काम करना होगा जो टेक्स्ट के माध्यम से पार्स कर सके और उन्हें प्रासंगिक कुंजी-मूल्य जोड़े में निर्यात कर सके।

यहां एक उदाहरण स्क्रिप्ट है जिसे हमने पायथन में लिखा है जो एक साधारण को परिवर्तित करता है .txt JSON प्रारूप में फ़ाइल।

import json
  
filename = 'data.txt'
 
dict1 = {}
  
with open(filename) as fh:
  
    for line in fh:
        command, description = line.strip().split(None, 1)
        dict1[command] = description.strip()
  
# creating json file
# the JSON file is named as test1
out_file = open("test1.json", "w")
json.dump(dict1, out_file, indent = 4, sort_keys = False)
out_file.close()

टेक्स्ट फ़ाइल के अंदर के डेटा पर विचार करें:

invoice_id #234
invoice_name Invoice from AWS
invoice_total $345

यहां, हमने सबसे पहले इनबिल्ट JSON लाइब्रेरी को इंपोर्ट किया। अब हम टेक्स्ट फाइलों से सभी की-वैल्यू पेयर को स्टोर करने के लिए एक डिक्शनरी डेटा टाइप बनाते हैं। इसके बाद, हम फ़ाइल में प्रत्येक पंक्ति के माध्यम से पुनरावृति करते हैं और इसे कमांड, विवरण में स्ट्रिप करते हैं और इसे बनाए गए शब्दकोश में रखते हैं। अंत में, हम एक नई JSON फ़ाइल बनाते हैं और इसका उपयोग करते हैं json.dump शब्दकोश को JSON फ़ाइल में एक विशिष्ट कॉन्फ़िगरेशन के साथ डंप करने की विधि जिसमें सॉर्टिंग और इंडेंटेशन शामिल है।

हालाँकि, PDF से हमारा डेटा उस तरह व्यवस्थित नहीं होगा जैसा कि उदाहरण में दिया गया है; इसलिए, जटिल पाठ स्वरूपण के माध्यम से जाने के लिए हमें कस्टम पाइपलाइन और स्क्रिप्ट का उपयोग करना पड़ सकता है। ऐसे मामलों में, जैसे उपकरण नैनोनेट्स बहुत अच्छा विकल्प होगा, और हम यह भी देखेंगे कि कैसे नैनोनेट्स इस समस्या को निम्नलिखित अनुभागों में बहुत आसान तरीके से हल करता है।

इससे पहले, आइए एक और लाइब्रेरी देखें जो नोड.जेएस का उपयोग करके पीडीएफ को जेएसओएन में परिवर्तित करती है:

pdf2json एक Node.js मॉड्यूल जो पीडीएफ को बाइनरी से जेएसओएन प्रारूप में पार्स और परिवर्तित करता है; इसके साथ बनाया गया है पीडीएफ.जेएस और इसे ब्राउज़र के बाहर इंटरेक्टिव फॉर्म तत्वों और टेक्स्ट सामग्री को पार्स करने के साथ विस्तारित करता है।

अपनी JSON फ़ाइलों को पार्स करने के लिए इस मॉड्यूल का उपयोग करने का एक उदाहरण यहां दिया गया है:

सबसे पहले, सुनिश्चित करें npm इंस्टॉलर और निम्न कमांड का उपयोग करके मॉड्यूल स्थापित करें:

npm install pdf2json

इसके बाद, अपने नोड सर्वर में, आप निम्न स्निपेट का उपयोग कर सकते हैं जो इसे लोड करता है pdf2json और जेएसओएन को पीडीएफ निर्यात करता है:

let fs = require('fs'),
        PDFParser = require("pdf2json");
 
    let pdfParser = new PDFParser();
 
    pdfParser.on("pdfParser_dataError", errData => console.error(errData.parserError) );
    pdfParser.on("pdfParser_dataReady", pdfData => {
        fs.writeFile("./pdf2json/test/F1040EZ.json", JSON.stringify(pdfData));
    });
 
    pdfParser.loadPDF("./pdf2json/test/pdf/fd/form/F1040EZ.pdf");

उपरोक्त कोड स्निपेट मॉड्यूल से एक उदाहरण JSON फ़ाइल का उपयोग करता है और इसे JSON फ़ाइल में निर्यात करता है, हम इसे इसमें देख सकते हैं ./test/target/ आपकी परियोजना में फ़ोल्डर। बी

elow, आपको एक स्क्रीनशॉट मिलेगा कि मॉड्यूल JSON फ़ाइलों को कैसे निर्यात करता है:

तालिकाओं में PDF के माध्यम से पार्स करने के लिए, ये पुस्तकालय शायद काम न करें!

---

JSON में सारणीबद्ध डेटा निकालने के लिए आपको OCR और मशीन लर्निंग एल्गोरिदम का लाभ उठाना होगा। नैनोनेट ठीक वैसा ही करता है जैसा आप नीचे देख सकते हैं:

एक डेमो अनुसूची

---

पीडीएफ से JSON में अनुकूलित डेटा रूपांतरण

कभी-कभी, व्यावसायिक दस्तावेज़ों से डेटा निकालते समय, हमें अनुकूलन की आवश्यकता हो सकती है। उदाहरण के लिए, मान लें कि अगर हम केवल कुछ पेज या टेबल चाहते हैं, तो हम इसे सीधे नहीं कर सकते। इस मामले में, हमें पार्सर्स को अतिरिक्त नियम प्रदान करने की आवश्यकता हो सकती है, जो फिर से समय लेने वाली है। लेकिन आइए देखें कि हम अनुकूलन और उन कार्यों को कैसे कर सकते हैं जिनकी अधिकांश लोगों को आवश्यकता है।

पीडीएफ से JSON रूपांतरण में अनुकूलन के लिए आवश्यक कुछ कार्रवाइयां नीचे दी गई हैं:

• PDF से केवल विशेष पाठ या पृष्ठ निकालें
• PDF दस्तावेज़ों से सभी तालिकाएँ निकालें
• PDF में कुछ तालिकाओं से विशेष कॉलम निकालें
• JSON में निर्यात करने से पहले PDF से टेक्स्ट को फ़िल्टर करें
• PDF से निकाले गए डेटा के आधार पर नेस्टेड JSON बनाना
• डेटा के आधार पर JSON संरचना को प्रारूपित करें
• निष्कर्षण के बाद JSON में कुछ फ़ील्ड के मान बनाएं, हटाएं, अपडेट करें

ये कुछ ऐसी क्रियाएं हैं जो अक्सर हमारे डेटा को अलग-अलग तरीकों से संग्रहीत करने के लिए आवश्यक होती हैं, या कहें कि क्या हम किसी एप्लिकेशन के लिए एपीआई बना रहे हैं। आइए देखें कि हम इन्हें कैसे हासिल कर सकते हैं।

विशेष पाठ निकालना: PDF में, हम रेगुलर एक्सप्रेशन का उपयोग करके विशेष टेक्स्ट निकाल सकते हैं; उदाहरण के लिए, मान लें कि यदि हम रेगेक्स का उपयोग करके सभी ईमेल और फोन नंबर चाहते हैं, तो हम उन्हें चुन सकते हैं। यदि पीडीएफ स्कैन किए गए प्रारूप में हैं, तो हमें या तो उन्हें एक गहन शिक्षण एल्गोरिदम पर प्रशिक्षित करने की आवश्यकता है जो पीडीएफ के लेआउट को समझ सकता है और प्रशिक्षण डेटा के लिए किए गए निर्देशांक और एनोटेशन के आधार पर फ़ील्ड निकाल सकता है। दस्तावेज़ लेआउट को समझने और टेक्स्ट निकालने के लिए सबसे लोकप्रिय ओपन-सोर्स रिपॉजिटरी में से एक लेआउटएमएल है, और यह कस्टम टेक्स्ट निष्कर्षण के लिए बीईआरटी मॉडल पर प्रशिक्षण देता है। हालांकि, टेक्स्ट निकालने में उच्च सटीकता प्राप्त करने के लिए हमारे पास पर्याप्त डेटा होना चाहिए।

तालिका अनुकूलन: जैसा कि चर्चा की गई है, तालिकाओं को कैमलॉट और टैबुला-पीई जैसे पुस्तकालयों का उपयोग करके या ओसीआर और गहन शिक्षण-आधारित एल्गोरिदम का उपयोग करके निकाला जा सकता है। लेकिन अनुकूलन के लिए, हमें पांडा जैसे पुस्तकालयों का उपयोग करना होगा; यह हमें तालिकाओं से डेटा बनाने, अपडेट करने और क्रमबद्ध करने की अनुमति देगा। यह एक कस्टम डेटा प्रकार का उपयोग करता है जिसे डेटा फ़्रेम कहा जाता है, जिसका व्यापक रूप से तालिका डेटा में हेरफेर और अनुकूलित करने के लिए उपयोग किया जाता है। पांडा का उपयोग करने के अन्य लाभों में कस्टम फ़ंक्शन लिखना शामिल है जो निष्कर्षण प्रक्रिया के दौरान कुछ गणित संचालन कर सकते हैं।

JSON डेटा फ़ॉर्मेट करना: जेएसओएन में पीडीएफ निर्यात करने के बाद, उन्हें प्रारूपित करना एक सीधा काम है, क्योंकि हमारे पास एक अधिक अनुकूलन योग्य डेटा प्रकार है जो कुंजी-मूल्य जोड़े हैं। हम या तो सरल स्क्रिप्ट विकसित कर सकते हैं या इन कुंजी-मूल्य जोड़े के माध्यम से खोजने और उन्हें प्रारूपित करने के लिए ऑनलाइन टूल का उपयोग कर सकते हैं। फ़ॉर्मेटिंग के कुछ सबसे सामान्य मापदंडों में इंडेंटेशन, सेपरेटर्स, सॉर्टिंग कीज़, सर्कुलर चेक, डेटा चेक शामिल हैं। यदि JSON का उपयोग एपीआई के रूप में किया जा रहा है, तो हम डेटा को प्रारूपित करने और एपीआई के साथ बातचीत करने के लिए पोस्टमैन या किसी ब्राउज़र एक्सटेंशन का उपयोग कर सकते हैं।

---

PDF दस्तावेज़ों से जानकारी निकालना चाहते हैं और उन्हें JSON प्रारूप में बदलना चाहते हैं? किसी भी PDF दस्तावेज़ से JSON में किसी भी जानकारी के निर्यात को स्वचालित करने के लिए Nanonets देखें।

एक डेमो अनुसूची

---