วิธีแปลงข้อมูล PDF เป็น JSON

PDF เป็นหนึ่งในรูปแบบข้อมูลที่ใช้มากที่สุดสำหรับเอกสารทางธุรกิจ ธุรกิจและองค์กรจำนวนมากใช้เครื่องมือต่างๆ ในการสร้างและอ่านเอกสาร PDF เหล่านี้

อย่างไรก็ตาม การเลือกแยกข้อมูลเฉพาะ/ข้อมูลสำคัญจาก PDF นั้นทำได้ยาก

นี่คือที่มาของ JSON (Javascript Object Notation)

เป็นหนึ่งในรูปแบบข้อมูลที่เป็นที่ชื่นชอบมากที่สุดสำหรับการแลกเปลี่ยนข้อมูล โดยเฉพาะอย่างยิ่งเมื่อพูดถึงเว็บแอปพลิเคชัน ข้อมูลส่วนใหญ่ได้รับการสื่อสารโดยใช้ JSON ผ่าน API และ ฐานข้อมูลแบบสอบถาม.

ในบล็อกโพสต์นี้ เราจะดู:

• วิธีที่ Nanonets แปลงข้อมูลที่ซับซ้อนโดยอัตโนมัติจากเอกสาร PDF ทางธุรกิจที่ซับซ้อนไปเป็นไฟล์ JSON ที่มีโครงสร้าง
• เทคนิคโอเพนซอร์สฟรีสำหรับการแปลง PDF เป็น JSON โดยใช้โมดูล Python, Linux และ Javascript
  • วิธีดึงข้อมูลเฉพาะ/ซับซ้อนจาก PDF เช่น ตารางและสตริงข้อความเฉพาะ
  • เวิร์กโฟลว์แบบกำหนดเองที่สามารถช่วยทำให้กระบวนการแปลง PDF เป็น JSON เป็นไปโดยอัตโนมัติ

---

ต้องการดึงข้อมูลเฉพาะจากเอกสาร PDF และแปลงเป็น JSON หรือไม่ เช็คเอาท์ นาโนเน็ตส์ API เพื่อแปลงไฟล์ PDF เป็น JSON เป็นชุดโดยอัตโนมัติจากเอกสารทางเทคนิคประเภทใดก็ได้!

กำหนดเวลาการสาธิต

---

Nanonets PDF เป็น JSON Converter อัตโนมัติ

• ลงชื่อ สำหรับแผนฟรีของ Nanonets ที่ให้เครดิต 100 หน้า – ไม่ต้องใช้บัตรเครดิต.
• เพิ่มกลุ่มไฟล์ PDF ธุรกิจของคุณ
• Nanonets จับภาพช่องอัตโนมัติจากเอกสารประเภทต่างๆ (ใบแจ้งหนี้ ใบเสร็จ ใบขับขี่ หนังสือเดินทาง & ตาราง)
  • คุณยังสามารถฝึก AI ของ Nanonets เพื่อตรวจจับ/จับเฉพาะเขตข้อมูลที่คุณสนใจจากเอกสารประเภทใดก็ได้!
• ตรวจสอบข้อมูลที่แยกออกมาและส่งออกเป็นเอาต์พุต JSON
  • คุณยังสามารถรวม Nanonets เข้ากับโฮสต์ของซอฟต์แวร์ ERP – กำหนดเวลาการโทร กับผู้เชี่ยวชาญ AI ของเราเพื่อทดสอบกรณีการใช้งานของคุณ
• ตรวจสอบ OCR API เพื่อทำให้ PDF เป็นเวิร์กโฟลว์ JSON โดยอัตโนมัติ

---

ต้องการที่จะ เก็บข้อมูล จากเอกสาร PDF และแปลงเป็น JSON, csv หรือ Excel? ค้นหาว่านาโนเน็ตสามารถช่วยได้อย่างไร

กำหนดเวลาการสาธิต

---

ความต้องการการแปลง PDF เป็น JSONSON

เกือบทุกธุรกิจอาศัยเอกสารสำหรับการแบ่งปันข้อมูล สิ่งเหล่านี้อาจเป็นเอกสาร ใบแจ้งหนี้ การยื่นภาษี ใบเสร็จ รายงานการรักษาพยาบาล และอื่นๆ อีกมากมาย

เอกสารเหล่านี้มักถูกแชร์/รับเป็น PDF

แต่ถ้าคุณต้องการค้นหาข้อมูลสำคัญหรือสร้างแดชบอร์ดเพื่อวิเคราะห์และจัดเก็บข้อมูลสำคัญทั้งหมด การรวบรวมข้อมูลด้วยตนเองจาก PDF เหล่านี้อาจเป็นงานที่ยาก

หาก PDF ถูกสร้างขึ้นด้วยระบบอิเล็กทรอนิกส์ เราสามารถคัดลอกและวางข้อมูลลงในแหล่งข้อมูลได้ มิเช่นนั้นเราอาจจะต้อง ใช้OCR และเทคนิคแมชชีนเลิร์นนิ่งในการดึงข้อมูล

นอกจากนี้ ข้อมูลใน PDFs ไม่ได้รับการจัดระเบียบหรือเครื่องสามารถอ่านได้โดยตรง ดังนั้นเราอาจต้องค้นหาข้อมูลด้วยตนเอง

แต่เมื่อพูดถึง JSON ทุกอย่างจะถูกจัดเป็นคู่คีย์-ค่า นี่คือตัวอย่าง

{
  "company_name": "Company Name",
  "Invoice_date": "Date ",
  "Invoice_total":"$0.00",
  "Invoice_line_items: "",
  "Invoice_tax": ""
} 

หากคุณสามารถเห็นรูปแบบ JSON ด้านบน แสดงว่าข้อมูลมีระเบียบมากขึ้น และคุณสามารถแบ่งปันข้อมูลนี้บนเว็บได้สะดวกยิ่งขึ้น นี่คือเหตุผลที่การส่งออกข้อมูลจาก PDF ไปยัง JSON เป็นสิ่งสำคัญสำหรับบริษัทจำนวนมาก

ผลประโยชน์ทางธุรกิจที่มาพร้อมกับ JSON

รูปแบบข้อมูล JSON มีข้อได้เปรียบมากมายเหนือ PDF สำหรับธุรกิจ:

1. JSON เร็วกว่า: ไวยากรณ์ JSON ใช้งานง่าย; เมื่อใดก็ตามที่คุณพยายามแยกวิเคราะห์ข้อมูล JSON การดำเนินการจะเร็วกว่ามากเมื่อเทียบกับ PDF และรูปแบบข้อมูลอื่นๆ นี่เป็นเพราะไวยากรณ์มีน้ำหนักเบาและดำเนินการตอบสนองอย่างรวดเร็ว
2. น่าอ่านกว่า: ข้อมูล JSON สามารถอ่านได้มากขึ้น เราจะมีการจับคู่ข้อมูลที่ตรงไปตรงมากับคีย์และค่าต่างๆ ดังนั้น หากคุณกำลังค้นหาบางสิ่งหรือจัดระเบียบข้อมูลจาก PDF JSON จะสะดวกกว่า นอกจากนี้ JSON ยังสนับสนุนการซ้อนข้อมูล และด้วยเหตุนี้ ข้อมูลจากตารางจึงสามารถจัดเก็บได้อย่างมีประสิทธิภาพมากขึ้น
3. สคีมาที่สะดวก: JSON เป็นสากลสำหรับระบบปฏิบัติการและภาษาโปรแกรมส่วนใหญ่ ดังนั้น หากคุณกำลังสร้างซอฟต์แวร์หรือเว็บแอปพลิเคชันใดๆ เพื่อทำให้ธุรกิจของคุณเป็นแบบอัตโนมัติ JSON ควรเป็นรูปแบบข้อมูลที่เหมาะสม นอกจากนี้ เว็บเบราว์เซอร์ส่วนใหญ่รองรับรูปแบบ JSON; ดังนั้นเราจึงไม่ต้องใช้ความพยายามเพิ่มเติมในการใช้ซอฟต์แวร์ของบุคคลที่สามเพื่ออ่านข้อมูล JSON
4. แบ่งปันได้ง่าย: JSON เป็นเครื่องมือที่ดีที่สุดสำหรับการแบ่งปันข้อมูลทุกขนาด แม้แต่ตารางหรือข้อความขนาดใหญ่ เป็นต้น เนื่องจาก JSON เก็บข้อมูลไว้ในอาร์เรย์ ดังนั้นการถ่ายโอนข้อมูลจึงทำให้สามารถเข้าถึงได้มากขึ้น ด้วยเหตุนี้ JSON จึงเป็นรูปแบบไฟล์ที่เหนือกว่าสำหรับ API ของเว็บและการพัฒนาเว็บ

ในส่วนถัดไป มาดูความท้าทายที่เราอาจเผชิญเมื่อแปลง PDF เป็นรูปแบบ JSON

---

นาโนเน็ต มีอะไรน่าสนใจมากมาย กรณีใช้ ที่สามารถเพิ่มประสิทธิภาพธุรกิจของคุณ ประหยัดต้นทุน และเพิ่มการเติบโต ค้นพบ กรณีการใช้งานของ Nanonets สามารถนำไปใช้กับผลิตภัณฑ์ของคุณได้อย่างไร

กำหนดเวลาการสาธิต

---

ความท้าทายในการแปลงจาก PDF เป็น JSON

มาดูความท้าทายบางประการในการส่งออกจาก PDF ไปยัง JSON

1. การตรวจจับแบบอักษร: ผู้คนใช้แบบอักษร สี และการจัดตำแหน่งต่างกันในเอกสาร PDF ดังนั้นจึงเป็นเรื่องยากมากที่ parsers จะอ่านสิ่งเหล่านี้ นอกจากนี้ ขณะส่งออกข้อมูลนี้ เราจะต้องกำหนดกฎเฉพาะ เพื่อให้หลังจากที่ parser ดึงข้อมูล ข้อมูลทั้งหมดควรได้รับการแมปอย่างถูกต้องในรูปแบบ JSON ในกรณีเช่นนี้ นิพจน์ทั่วไปจะใช้กันอย่างแพร่หลายในการเลือกข้อความที่เฉพาะเจาะจง แล้วส่งออกไปยังคีย์ที่ถูกต้องในรูปแบบ JSON
2. การตรวจจับข้อความจากเอกสารที่สแกน: ตามที่กล่าวไว้ เมื่อ PDF ไม่ได้ถูกสร้างขึ้นด้วยระบบอิเล็กทรอนิกส์ เราจะต้องใช้ OCR และการเลือก OCR เป็นสิ่งสำคัญ แม้ว่าผู้ใช้จำนวนมากลองใช้เครื่องมือโอเพนซอร์ซ เช่น tesseract แต่ก็มีข้อจำกัดของตัวเอง ตัวอย่างเช่น หากข้อความถูกจับอย่างไม่เหมาะสมหรือไม่ตรงแนวเมื่อจับภาพ tesseract อาจไม่ทำงาน และการเลือกเครื่องมืออื่นๆ อาจมีราคาแพง

1. ระบุตาราง: เอกสารทางธุรกิจส่วนใหญ่มีข้อมูลแบบตาราง และการกำหนดตารางเหล่านี้จากเอกสาร PDF และแปลงเป็น JSON นั้นเป็นงานที่ท้าทาย มีบางไลบรารีที่ใช้ Python และ Java ที่สามารถช่วยดึงตารางจากเอกสาร PDF ที่สร้างด้วยระบบอิเล็กทรอนิกส์
2. การระบุตารางจาก PDF ที่สแกน: เมื่อสแกน PDF แล้ว แพ็คเกจส่วนใหญ่จะไม่ทำงาน ในกรณีนี้ หากเราเลือก OCR โอเพ่นซอร์ส เช่น tesseract ก็สามารถแยกข้อความได้ แต่การจัดรูปแบบตารางทั้งหมดอาจหายไป ดังนั้นจึงเป็นเรื่องยากที่จะเลือกรายการเค้าร่างในรูปแบบที่ไม่ถูกต้อง นี่คือที่ที่เราจะต้องใช้อัลกอริธึม Machine Learning และ Deep Learning อัลกอริธึมยอดนิยมบางตัวอิงตาม CNN และมีการวิจัยมากมายในการปรับปรุงอัลกอริธึมเหล่านี้

ด้านล่างนี้คือเอกสารการวิจัยบางส่วนที่แก้ปัญหาการดึงตารางจากเอกสาร:

ในส่วนถัดไป มาดูวิธีแยกวิเคราะห์ข้อมูลจาก PDF เพื่อสร้างไฟล์ JSON

แยกวิเคราะห์ข้อมูลจาก PDF และสร้างไฟล์ JSON โดยใช้ Python และ Linux

การแยกวิเคราะห์ PDF ไม่ใช่เรื่องยากหากคุณมีประสบการณ์ของนักพัฒนา

ประการแรก เราจะต้องตรวจสอบว่าไฟล์ PDF ของเรามีข้อมูลข้อความหรือประกอบด้วยภาพที่สแกนหรือไม่ เราต้องตรวจสอบว่าเราสามารถดึงข้อมูลข้อความหรือไพพ์ไฟล์ผ่านไลบรารี OCR ได้หรือไม่ หากไม่มีการส่งคืนข้อความ

สามารถทำได้โดยใช้ไลบรารี Python หรือโดยอาศัยยูทิลิตี้บรรทัดคำสั่งของ Linux

ไฟล์ PDFtotext เป็นหนึ่งในห้องสมุดที่นิยมมากที่สุดในการแยกวิเคราะห์ PDF อิเล็กทรอนิกส์ เราสามารถใช้สิ่งนี้เพื่อแปลงข้อมูล PDF ทั้งหมดเป็นรูปแบบข้อความแล้วพุชเป็นรูปแบบ JSON

นี่คือคำแนะนำบางส่วนเกี่ยวกับวิธีการใช้งาน pdftotext และแยกวิเคราะห์ PDF บนเครื่อง Linux

ขั้นแรก ติดตั้งเครื่องมือบรรทัดคำสั่ง:

sudo apt-get install poppler-utils

ถัดไปใช้ pdftotext คำสั่งและเพิ่มเส้นทางต้นทางของไฟล์ PDF และตำแหน่งไฟล์ข้อความปลายทาง

pdftotext {PDF-file} {text-file}

ด้วยวิธีนี้ เราควรจะสามารถแยกข้อความที่อ่านได้ทั้งหมดออกจากไฟล์ PDF

ในการสร้างไฟล์ JSON เราจะต้องทำงานกับสคริปต์อีกครั้งโดยอิงตามข้อมูลของเรา ซึ่งสามารถแยกวิเคราะห์ข้อความและส่งออกไปยังคู่คีย์-ค่าที่เกี่ยวข้องได้

นี่คือตัวอย่างสคริปต์ที่เราเขียนใน Python ที่แปลงไฟล์ simple .txt ไฟล์ในรูปแบบ JSON

import json
  
filename = 'data.txt'
 
dict1 = {}
  
with open(filename) as fh:
  
    for line in fh:
        command, description = line.strip().split(None, 1)
        dict1[command] = description.strip()
  
# creating json file
# the JSON file is named as test1
out_file = open("test1.json", "w")
json.dump(dict1, out_file, indent = 4, sort_keys = False)
out_file.close()

พิจารณาข้อมูลภายในไฟล์ข้อความว่า:

invoice_id #234
invoice_name Invoice from AWS
invoice_total $345

ที่นี่ เรานำเข้าไลบรารี JSON แบบ inbuilt ก่อน ตอนนี้เราสร้างประเภทข้อมูลพจนานุกรมเพื่อจัดเก็บคู่คีย์-ค่าทั้งหมดจากไฟล์ข้อความ ต่อไป เราวนซ้ำทุกบรรทัดในไฟล์และแยกออกเป็นคำสั่ง คำอธิบาย และเก็บไว้ในพจนานุกรมที่สร้างขึ้น สุดท้าย เราสร้างไฟล์ JSON ใหม่และใช้คำสั่ง json.dump วิธีการดัมพ์พจนานุกรมลงในไฟล์ JSON ด้วยการกำหนดค่าเฉพาะที่มีการเรียงลำดับและการเยื้อง

อย่างไรก็ตาม ข้อมูลจาก PDF ของเราจะไม่ได้รับการจัดระเบียบตามที่ระบุในตัวอย่าง ดังนั้น เราอาจต้องใช้ไปป์ไลน์และสคริปต์ที่กำหนดเองเพื่อผ่านการจัดรูปแบบข้อความที่ซับซ้อน ในกรณีเช่นนี้ เครื่องมืออย่าง นาโนเน็ต จะเป็นทางเลือกที่ดี และเราจะดูด้วยว่า Nanonets แก้ปัญหานี้ด้วยวิธีที่ง่ายกว่ามากได้อย่างไรในหัวข้อต่อไปนี้

ก่อนหน้านั้น มาดูอีกหนึ่งไลบรารีที่แปลง PDF เป็น JSON โดยใช้ node.js:

pdf2json คือ Node.js โมดูลที่แยกวิเคราะห์และแปลง PDF จากไบนารีเป็นรูปแบบ JSON มันถูกสร้างขึ้นด้วย pdf.js และขยายด้วยองค์ประกอบฟอร์มแบบโต้ตอบและการแยกวิเคราะห์เนื้อหาข้อความนอกเบราว์เซอร์

ต่อไปนี้คือตัวอย่างการใช้โมดูลนี้เพื่อแยกวิเคราะห์ไฟล์ JSON ของคุณ:

ก่อนอื่นต้องแน่ใจว่ามี npm ติดตั้งและติดตั้งโมดูลโดยใช้คำสั่งต่อไปนี้:

npm install pdf2json

ถัดไป ในเซิร์ฟเวอร์โหนดของคุณ คุณสามารถใช้ข้อมูลโค้ดต่อไปนี้ที่โหลด pdf2json.pdf และส่งออก pdf เป็น JSON:

let fs = require('fs'),
        PDFParser = require("pdf2json");
 
    let pdfParser = new PDFParser();
 
    pdfParser.on("pdfParser_dataError", errData => console.error(errData.parserError) );
    pdfParser.on("pdfParser_dataReady", pdfData => {
        fs.writeFile("./pdf2json/test/F1040EZ.json", JSON.stringify(pdfData));
    });
 
    pdfParser.loadPDF("./pdf2json/test/pdf/fd/form/F1040EZ.pdf");

ข้อมูลโค้ดด้านบนใช้ไฟล์ตัวอย่าง JSON จากโมดูลและส่งออกเป็นไฟล์ JSON เราสามารถตรวจสอบได้ใน ./test/target/ โฟลเดอร์ในโครงการของคุณ บี

elow คุณจะพบภาพหน้าจอของวิธีที่โมดูลส่งออกไฟล์ JSON:

สำหรับการแยกวิเคราะห์ PDF ในตาราง ไลบรารีเหล่านี้อาจไม่ทำงาน!

---

คุณจะต้องใช้อัลกอริทึม OCR & Machine Learning เพื่อดึงข้อมูลแบบตารางลงใน JSON Nanonets ทำตามที่คุณเห็นด้านล่าง:

กำหนดเวลาการสาธิต

---

การแปลงข้อมูลที่กำหนดเองจาก PDF เป็น JSON

บางครั้ง เราอาจต้องปรับแต่งข้อมูลในขณะที่ดึงข้อมูลจากเอกสารทางธุรกิจ ตัวอย่างเช่น สมมติว่าเราต้องการเพียงบางหน้าหรือบางตารางเท่านั้น เราไม่สามารถดำเนินการโดยตรงได้ ในกรณีนี้ เราอาจจำเป็นต้องจัดเตรียมกฎเพิ่มเติมให้กับตัวแยกวิเคราะห์ ซึ่งใช้เวลานานอีกครั้ง แต่มาดูกันว่าเราจะทำการปรับแต่งและการกระทำที่คนส่วนใหญ่ต้องการได้อย่างไร

ด้านล่างนี้คือการดำเนินการบางอย่างที่จำเป็นสำหรับการปรับแต่งในการแปลง PDF เป็น JSON:

• แยกเฉพาะข้อความหรือหน้าจาก PDFs
• แยกตารางทั้งหมดจากเอกสาร PDF
• แยกคอลัมน์เฉพาะจากบางตารางใน PDFs
• กรองข้อความจาก PDF ก่อนส่งออกไปยัง JSON
• การสร้าง JSON ที่ซ้อนกันตามข้อมูลที่แยกจาก PDFs
• จัดรูปแบบโครงสร้าง JSON ตาม data
• สร้าง ลบ อัปเดตค่าของบางฟิลด์ใน JSON หลังจากการแตกไฟล์

นี่คือการดำเนินการบางอย่างที่จำเป็นสำหรับการจัดเก็บข้อมูลในรูปแบบต่างๆ หรือบอกว่าเรากำลังสร้าง API สำหรับแอปพลิเคชันหรือไม่ มาดูกันว่าเราจะบรรลุเป้าหมายเหล่านี้ได้อย่างไร

การแยกข้อความเฉพาะ: ใน PDF เราสามารถแยกข้อความโดยใช้นิพจน์ทั่วไป ตัวอย่างเช่น สมมติว่าเราต้องการอีเมลและหมายเลขโทรศัพท์ทั้งหมดโดยใช้ regex เราสามารถเลือกได้ หากไฟล์ PDF อยู่ในรูปแบบที่สแกน เราจำเป็นต้องฝึกพวกเขาด้วยอัลกอริธึมการเรียนรู้เชิงลึกที่สามารถเข้าใจเลย์เอาต์ของ PDF และแยกฟิลด์ตามพิกัดและคำอธิบายประกอบที่ทำกับข้อมูลการฝึกอบรม หนึ่งในแหล่งเก็บข้อมูลโอเพนซอร์สที่ได้รับความนิยมมากที่สุดสำหรับการทำความเข้าใจเค้าโครงเอกสารและการแยกข้อความคือ LayoutML และฝึกบนโมเดล BERT สำหรับการแยกข้อความแบบกำหนดเอง อย่างไรก็ตาม เราควรจะมีข้อมูลเพียงพอที่จะทำให้การแยกข้อความมีความแม่นยำมากขึ้น

การปรับแต่งตาราง: ตามที่กล่าวไว้ ตารางสามารถแยกออกมาได้โดยใช้ไลบรารี่ เช่น Camelot และ Tabula-py หรือใช้ OCR และอัลกอริธึมเชิงลึก แต่สำหรับการปรับแต่ง เราจะต้องใช้ไลบรารี่อย่างแพนด้า ซึ่งจะทำให้เราสามารถสร้าง อัปเดต และจัดลำดับข้อมูลจากตารางได้ ใช้ชนิดข้อมูลแบบกำหนดเองที่เรียกว่า data frame ซึ่งใช้กันอย่างแพร่หลายสำหรับการจัดการและปรับแต่งข้อมูลตาราง ข้อดีอื่นๆ ของการใช้แพนด้า ได้แก่ การเขียนฟังก์ชันแบบกำหนดเองที่สามารถดำเนินการทางคณิตศาสตร์บางอย่างได้ในระหว่างกระบวนการแยก

การจัดรูปแบบข้อมูล JSON: หลังจากส่งออก PDF เป็น JSON แล้ว การจัดรูปแบบเป็นงานที่ตรงไปตรงมา เนื่องจากเรามีประเภทข้อมูลที่ปรับแต่งได้มากขึ้นซึ่งเป็นคู่คีย์-ค่า เราสามารถพัฒนาสคริปต์อย่างง่ายหรือใช้เครื่องมือออนไลน์เพื่อค้นหาคู่คีย์-ค่าเหล่านี้และจัดรูปแบบ พารามิเตอร์ทั่วไปบางส่วนสำหรับการจัดรูปแบบ ได้แก่ การเยื้อง ตัวคั่น คีย์การเรียงลำดับ การตรวจสอบแบบวงกลม การตรวจสอบข้อมูล หากมีการใช้ JSON เป็น API เราสามารถใช้บุรุษไปรษณีย์หรือส่วนขยายเบราว์เซอร์ใดๆ เพื่อจัดรูปแบบข้อมูลและโต้ตอบกับ API

---

ต้องการดึงข้อมูลจากเอกสาร PDF และแปลงเป็นรูปแบบ JSON หรือไม่? ตรวจสอบ Nanonets เพื่อส่งออกข้อมูลอัตโนมัติจากเอกสาร PDF ไปยัง JSON

กำหนดเวลาการสาธิต

---