Amazon Comprehend নামে সত্তা স্বীকৃতি ব্যবহার করে বীমা নথি থেকে সত্তা বের করুন

ইন্টেলিজেন্ট ডকুমেন্ট প্রসেসিং (IDP) হল AWS-এ গ্রাহকদের জন্য একটি সাধারণ ব্যবহারের ক্ষেত্রে। কাজে লাগাতে পারেন অ্যামাজন সমঝোতা এবং অ্যামাজন টেক্সট্র্যাক নথি নিষ্কাশন, ডেটা শ্রেণীবিভাগ, এবং সত্তা নিষ্কাশন থেকে শুরু করে বিভিন্ন ব্যবহারের ক্ষেত্রে। একটি নির্দিষ্ট শিল্প যা IDP ব্যবহার করে তা হল বীমা। তারা আইডিপি ব্যবহার করে সাধারণ ব্যবহারের ক্ষেত্রে যেমন দাবি গ্রহণ, পলিসি সার্ভিসিং, উদ্ধৃতি, অর্থপ্রদান এবং পরবর্তী সেরা পদক্ষেপগুলির জন্য ডেটা নিষ্কাশন স্বয়ংক্রিয়ভাবে করতে। যাইহোক, কিছু ক্ষেত্রে, একটি অফিস জটিল, লেবেল-হীন তথ্য সহ একটি নথি পায়। অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR) সফ্টওয়্যারের পক্ষে এটি ক্যাপচার করা সাধারণত কঠিন, এবং সম্পর্ক এবং মূল সত্তা সনাক্ত করা একটি চ্যালেঞ্জ হয়ে দাঁড়ায়। সমাধানের জন্য প্রায়ই উচ্চ নির্ভুলতা নিশ্চিত করার জন্য ম্যানুয়াল মানব প্রবেশের প্রয়োজন হয়।

এই পোস্টে, আমরা প্রদর্শন করি আপনি কিভাবে ব্যবহার করতে পারেন নাম সত্তা স্বীকৃতি (NER) এই চ্যালেঞ্জ মোকাবেলা করার জন্য Amazon Comprehend-এ তাদের নেটিভ ফরম্যাটে ডকুমেন্টের জন্য।

সমাধান ওভারভিউ

একটি বীমা পরিস্থিতিতে, একজন বীমাকারী একজন অ্যাটর্নির অফিস থেকে একটি চাহিদা পত্র পেতে পারে। চাহিদা পত্রের মধ্যে তথ্য অন্তর্ভুক্ত রয়েছে যেমন কোন আইন অফিস চিঠিটি পাঠাচ্ছে, তাদের ক্লায়েন্ট কে এবং তাদের অনুরোধগুলি সন্তুষ্ট করার জন্য কী কী পদক্ষেপ নেওয়া প্রয়োজন, যেমনটি নিম্নলিখিত উদাহরণে দেখানো হয়েছে:

চাহিদা পত্রে এই তথ্য পাওয়া যেতে পারে এমন বিভিন্ন অবস্থানের কারণে, এই নথিগুলি প্রায়ই একজন স্বতন্ত্র সমন্বয়কারীর কাছে পাঠানো হয়, যিনি দাবি নিয়ে এগিয়ে যাওয়ার জন্য প্রয়োজনীয় সমস্ত প্রয়োজনীয় তথ্য নির্ধারণ করতে চিঠিটি পড়ার জন্য সময় নেন। নথিতে একাধিক নাম, ঠিকানা এবং অনুরোধ থাকতে পারে যেগুলির প্রত্যেকটি শ্রেণীবদ্ধ করা প্রয়োজন৷ যদি ক্লায়েন্ট সুবিধাভোগীর সাথে মিশে যায়, বা ঠিকানাগুলি স্যুইচ করা হয়, বিলম্ব যোগ করতে পারে এবং নেতিবাচক পরিণতি কোম্পানি এবং গ্রাহকদের প্রভাবিত করতে পারে। যেহেতু ঠিকানা এবং নামের মত বিভাগের মধ্যে প্রায়ই ছোট পার্থক্য থাকে, তাই ডকুমেন্টগুলি প্রায়ই IDP পদ্ধতি ব্যবহার করার পরিবর্তে মানুষের দ্বারা প্রক্রিয়া করা হয়।

পূর্ববর্তী উদাহরণ নথিতে ওভারল্যাপিং সত্তা মানগুলির অনেকগুলি উদাহরণ রয়েছে (সত্তা যেগুলি একই বৈশিষ্ট্যগুলি ভাগ করে কিন্তু সম্পর্কিত নয়)৷ এর উদাহরণ হল আইন অফিসের ঠিকানা বনাম বীমা কোম্পানির ঠিকানা বা বিভিন্ন ব্যক্তির নাম (অ্যাটর্নির নাম, সুবিধাভোগী, পলিসি ধারক)। অতিরিক্তভাবে, অবস্থানগত তথ্য রয়েছে (যেখানে সত্তাটি নথির মধ্যে অবস্থান করে) যা একটি ঐতিহ্যগত পাঠ্য-শুধু অ্যালগরিদম মিস করতে পারে। অতএব, ঐতিহ্যগত স্বীকৃতি কৌশল প্রয়োজনীয়তা পূরণ নাও হতে পারে.

এই পোস্টে, আমরা এই চ্যালেঞ্জগুলি সমাধান করতে Amazon Comprehend-এ নামযুক্ত সত্তা স্বীকৃতি ব্যবহার করি। এই পদ্ধতিটি ব্যবহার করার সুবিধা হল যে কাস্টম সত্তা স্বীকৃতি মডেলটি সঠিকভাবে কাস্টম সত্তাগুলি বের করতে পাঠ্যের স্বাভাবিক ভাষা এবং অবস্থানগত তথ্য উভয়ই ব্যবহার করে যা অন্যথায় একটি নথিকে সমতল করার সময় প্রভাবিত হতে পারে, যেমনটি আমাদের পূর্ববর্তী সত্তা মানগুলির ওভারল্যাপিং উদাহরণে প্রদর্শিত হয়েছে। এই পোস্টের জন্য, আমরা জীবন বীমার জন্য আইনি অনুরোধ এবং চাহিদা পত্রগুলির একটি AWS কৃত্রিমভাবে তৈরি ডেটাসেট ব্যবহার করি, তবে আপনি এই পদ্ধতিটি যে কোনও শিল্প এবং নথিতে ব্যবহার করতে পারেন যা কাস্টম NER প্রশিক্ষণে স্থানিক ডেটা থেকে উপকৃত হতে পারে। নিম্নলিখিত চিত্রটি সমাধান আর্কিটেকচার চিত্রিত করে:

আমরা নিম্নলিখিত উচ্চ-স্তরের পদক্ষেপগুলির সাথে সমাধানটি বাস্তবায়ন করি:

1. নমুনা ডেটাসেট ধারণকারী সংগ্রহস্থল ক্লোন করুন।
2. তৈরি একটি আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3) বালতি।
3. আপনার কাস্টম সত্তা স্বীকৃতি মডেল তৈরি করুন এবং প্রশিক্ষণ দিন।
4. একটি অ্যাসিঙ্ক্রোনাস ব্যাচ কাজ চালিয়ে মডেলটি ব্যবহার করুন।

পূর্বশর্ত

এই সমাধানটি ব্যবহার করার জন্য আপনাকে নিম্নলিখিত পূর্বশর্তগুলি পূরণ করতে হবে:

1. ইনস্টল করুন পাইথন 3.8.x
2. নিশ্চিত করো যে তোমার আছে পিপ ইনস্টল করা হয়েছে.
3. ইনস্টল করুন এবং কনফিগার করুন দ্য এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)।
4. কনফিগার করুন আপনার AWS শংসাপত্র।

আপনার নথি টীকা

আপনার পিডিএফ, ওয়ার্ড এবং প্লেইন টেক্সট নথিতে ব্যবহার করা যেতে পারে এমন একটি কাস্টম সত্তা শনাক্তকরণ মডেলকে প্রশিক্ষণ দিতে, আপনাকে প্রথমে একটি কাস্টম ব্যবহার করে পিডিএফ ডকুমেন্টগুলিকে টীকা করতে হবে আমাজন সেজমেকার গ্রাউন্ড ট্রুথ অ্যানোটেশন টেমপ্লেট যা অ্যামাজন কম্প্রেহেন্ড দ্বারা সরবরাহ করা হয়েছে। নির্দেশাবলীর জন্য, দেখুন Amazon Comprehend ব্যবহার করে নথিতে নামযুক্ত সত্তাগুলি বের করার জন্য কাস্টম নথির টীকা৷.

ভাল মানের ভবিষ্যদ্বাণী নিশ্চিত করতে আমরা প্রতি সত্তার জন্য সর্বনিম্ন 250টি নথি এবং 100টি টীকা সুপারিশ করি৷ আরও প্রশিক্ষণের ডেটা সহ, আপনি একটি উচ্চ-মানের মডেল তৈরি করার সম্ভাবনা বেশি।

আপনি যখন টীকা করা শেষ করেছেন, আপনি একটি কাস্টম সত্তা শনাক্তকরণ মডেলকে প্রশিক্ষণ দিতে পারেন এবং ব্যাচ (অসিঙ্ক্রোনাস) প্রক্রিয়াকরণের জন্য পিডিএফ, ওয়ার্ড এবং প্লেইন টেক্সট ডকুমেন্ট থেকে কাস্টম সত্তা বের করতে এটি ব্যবহার করতে পারেন।

এই পোস্টের জন্য, আমরা ইতিমধ্যেই আমাদের নমুনা ডেটাসেট লেবেল করেছি, এবং আপনাকে প্রদত্ত নথিগুলিকে টীকা করতে হবে না. যাইহোক, আপনি যদি নিজের নথিগুলি ব্যবহার করতে চান বা সত্তাগুলিকে সামঞ্জস্য করতে চান তবে আপনাকে নথিগুলিকে টীকা করতে হবে৷ নির্দেশাবলীর জন্য, দেখুন Amazon Comprehend ব্যবহার করে নথিতে নামযুক্ত সত্তাগুলি বের করার জন্য কাস্টম নথির টীকা৷.

আমরা নিম্নলিখিত সত্তাগুলি বের করি (যা কেস সংবেদনশীল):

• Law Firm
• Law Office Address
• Insurance Company
• Insurance Company Address
• Policy Holder Name
• Beneficiary Name
• Policy Number
• Payout
• Required Action
• Sender

প্রদত্ত ডেটাসেট সম্পূর্ণরূপে কৃত্রিমভাবে তৈরি। নাম, স্থান এবং ঘটনার কোনো উল্লেখ লেখকের কল্পনার পণ্য বা কাল্পনিকভাবে ব্যবহার করা হয়। প্রকৃত ঘটনা বা লোকেল বা ব্যক্তি, জীবিত বা মৃতের সাথে কোন মিল সম্পূর্ণ কাকতালীয়।

সংগ্রহস্থল ক্লোন করুন

নিম্নলিখিত কমান্ডটি চালানোর মাধ্যমে সংগ্রহস্থল ক্লোন করে শুরু করুন:

git clone https://github.com/aws-samples/aws-legal-entity-extraction

সংগ্রহস্থলে নিম্নলিখিত ফাইলগুলি রয়েছে:

aws-legal-entity-extraction /source /annotations output.manifest sample.pdf bucketnamechange.py

একটি এস 3 বালতি তৈরি করুন

এই উদাহরণের জন্য ব্যবহার করার জন্য একটি S3 বালতি তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. Amazon S3 কনসোলে, নির্বাচন করুন buckets নেভিগেশন ফলকে।
2. বেছে নিন বালতি তৈরি করুন.
   
3. আপনি এইমাত্র তৈরি করা বালতির নামটি নোট করুন।

আমরা ইতিমধ্যে ডেটাসেটের জন্য তৈরি করা টীকাগুলি পুনঃব্যবহার করতে, আমাদের পরিবর্তন করতে হবে৷ output.manifest ফাইল এবং রেফারেন্স বালতি আমরা তৈরি করেছি।

4. নিম্নলিখিত কমান্ডগুলি চালিয়ে ফাইলটি পরিবর্তন করুন:

   cd aws-legal-entity-extraction
   python3 bucketnamechange.py
   Enter the name of your bucket: <Enter the name of the bucket you created>

স্ক্রিপ্ট চালানো শেষ হলে, আপনি নিম্নলিখিত বার্তা পাবেন:

The manifest file is updated with the correct bucket

আমরা এখন আমাদের মডেল প্রশিক্ষণ শুরু করতে পারেন.

মডেল তৈরি এবং প্রশিক্ষণ

আপনার মডেল প্রশিক্ষণ শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. Amazon S3 কনসোলে, আপলোড করুন /source ফোল্ডার, /annotations ফোল্ডার, output.manifest, এবং sample.pdf ফাইল।

আপনার বালতি নিম্নলিখিত স্ক্রিনশট অনুরূপ দেখতে হবে.

2. অ্যামাজন কম্প্রিহেন্ড কনসোলে, নীচে কাস্টমাইজেশন নেভিগেশন ফলকে, নির্বাচন করুন কাস্টম সত্তা স্বীকৃতি.
   
3. বেছে নিন নতুন মডেল তৈরি করুন.
   
4. জন্য ণশড, একটি নাম লিখুন।
5. জন্য ভাষানির্বাচন ইংরেজি.
6. জন্য কাস্টম সত্তা টাইপ, নিম্নলিখিত কেস-সংবেদনশীল সত্তা যোগ করুন:
   1. Law Firm
   2. Law Office Address
   3. Insurance Company
   4. Insurance Company Address
   5. Policy Holder Name
   6. Beneficiary Name
   7. Policy Number
   8. Payout
   9. Required Action
   10. Sender

   

7. In ডেটা স্পেসিফিকেশনজন্য উপাত্ত বিন্যাস, নির্বাচন করুন অগমেন্টেড ম্যানিফেস্ট যখন আমরা নথিগুলি টীকা করি তখন আমরা যে ম্যানিফেস্টটি তৈরি করি তা উল্লেখ করতে।
8. জন্য প্রশিক্ষণ মডেলের ধরন, নির্বাচন করুন পিডিএফ, ওয়ার্ড ডকুমেন্ট.

এটি প্রশিক্ষণ এবং অনুমানের জন্য আপনি যে ধরনের নথি ব্যবহার করছেন তা নির্দিষ্ট করে।

9. জন্য সেজমেকার গ্রাউন্ড ট্রুথ অগমেন্টেড ম্যানিফেস্ট ফাইল S3 অবস্থান, অবস্থান লিখুন output.manifest আপনার S3 বালতিতে ফাইল করুন।
10. জন্য টীকা ডেটা ফাইলের জন্য S3 উপসর্গ, পথ প্রবেশ করুন annotations ফোল্ডার.
11. জন্য উৎস নথির জন্য S3 উপসর্গ, পথ প্রবেশ করুন source ফোল্ডার.
12. জন্য বৈশিষ্ট্যের নামপ্রবেশ করান legal-entity-label-job-labeling-job-20220104T172242.

অ্যাট্রিবিউটের নামটি নথিতে টীকা দেওয়ার জন্য আপনি যে লেবেলিং কাজের তৈরি করেন তার নামের সাথে মিলে যায়। প্রাক-টীকাযুক্ত নথিগুলির জন্য, আমরা নামটি ব্যবহার করি legal-entity-label-job-labeling-job-20220104T172242. আপনি যদি আপনার নথিতে টীকা দিতে চান, তাহলে আপনার টীকা কাজের নামের সাথে এই মানটিকে প্রতিস্থাপন করুন।

13. নতুন একটি তৈরি কর এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা এবং আপনার সমস্ত ডেটা ধারণ করে এমন বালতিতে পড়ার এবং লেখার অনুমতি দিন।
14. মডেল তৈরি করা শেষ করুন (নির্বাচন করুন স্বয়ংক্রিয় বিভাজন নিম্নলিখিত স্ক্রিনশটগুলির মতো একই মেট্রিক্স দেখার জন্য আপনার ডেটা উত্সের বিকল্প)।

এখন আপনার শনাক্তকারী মডেলটি ড্যাশবোর্ডে মডেল প্রশিক্ষণের স্থিতি এবং মেট্রিক্স সহ দৃশ্যমান।

মডেলটি প্রশিক্ষণ নিতে কয়েক মিনিট সময় নিতে পারে।

প্রশিক্ষণ সম্পূর্ণ হলে নিম্নলিখিত স্ক্রিনশটটি আপনার মডেল মেট্রিক্স দেখায়।

কাস্টম সত্তা স্বীকৃতি মডেল ব্যবহার করুন

পিডিএফ ডকুমেন্টে প্রশিক্ষিত কাস্টম সত্তা শনাক্তকরণ মডেলগুলি ব্যবহার করতে, আমরা সেগুলিকে অ্যাসিঙ্ক্রোনাসভাবে প্রক্রিয়া করার জন্য একটি ব্যাচ কাজ তৈরি করি।

1. Amazon Comprehend কনসোলে, নির্বাচন করুন বিশ্লেষণ কাজ.
2. বেছে নিন চাকরি তৈরি করুন.
3. অধীনে তথ্য অন্তর্ভুক্তী, প্রক্রিয়া করার জন্য টীকাযুক্ত PDF নথিগুলির Amazon S3 অবস্থান লিখুন (এই পোস্টের জন্য, sample.pdf ফাইল)।
   
4. জন্য ছক পূরণ করা, নির্বাচন করুন ফাইল প্রতি একটি নথি.
5. অধীনে আউটপুট ডেটা, Amazon S3 অবস্থানটি লিখুন যেখানে আপনি চান যে তারা তাদের বসাতে পারে৷ এই পোস্টের জন্য, আমরা একটি নতুন ফোল্ডার তৈরি করি যার নাম analysis-output সমস্ত উৎস পিডিএফ নথি, টীকাযুক্ত নথি এবং ম্যানিফেস্ট ধারণকারী S3 বালতিতে।
6. অনুমতি সহ একটি IAM ভূমিকা ব্যবহার করুন sample.pdf ফোল্ডার.

আপনি আগে তৈরি ভূমিকা ব্যবহার করতে পারেন.

7. বেছে নিন চাকরি তৈরি করুন.

এটি একটি অ্যাসিঙ্ক্রোনাস কাজ তাই প্রক্রিয়াকরণ সম্পূর্ণ হতে কয়েক মিনিট সময় লাগতে পারে। কাজ সম্পূর্ণ হলে, আপনি আউটপুট লিঙ্ক পাবেন. আপনি যখন এই আউটপুটটি খুলবেন, আপনি নিম্নলিখিত ফাইলগুলির একটি সিরিজ দেখতে পাবেন:

আপনি ফাইল খুলতে পারেন sample.pdf.out আপনার পছন্দের পাঠ্য সম্পাদকে। আপনি যদি অনুসন্ধান করেন সত্তা ব্লক, আপনি নথিতে চিহ্নিত সত্তা খুঁজে পেতে পারেন। নিম্নলিখিত টেবিল একটি উদাহরণ দেখায়.

সমাধানটি প্রসারিত করুন

আপনি শনাক্ত হওয়া সত্তাগুলির সাথে কী করবেন তার জন্য অগণিত সম্ভাবনা থেকে বেছে নিতে পারেন, যেমন নিম্নলিখিতগুলি:

• রেকর্ডের একটি ব্যাকএন্ড সিস্টেমে সেগুলিকে ইনজেস্ট করুন৷
• নিষ্কাশিত সত্তার উপর ভিত্তি করে একটি অনুসন্ধানযোগ্য সূচক তৈরি করুন
• মডেল প্রশিক্ষণ এবং অনুমানের জন্য প্যারামিটার হিসাবে নিষ্কাশিত সত্তা মান ব্যবহার করে মেশিন লার্নিং এবং বিশ্লেষণ সমৃদ্ধ করুন
• ব্যাক-অফিস প্রবাহ এবং শনাক্ত হওয়া সত্তা মান (যেমন নির্দিষ্ট আইন সংস্থা বা পেআউট মান) উপর ভিত্তি করে ট্রিগার কনফিগার করুন

নিম্নলিখিত চিত্রটি এই বিকল্পগুলিকে চিত্রিত করে:

উপসংহার

জটিল নথির প্রকারগুলি প্রায়শই পূর্ণ-স্কেল IDP অটোমেশনে বাধা হতে পারে। এই পোস্টে, আমরা দেখিয়েছি কিভাবে আপনি সরাসরি PDF নথি থেকে কাস্টম NER মডেল তৈরি এবং ব্যবহার করতে পারেন। এই পদ্ধতিটি বিশেষভাবে শক্তিশালী যেখানে অবস্থানগত তথ্য বিশেষভাবে প্রাসঙ্গিক (অনুরূপ সত্তা মান এবং বিভিন্ন নথি বিন্যাস)। যদিও আমরা বীমাতে আইনি অনুরোধপত্র ব্যবহার করে এই সমাধানটি প্রদর্শন করেছি, আপনি স্বাস্থ্যসেবা, উৎপাদন, খুচরা, আর্থিক পরিষেবা এবং অন্যান্য অনেক শিল্প জুড়ে এই ব্যবহারের ক্ষেত্রে এক্সট্রাপোলেট করতে পারেন।

Amazon Comprehend সম্পর্কে আরও জানতে, দেখুন অ্যামাজন কম্প্রিহেন্ড ডেভেলপার গাইড.

লেখক সম্পর্কে

রাজ পাঠক কানাডা এবং মার্কিন যুক্তরাষ্ট্র জুড়ে ফরচুন 50 এবং মিড-সাইজ এফএসআই (ব্যাংকিং, ইন্স্যুরেন্স, ক্যাপিটাল মার্কেটস) গ্রাহকদের একজন সমাধান স্থপতি এবং প্রযুক্তিগত উপদেষ্টা। রাজ ডকুমেন্ট এক্সট্রাকশন, কন্টাক্ট সেন্টার ট্রান্সফরমেশন এবং কম্পিউটার ভিশনের অ্যাপ্লিকেশন সহ মেশিন লার্নিং-এ বিশেষজ্ঞ।

এনজো স্ট্যাটন তাদের ক্লাউড জ্ঞান বাড়ানোর জন্য কোম্পানিগুলির সাথে কাজ করার জন্য একটি আবেগ সহ একজন সমাধান স্থপতি৷ তিনি সারা দেশের গ্রাহকদের সাথে একজন বিশ্বস্ত উপদেষ্টা এবং শিল্প বিশেষজ্ঞ হিসাবে ঘনিষ্ঠভাবে কাজ করেন।

• Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
• ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
• সূত্র: https://aws.amazon.com/blogs/machine-learning/extract-entities-from-insurance-documents-using-amazon-comprehend-named-entity-recognition/