বুদ্ধিমান অনুসন্ধানের মাধ্যমে আপনার Amazon S3 ডেটা থেকে অন্তর্দৃষ্টি আনলক করুন | আমাজন ওয়েব সার্ভিসেস

আমাজন কেন্দ্র মেশিন লার্নিং (ML) দ্বারা চালিত একটি বুদ্ধিমান অনুসন্ধান পরিষেবা। Amazon কেন্দ্র আপনার ওয়েবসাইট এবং অ্যাপ্লিকেশনগুলির জন্য এন্টারপ্রাইজ অনুসন্ধানকে পুনরায় কল্পনা করে যাতে আপনার কর্মচারী এবং গ্রাহকরা সহজেই তারা যে সামগ্রীটি খুঁজছেন তা খুঁজে পেতে পারেন, এমনকি যখন এটি আপনার প্রতিষ্ঠানের মধ্যে একাধিক অবস্থান এবং সামগ্রী সংগ্রহস্থল জুড়ে ছড়িয়ে ছিটিয়ে থাকে। কীওয়ার্ড বা প্রাকৃতিক ভাষার প্রশ্ন উত্তর এবং র‌্যাঙ্ক নথি প্রদানের জন্য ML দ্বারা চালিত সর্বাধিক প্রাসঙ্গিক নথি অনুসন্ধান করতে ব্যবহার করা যেতে পারে। আমাজন কেন্দ্র থেকে তথ্য সূচী করতে পারেন আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বা তৃতীয় পক্ষের নথি সংগ্রহস্থল থেকে। Amazon S3 হল একটি অবজেক্ট স্টোরেজ পরিষেবা যা স্কেলেবিলিটি এবং প্রাপ্যতা অফার করে যেখানে আপনি পণ্য ম্যানুয়াল, প্রকল্প এবং গবেষণা নথি এবং আরও অনেক কিছু সহ প্রচুর পরিমাণে ডেটা সঞ্চয় করতে পারেন।

এই পোস্টে, আপনি কীভাবে একটি প্রদত্ত স্থাপন করবেন তা শিখতে পারেন এডাব্লুএস ক্লাউডফর্মেশন একটি Amazon S3 বালতিতে আপনার নথি সূচী করার জন্য টেমপ্লেট। টেমপ্লেটটি একটি সূচকের জন্য একটি Amazon কেন্দ্রের ডেটা উৎস তৈরি করে এবং আপনার চাহিদা অনুযায়ী আপনার ডেটা উৎসকে সিঙ্ক্রোনাইজ করে: অন-ডিমান্ড, প্রতি ঘণ্টায়, দৈনিক, সাপ্তাহিক বা মাসিক। AWS CloudFormation আমাদেরকে কোড (IaC) হিসাবে পরিকাঠামো প্রদান করতে দেয় যাতে আপনি সম্পদ পরিচালনা করতে কম সময় ব্যয় করতে পারেন, আপনার পরিকাঠামো দ্রুত প্রতিলিপি করতে পারেন এবং পরিকাঠামোর পরিবর্তনগুলি নিয়ন্ত্রণ ও ট্র্যাক করতে পারেন৷

সমাধান ওভারভিউ

ক্লাউডফর্মেশন টেমপ্লেট Amazon S3 এর সাথে একটি সংযোগ সহ একটি Amazon কেন্দ্র ডেটা উত্স সেট আপ করে৷ টেমপ্লেটটি অ্যামাজন কেন্দ্রের ডেটা উৎস পরিষেবার জন্য একটি ভূমিকাও তৈরি করে। আপনি একটি S3 বালতি, সিঙ্ক্রোনাইজেশন সময়সূচী এবং অন্তর্ভুক্তি/বর্জনের নিদর্শন নির্দিষ্ট করতে পারেন। সিঙ্ক্রোনাইজেশন কাজ শেষ হয়ে গেলে, আপনি অনুসন্ধান কনসোলের মাধ্যমে সূচীকৃত বিষয়বস্তু অনুসন্ধান করতে পারেন। নিম্নলিখিত চিত্রটি এই কর্মপ্রবাহকে চিত্রিত করে।

এই পোস্টটি আপনাকে নিম্নলিখিত ধাপগুলিতে নির্দেশিত করে:

1. প্রদত্ত টেমপ্লেট স্থাপন করুন।
2. আপনার তৈরি করা S3 বালতিতে নথিগুলি আপলোড করুন। আপনি নথি সহ একটি বালতি প্রদান করলে, আপনি এই পদক্ষেপটি বাদ দিতে পারেন।
3. ইনডেক্স ডাটা সোর্স ক্রল করা শেষ না হওয়া পর্যন্ত অপেক্ষা করুন।

পূর্বশর্ত

এই ওয়াকথ্রুটির জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলি থাকা উচিত:

• An এডাব্লুএস অ্যাকাউন্ট যেখানে প্রস্তাবিত সমাধান স্থাপন করা যেতে পারে।
• স্ট্যাকের সাথে একটি ডেটা উৎস সংযুক্ত করার জন্য একটি Amazon কেন্দ্রের সূচক।
• নথির সেট যা Amazon কেন্দ্র সূচক তৈরি করতে ব্যবহৃত হয়। এই সমাধানে, আপনি এর একটি সংকুচিত ফাইল ব্যবহার করছেন AWS শ্বেতপত্র.

AWS CloudFormation এর সাথে সমাধানটি স্থাপন করুন

CloudFormation টেমপ্লেট স্থাপন করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. বেছে নিন
   

আপনাকে AWS CloudFormation কনসোলে পুনঃনির্দেশিত করা হয়েছে।

2. আপনি প্যারামিটার পরিবর্তন করতে পারেন বা ডিফল্ট মান ব্যবহার করতে পারেন:
   • অ্যামাজন কেন্দ্রের ডেটা উৎসের নাম স্বয়ংক্রিয়ভাবে স্ট্যাকের নাম এবং সংশ্লিষ্ট বাকেটের নাম ব্যবহার করে সেট করা হয়।
   • জন্য KendraIndexId, Amazon কেন্দ্রের সূচক আইডি লিখুন যেখানে আপনি ডেটা উৎস সংযুক্ত করবেন।
   • আপনি কখন ব্যবহার করে ডেটা সোর্স সিঙ্ক্রোনাইজেশন চালাতে চান তাও চয়ন করতে পারেন৷ কেন্দ্র সিঙ্ক সময়সূচী। ডিফল্টরূপে, এটা সেট করা আছে চাহিদা সাপেক্ষে.
   • জন্য S3BucketName, আপনি ইতিমধ্যে তৈরি করা একটি বালতি প্রবেশ করতে পারেন বা এটি খালি রাখতে পারেন। আপনি যদি এটি খালি রাখেন তবে আপনার জন্য একটি বালতি তৈরি করা হবে। যেভাবেই হোক, বালতিটি অ্যামাজন কেন্দ্রের ডেটা উৎস হিসেবে ব্যবহৃত হয়। এই পোস্টের জন্য, আমরা এটি খালি রেখেছি।

অ্যামাজন কেন্দ্রের সূচকের সাথে সংযুক্ত অ্যামাজন কেন্দ্রের ডেটা উত্স স্থাপন করতে স্ট্যাকের জন্য প্রায় 5 মিনিট সময় লাগে৷

3. উপরে আউটপুট ক্লাউডফর্মেশন স্ট্যাকের ট্যাব, তৈরি করা বালতির নাম, ডেটা উত্সের নাম এবং আইডি অনুলিপি করুন।

তৈরি স্ট্যাক একটি ভূমিকা স্থাপন করে: <stack-name>-KendraDataSourceRole. আপনার তৈরি করা প্রতিটি ডেটা উত্সের জন্য একটি ভূমিকা স্থাপন করা একটি সর্বোত্তম অনুশীলন। এই ভূমিকা Amazon S3 বালতি থেকে বস্তু পেতে, Amazon Kendra সূচী থেকে ফাইল যোগ বা অপসারণ করার জন্য Amazon Kendra ডেটা উৎস দেয়।

S3 বালতিতে ফাইল আপলোড করুন

অ্যামাজন কেন্দ্র একাধিক নথির ধরন পরিচালনা করতে পারে, যেমন .html, .pdf, .csv, .json, .docx এবং .ppt। আপনি একটি একক সূচকে নথির সংমিশ্রণও রাখতে পারেন। সেই নথিগুলিতে থাকা পাঠ্যটি প্রদত্ত অ্যামাজন কেন্দ্রের সূচীতে সূচিত করা হয়েছে৷ আপনি 60 টিরও বেশি পিডিএফ ফাইল ব্যবহার করে সেরা অনুশীলন, ডেটাবেস, মেশিন লার্নিং, সুরক্ষা এবং আরও অনেক কিছুতে AWS বিষয়গুলিতে কীওয়ার্ড অনুসন্ধান করতে পারেন যা আপনি করতে পারেন ডাউনলোড. উদাহরণস্বরূপ, আপনি যদি AWS শ্বেতপত্রে ক্যাশিং সম্পর্কে আরও তথ্য কোথায় পেতে পারেন তা জানতে চাইলে, আমাজন কেন্দ্র আপনাকে ডেটাবেস এবং সর্বোত্তম অনুশীলন সম্পর্কিত নথি খুঁজে পেতে সহায়তা করতে পারে।

আপনি যখন ডাউনলোড করুন AWS Whitepapers.zip ফাইল এবং ফাইল আনকম্প্রেস করুন, আপনি এই ছয়টি ফোল্ডার দেখতে পাবেন: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. আপনার S3 বালতি এই ফোল্ডার আপলোড.

আমাজন কেন্দ্রের ডেটা সোর্স সিঙ্ক্রোনাইজ করুন

আমাজন কেন্দ্রের ডেটা সোর্স ডেটা পূর্ব-কনফিগার করা সময়সূচীর উপর ভিত্তি করে আপনার ডেটা সিঙ্ক্রোনাইজ করতে পারে বা ম্যানুয়ালি অন-ডিমান্ড ট্রিগার করা যেতে পারে। ডিফল্টরূপে, ক্লাউডফর্মেশন টেমপ্লেট ডেটা উৎসকে চাহিদা অনুযায়ী ম্যানুয়ালি ট্রিগার করার জন্য অন-ডিমান্ড সিঙ্ক্রোনাইজেশন সময়সূচীতে কনফিগার করে।

AWS অ্যামাজন কেন্দ্র কনসোল থেকে ম্যানুয়ালি সিঙ্ক্রোনাইজেশন কাজটি ট্রিগার করতে, ক্লাউডফর্মেশন স্ট্যাক স্থাপনার অংশ হিসাবে ব্যবহৃত অ্যামাজন কেন্দ্র সূচকে নেভিগেট করুন, এর অধীনে ডাটা ব্যাবস্থাপনা নেভিগেশন ফলকে, নির্বাচন করুন তথ্য উত্স এবং তারপর নির্বাচন করুন এখনই সিঙ্ক করুন. এটি S3 বালতিকে ডেটা উৎসের সাথে সিঙ্ক্রোনাইজ করে।

যখন অ্যামাজন কেন্দ্রের ডেটা সোর্স সিঙ্ক করা শুরু হয়, তখন আপনার দেখতে হবে বর্তমান সিঙ্ক অবস্থা as সিঙ্ক হচ্ছে.

ডেটা উত্স শেষ হলে, শেষ সিঙ্ক স্থিতি হিসাবে প্রদর্শিত হয় অনুসৃত এবং বর্তমান সিঙ্ক অবস্থা as অলস. আপনি এখন সূচিবদ্ধ বিষয়বস্তু অনুসন্ধান করতে পারেন.

সিঙ্ক্রোনাইজেশন সময়সূচী কনফিগার করুন

টেমপ্লেট আপনাকে প্রতি ঘন্টায় 0 মিনিটে সময়সূচী চালানোর অনুমতি দেয়, উদাহরণস্বরূপ, 13:00, 14:00 বা 15:00। আপনার কাছে এটি প্রতিদিন 00:00 UTC-এ চালানোর বিকল্পও রয়েছে। দ্য সাপ্তাহিক সেটিং সোমবার 00:00 UTC এ চলে এবং মাসিক সেটিং প্রতি মাসের প্রথম দিন 00:00 UTC এ চলে।

অ্যামাজন কেন্দ্রের ডেটা সোর্স তৈরি হওয়ার পরে সময়সূচী পরিবর্তন করতে কার্যপ্রণালী মেনু, নির্বাচন করুন সম্পাদন করা। অধীনে সিঙ্ক সেটিংস কনফিগার করুন, আপনি খুঁজে নিয়মের সময়সূচী সিঙ্ক করুন অধ্যায়.

অধীনে ফ্রিকোয়েন্সি, আপনি নির্বাচন করতে পারেন ঘনঘন, দৈনিক, সাপ্তাহিক, মাসিক, বা প্রথা, যার সবকটিই আপনাকে আপনার সিঙ্কের সময় নির্ধারণ করতে দেয়।

বর্জন নিদর্শন যোগ করুন

প্রদত্ত CloudFormation টেমপ্লেট আপনাকে বর্জনের নিদর্শন যোগ করতে দেয়। ডিফল্টরূপে, .png এবং .jpg ফাইল যোগ করা হবে এক্সক্লুশন প্যাটার্নস প্যারামিটার অতিরিক্ত ফাইল ফরম্যাট বাদ দেওয়া প্যাটার্নে একটি কমা বিভক্ত তালিকা হিসাবে যোগ করা যেতে পারে। একইভাবে, অন্তর্ভুক্তি প্যাটার্নস প্যারামিটার একটি অন্তর্ভুক্তি প্যাটার্ন সেট আপ করতে কমা তালিকা ফাইল ফরম্যাট যোগ করতে ব্যবহার করা যেতে পারে। যদি আপনি একটি অন্তর্ভুক্তির প্যাটার্ন প্রদান না করেন, তবে বর্জন প্যারামিটারে অন্তর্ভুক্ত ফাইলগুলি ব্যতীত সমস্ত ফাইল সূচিত করা হয়৷

পরিষ্কার কর

খরচ এড়াতে, আপনি AWS CloudFormation কনসোল থেকে স্ট্যাক মুছে ফেলতে পারেন। উপরে স্ট্যাক পৃষ্ঠা, আপনার তৈরি স্ট্যাক নির্বাচন করুন, নির্বাচন করুন মুছে ফেলা, এবং স্ট্যাক মুছে ফেলা নিশ্চিত করুন।

আপনি একটি S3 বালতি প্রদান না করে থাকলে, স্ট্যাক একটি বালতি তৈরি করে। বালতি খালি থাকলে, এটি স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়। অন্যথায়, আপনাকে ফোল্ডারটি খালি করতে হবে এবং ম্যানুয়ালি মুছে ফেলতে হবে। আপনি যদি একটি বালতি প্রদান করেন, এমনকি এটি খালি হলেও, এটি মুছে ফেলা হবে না। আমাজন কেন্দ্রের সূচক মুছে ফেলা হবে না। স্ট্যাক দ্বারা তৈরি শুধুমাত্র Amazon কেন্দ্র ডেটা উৎস মুছে ফেলা হবে।

উপসংহার

এই পোস্টে, আমরা একটি ক্লাউডফরমেশন টেমপ্লেট প্রদান করেছি যাতে সহজে আপনার টেক্সট ডকুমেন্টগুলি একটি S3 বালতিতে আপনার Amazon Kendra সূচকে সিঙ্ক্রোনাইজ করা যায়। এই সমাধানটি সহায়ক যদি আপনার একাধিক S3 বালতি থাকে যা আপনি সূচক করতে চান কারণ আপনি একটি ধারাবাহিক এবং পুনরাবৃত্তিযোগ্য পদ্ধতিতে কয়েকটি ক্লিকের মাধ্যমে নথিগুলি অনুসন্ধান করার জন্য সমস্ত প্রয়োজনীয় উপাদান তৈরি করতে পারেন৷ আমাজন কেন্দ্রে কীভাবে চিত্র-ভিত্তিক পাঠ্য নথিগুলি পরিচালনা করা যায় তাও আপনি দেখতে পারেন। নির্দিষ্ট সময়সূচী নিদর্শন সম্পর্কে আরও জানতে, পড়ুন নিয়মের জন্য অভিব্যক্তি নির্ধারণ করুন.

একটি মন্তব্য করুন এবং নিম্নলিখিত অ্যামাজন কেন্দ্র সূচক তৈরি সম্পর্কে আরও জানুন আমাজন কেন্দ্রের প্রয়োজনীয়+ কর্মশালা.

উদাহরণ কোড তৈরি করতে এবং এই পোস্টের জন্য বিষয়বস্তু সংকলন করতে সাহায্য করার জন্য জোসে মাউরিসিও মানি ইয়ানেজকে বিশেষ ধন্যবাদ।

---

লেখক সম্পর্কে

রাজেশ কুমার রবি তিনি আমাজন ওয়েব সার্ভিসের একজন এআই/এমএল বিশেষজ্ঞ সমাধান আর্কিটেক্ট যিনি আমাজন কেন্দ্র এবং জেনারেটিভ এআই-এর সাথে বুদ্ধিমান নথি অনুসন্ধানে বিশেষজ্ঞ। তিনি একজন নির্মাতা এবং সমস্যা সমাধানকারী এবং নতুন ধারণার বিকাশে অবদান রাখেন। তিনি হাঁটা পছন্দ করেন এবং কাজের বাইরে ছোট হাইকিং ট্রিপে যেতে পছন্দ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোএআইস্ট্রিম। Web3 ডেটা ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• অ্যাড্রিয়েন অ্যাশলির সাথে ভবিষ্যত মিন্টিং। এখানে প্রবেশ করুন.
• PREIPO® এর সাথে PRE-IPO কোম্পানিতে শেয়ার কিনুন এবং বিক্রি করুন। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/