Amazon SageMaker JumpStart এখন কাস্টম শ্রেণীবিভাগ এবং কাস্টম সত্তা সনাক্তকরণের জন্য Amazon Comprehend নোটবুক অফার করে

অ্যামাজন সমঝোতা একটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) পরিষেবা যা পাঠ্য থেকে অন্তর্দৃষ্টি আবিষ্কার করতে মেশিন লার্নিং (ML) ব্যবহার করে৷ Amazon Comprehend কাস্টমাইজড বৈশিষ্ট্য প্রদান করে, কাস্টম সত্তা স্বীকৃতি, কাস্টম শ্রেণীবিভাগ, এবং প্রাক-প্রশিক্ষিত API যেমন মূল বাক্যাংশ নিষ্কাশন, অনুভূতি বিশ্লেষণ, সত্তা স্বীকৃতি এবং আরও অনেক কিছু যাতে আপনি সহজেই আপনার অ্যাপ্লিকেশনগুলিতে NLP সংহত করতে পারেন।

আমরা সম্প্রতি অ্যামাজন কম্প্রিহেন্ড সম্পর্কিত নোটবুক যুক্ত করেছি আমাজন সেজমেকার জাম্পস্টার্ট নোটবুক যা আপনাকে অ্যামাজন কম্প্রিহেন্ড কাস্টম ক্লাসিফায়ার এবং কাস্টম সত্তা শনাক্তকারী ব্যবহার করে দ্রুত শুরু করতে সাহায্য করতে পারে। আপনার সংজ্ঞায়িত বিভাগগুলিতে (শ্রেণী) নথিগুলিকে সংগঠিত করতে আপনি কাস্টম শ্রেণীবিভাগ ব্যবহার করতে পারেন। কাস্টম সত্তা শনাক্তকরণ অ্যামাজন কম্প্রিহেন্ড প্রাক-প্রশিক্ষিত সত্তা শনাক্তকরণ API-এর ক্ষমতাকে প্রসারিত করে যেগুলি আপনার ডোমেন বা ব্যবসার জন্য স্বতন্ত্র সত্তার ধরনগুলি সনাক্ত করতে সাহায্য করে যা প্রিসেট জেনেরিকের মধ্যে নেই সত্তা প্রকার.

এই পোস্টে, আমরা আপনাকে দেখাব কিভাবে আপনার এন্টারপ্রাইজ NLP প্রয়োজনের অংশ হিসেবে Amazon Comprehend কাস্টম শ্রেণীবিভাগ এবং কাস্টম সত্তা সনাক্তকরণ মডেল তৈরি করতে JumpStart ব্যবহার করতে হয়।

সেজমেকার জাম্পস্টার্ট

সার্জারির অ্যামাজন সেজমেকার স্টুডিও ল্যান্ডিং পৃষ্ঠা জাম্পস্টার্ট ব্যবহার করার বিকল্প প্রদান করে। জাম্পস্টার্ট বিভিন্ন ধরণের সমস্যার জন্য প্রাক-প্রশিক্ষিত মডেল প্রদান করে শুরু করার একটি দ্রুত উপায় প্রদান করে। আপনি প্রশিক্ষণ এবং এই মডেল টিউন করতে পারেন. জাম্পস্টার্ট অন্যান্য সংস্থান যেমন নোটবুক, ব্লগ এবং ভিডিও সরবরাহ করে।

জাম্পস্টার্ট নোটবুকগুলি মূলত নমুনা কোড যা আপনি দ্রুত শুরু করার জন্য একটি সূচনা পয়েন্ট হিসাবে ব্যবহার করতে পারেন। বর্তমানে, আমরা আপনাকে 40 টিরও বেশি নোটবুক সরবরাহ করি যা আপনি যেমন ব্যবহার করতে পারেন বা প্রয়োজন অনুসারে কাস্টমাইজ করতে পারেন। আপনি অনুসন্ধান বা ট্যাবড ভিউ প্যানেল ব্যবহার করে আপনার নোটবুকগুলি খুঁজে পেতে পারেন৷ আপনি যে নোটবুকটি ব্যবহার করতে চান তা খুঁজে পাওয়ার পরে, আপনি নোটবুকটি আমদানি করতে পারেন, আপনার প্রয়োজনীয়তার জন্য এটি কাস্টমাইজ করতে পারেন এবং নোটবুকটি চালানোর জন্য অবকাঠামো এবং পরিবেশ নির্বাচন করতে পারেন৷

জাম্পস্টার্ট নোটবুক দিয়ে শুরু করুন

জাম্পস্টার্ট দিয়ে শুরু করতে, এ যান আমাজন সেজমেকার কনসোল এবং স্টুডিও খুলুন। নির্দেশ করে সেজমেকার স্টুডিও দিয়ে শুরু করুন স্টুডিওর সাথে কীভাবে শুরু করবেন তার নির্দেশাবলীর জন্য। তারপর নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. স্টুডিওতে, জাম্পস্টার্টের লঞ্চ পৃষ্ঠায় যান এবং নির্বাচন করুন SageMaker JumpStart-এ যান.

আপনাকে অনুসন্ধান করার একাধিক উপায় অফার করা হয়েছে। আপনি যা চান তা পেতে উপরের ট্যাবগুলি ব্যবহার করতে পারেন, অথবা নিম্নলিখিত স্ক্রিনশটে দেখানো হিসাবে অনুসন্ধান বাক্সটি ব্যবহার করতে পারেন৷

2. নোটবুক খুঁজে পেতে, আমরা যান নোটবুক ট্যাব।

লেখার সময়, জাম্পস্টার্ট 47টি নোটবুক অফার করে। আপনি Amazon Comprehend সম্পর্কিত নোটবুক খুঁজে পেতে ফিল্টার ব্যবহার করতে পারেন।

3. উপরে বিষয়বস্তুর প্রকার ড্রপ-ডাউন মেনু, নির্বাচন করুন নোটবই.

আপনি নিম্নলিখিত স্ক্রিনশটে দেখতে পাচ্ছেন, বর্তমানে আমাদের কাছে দুটি Amazon Comprehend নোটবুক রয়েছে।

নিম্নলিখিত বিভাগে, আমরা উভয় নোটবুক অন্বেষণ.

আমাজন কাস্টম ক্লাসিফায়ার বোঝা

এই নোটবুকে, আমরা কীভাবে ব্যবহার করতে হয় তা প্রদর্শন করি কাস্টম ক্লাসিফায়ার API একটি নথি শ্রেণীবিভাগ মডেল তৈরি করতে।

কাস্টম ক্লাসিফায়ার হল একটি সম্পূর্ণরূপে পরিচালিত Amazon Comprehend বৈশিষ্ট্য যা আপনাকে কাস্টম টেক্সট ক্লাসিফিকেশন মডেলগুলি তৈরি করতে দেয় যা আপনার ব্যবসার জন্য অনন্য, এমনকি আপনার সামান্য বা কোন ML দক্ষতা না থাকলেও৷ কাস্টম ক্লাসিফায়ারটি Amazon Comprehend-এর বিদ্যমান ক্ষমতার উপর ভিত্তি করে তৈরি করে, যা ইতিমধ্যেই লক্ষ লক্ষ নথিতে প্রশিক্ষিত। এটি একটি এনএলপি শ্রেণীবিভাগ মডেল তৈরির জন্য প্রয়োজনীয় জটিলতার অনেকটাই বিমূর্ত করে। কাস্টম ক্লাসিফায়ার স্বয়ংক্রিয়ভাবে প্রশিক্ষণের ডেটা লোড করে এবং পরিদর্শন করে, সঠিক ML অ্যালগরিদম নির্বাচন করে, আপনার মডেলকে প্রশিক্ষণ দেয়, সর্বোত্তম হাইপারপ্যারামিটার খুঁজে বের করে, মডেল পরীক্ষা করে এবং মডেলের কর্মক্ষমতা মেট্রিক্স প্রদান করে। Amazon Comprehend কাস্টম ক্লাসিফায়ার সমগ্র ML কর্মপ্রবাহের জন্য একটি সহজে ব্যবহারযোগ্য কনসোল প্রদান করে, যার মধ্যে লেবেল টেক্সট ব্যবহার করে আমাজন সেজমেকার গ্রাউন্ড ট্রুথ, প্রশিক্ষণ এবং একটি মডেল স্থাপন, এবং পরীক্ষার ফলাফল visualizing. একটি Amazon Comprehend কাস্টম ক্লাসিফায়ার দিয়ে, আপনি নিম্নলিখিত মডেলগুলি তৈরি করতে পারেন:

• মাল্টি-ক্লাস শ্রেণীবিভাগ মডেল - মাল্টি-ক্লাস শ্রেণীবিভাগে, প্রতিটি নথিতে একটি এবং শুধুমাত্র একটি শ্রেণী থাকতে পারে। স্বতন্ত্র শ্রেণীগুলি পারস্পরিক একচেটিয়া। উদাহরণস্বরূপ, একটি চলচ্চিত্রকে একটি ডকুমেন্টারি বা কল্পবিজ্ঞান হিসাবে শ্রেণীবদ্ধ করা যেতে পারে, কিন্তু একই সময়ে উভয়ই নয়।
• মাল্টি-লেবেল শ্রেণীবিভাগ মডেল - মাল্টি-লেবেল শ্রেণীবিভাগে, স্বতন্ত্র শ্রেণীগুলি বিভিন্ন শ্রেণীকে প্রতিনিধিত্ব করে, কিন্তু এই বিভাগগুলি একরকম সম্পর্কিত এবং পারস্পরিকভাবে একচেটিয়া নয়। ফলস্বরূপ, প্রতিটি নথিতে কমপক্ষে একটি শ্রেণী বরাদ্দ করা হয়েছে, তবে আরও থাকতে পারে। উদাহরণস্বরূপ, একটি চলচ্চিত্র কেবল একটি অ্যাকশন চলচ্চিত্র হতে পারে, বা এটি একটি অ্যাকশন চলচ্চিত্র, একটি বিজ্ঞান কল্পকাহিনী চলচ্চিত্র এবং একটি কমেডি হতে পারে, একই সময়ে।

এই নোটবুকের উদাহরণ ডেটাসেট বা আপনার নিজস্ব ব্যবসার নির্দিষ্ট ডেটাসেটের সাথে একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য কোনও ML দক্ষতার প্রয়োজন নেই৷ আপনি আপনার নিজস্ব অ্যাপ্লিকেশনগুলিতে এই নোটবুকে আলোচিত API অপারেশনগুলি ব্যবহার করতে পারেন।

আমাজন কাস্টম সত্তা শনাক্তকারী

এই নোটবুকে, আমরা কীভাবে ব্যবহার করতে হয় তা প্রদর্শন করি কাস্টম সত্তা স্বীকৃতি API একটি সত্তা স্বীকৃতি মডেল তৈরি করতে।

কাস্টম সত্তা স্বীকৃতি আপনাকে আপনার নির্দিষ্ট সত্তার ধরন সনাক্ত করতে সাহায্য করে Amazon Comprehend এর ক্ষমতাকে প্রসারিত করে যা প্রিসেট জেনেরিক সত্তার ধরনে নেই। এর মানে হল যে আপনি নথিগুলি বিশ্লেষণ করতে পারেন এবং পণ্য কোড বা ব্যবসা-নির্দিষ্ট সত্তার মতো সত্তাগুলি বের করতে পারেন যা আপনার নির্দিষ্ট প্রয়োজনের সাথে খাপ খায়।

নিজে থেকে একটি সঠিক কাস্টম সত্তা শনাক্তকারী তৈরি করা একটি জটিল প্রক্রিয়া হতে পারে, যার জন্য ম্যানুয়ালি টীকাকৃত প্রশিক্ষণ নথির বড় সেট প্রস্তুত করা এবং মডেল প্রশিক্ষণের জন্য সঠিক অ্যালগরিদম এবং পরামিতি নির্বাচন করা প্রয়োজন। Amazon Comprehend একটি কাস্টম সত্তা স্বীকৃতি মডেল তৈরি করতে স্বয়ংক্রিয় টীকা এবং মডেল ডেভেলপমেন্ট প্রদান করে জটিলতা কমাতে সাহায্য করে।

উদাহরণ নোটবুক CSV ফর্ম্যাটে প্রশিক্ষণ ডেটাসেট নেয় এবং পাঠ্য ইনপুটের বিপরীতে অনুমান চালায়। Amazon Comprehend একটি উন্নত ব্যবহারের ক্ষেত্রেও সমর্থন করে যা প্রশিক্ষণের জন্য গ্রাউন্ড ট্রুথ টীকাযুক্ত ডেটা নেয় এবং আপনাকে সরাসরি PDF এবং Word নথিতে অনুমান চালানোর অনুমতি দেয়। আরো তথ্যের জন্য, পড়ুন Amazon Comprehend ব্যবহার করে PDF নথিগুলির জন্য একটি কাস্টম সত্তা শনাক্তকারী তৈরি করুন৷.

Amazon Comprehend টীকা সীমা কমিয়েছে এবং আপনাকে আরও স্থিতিশীল ফলাফল পেতে অনুমতি দিয়েছে, বিশেষ করে কয়েকটি শট সাবস্যাম্পলের জন্য। এই উন্নতি সম্পর্কে আরও তথ্যের জন্য, পড়ুন Amazon Comprehend কাস্টম সত্তা স্বীকৃতির জন্য নিম্ন টীকা সীমা ঘোষণা করেছে.

এই নোটবুকের উদাহরণ ডেটাসেট বা আপনার নিজস্ব ব্যবসার নির্দিষ্ট ডেটাসেটের সাথে একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য কোনও ML দক্ষতার প্রয়োজন নেই৷ আপনি আপনার নিজস্ব অ্যাপ্লিকেশনগুলিতে এই নোটবুকে আলোচিত API অপারেশনগুলি ব্যবহার করতে পারেন।

Amazon Comprehend JumpStart নোটবুক ব্যবহার করুন, কাস্টমাইজ করুন এবং স্থাপন করুন

আপনি যে অ্যামাজন কম্প্রিহেন্ড নোটবুকটি ব্যবহার করতে চান সেটি নির্বাচন করার পরে, নির্বাচন করুন নোটবুক আমদানি করুন. আপনি এটি করার সাথে সাথে, আপনি নোটবুকের কার্নেলটি শুরু হতে দেখতে পারেন।

আপনার নোটবুক আমদানি করা নোটবুক ইনস্ট্যান্স, কার্নেল এবং চিত্রের নির্বাচনকে ট্রিগার করে যা নোটবুক চালানোর জন্য ব্যবহৃত হয়। ডিফল্ট অবকাঠামোর ব্যবস্থা করার পরে, আপনি আপনার প্রয়োজনীয়তা অনুযায়ী নির্বাচন পরিবর্তন করতে পারেন।

এখন, নোটবুকের রূপরেখাটি দেখুন এবং পূর্বশর্ত সেটআপ, ডেটা সেটআপ, মডেল প্রশিক্ষণ, অনুমান চালানো এবং মডেল বন্ধ করার বিভাগগুলি সাবধানে পড়ুন। আপনার প্রয়োজন অনুযায়ী উত্পন্ন কোড কাস্টমাইজ করতে নির্দ্বিধায়.

আপনার প্রয়োজনীয়তার উপর ভিত্তি করে, আপনি নিম্নলিখিত বিভাগগুলি কাস্টমাইজ করতে চাইতে পারেন:

• অনুমতিসমূহ - একটি প্রোডাকশন অ্যাপ্লিকেশনের জন্য, আমরা শুধুমাত্র অ্যাপ্লিকেশান চালানোর জন্য প্রয়োজনীয় অ্যাক্সেস নীতিগুলিকে সীমাবদ্ধ করার সুপারিশ করি৷ ব্যবহারের ক্ষেত্রে, যেমন প্রশিক্ষণ বা অনুমান, এবং নির্দিষ্ট সম্পদের নাম, যেমন সম্পূর্ণ আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতির নাম বা একটি S3 বাকেট নামের প্যাটার্ন। আপনার কাস্টম ক্লাসিফায়ার বা সেজমেকার অপারেশনগুলিতে অ্যাক্সেস সীমাবদ্ধ করা উচিত যা আপনার অ্যাপ্লিকেশনের প্রয়োজন।
• ডেটা এবং অবস্থান - উদাহরণ নোটবুক আপনাকে নমুনা ডেটা এবং S3 অবস্থান প্রদান করে। আপনার প্রয়োজনীয়তার উপর ভিত্তি করে, আপনি প্রশিক্ষণ, বৈধতা এবং পরীক্ষার জন্য আপনার নিজস্ব ডেটা ব্যবহার করতে পারেন এবং প্রয়োজন অনুসারে বিভিন্ন S3 অবস্থানগুলি ব্যবহার করতে পারেন। একইভাবে, যখন মডেল তৈরি করা হয়, আপনি মডেলটিকে বিভিন্ন স্থানে রাখতে বেছে নিতে পারেন। শুধু নিশ্চিত করুন যে আপনি S3 বাকেট অ্যাক্সেস করার জন্য সঠিক অনুমতি প্রদান করেছেন।
• প্রিপ্রসেসিং ধাপ - আপনি যদি প্রশিক্ষণ এবং পরীক্ষার জন্য বিভিন্ন ডেটা ব্যবহার করেন, তাহলে আপনি আপনার প্রয়োজনীয়তা অনুযায়ী প্রিপ্রসেসিং ধাপগুলি সামঞ্জস্য করতে চাইতে পারেন।
• ডেটা টেস্টিং - আপনি পরীক্ষার জন্য আপনার নিজস্ব অনুমান ডেটা আনতে পারেন।
• পরিষ্কার কর - পুনরাবৃত্ত চার্জ এড়াতে নোটবুক দ্বারা চালু করা সংস্থানগুলি মুছুন৷

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি যে কীভাবে অ্যামাজন কম্প্রেহেন্ড এপিআই ব্যবহার করে শিখতে এবং দ্রুত-ট্র্যাক করতে জাম্প স্টার্ট ব্যবহার করতে হয় এবং স্টুডিও থেকে অ্যামাজন কম্প্রেহেন্ড সম্পর্কিত নোটবুকগুলি খুঁজে বের করা এবং চালানোর জন্য প্রয়োজন অনুযায়ী কোড পরিবর্তন করার বিকল্প রয়েছে। নোটবুকগুলি AWS পণ্যের ঘোষণা এবং নমুনা সংবাদ নিবন্ধগুলির সাথে নমুনা ডেটাসেট ব্যবহার করে৷ আপনি একটি পাইথন নোটবুকে Amazon Comprehend APIs কিভাবে ব্যবহার করবেন তা শিখতে এই নোটবুকটি ব্যবহার করতে পারেন, অথবা আপনি এটিকে একটি সূচনা পয়েন্ট হিসেবে ব্যবহার করতে পারেন এবং আপনার অনন্য প্রয়োজনীয়তা এবং উৎপাদন স্থাপনার জন্য কোডটি আরও প্রসারিত করতে পারেন।

আপনি জাম্পস্টার্ট ব্যবহার করা শুরু করতে পারেন এবং সমস্ত অঞ্চলে যেখানে স্টুডিও কোনো অতিরিক্ত খরচ ছাড়াই পাওয়া যায় সেখানে বিভিন্ন বিষয়ে 40 টিরও বেশি নোটবুকের সুবিধা নিতে পারেন।

---

লেখক সম্পর্কে

লানা ঝাং বিষয়বস্তু সংযম এবং স্বীকৃতির জন্য AI এবং ML-এ দক্ষতা সহ AWS WWSO AI পরিষেবা দলের একজন সিনিয়র সলিউশন আর্কিটেক্ট৷ তিনি AWS AI পরিষেবার প্রচার এবং গ্রাহকদের তাদের ব্যবসায়িক সমাধানগুলি রূপান্তরিত করতে সহায়তা করার বিষয়ে উত্সাহী৷

মীনাক্ষীসুন্দরম ঠাণ্ডাভারায়ণ AWS সহ একজন সিনিয়র AI/ML বিশেষজ্ঞ। তিনি তাদের AI এবং ML যাত্রায় হাই-টেক কৌশলগত অ্যাকাউন্টে সাহায্য করেন। তিনি ডেটা-চালিত AI সম্পর্কে খুব উত্সাহী

রচনা চাদা AWS-এ স্ট্র্যাটেজিক অ্যাকাউন্টে একজন প্রধান সমাধান আর্কিটেক্ট এআই/এমএল। রচনা একজন আশাবাদী যিনি বিশ্বাস করেন যে AI এর নৈতিক ও দায়িত্বশীল ব্যবহার ভবিষ্যতে সমাজের উন্নতি করতে পারে এবং অর্থনৈতিক ও সামাজিক সমৃদ্ধি আনতে পারে। অবসর সময়ে, রচনা তার পরিবারের সাথে সময় কাটাতে, হাইকিং করতে এবং গান শুনতে পছন্দ করে।