ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) হল মেশিন লার্নিং (এমএল) এর একটি ক্ষেত্র যা কম্পিউটারকে পাঠ্য এবং কথ্য শব্দগুলিকে মানুষের মতো করে বোঝার ক্ষমতা দেওয়ার সাথে সম্পর্কিত। সম্প্রতি, অত্যাধুনিক স্থাপত্যের মতো ট্রান্সফরমার আর্কিটেকচার টেক্সট সারসংক্ষেপ, টেক্সট শ্রেণীবিভাগ, সত্তা স্বীকৃতি এবং আরও অনেক কিছুর মতো NLP ডাউনস্ট্রিম কাজগুলিতে কাছাকাছি-মানুষের কর্মক্ষমতা অর্জন করতে ব্যবহৃত হয়।
লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) হল ট্রান্সফরমার-ভিত্তিক মডেল যা লেবেলবিহীন লেবেলবিহীন পাঠ্যের উপর প্রশিক্ষিত কয়েক মিলিয়ন (বার্ট) থেকে এক ট্রিলিয়ন পরামিতি (এমআইসিএস), এবং যার আকার একক-GPU প্রশিক্ষণকে অব্যবহারিক করে তোলে। তাদের অন্তর্নিহিত জটিলতার কারণে, স্ক্র্যাচ থেকে একটি LLM প্রশিক্ষণ একটি খুব চ্যালেঞ্জিং কাজ যা খুব কম সংস্থাই বহন করতে পারে। এনএলপি ডাউনস্ট্রিম কাজের জন্য একটি সাধারণ অভ্যাস হল একটি প্রাক-প্রশিক্ষিত এলএলএম নেওয়া এবং এটিকে সূক্ষ্ম সুর করা। ফাইন-টিউনিং সম্পর্কে আরও তথ্যের জন্য, পড়ুন আমাজন সেজমেকার জাম্পস্টার্ট অন ফাইন্যান্সিয়াল ডেটাতে ফাউন্ডেশন মডেলের ডোমেন-অভিযোজন ফাইন-টিউনিং এবং Amazon SageMaker-এ Hugging Face সহ ভাষাগত বৈচিত্র্যের জন্য ফাইন-টিউন ট্রান্সফরমার ভাষার মডেল.
এনএলপি-তে জিরো-শট শেখার অনুমতি দেয় ক প্রাক-প্রশিক্ষিত এলএলএম যে কাজগুলির জন্য এটি স্পষ্টভাবে প্রশিক্ষিত হয়নি (এমনকি ফাইন-টিউনিং ছাড়াই) প্রতিক্রিয়া তৈরি করতে। বিশেষ করে টেক্সট শ্রেণীবিভাগ সম্পর্কে বলতে, শূন্য-শট পাঠ্য শ্রেণিবিন্যাস প্রাকৃতিক ভাষা প্রক্রিয়াকরণের একটি কাজ যেখানে একটি এনএলপি মডেল ব্যবহার করা হয় অদেখা ক্লাস থেকে পাঠ্যকে শ্রেণীবদ্ধ করতে, বিপরীতে তত্ত্বাবধানে শ্রেণীবিভাগ, যেখানে NLP মডেলগুলি শুধুমাত্র সেই পাঠ্যকে শ্রেণীবদ্ধ করতে পারে যা প্রশিক্ষণের ডেটাতে ক্লাসের অন্তর্গত।
আমরা সম্প্রতি জিরো-শট ক্লাসিফিকেশন মডেল সমর্থন চালু করেছি আমাজন সেজমেকার জাম্পস্টার্ট. SageMaker JumpStart হল এর ML হাব আমাজন সেজমেকার যা আপনাকে দ্রুত ML-এর সাথে শুরু করতে সাহায্য করার জন্য প্রাক-প্রশিক্ষিত ফাউন্ডেশন মডেল (FMs), LLM, অন্তর্নির্মিত অ্যালগরিদম এবং সমাধান টেমপ্লেটগুলিতে অ্যাক্সেস প্রদান করে। এই পোস্টে, আমরা দেখাব কিভাবে আপনি সেজমেকার জাম্পস্টার্টে প্রাক-প্রশিক্ষিত মডেলগুলি ব্যবহার করে শূন্য-শট শ্রেণিবিন্যাস সম্পাদন করতে পারেন। আপনি শিখবেন কিভাবে SageMaker Jumpstart UI এবং SageMaker Python SDK ব্যবহার করে সমাধানটি স্থাপন করতে হয় এবং উপলব্ধ মডেলগুলি ব্যবহার করে অনুমান চালাতে হয়।
জিরো-শট লার্নিং
জিরো-শট শ্রেণীবিন্যাস একটি দৃষ্টান্ত যেখানে একটি মডেল নতুন, অদেখা উদাহরণগুলিকে শ্রেণিবদ্ধ করতে পারে যা প্রশিক্ষণের ডেটাতে উপস্থিত ছিল না এমন ক্লাসগুলির অন্তর্গত। উদাহরণস্বরূপ, একটি ভাষা মডেল যা মানুষের ভাষা বোঝার জন্য প্রশিক্ষিত হয়েছে নতুন বছরের রেজোলিউশন টুইটগুলিকে একাধিক ক্লাসে শ্রেণীবদ্ধ করতে ব্যবহার করা যেতে পারে যেমন career
, health
, এবং finance
, টেক্সট ক্লাসিফিকেশন টাস্কে স্পষ্টভাবে প্রশিক্ষিত ভাষা মডেল ছাড়া। এটি মডেলটিকে সূক্ষ্ম টিউন করার বিপরীতে, যেহেতু পরবর্তীটি মডেলটিকে পুনরায় প্রশিক্ষণ (ট্রান্সফার লার্নিংয়ের মাধ্যমে) বোঝায় যখন শূন্য-শট শেখার জন্য অতিরিক্ত প্রশিক্ষণের প্রয়োজন হয় না।
নিচের চিত্রটি ট্রান্সফার লার্নিং (বাম) বনাম জিরো-শট লার্নিং (ডান) এর মধ্যে পার্থক্য তুলে ধরে।
ইয়িন এট আল। ন্যাচারাল ল্যাঙ্গুয়েজ ইনফারেন্স (NLI) ব্যবহার করে জিরো-শট ক্লাসিফায়ার তৈরির জন্য একটি কাঠামোর প্রস্তাব করেছে। ফ্রেমওয়ার্ক একটি NLI প্রিমিস হিসাবে শ্রেণীবদ্ধ করার জন্য ক্রম জাহির করে কাজ করে এবং প্রতিটি প্রার্থীর লেবেল থেকে একটি হাইপোথিসিস তৈরি করে। উদাহরণস্বরূপ, যদি আমরা একটি ক্রম শ্রেণীর অন্তর্গত কিনা তা মূল্যায়ন করতে চাই politics
, আমরা একটি অনুমান তৈরি করতে পারি "এই পাঠ্যটি রাজনীতি সম্পর্কে।" এনটেইলমেন্ট এবং দ্বন্দ্বের সম্ভাব্যতাগুলি তখন লেবেল সম্ভাব্যতায় রূপান্তরিত হয়। একটি দ্রুত পর্যালোচনা হিসাবে, NLI দুটি বাক্য বিবেচনা করে: একটি ভিত্তি এবং একটি অনুমান। কাজটি হল অনুমানটি সত্য (এনটেইলমেন্ট) না মিথ্যা (বিরোধিতা) তা নির্ধারণ করা। নিম্নলিখিত সারণী কিছু উদাহরণ প্রদান করে।
প্রতিজ্ঞা | লেবেল | অনুমান |
একজন ব্যক্তি পূর্ব এশিয়ার কিছু দেশে একটি চিত্রের ইউনিফর্ম পরিদর্শন করছেন। | অসঙ্গতি | লোকটা ঘুমাচ্ছে। |
একজন বয়স্ক এবং যুবক হাসছে। | নিরপেক্ষ | মেঝেতে বিড়ালদের খেলা দেখে দু'জন লোক হাসছে আর হাসছে। |
একাধিক পুরুষ খেলার সাথে একটি ফুটবল খেলা। | প্রবৃত্তি | কিছু পুরুষ খেলাধুলা করছে। |
সমাধান ওভারভিউ
এই পোস্টে, আমরা নিম্নলিখিত আলোচনা করেছি:
- সেজমেকার জাম্পস্টার্ট UI ব্যবহার করে প্রাক-প্রশিক্ষিত জিরো-শট টেক্সট ক্লাসিফিকেশন মডেলগুলি কীভাবে স্থাপন করা যায় এবং সংক্ষিপ্ত পাঠ্য ডেটা ব্যবহার করে স্থাপন করা মডেলে অনুমান চালানো যায়
- সেজমেকার জাম্পস্টার্টে প্রাক-প্রশিক্ষিত জিরো-শট টেক্সট ক্লাসিফিকেশন মডেলগুলি অ্যাক্সেস করতে কীভাবে সেজমেকার পাইথন SDK ব্যবহার করবেন এবং রিয়েল-টাইম টেক্সট ক্লাসিফিকেশন ব্যবহারের ক্ষেত্রে মডেলটিকে সেজমেকার এন্ডপয়েন্টে স্থাপন করতে অনুমান স্ক্রিপ্ট ব্যবহার করুন
- প্রাক-প্রশিক্ষিত জিরো-শট টেক্সট ক্লাসিফিকেশন মডেল অ্যাক্সেস করতে কীভাবে সেজমেকার পাইথন এসডিকে ব্যবহার করবেন এবং ব্যাচ টেক্সট ক্লাসিফিকেশন ব্যবহারের ক্ষেত্রে সেজমেকার ব্যাচ ট্রান্সফর্ম ব্যবহার করবেন
SageMaker JumpStart জনপ্রিয় ML টাস্ক জুড়ে বিস্তৃত প্রাক-প্রশিক্ষিত মডেলের জন্য এক-ক্লিক ফাইন-টিউনিং এবং স্থাপনা প্রদান করে, সেইসাথে সাধারণ ব্যবসায়িক সমস্যার সমাধান করে এমন এন্ড-টু-এন্ড সমাধানগুলির একটি নির্বাচন। এই বৈশিষ্ট্যগুলি ML প্রক্রিয়ার প্রতিটি ধাপ থেকে ভারী উত্তোলনকে সরিয়ে দেয়, উচ্চ-মানের মডেলগুলির বিকাশকে সহজ করে এবং স্থাপনার সময় কমিয়ে দেয়। দ্য জাম্পস্টার্ট API আপনাকে আপনার নিজস্ব ডেটাসেটে প্রাক-প্রশিক্ষিত মডেলগুলির একটি বিশাল নির্বাচন প্রোগ্রাম্যাটিকভাবে স্থাপন এবং সূক্ষ্ম-টিউন করার অনুমতি দেয়।
জাম্পস্টার্ট মডেল হাব বিপুল সংখ্যক এনএলপি মডেলগুলিতে অ্যাক্সেস সরবরাহ করে যা কাস্টম ডেটাসেটে স্থানান্তর শেখার এবং ফাইন-টিউনিং সক্ষম করে। এই লেখা পর্যন্ত, জাম্পস্টার্ট মডেল হাবটিতে বিভিন্ন জনপ্রিয় মডেল জুড়ে 300 টিরও বেশি টেক্সট মডেল রয়েছে, যেমন স্টেবল ডিফিউশন, ফ্ল্যান টি5, অ্যালেক্সা টিএম, ব্লুম এবং আরও অনেক কিছু।
মনে রাখবেন যে এই বিভাগে পদক্ষেপগুলি অনুসরণ করে, আপনি আপনার AWS অ্যাকাউন্টে পরিকাঠামো স্থাপন করবেন যার জন্য খরচ হতে পারে।
একটি স্বতন্ত্র শূন্য-শট পাঠ্য শ্রেণিবিন্যাস মডেল স্থাপন করুন
এই বিভাগে, আমরা প্রদর্শন করি কিভাবে সেজমেকার জাম্পস্টার্ট ব্যবহার করে একটি শূন্য-শট শ্রেণিবিন্যাস মডেল স্থাপন করা যায়। আপনি জাম্পস্টার্ট ল্যান্ডিং পৃষ্ঠার মাধ্যমে প্রাক-প্রশিক্ষিত মডেলগুলি অ্যাক্সেস করতে পারেন অ্যামাজন সেজমেকার স্টুডিও. নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার স্টুডিওতে, জাম্পস্টার্ট ল্যান্ডিং পৃষ্ঠা খুলুন।
নির্দেশ করে জাম্পস্টার্ট খুলুন এবং ব্যবহার করুন সেজমেকার জাম্পস্টার্টে কীভাবে নেভিগেট করবেন সে সম্পর্কে আরও বিশদের জন্য। - মধ্যে টেক্সট মডেল ক্যারোজেল, "জিরো-শট টেক্সট ক্লাসিফিকেশন" মডেল কার্ডটি সনাক্ত করুন।
- বেছে নিন মডেল দেখুন অ্যাক্সেস করতে
facebook-bart-large-mnli
মডেল.
বিকল্পভাবে, আপনি সার্চ বারে জিরো-শট ক্লাসিফিকেশন মডেলটি অনুসন্ধান করতে পারেন এবং সেজমেকার জাম্পস্টার্টে মডেলটি পেতে পারেন। - একটি স্থাপনার কনফিগারেশন, সেজমেকার হোস্টিং ইনস্ট্যান্স টাইপ, এন্ডপয়েন্ট নাম, উল্লেখ করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতির নাম, এবং অন্যান্য প্রয়োজনীয় পরামিতি।
- ঐচ্ছিকভাবে, আপনি যেমন নিরাপত্তা কনফিগারেশন নির্দিষ্ট করতে পারেন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা, VPC সেটিংস, এবং AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) এনক্রিপশন কী।
- বেছে নিন স্থাপন করুন একটি সেজমেকার এন্ডপয়েন্ট তৈরি করতে।
এই ধাপটি সম্পূর্ণ হতে কয়েক মিনিট সময় নেয়। এটি সম্পূর্ণ হলে, আপনি সেজমেকার এন্ডপয়েন্টের বিরুদ্ধে অনুমান চালাতে পারেন যা শূন্য-শট শ্রেণিবিন্যাসের মডেলটি হোস্ট করে।
নিম্নলিখিত ভিডিওতে, আমরা এই বিভাগে পদক্ষেপগুলির একটি ওয়াকথ্রু দেখাই।
SageMaker SDK-এর সাথে প্রোগ্রাম্যাটিকভাবে জাম্পস্টার্ট ব্যবহার করুন
সেজমেকার স্টুডিওর সেজমেকার জাম্পস্টার্ট বিভাগে, অধীনে দ্রুত শুরু সমাধান, আপনি খুঁজে পেতে পারেন সমাধান টেমপ্লেট. সেজমেকার জাম্পস্টার্ট সলিউশন টেমপ্লেটগুলি হল এক-ক্লিক, অনেক সাধারণ এমএল ব্যবহারের ক্ষেত্রে এন্ড-টু-এন্ড সমাধান। এই লেখা পর্যন্ত, একাধিক ব্যবহারের ক্ষেত্রে 20 টিরও বেশি সমাধান পাওয়া যায়, যেমন চাহিদার পূর্বাভাস, জালিয়াতি সনাক্তকরণ এবং ব্যক্তিগতকৃত সুপারিশ, কয়েকটির নাম।
"আলিঙ্গন মুখের সাথে জিরো শট টেক্সট ক্লাসিফিকেশন" সমাধানটি নির্দিষ্ট লেবেলের জন্য একটি মডেল প্রশিক্ষণের প্রয়োজন ছাড়াই পাঠ্যকে শ্রেণিবদ্ধ করার একটি উপায় সরবরাহ করে (শূন্য-শট শ্রেণীবিভাগ) একটি প্রাক-প্রশিক্ষিত টেক্সট ক্লাসিফায়ার ব্যবহার করে। এই সমাধানের জন্য ডিফল্ট জিরো-শট ক্লাসিফিকেশন মডেল হল facebook-bart-বড়-mnli (BART) মডেল। এই সমাধানের জন্য, আমরা ব্যবহার করি 2015 নতুন বছরের রেজোলিউশন ডেটাসেট রেজুলেশন শ্রেণীবদ্ধ করতে। মূল ডেটাসেটের একটি উপসেট যেখানে শুধুমাত্র Resolution_Category
(স্থল সত্য লেবেল) এবং text
কলামগুলি সমাধানের সম্পদে অন্তর্ভুক্ত করা হয়।
ইনপুট ডেটাতে পাঠ্য স্ট্রিং, শ্রেণিবিন্যাসের জন্য পছন্দসই বিভাগের একটি তালিকা এবং শ্রেণীবিন্যাসটি বহু-লেবেল কিনা সিঙ্ক্রোনাস (রিয়েল-টাইম) অনুমানের জন্য নয়। অ্যাসিঙ্ক্রোনাস (ব্যাচ) অনুমানের জন্য, আমরা পাঠ্য স্ট্রিংগুলির একটি তালিকা, প্রতিটি স্ট্রিংয়ের জন্য বিভাগের তালিকা এবং শ্রেণীবিভাগটি মাল্টি-লেবেল কিনা একটি JSON লাইন ফর্ম্যাট করা পাঠ্য ফাইলে সরবরাহ করি।
অনুমানের ফলাফল হল একটি JSON অবজেক্ট যা নিচের স্ক্রিনশটের মত দেখতে।
আমরা মূল লেখা আছে sequence
ক্ষেত্র, টেক্সট শ্রেণীবিভাগের জন্য ব্যবহৃত লেবেল labels
ক্ষেত্র, এবং ক্ষেত্রের প্রতিটি লেবেলের জন্য নির্ধারিত সম্ভাব্যতা (আদর্শের একই ক্রমে) scores
.
আলিঙ্গন মুখ সমাধান সহ জিরো শট পাঠ্য শ্রেণিবিন্যাস স্থাপন করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার জাম্পস্টার্ট ল্যান্ডিং পৃষ্ঠায়, বেছে নিন মডেল, নোটবুক, সমাধান নেভিগেশন ফলকে।
- মধ্যে সলিউশন বিভাগ, চয়ন করুন সব সমাধান অন্বেষণ.
- উপরে সলিউশন পৃষ্ঠা, হাগিং ফেস মডেল কার্ডের সাথে জিরো শট টেক্সট ক্লাসিফিকেশন বেছে নিন।
- স্থাপনার বিশদ পর্যালোচনা করুন এবং আপনি যদি সম্মত হন তবে নির্বাচন করুন শুরু করা.
স্থাপনাটি রিয়েল-টাইম ইনফারেন্সের জন্য একটি SageMaker রিয়েল-টাইম এন্ডপয়েন্ট এবং ব্যাচ ট্রান্সফরমেশন ফলাফল সংরক্ষণের জন্য একটি S3 বালতি প্রদান করবে।
নিম্নলিখিত চিত্রটি এই পদ্ধতির স্থাপত্যকে চিত্রিত করে।
একটি শূন্য-শট শ্রেণীবিভাগ মডেল ব্যবহার করে রিয়েল-টাইম অনুমান সম্পাদন করুন
এই বিভাগে, আমরা সেজমেকার এন্ডপয়েন্ট ব্যবহার করে রিয়েল টাইমে জিরো-শট টেক্সট শ্রেণীবিভাগ (যেকোনও উপলব্ধ মডেল ব্যবহার করে) চালানোর জন্য পাইথন SDK কীভাবে ব্যবহার করব তা পর্যালোচনা করি।
- প্রথমত, আমরা মডেলে ইনফারেন্স পেলোড অনুরোধ কনফিগার করি। এটি মডেল নির্ভর, কিন্তু BART মডেলের জন্য, ইনপুটটি নিম্নলিখিত কাঠামো সহ একটি JSON অবজেক্ট:
- উল্লেখ্য যে BART মডেলটি স্পষ্টভাবে প্রশিক্ষিত নয়
candidate_labels
. টেক্সট সিকোয়েন্সকে অদেখা ক্লাসে শ্রেণীবদ্ধ করতে আমরা জিরো-শট ক্লাসিফিকেশন কৌশল ব্যবহার করব। নিম্নলিখিত কোডটি নতুন বছরের রেজোলিউশন ডেটাসেট এবং সংজ্ঞায়িত ক্লাস থেকে পাঠ্য ব্যবহার করে একটি উদাহরণ: - এর পরে, আপনি শূন্য-শট পেলোড সহ একটি সেজমেকার এন্ডপয়েন্ট আহ্বান করতে পারেন। সেজমেকার এন্ডপয়েন্টটি সেজমেকার জাম্পস্টার্ট সমাধানের অংশ হিসাবে স্থাপন করা হয়েছে।
- ইনফারেন্স রেসপন্স অবজেক্টে মূল সিকোয়েন্স, সর্বোচ্চ থেকে মিনিম পর্যন্ত স্কোর অনুসারে সাজানো লেবেল এবং লেবেল প্রতি স্কোর থাকে:
Python SDK ব্যবহার করে একটি SageMaker ব্যাচ ট্রান্সফর্ম কাজ চালান
এই বিভাগটি বর্ণনা করে যে কিভাবে শূন্য-শট শ্রেণীবিভাগের সাথে ব্যাচ ট্রান্সফর্ম অনুমান চালাতে হয় facebook-bart-large-mnli
মডেল ব্যবহার করে সেজমেকার পাইথন এসডিকে. নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- JSON লাইন ফরম্যাটে ইনপুট ডেটা ফর্ম্যাট করুন এবং ফাইলটি Amazon S3 এ আপলোড করুন।
SageMaker ব্যাচ ট্রান্সফর্ম S3 ফাইলে আপলোড করা ডেটা পয়েন্টের অনুমান সম্পাদন করবে। - নিম্নলিখিত পরামিতিগুলির সাথে মডেল স্থাপনার আর্টিফ্যাক্টগুলি সেট আপ করুন:
- মডেল_আইডি - ব্যবহার করুন
huggingface-zstc-facebook-bart-large-mnli
. - deploy_image_uri - ব্যবহার
image_uris
Python SDK ফাংশন এর জন্য প্রি-বিল্ট সেজমেকার ডকার ইমেজ পেতেmodel_id
. ফাংশনটি ফেরত দেয় অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) URI. - স্থাপন_উৎস_উরি - ব্যবহার
script_uris
S3 URI পুনরুদ্ধার করার জন্য ইউটিলিটি API যাতে প্রাক-প্রশিক্ষিত মডেল অনুমান চালানোর জন্য স্ক্রিপ্ট রয়েছে। আমরা নির্দিষ্টscript_scope
asinference
. - মডেল_উরি - ব্যবহার করুন
model_uri
নির্দিষ্ট জন্য Amazon S3 থেকে মডেল আর্টিফ্যাক্ট পেতেmodel_id
.
- মডেল_আইডি - ব্যবহার করুন
- ব্যবহার
HF_TASK
আলিঙ্গন মুখ ট্রান্সফরমার পাইপলাইনের জন্য টাস্ক সংজ্ঞায়িত করতে এবংHF_MODEL_ID
পাঠ্যকে শ্রেণিবদ্ধ করতে ব্যবহৃত মডেলটি সংজ্ঞায়িত করতে:কাজের একটি সম্পূর্ণ তালিকার জন্য, দেখুন পাইপলাইন আলিঙ্গন মুখ ডকুমেন্টেশন.
- SageMaker ব্যাচ ট্রান্সফর্ম কাজের সাথে স্থাপন করার জন্য একটি Hugging Face মডেল অবজেক্ট তৈরি করুন:
- একটি ব্যাচ কাজ চালানোর জন্য একটি রূপান্তর তৈরি করুন:
- একটি ব্যাচ ট্রান্সফর্ম কাজ শুরু করুন এবং ইনপুট হিসাবে S3 ডেটা ব্যবহার করুন:
আপনি SageMaker কনসোলে আপনার ব্যাচ প্রক্রিয়াকরণ কাজ নিরীক্ষণ করতে পারেন (নির্বাচন করুন ব্যাচ রূপান্তর কাজ অধীনে অনুমিতি নেভিগেশন ফলকে)। কাজ সম্পূর্ণ হলে, আপনি নির্দিষ্ট S3 ফাইলে মডেল পূর্বাভাস আউটপুট পরীক্ষা করতে পারেন output_path
.
সেজমেকার জাম্পস্টার্টে উপলব্ধ সমস্ত প্রাক-প্রশিক্ষিত মডেলের তালিকার জন্য, পড়ুন প্রাক-প্রশিক্ষিত মডেল টেবিল সহ অন্তর্নির্মিত অ্যালগরিদম. শূন্য-শট পাঠ্য শ্রেণীবিভাগ করতে সক্ষম সমস্ত মডেলগুলি সনাক্ত করতে অনুসন্ধান বারে "zstc" (শূন্য-শট পাঠ্য শ্রেণিবিন্যাসের জন্য সংক্ষিপ্ত) কীওয়ার্ডটি ব্যবহার করুন।
পরিষ্কার কর
আপনি নোটবুকটি চালানো শেষ করার পরে, এই নির্দেশিকায় নিয়োজিত সম্পদের খরচ বন্ধ করা হয়েছে তা নিশ্চিত করতে প্রক্রিয়াটিতে তৈরি সমস্ত সংস্থান মুছে ফেলার বিষয়টি নিশ্চিত করুন। নিয়োজিত সংস্থানগুলি পরিষ্কার করার কোডটি শূন্য-শট পাঠ্য শ্রেণিবিন্যাস সমাধান এবং মডেলের সাথে সম্পর্কিত নোটবুকগুলিতে সরবরাহ করা হয়েছে।
ডিফল্ট নিরাপত্তা কনফিগারেশন
সেজমেকার জাম্পস্টার্ট মডেলগুলি নিম্নলিখিত ডিফল্ট নিরাপত্তা কনফিগারেশন ব্যবহার করে স্থাপন করা হয়েছে:
SageMaker নিরাপত্তা-সম্পর্কিত বিষয় সম্পর্কে আরও জানতে, চেক আউট করুন Amazon SageMaker-এ নিরাপত্তা কনফিগার করুন.
উপসংহার
এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে SageMaker JumpStart UI ব্যবহার করে একটি শূন্য-শট শ্রেণীবিভাগ মডেল স্থাপন করা যায় এবং স্থাপন করা শেষ পয়েন্ট ব্যবহার করে অনুমান করা যায়। আমরা সেজমেকার জাম্পস্টার্ট নববর্ষের রেজোলিউশনের সমাধান ব্যবহার করেছি তা দেখানোর জন্য আপনি কীভাবে সেজমেকার পাইথন SDK ব্যবহার করে একটি এন্ড-টু-এন্ড সমাধান তৈরি করতে পারেন এবং শূন্য-শট শ্রেণীবিভাগ প্রয়োগ করতে পারেন। সেজমেকার জাম্পস্টার্ট শত শত প্রাক-প্রশিক্ষিত মডেল এবং কম্পিউটার দৃষ্টি, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, সুপারিশ সিস্টেম এবং আরও অনেক কিছুর জন্য সমাধান প্রদান করে। আপনার নিজের উপর সমাধান চেষ্টা করুন এবং আমাদের আপনার চিন্তা জানাতে.
লেখক সম্পর্কে
ডেভিড লারেডো LATAM-এর AWS Envision Engineering-এর একজন প্রোটোটাইপিং আর্কিটেক্ট, যেখানে তিনি একাধিক মেশিন লার্নিং প্রোটোটাইপ তৈরি করতে সাহায্য করেছেন। পূর্বে, তিনি মেশিন লার্নিং ইঞ্জিনিয়ার হিসাবে কাজ করেছেন এবং 5 বছরেরও বেশি সময় ধরে মেশিন লার্নিং করছেন। তার আগ্রহের ক্ষেত্র হল NLP, টাইম সিরিজ এবং এন্ড-টু-এন্ড ML।
বিক্রম এলাঙ্গো ভার্জিনিয়া, মার্কিন যুক্তরাষ্ট্রে অবস্থিত অ্যামাজন ওয়েব সার্ভিসেসের একজন এআই/এমএল বিশেষজ্ঞ সমাধান স্থপতি। বিক্রম আর্থিক এবং বীমা শিল্পের গ্রাহকদের ডিজাইন এবং চিন্তার নেতৃত্ব দিয়ে মেশিন লার্নিং অ্যাপ্লিকেশন তৈরি এবং স্থাপন করতে সাহায্য করে। তিনি বর্তমানে ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং, দায়িত্বশীল এআই, ইনফারেন্স অপ্টিমাইজেশান, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং এর উপর দৃষ্টি নিবদ্ধ করছেন। তার অবসর সময়ে, তিনি তার পরিবারের সাথে ভ্রমণ, হাইকিং, রান্না এবং ক্যাম্পিং উপভোগ করেন।
বিবেক মদন ড অ্যামাজন সেজমেকার জাম্পস্টার্ট দলের একজন ফলিত বিজ্ঞানী। তিনি আরবানা-চ্যাম্পেইনের ইলিনয় বিশ্ববিদ্যালয় থেকে তার পিএইচডি পেয়েছিলেন এবং জর্জিয়া টেকের পোস্ট ডক্টরাল গবেষক ছিলেন। তিনি মেশিন লার্নিং এবং অ্যালগরিদম ডিজাইনের একজন সক্রিয় গবেষক এবং EMNLP, ICLR, COLT, FOCS এবং SODA কনফারেন্সে গবেষণাপত্র প্রকাশ করেছেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/zero-shot-text-classification-with-amazon-sagemaker-jumpstart/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 12
- 16
- 17
- 20
- 22
- 30
- 7
- 8
- 9
- a
- ক্ষমতা
- সম্পর্কে
- উপরে
- প্রবেশ
- হিসাব
- অর্জন করা
- দিয়ে
- সক্রিয়
- অতিরিক্ত
- বিরুদ্ধে
- AI
- এআই / এমএল
- AL
- আলেক্সা
- অ্যালগরিদম
- আলগোরিদিম
- সব
- অনুমতি
- অনুমতি
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- আমাজন সেজমেকার জাম্পস্টার্ট
- অ্যামাজন ওয়েব সার্ভিসেস
- পরিমাণ
- an
- এবং
- কোন
- API
- আবেদন
- অ্যাপ্লিকেশন
- ফলিত
- স্থাপত্য
- রয়েছি
- এলাকার
- AS
- এশিয়ান
- সম্পদ
- নির্ধারিত
- যুক্ত
- At
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- বার
- ভিত্তি
- ভিত্তি
- BE
- হয়েছে
- হচ্ছে
- জন্যে
- মধ্যে
- পুষ্প
- শরীর
- বই
- ব্রেকফাস্ট
- নির্মাণ করা
- বিল্ট-ইন
- ব্যবসায়
- কিন্তু
- by
- CAN
- প্রার্থী
- সক্ষম
- কার্ড
- পেশা
- ক্যারোসেলে
- মামলা
- বিভাগ
- বিড়াল
- চ্যালেঞ্জিং
- চেক
- বেছে নিন
- শ্রেণী
- ক্লাস
- শ্রেণীবিন্যাস
- শ্রেণীবদ্ধ
- শ্রেণীভুক্ত করা
- কোড
- কলাম
- সাধারণ
- সম্পূর্ণ
- জটিলতা
- কম্পিউটার
- কম্পিউটার ভিশন
- কম্পিউটার
- উদ্বিগ্ন
- সম্মেলন
- কনফিগারেশন
- বিবেচনা করে
- কনসোল
- গঠন করা
- আধার
- ধারণ
- বিপরীত হত্তয়া
- ধর্মান্তরিত
- খরচ
- পারা
- দেশ
- দম্পতি
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- এখন
- প্রথা
- গ্রাহকদের
- উপাত্ত
- ডেটা পয়েন্ট
- ডেটাসেট
- নিবেদিত
- ডিফল্ট
- নির্ধারণ করা
- সংজ্ঞায়িত
- চাহিদা
- চাহিদার পূর্বাভাস
- প্রদর্শন
- নির্ভরতা
- নির্ভরশীল
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- নকশা
- আকাঙ্ক্ষিত
- বিস্তারিত
- সনাক্তকরণ
- নির্ধারণ
- বিকাশ
- উন্নয়ন
- পার্থক্য
- আশ্লেষ
- আলোচনা করা
- বৈচিত্র্য
- ডকশ্রমিক
- ডকুমেন্টেশন
- না
- করছেন
- সম্পন্ন
- কারণে
- E&T
- প্রতি
- পূর্ব
- প্রশিক্ষণ
- ইমেইল
- সক্ষম করা
- এনক্রিপশন
- সর্বশেষ সীমা
- শেষপ্রান্ত
- প্রকৌশলী
- প্রকৌশল
- নিশ্চিত করা
- উদ্যোগ
- সত্তা
- কল্পনা করা
- মূল্যায়ন
- এমন কি
- উদাহরণ
- উদাহরণ
- মুখ
- মিথ্যা
- পরিবার
- বৈশিষ্ট্য
- কয়েক
- ক্ষেত্র
- ব্যক্তিত্ব
- ফাইল
- অর্থ
- আর্থিক
- আবিষ্কার
- মেঝে
- দৃষ্টি নিবদ্ধ করা
- অনুসরণ
- জন্য
- বিন্যাস
- ভিত
- ফ্রেমওয়ার্ক
- প্রতারণা
- জালিয়াতি সনাক্তকরণ
- থেকে
- ক্রিয়া
- খেলা
- উত্পাদন করা
- জর্জিয়া
- পাওয়া
- GitHub
- প্রদত্ত
- দান
- স্থল
- উন্নতি
- কৌশল
- হ্যান্ডলিং
- আছে
- he
- স্বাস্থ্য
- ভারী
- ভারী উত্তোলন
- সাহায্য
- সাহায্য
- সাহায্য
- উচ্চ গুনসম্পন্ন
- তার
- হোস্টিং
- হোস্ট
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- নাভি
- মানবীয়
- মেজাজ
- শত শত
- শত মিলিয়ন
- ID
- পরিচয়
- if
- ইলিনয়
- প্রকাশ
- ভাবমূর্তি
- বাস্তবায়ন
- আমদানি
- in
- অন্তর্ভুক্ত
- অন্তর্ভুক্ত
- শিল্প
- তথ্য
- পরিকাঠামো
- সহজাত
- ইনপুট
- ইনপুট
- উদাহরণ
- বীমা
- স্বার্থ
- IT
- কাজ
- জবস
- JPG
- JSON
- চাবি
- কী
- জানা
- লেবেল
- লেবেলগুলি
- অবতরণ
- ভাষা
- বড়
- LATAM
- চালু
- নেতৃত্ব
- শিখতে
- শিক্ষা
- বাম
- দিন
- উদ্ধরণ
- মত
- লাইন
- লাইন
- তালিকা
- LLM
- বোঝাই
- সৌন্দর্য
- মেশিন
- মেশিন লার্নিং
- করা
- তৈরি করে
- এক
- ব্যবস্থাপনা
- অনেক
- সর্বোচ্চ
- মে..
- পুরুষদের
- পদ্ধতি
- লক্ষ লক্ষ
- মিনিট
- মিনিট
- ML
- মডেল
- মডেল
- মনিটর
- অধিক
- বহু
- my
- নাম
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- নেভিগেট করুন
- ন্যাভিগেশন
- প্রয়োজন
- নতুন
- নববর্ষ
- NLP
- না।
- নোটবই
- সংখ্যা
- লক্ষ্য
- of
- on
- কেবল
- খোলা
- অপ্টিমাইজেশান
- or
- ক্রম
- সংগঠন
- মূল
- অন্যান্য
- বাইরে
- আউটপুট
- শেষ
- নিজের
- পৃষ্ঠা
- শার্সি
- কাগজপত্র
- দৃষ্টান্ত
- পরামিতি
- অংশ
- পথ
- প্রতি
- সম্পাদন করা
- কর্মক্ষমতা
- অনুমতি
- ব্যক্তিগত
- ব্যক্তিগতকৃত
- পিএইচডি
- মানবপ্রীতি
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- পয়েন্ট
- রাজনীতি
- জনপ্রিয়
- পোস্ট
- অনুশীলন
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- বর্তমান
- পূর্বে
- সমস্যা
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- প্রস্তাবিত
- এগুলির নমুনা
- প্রোটোটাইপিং
- প্রদান
- প্রদত্ত
- উপলব্ধ
- বিধান
- প্রকাশিত
- পাইথন
- পাইটার্চ
- দ্রুত
- দ্রুত
- পড়া
- বাস্তব
- প্রকৃত সময়
- সম্প্রতি
- স্বীকার
- সুপারিশ
- সুপারিশ
- হ্রাস
- অপসারণ
- অনুরোধ
- প্রয়োজন
- প্রয়োজনীয়
- গবেষক
- Resources
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- দায়ী
- ফল
- ফলাফল
- আয়
- এখানে ক্লিক করুন
- অধিকার
- ভূমিকা
- চালান
- দৌড়
- s
- ঋষি নির্মাতা
- একই
- সংরক্ষণ করুন
- স্কেল
- আরোহী
- বিজ্ঞানী
- স্কোর
- আঁচড়ের দাগ
- স্ক্রিপ্ট
- স্ক্রলিং
- SDK
- সার্চ
- অধ্যায়
- নিরাপত্তা
- দেখ
- নির্বাচন
- ক্রম
- ক্রম
- সেবা
- সেটিংস
- সংক্ষিপ্ত
- শট
- প্রদর্শনী
- দেখিয়েছেন
- সহজ
- সরলীকরণ
- থেকে
- আয়তন
- সকার
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- কিছু
- ভাষী
- বিশেষজ্ঞ
- নির্দিষ্ট
- বিশেষভাবে
- নিদিষ্ট
- উচ্চারিত
- খেলা
- স্থিতিশীল
- স্বতন্ত্র
- শুরু
- শুরু
- রাষ্ট্র-এর-শিল্প
- থাকা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- বন্ধ
- স্টোরেজ
- সংরক্ষণ
- স্ট্রিং
- গঠন
- চিত্রশালা
- এমন
- সমর্থন
- নিশ্চিত
- সিস্টেম
- টেবিল
- গ্রহণ করা
- লাগে
- কার্য
- কাজ
- টীম
- প্রযুক্তি
- টেমপ্লেট
- পাঠ্য শ্রেণিবিন্যাস
- যে
- সার্জারির
- তাদের
- তারপর
- এইগুলো
- এই
- চিন্তা
- চিন্তা নেতৃত্ব
- দ্বারা
- সময়
- সময় সিরিজ
- TM
- থেকে
- টপিক
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- হস্তান্তর
- রুপান্তর
- রুপান্তর
- ট্রান্সফরমার
- ট্রান্সফরমার
- ভ্রমণ
- দশ সহস্রের ত্রিঘাত
- সত্য
- সত্য
- চেষ্টা
- টুইট
- দুই
- আদর্শ
- ui
- অধীনে
- বোঝা
- বিশ্ববিদ্যালয়
- আপলোড করা
- us
- ব্যবহার
- ব্যবহৃত
- ব্যবহার
- উপযোগ
- বৈচিত্র্য
- সুবিশাল
- সংস্করণ
- খুব
- ভিডিও
- ভার্জিনিয়া
- দৃষ্টি
- vs
- , walkthrough
- প্রয়োজন
- ছিল
- উপায়..
- we
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- ছিল
- কখন
- কিনা
- যখন
- যাহার
- ব্যাপক
- ইচ্ছা
- সঙ্গে
- ছাড়া
- শব্দ
- কাজ করছে
- কাজ
- লেখা
- বছর
- বছর
- আপনি
- ছোট
- আপনার
- zephyrnet
- শূন্য
- জিরো-শট লার্নিং