Renate দিয়ে নিউরাল নেটওয়ার্কগুলিকে স্বয়ংক্রিয়ভাবে পুনরায় প্রশিক্ষণ দিন

আজ আমরা সাধারণ প্রাপ্যতা ঘোষণা Renate, স্বয়ংক্রিয় মডেল পুনরায় প্রশিক্ষণের জন্য একটি ওপেন সোর্স পাইথন লাইব্রেরি। লাইব্রেরি ক্রমাগত শেখার অ্যালগরিদম সরবরাহ করে যাতে আরও ডেটা উপলব্ধ হওয়ার সাথে সাথে একটি নিউরাল নেটওয়ার্ককে ক্রমবর্ধমানভাবে প্রশিক্ষণ দিতে সক্ষম হয়।

ওপেন-সোর্সিং রেনেটের মাধ্যমে, আমরা একটি ভেন্যু তৈরি করতে চাই যেখানে বাস্তব-বিশ্বের মেশিন লার্নিং সিস্টেমে কাজ করা অনুশীলনকারীরা এবং স্বয়ংক্রিয় মেশিন লার্নিং, ক্রমাগত শিক্ষা এবং আজীবন শিক্ষার ক্ষেত্রে শিল্পের অবস্থাকে এগিয়ে নিতে আগ্রহী গবেষকরা একত্রিত হবেন। আমরা বিশ্বাস করি যে এই দুটি সম্প্রদায়ের মধ্যে সমন্বয় মেশিন লার্নিং গবেষণা সম্প্রদায়ে নতুন ধারণা তৈরি করবে এবং বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে একটি বাস্তব ইতিবাচক প্রভাব প্রদান করবে।

মডেল পুনরায় প্রশিক্ষণ এবং বিপর্যয়কর ভুলে যাওয়া

ক্রমবর্ধমান নিউরাল নেটওয়ার্ক প্রশিক্ষণ একটি সহজ কাজ নয়. অনুশীলনে, সময়ে বিভিন্ন পয়েন্টে প্রদত্ত ডেটা প্রায়শই বিভিন্ন বিতরণ থেকে নমুনা করা হয়। উদাহরণস্বরূপ, প্রশ্ন-উত্তর পদ্ধতিতে, প্রশ্নের বিষয়বস্তুর বন্টন সময়ের সাথে উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে। শ্রেণীবিন্যাস ব্যবস্থায়, বিশ্বের বিভিন্ন অংশে তথ্য সংগ্রহ করার সময় নতুন বিভাগ যোগ করার প্রয়োজন হতে পারে। এই ক্ষেত্রে নতুন ডেটা সহ পূর্বে প্রশিক্ষিত মডেলগুলিকে ফাইন-টিউনিং করা "বিপর্যয়কর ভুলে যাওয়া" নামক একটি ঘটনার দিকে নিয়ে যাবে। সাম্প্রতিক উদাহরণগুলিতে ভাল পারফরম্যান্স থাকবে, তবে অতীতে সংগৃহীত ডেটার জন্য করা ভবিষ্যদ্বাণীগুলির গুণমান উল্লেখযোগ্যভাবে হ্রাস পাবে। অধিকন্তু, কর্মক্ষমতার অবনতি আরও গুরুতর হবে যখন পুনঃপ্রশিক্ষণ অপারেশন নিয়মিত হয় (যেমন, দৈনিক বা সাপ্তাহিক)।

যখন ডেটার একটি ছোট অংশ সংরক্ষণ করা সম্ভব হয়, তখন পুনঃপ্রশিক্ষণের সময় পুরানো ডেটা পুনঃব্যবহারের উপর ভিত্তি করে পদ্ধতিগুলি বিপর্যয়কর ভুলে যাওয়ার সমস্যাকে আংশিকভাবে উপশম করতে পারে। এই ধারণা অনুসরণ করে বেশ কয়েকটি পদ্ধতি তৈরি করা হয়েছে। তাদের মধ্যে কিছু শুধুমাত্র কাঁচা ডেটা সংরক্ষণ করে, যখন আরও উন্নতগুলি অতিরিক্ত মেটাডেটাও সংরক্ষণ করে (যেমন, মেমরিতে ডেটা পয়েন্টগুলির মধ্যবর্তী উপস্থাপনা)। অল্প পরিমাণ ডেটা (যেমন, হাজার হাজার ডেটা পয়েন্ট) সংরক্ষণ করা এবং সেগুলিকে সাবধানে ব্যবহার করার ফলে নীচের চিত্রে প্রদর্শিত উচ্চতর কর্মক্ষমতা দেখা যায়।

আপনার নিজস্ব মডেল এবং ডেটাসেট আনুন

নিউরাল নেটওয়ার্ক মডেলগুলিকে প্রশিক্ষণ দেওয়ার সময়, নেটওয়ার্ক কাঠামো, ডেটা রূপান্তর এবং অন্যান্য গুরুত্বপূর্ণ বিবরণ পরিবর্তন করার প্রয়োজন হতে পারে। কোড পরিবর্তনগুলি সীমিত হলেও, এই মডেলগুলি একটি বড় সফ্টওয়্যার লাইব্রেরির অংশ হলে এটি একটি জটিল কাজ হয়ে উঠতে পারে। এই অসুবিধাগুলি এড়াতে, Renate গ্রাহকদের একটি কনফিগারেশন ফাইলের অংশ হিসাবে পূর্বনির্ধারিত পাইথন ফাংশনে তাদের মডেল এবং ডেটাসেটগুলি সংজ্ঞায়িত করার ক্ষমতা প্রদান করে। গ্রাহকদের কোডটিকে বাকি লাইব্রেরি থেকে স্পষ্টভাবে আলাদা রাখার সুবিধা রয়েছে এবং রেনেটের অভ্যন্তরীণ কাঠামো সম্পর্কে কোনো জ্ঞান ছাড়াই গ্রাহকদের লাইব্রেরিটি কার্যকরভাবে ব্যবহার করার অনুমতি দেয়।

তদুপরি, মডেল সংজ্ঞা সহ সমস্ত ফাংশন খুব নমনীয়। প্রকৃতপক্ষে, মডেল ডেফিনেশন ফাংশন ব্যবহারকারীদের তাদের নিজস্ব প্রয়োজন অনুসারে স্ক্র্যাচ থেকে নিউরাল নেটওয়ার্ক তৈরি করতে বা ওপেন-সোর্স লাইব্রেরি থেকে সুপরিচিত মডেলগুলিকে ইনস্ট্যান্টিয়েট করতে দেয় ট্রান্সফরমার or টর্চভিশন. এটির জন্য প্রয়োজনীয়তা ফাইলে প্রয়োজনীয় নির্ভরতা যোগ করা প্রয়োজন।

কনফিগারেশন ফাইল কিভাবে লিখতে হয় তার একটি টিউটোরিয়াল এখানে পাওয়া যায় কিভাবে একটি কনফিগার ফাইল লিখতে হয়.

হাইপারপ্যারামিটার অপ্টিমাইজেশানের সুবিধা

মেশিন লার্নিং এর ক্ষেত্রে যেমনটি হয়, ক্রমাগত শেখার অ্যালগরিদমগুলি অনেকগুলি হাইপারপ্যারামিটারের সাথে আসে। এর সেটিংস সামগ্রিক পারফরম্যান্সে একটি গুরুত্বপূর্ণ পার্থক্য আনতে পারে এবং সতর্ক টিউনিং ভবিষ্যদ্বাণীমূলক কর্মক্ষমতাকে ইতিবাচকভাবে প্রভাবিত করতে পারে। একটি নতুন মডেলকে প্রশিক্ষণ দেওয়ার সময়, রেনেট অ্যামাজন সেজমেকারে একাধিক সমান্তরাল কাজ চালানোর ক্ষমতাকে কাজে লাগানোর জন্য ASHA-এর মতো অত্যাধুনিক অ্যালগরিদম ব্যবহার করে হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) সক্ষম করতে পারে। ফলাফলের একটি উদাহরণ নীচের চিত্রে প্রদর্শিত হয়েছে।

HPO সক্ষম করার জন্য, ব্যবহারকারীকে অনুসন্ধান স্থান নির্ধারণ করতে হবে বা লাইব্রেরির সাথে প্রদত্ত ডিফল্ট অনুসন্ধান স্থানগুলির একটি ব্যবহার করতে হবে। এ উদাহরণ পড়ুন HPO এর সাথে একটি প্রশিক্ষণের কাজ চালান. যে গ্রাহকরা দ্রুত রিটিউনিং খুঁজছেন তারা ট্রান্সফার লার্নিং কার্যকারিতা সহ অ্যালগরিদম নির্বাচন করে তাদের পূর্ববর্তী টিউনিং কাজের ফলাফলগুলিও লাভ করতে পারেন। এইভাবে, অপ্টিমাইজারদের জানানো হবে কোন হাইপারপ্যারামিটারগুলি বিভিন্ন টিউনিং কাজ জুড়ে ভাল পারফর্ম করছে এবং সেগুলির উপর ফোকাস করতে সক্ষম হবে, টিউনিং সময় কমিয়ে৷

মেঘে চালান

Renate ব্যবহারকারীদের SageMaker ব্যবহার করে বৃহৎ-স্কেল নিউরাল নেটওয়ার্কগুলিকে প্রশিক্ষণ দেওয়ার জন্য পরীক্ষা-নিরীক্ষার জন্য স্থানীয় মেশিনে প্রশিক্ষণ মডেল থেকে দ্রুত স্থানান্তর করতে দেয়। প্রকৃতপক্ষে, স্থানীয় মেশিনে প্রশিক্ষণের কাজগুলি চালানো বরং অস্বাভাবিক, বিশেষ করে যখন বড় আকারের মডেলগুলিকে প্রশিক্ষণ দেওয়া হয়। একই সময়ে, স্থানীয়ভাবে বিশদ যাচাই করতে এবং কোডটি পরীক্ষা করতে সক্ষম হওয়া অত্যন্ত কার্যকর হতে পারে। এই প্রয়োজনের উত্তর দিতে, Renate শুধুমাত্র কনফিগারেশন ফাইলে একটি সাধারণ পতাকা পরিবর্তন করে স্থানীয় মেশিন এবং SageMaker পরিষেবার মধ্যে দ্রুত স্যুইচ করার অনুমতি দেয়।

উদাহরণস্বরূপ, একটি টিউনিং কাজ চালু করার সময়, এটি স্থানীয়ভাবে চালানো সম্ভব execute_tuning_job(..., backend='local') এবং দ্রুত সেজমেকারে স্যুইচ করুন, নিম্নরূপ কোড পরিবর্তন করুন:

execute_tuning_job(
...,
backend="sagemaker",
role=get_execution_role(),      # requires importing the function from Syne Tune
instance_type="ml.g4dn.2xlarge" # the desired instance type
job_name="name_prefix_",             # a prefix to be used to identify the job
...
)

স্ক্রিপ্টটি চালানোর পরে, SageMaker ওয়েব ইন্টারফেস থেকে কাজ চলছে তা দেখা সম্ভব হবে:

প্রশিক্ষণের কাজটি নিরীক্ষণ করা এবং ক্লাউডওয়াচের লগগুলি পড়াও সম্ভব হবে:

কোন অতিরিক্ত কোড বা প্রচেষ্টা ছাড়া এই সব.

ক্লাউডে প্রশিক্ষণের কাজ চালানোর একটি সম্পূর্ণ উদাহরণ পাওয়া যায় কিভাবে একটি প্রশিক্ষণ কাজ চালান.

উপসংহার

এই পোস্টে, আমরা নিউরাল নেটওয়ার্ক পুনরায় প্রশিক্ষণের সাথে সম্পর্কিত সমস্যাগুলি এবং প্রক্রিয়াটিতে রেনেট লাইব্রেরির প্রধান সুবিধাগুলি বর্ণনা করেছি। লাইব্রেরি সম্পর্কে আরও জানতে, দেখুন GitHub সংগ্রহস্থল, যেখানে আপনি একটি উচ্চ-স্তরের ওভারভিউ পাবেন লাইব্রেরি এবং তার আলগোরিদিম, জন্য নির্দেশাবলী স্থাপন, এবং উদাহরণ যা আপনাকে শুরু করতে সাহায্য করতে পারে।

আমরা আপনার জন্য উন্মুখ অবদানসমূহ, প্রতিক্রিয়া এবং আগ্রহী সকলের সাথে এটি নিয়ে আলোচনা করা, এবং লাইব্রেরিটিকে বাস্তব-বিশ্বের পুনঃপ্রশিক্ষণ পাইপলাইনে একত্রিত করা দেখার জন্য।

লেখক সম্পর্কে

জিওভানি জাপেল্লা AWS Sagemaker এ দীর্ঘমেয়াদী বিজ্ঞানের উপর কাজ করা একজন সিনিয়র ফলিত বিজ্ঞানী। তিনি বর্তমানে ক্রমাগত শিক্ষা, মডেল পর্যবেক্ষণ এবং অটোএমএল নিয়ে কাজ করেন। এর আগে তিনি অ্যামাজন মিউজিক-এ বড় আকারের সুপারিশ সিস্টেমের জন্য বহু-সশস্ত্র দস্যুদের অ্যাপ্লিকেশনগুলিতে কাজ করেছিলেন।

মার্টিন উইস্তুবা AWS Sagemaker এ দীর্ঘমেয়াদী বিজ্ঞান দলের একজন ফলিত বিজ্ঞানী। তার গবেষণা স্বয়ংক্রিয় মেশিন লার্নিং উপর দৃষ্টি নিবদ্ধ করে.

 লুকাস বলস AWS-এর একজন ফলিত বিজ্ঞানী। তিনি ক্রমাগত শিক্ষা এবং মডেল পর্যবেক্ষণ সম্পর্কিত বিষয়গুলিতে কাজ করেন।

Cedric Archambeau AWS-এর একজন প্রধান ফলিত বিজ্ঞানী এবং লার্নিং এবং বুদ্ধিমান সিস্টেমের জন্য ইউরোপীয় ল্যাবের ফেলো।