Amazon SageMaker স্বয়ংক্রিয় মডেল টিউনিং এখন গ্রিড অনুসন্ধান সমর্থন করে

আজ আমাজন সেজমেকার জন্য গ্রিড অনুসন্ধান সমর্থন ঘোষণা স্বয়ংক্রিয় মডেল টিউনিং, আপনার মডেলের জন্য সেরা হাইপারপ্যারামিটার কনফিগারেশন খুঁজে পেতে ব্যবহারকারীদের একটি অতিরিক্ত কৌশল প্রদান করে।

Amazon SageMaker স্বয়ংক্রিয় মডেল টিউনিং একটি ব্যবহার করে আপনার ডেটাসেটে অনেক প্রশিক্ষণের কাজ চালানোর মাধ্যমে একটি মডেলের সেরা সংস্করণ খুঁজে পায় পরিসর আপনার নির্দিষ্ট করা হাইপারপ্যারামিটারের। তারপরে এটি হাইপারপ্যারামিটার মানগুলি বেছে নেয় যার ফলে একটি মডেল যা সর্বোত্তম কার্য সম্পাদন করে, যেমন a দ্বারা পরিমাপ করা হয় ছন্দোময় তোমার পছন্দের.

আপনার মডেলের জন্য সেরা হাইপারপ্যারামিটার মান খুঁজে পেতে, Amazon SageMaker স্বয়ংক্রিয় মডেল টিউনিং একাধিক কৌশল সমর্থন করে, সহ বায়েসিয়ান (ডিফল্ট), এলোমেলো অনুসন্ধান, এবং হাইপারব্যান্ড.

গ্রিড অনুসন্ধান

গ্রিড অনুসন্ধান আপনার সংজ্ঞায়িত হাইপারপ্যারামিটারের গ্রিডে কনফিগারেশনগুলিকে সম্পূর্ণভাবে অন্বেষণ করে, যা আপনাকে আপনার গ্রিডে সবচেয়ে প্রতিশ্রুতিশীল হাইপারপ্যারামিটার কনফিগারেশনগুলির অন্তর্দৃষ্টি পেতে এবং বিভিন্ন টিউনিং রান জুড়ে আপনার ফলাফলগুলিকে নির্ধারকভাবে পুনরুত্পাদন করতে দেয়৷ গ্রিড অনুসন্ধান আপনাকে আরও আত্মবিশ্বাস দেয় যে সমগ্র হাইপার প্যারামিটার অনুসন্ধান স্থানটি অন্বেষণ করা হয়েছিল। এই সুবিধাটি একটি ট্রেড-অফের সাথে আসে কারণ এটি গণনাগতভাবে Bayesian এবং এলোমেলো অনুসন্ধানের চেয়ে বেশি ব্যয়বহুল যদি আপনার প্রধান লক্ষ্য হয় সেরা হাইপারপ্যারামিটার কনফিগারেশন খুঁজে পাওয়া।

অ্যামাজন সেজমেকারের সাথে গ্রিড অনুসন্ধান

Amazon SageMaker-এ, আপনি গ্রিড অনুসন্ধান ব্যবহার করেন যখন আপনার সমস্যার জন্য আপনার সর্বোত্তম হাইপারপ্যারামিটার সমন্বয় প্রয়োজন যা আপনার উদ্দেশ্য মেট্রিককে সর্বাধিক বা ছোট করে। একটি সাধারণ ব্যবহারের ক্ষেত্রে যেখানে গ্রাহক গ্রিড অনুসন্ধান ব্যবহার করেন যখন মডেল নির্ভুলতা এবং পুনরুত্পাদনযোগ্যতা আপনার ব্যবসার জন্য প্রশিক্ষণের খরচের চেয়ে বেশি গুরুত্বপূর্ণ।

অ্যামাজন সেজমেকারে গ্রিড অনুসন্ধান সক্ষম করতে, সেট করুন Strategy ক্ষেত্র থেকে Grid যখন আপনি একটি টিউনিং কাজ তৈরি করেন, নিম্নরূপ:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

উপরন্তু, গ্রিড অনুসন্ধানের জন্য আপনার কাজের সংজ্ঞা ব্যবহার করে আপনার অনুসন্ধানের স্থান (কার্টেসিয়ান গ্রিড) একটি বিচ্ছিন্ন মানগুলির একটি শ্রেণীবদ্ধ পরিসর হিসাবে সংজ্ঞায়িত করতে হবে CategoricalParameterRanges এর অধীনে কী ParameterRanges পরামিতি, নিম্নরূপ:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

মনে রাখবেন যে আমরা নির্দিষ্ট করি না MaxNumberOfTrainingJobs কাজের সংজ্ঞায় গ্রিড অনুসন্ধানের জন্য কারণ এটি আপনার জন্য নির্ধারিত হয় বিভাগের সংমিশ্রণের সংখ্যা থেকে। র্যান্ডম এবং বায়েসিয়ান অনুসন্ধান ব্যবহার করার সময়, আপনি নির্দিষ্ট করুন MaxNumberOfTrainingJobs কম্পিউটের জন্য একটি উপরের সীমানা নির্ধারণ করে টিউনিং কাজের খরচ নিয়ন্ত্রণ করার উপায় হিসাবে প্যারামিটার। গ্রিড অনুসন্ধানের সাথে, এর মান MaxNumberOfTrainingJobs (এখন ঐচ্ছিক) গ্রিড অনুসন্ধানের জন্য প্রার্থীর সংখ্যা হিসাবে স্বয়ংক্রিয়ভাবে সেট করা হয়েছে৷ HyperParameterTuningJob বর্ণনা করুন আকৃতি এটি আপনাকে আপনার কাঙ্খিত হাইপারপ্যারামিটারের গ্রিডটি সম্পূর্ণভাবে অন্বেষণ করতে দেয়। উপরন্তু, গ্রিড অনুসন্ধান কাজের সংজ্ঞা শুধুমাত্র বিচ্ছিন্ন শ্রেণীবদ্ধ পরিসর গ্রহণ করে এবং একটি ক্রমাগত বা পূর্ণসংখ্যা পরিসীমা সংজ্ঞার প্রয়োজন হয় না কারণ গ্রিডের প্রতিটি মানকে বিচ্ছিন্ন হিসাবে বিবেচনা করা হয়।

গ্রিড অনুসন্ধান পরীক্ষা

এই পরীক্ষায়, একটি রিগ্রেশন টাস্ক দেওয়া হয়েছে, আমরা 200 হাইপারপ্যারামিটার, 20 এর অনুসন্ধানের স্থানের মধ্যে সর্বোত্তম হাইপারপ্যারামিটারগুলি অনুসন্ধান করি eta এবং 10 alpha 0.1 থেকে 1 পর্যন্ত। আমরা ব্যবহার করি সরাসরি বিপণন ডেটাসেট একটি রিগ্রেশন মডেল টিউন করতে।

• ETA: ওভার-ফিটিং প্রতিরোধ করতে আপডেটে ব্যবহৃত ধাপের আকার সঙ্কুচিত। প্রতিটি বুস্টিং ধাপের পরে, আপনি সরাসরি নতুন বৈশিষ্ট্যের ওজন পেতে পারেন। দ্য eta বুস্টিং প্রক্রিয়াকে আরও রক্ষণশীল করতে প্যারামিটার আসলে বৈশিষ্ট্যের ওজনকে সঙ্কুচিত করে।
• আরম্ভ: ওজন উপর L1 নিয়মিতকরণ শব্দ. এই মান বৃদ্ধি মডেল আরো রক্ষণশীল করে তোলে।

বাম চার্ট একটি বিশ্লেষণ দেখায় eta উদ্দেশ্য মেট্রিকের সাথে সম্পর্কিত হাইপারপ্যারামিটার এবং দেখায় কিভাবে গ্রিড অনুসন্ধান সেরা মডেলটি ফেরত দেওয়ার আগে X অক্ষে সমগ্র অনুসন্ধান স্থান (গ্রিড) নিঃশেষ করেছে। সমানভাবে, ডানদিকের চার্টটি একটি একক কার্টেসিয়ান স্পেসে দুটি হাইপারপ্যারামিটার বিশ্লেষণ করে দেখায় যে গ্রিডের সমস্ত পয়েন্ট টিউনিংয়ের সময় বাছাই করা হয়েছিল।

উপরের পরীক্ষাটি দেখায় যে গ্রিড অনুসন্ধানের সম্পূর্ণ প্রকৃতি সংজ্ঞায়িত অনুসন্ধানের স্থান দেওয়া একটি সর্বোত্তম হাইপারপ্যারামিটার নির্বাচনের গ্যারান্টি দেয়। এটি আরও দেখায় যে আপনি টিউনিং পুনরাবৃত্তি জুড়ে আপনার অনুসন্ধান ফলাফল পুনরুত্পাদন করতে পারেন, অন্যান্য সমস্ত জিনিস সমান।

Amazon SageMaker স্বয়ংক্রিয় মডেল টিউনিং ওয়ার্কফ্লোস (AMT)

Amazon SageMaker স্বয়ংক্রিয় মডেল টিউনিং এর মাধ্যমে, আপনি আপনার ডেটাসেটে বিভিন্ন অনুসন্ধান কৌশল, যেমন Bayesian, Random search, Grid search, এবং Hyperband সহ প্রশিক্ষণের কাজ চালিয়ে আপনার মডেলের সেরা সংস্করণ খুঁজে পেতে পারেন। স্বয়ংক্রিয় মডেল টিউনিং আপনাকে আপনার নির্দিষ্ট হাইপারপ্যারামিটার রেঞ্জের মধ্যে সেরা হাইপারপ্যারামিটার কনফিগারেশনের জন্য স্বয়ংক্রিয়ভাবে অনুসন্ধান করে একটি মডেল টিউন করার সময় কমাতে দেয়।

এখন যেহেতু আমরা অ্যামাজন সেজমেকার এএমটি-তে গ্রিড অনুসন্ধান ব্যবহার করার সুবিধা পর্যালোচনা করেছি, আসুন AMT-এর কার্যপ্রবাহগুলি একবার দেখে নেওয়া যাক এবং সেজমেকারে কীভাবে এটি একসাথে ফিট করে তা বুঝুন।

উপসংহার

এই পোস্টে, আমরা আলোচনা করেছি কিভাবে আপনি এখন সেরা মডেল খুঁজে পেতে গ্রিড অনুসন্ধান কৌশলটি ব্যবহার করতে পারেন এবং বিভিন্ন টিউনিং কাজ জুড়ে ফলাফল নির্ধারকভাবে পুনরুত্পাদন করার ক্ষমতা। অন্যান্য কৌশলগুলির তুলনায় গ্রিড অনুসন্ধান ব্যবহার করার সময় আমরা ট্রেড-অফ নিয়ে আলোচনা করেছি এবং কীভাবে এটি আপনাকে হাইপারপ্যারামিটার স্পেসগুলির কোন অঞ্চলগুলি সবচেয়ে প্রতিশ্রুতিশীল তা অন্বেষণ করতে দেয় এবং আপনার ফলাফলগুলি নির্ধারকভাবে পুনরুত্পাদন করে৷

স্বয়ংক্রিয় মডেল টিউনিং সম্পর্কে আরও জানতে, দেখুন পণ্য পাতা এবং প্রযুক্তিগত নথিপত্রে.

লেখক সম্পর্কে

ডগ এমবায়া ডেটা এবং বিশ্লেষণে ফোকাস সহ একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। ডগ AWS অংশীদারদের সাথে ঘনিষ্ঠভাবে কাজ করে, তাদের ক্লাউডে ডেটা এবং বিশ্লেষণ সমাধান একীভূত করতে সাহায্য করে।