এমএল মডেলের কর্মক্ষমতা বাড়ান এবং প্রাক-প্রশিক্ষিত মডেলের সাথে Amazon SageMaker বিল্ট-ইন অ্যালগরিদম ব্যবহার করে প্রশিক্ষণের সময় কমিয়ে দিন

মডেল প্রশিক্ষণ যেকোন মেশিন লার্নিং (ML) প্রকল্পের মূল গঠন করে এবং একটি আধুনিক অ্যাপ্লিকেশনে বুদ্ধিমত্তা যোগ করার জন্য একটি প্রশিক্ষিত ML মডেল থাকা অপরিহার্য। একটি পারফরম্যান্ট মডেল হল একটি কঠোর এবং পরিশ্রমী ডেটা বিজ্ঞান পদ্ধতির আউটপুট। একটি সঠিক মডেল প্রশিক্ষণ প্রক্রিয়া বাস্তবায়ন না করার ফলে উচ্চ পরিকাঠামো এবং কর্মীদের খরচ হতে পারে কারণ এটি ML প্রক্রিয়ার পরীক্ষামূলক পর্যায়ের উপর আন্ডারলাইন করে এবং প্রকৃতির দ্বারা এটি অত্যন্ত পুনরাবৃত্তিমূলক হতে থাকে।

সাধারণভাবে বলতে গেলে, স্ক্র্যাচ থেকে একটি মডেলের প্রশিক্ষণ সময়সাপেক্ষ এবং নিবিড় গণনা। যখন প্রশিক্ষণের ডেটা ছোট হয়, তখন আমরা খুব পারফরম্যান্স মডেলকে প্রশিক্ষণ দেওয়ার আশা করতে পারি না। একটি ভাল বিকল্প লক্ষ্য ডেটাসেটে একটি পূর্বপ্রশিক্ষিত মডেলকে সূক্ষ্ম-টিউন করা। নির্দিষ্ট ব্যবহারের ক্ষেত্রে, আমাজন সেজমেকার উচ্চ-মানের পূর্বপ্রশিক্ষিত মডেলগুলি প্রদান করে যেগুলি খুব বড় ডেটাসেটে প্রশিক্ষিত ছিল। স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণের তুলনায় এই মডেলগুলির ফাইন-টিউনিং প্রশিক্ষণের সময়ের একটি ভগ্নাংশ নেয়।

এই দাবিটি যাচাই করার জন্য, আমরা পূর্ব-প্রশিক্ষিত মডেলগুলির সাথে অন্তর্নির্মিত অ্যালগরিদম ব্যবহার করে একটি গবেষণা চালিয়েছি। আমরা এর মধ্যে দুটি ধরণের পূর্বপ্রশিক্ষিত মডেলের তুলনা করেছি অ্যামাজন সেজমেকার স্টুডিও, টাইপ 1 (লিগেসি) এবং টাইপ 2 (সর্বশেষ), স্ক্র্যাচ থেকে প্রশিক্ষিত একটি মডেলের বিরুদ্ধে ত্রুটি সনাক্তকরণ নেটওয়ার্ক (DDN) প্রশিক্ষণের সময় এবং অবকাঠামোগত খরচ সম্পর্কিত। প্রশিক্ষণ প্রক্রিয়া প্রদর্শন করতে, আমরা পোস্ট থেকে ডিফল্ট সনাক্তকরণ ডেটাসেট ব্যবহার করেছি Amazon SageMaker JumpStart ব্যবহার করে ভিজ্যুয়াল পরিদর্শন অটোমেশন. এই পোস্টটি অধ্যয়নের ফলাফল প্রদর্শন করে। আমরা একটি স্টুডিও নোটবুকও প্রদান করি, যা আপনি আপনার নিজস্ব ডেটাসেট এবং আপনার পছন্দের একটি অ্যালগরিদম বা মডেল ব্যবহার করে পরীক্ষা চালানোর জন্য পরিবর্তন করতে পারেন।

স্টুডিওতে মডেল প্রশিক্ষণ

সেজমেকার একটি সম্পূর্ণরূপে পরিচালিত এমএল পরিষেবা। SageMaker-এর সাহায্যে, ডেটা বিজ্ঞানী এবং বিকাশকারীরা দ্রুত এবং সহজে ML মডেলগুলি তৈরি এবং প্রশিক্ষণ দিতে পারে এবং তারপরে সরাসরি একটি উত্পাদন-প্রস্তুত হোস্ট করা পরিবেশে স্থাপন করতে পারে৷

আপনি সেজমেকার ব্যবহার করে এমএল মডেলগুলিকে প্রশিক্ষণ দিতে পারেন এমন অনেক উপায় রয়েছে, যেমন ব্যবহার করা আমাজন সেজমেকার ডিবাগার, স্পার্ক MLLib, অথবা এর সাথে কাস্টম পাইথন কোড ব্যবহার করে TensorFlow, পাইটর্চ, বা অ্যাপাচি এমএক্সনেট. আপনি আপনার নিজেরও আনতে পারেন কাস্টম অ্যালগরিদম অথবা একটি নির্বাচন করুন AWS মার্কেটপ্লেস থেকে অ্যালগরিদম.

উপরন্তু, SageMaker একটি প্রদান করে অন্তর্নির্মিত অ্যালগরিদমের স্যুট, প্রাক-প্রশিক্ষিত মডেল, এবং প্রাক-নির্মিত সমাধান টেমপ্লেট ডেটা সায়েন্টিস্ট এবং এমএল অনুশীলনকারীদের দ্রুত এমএল মডেলগুলি প্রশিক্ষণ এবং স্থাপন শুরু করতে সহায়তা করার জন্য।

আপনি বিল্ট-ইন অ্যালগরিদম ব্যবহার করতে পারেন শ্রেণীবিভাগ বা রিগ্রেশন সমস্যাগুলির জন্য, অথবা বিভিন্ন ধরনের তত্ত্বাবধানহীন শেখার কাজগুলির জন্য। অন্যান্য অন্তর্নির্মিত অ্যালগরিদমগুলির মধ্যে পাঠ্য বিশ্লেষণ এবং চিত্র প্রক্রিয়াকরণ অন্তর্ভুক্ত। আপনি একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে একটি অন্তর্নির্মিত অ্যালগরিদম ব্যবহার করে স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণ দিতে পারেন। উপলব্ধ অন্তর্নির্মিত অ্যালগরিদমগুলির একটি সম্পূর্ণ তালিকার জন্য, দেখুন বিল্ট-ইন অ্যালগরিদম সম্পর্কে সাধারণ তথ্য.

কিছু অন্তর্নির্মিত অ্যালগরিদমে জনপ্রিয় সমস্যার ধরনগুলির জন্য প্রাক-প্রশিক্ষিত মডেলগুলিও রয়েছে যা SageMaker SDK পাশাপাশি স্টুডিও ব্যবহার করে। এই প্রাক-প্রশিক্ষিত মডেলগুলি প্রশিক্ষণের সময়কে ব্যাপকভাবে হ্রাস করতে পারে সেইসাথে সাধারণ ব্যবহারের ক্ষেত্রে যেমন শব্দার্থিক বিভাজন, অবজেক্ট সনাক্তকরণ, পাঠ্যের সংক্ষিপ্তকরণ এবং প্রশ্নের উত্তর দেওয়ার জন্য অবকাঠামোগত খরচ। প্রাক-প্রশিক্ষিত মডেলের সম্পূর্ণ তালিকার জন্য, দেখুন মডেল.

সেরা মডেল নির্বাচন করার জন্য, SageMaker স্বয়ংক্রিয় মডেল টিউনিং, হাইপারপ্যারামিটার টিউনিং বা নামেও পরিচিত হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO), খুব দরকারী হতে পারে কারণ এটি আপনার নির্দিষ্ট করা অ্যালগরিদম এবং হাইপারপ্যারামিটার ব্যবহার করে আপনার ডেটাসেটে একাধিক প্রশিক্ষণের কাজ চালিয়ে মডেলের সেরা সংস্করণ খুঁজে পায়। হাইপারপ্যারামিটারের সংখ্যা এবং অনুসন্ধানের স্থানের আকারের উপর নির্ভর করে, সেরা মডেলটি খুঁজে পেতে হাজার হাজার বা এমনকি কয়েক হাজার প্রশিক্ষণের প্রয়োজন হতে পারে। স্বয়ংক্রিয় মডেল টিউনিং একটি প্রদান করে অন্তর্নির্মিত HPO অ্যালগরিদম এটি আপনার নিজস্ব HPO অ্যালগরিদম তৈরি করার জন্য প্রয়োজনীয় অপ্রত্যাশিত ভারী উত্তোলনকে সরিয়ে দেয়। স্বয়ংক্রিয় মডেল টিউনিং সেরা ফিট খোঁজার সময় এবং খরচ কমানোর জন্য মডেল রানের সমান্তরাল করার বিকল্প প্রদান করে।

স্বয়ংক্রিয় মডেল টিউনিং হাইপারপ্যারামিটারের একটি সেটের জন্য একাধিক রান সম্পন্ন করার পরে, এটি হাইপারপ্যারামিটার মানগুলিকে বেছে নেয় যার ফলে মডেলটি সর্বোত্তম কর্মক্ষমতা সহ মডেলের জন্য নির্দিষ্ট ক্ষতি ফাংশন দ্বারা পরিমাপ করা হয়।

ব্যবহারের ক্ষেত্রে সেরা মডেল বাছাই করার জন্য প্রয়োজনীয় মেট্রিকগুলির মধ্যে একটি হল প্রশিক্ষণ এবং বৈধতা হারানো। অনেকগুলি বিকল্পের সাথে, সঠিক পছন্দ করা সবসময় সহজ নয়, এবং সেরা মডেল বাছাই প্রশিক্ষণের সময়, অবকাঠামোর খরচ, জটিলতা এবং ফলাফলের মডেলের গুণমান, অন্যান্য কারণগুলির মধ্যে ফুটে ওঠে। প্ল্যাটফর্ম এবং কর্মীদের খরচের মতো অন্যান্য বহিরাগত খরচ রয়েছে যা আমরা এই গবেষণার জন্য বিবেচনা করি না।

পরবর্তী বিভাগে, আমরা অধ্যয়নের নকশা এবং ফলাফল নিয়ে আলোচনা করব।

ডেটা সেটটি

আমরা NEU-CLS ডেটাসেট এবং NEU-DET ডেটাসেটে একটি ডিটেক্টর ব্যবহার করি। এই ডেটাসেটে মোট 1,800টি ছবি এবং 4,189টি বাউন্ডিং বাক্স রয়েছে৷ আমাদের ডেটাসেটের ত্রুটিগুলির ধরনগুলি নিম্নরূপ:

• ক্রেজিং (শ্রেণী: Cr, লেবেল: 0)
• অন্তর্ভুক্তি (শ্রেণী: In, লেবেল: 1)
• খণ্ডিত পৃষ্ঠ (শ্রেণী: PS, লেবেল: 2)
• প্যাচ (শ্রেণী: Pa, লেবেল: 3)
• রোল্ড-ইন স্কেল (শ্রেণী: RS, লেবেল: 4)
• স্ক্র্যাচ (শ্রেণী: Sc, লেবেল: 5)

ডেটাসেট সম্পর্কে আরো বিস্তারিত জানার জন্য, পড়ুন Amazon SageMaker JumpStart ব্যবহার করে ভিজ্যুয়াল পরিদর্শন অটোমেশন.

মডেল

আমরা পোস্টে ডিফেক্ট ডিটেকশন নেটওয়ার্ক চালু করেছি Amazon SageMaker JumpStart ব্যবহার করে ভিজ্যুয়াল পরিদর্শন অটোমেশন. আমরা এই মডেলটিকে স্ক্র্যাচ থেকে ডিফল্ট হাইপারপ্যারামিটারের সাথে প্রশিক্ষিত করেছি, তাই বাকি মডেলগুলির মূল্যায়ন করার জন্য আমাদের কাছে একটি বেঞ্চমার্ক থাকতে পারে।

অবজেক্ট সনাক্তকরণ ব্যবহারের ক্ষেত্রে, সেজমেকার বিল্ট-ইন অবজেক্ট মডেলগুলির নিম্নলিখিত সেট সরবরাহ করে:

স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণ দেওয়ার পাশাপাশি, আমরা এই মডেলগুলিকে চারটি পদ্ধতির মূল্যায়ন করতে ব্যবহার করেছি যা সাধারণত একটি এমএল মডেল প্রশিক্ষণ প্রক্রিয়াকে প্রতিফলিত করে। প্রতিটি পদ্ধতির আউটপুট একটি প্রশিক্ষিত এমএল মডেল। ক্ষেত্রে 1 এবং 3, একটি একক মডেলকে প্রশিক্ষণের জন্য নির্দিষ্ট হাইপারপ্যারামিটারের একটি সেট সরবরাহ করা হয়, যেখানে 2 এবং 4 ক্ষেত্রে, সেজমেকার সেরা মডেল এবং হাইপারপ্যারামিটারের সেট তৈরি করে যা সর্বোত্তম ফিট করে।

1. টাইপ 1 (উত্তরাধিকার) মডেল - আমরা একটি ResNet ব্যাকবোন সহ মডেল ব্যবহার করি, যা ইমেজনেটে ​​পূর্ব-প্রশিক্ষিত ডিফল্ট হাইপারপ্যারামিটার এবং কোন অপ্টিমাইজার সহ।
2. HPO এর সাথে ফাইন-টিউন টাইপ 1 (লিগেসি) - এখন আমরা আরও ভাল হাইপারপ্যারামিটার খুঁজে পেতে HPO চালাই যা একটি ভাল মডেলের দিকে নিয়ে যায়। সমস্ত পরামিতিগুলির একটি তালিকার জন্য আপনি সূক্ষ্ম-টিউন করতে পারেন, পড়ুন একটি বস্তু সনাক্তকরণ মডেল টিউন করুন. এই নোটবুকে, আমরা শুধুমাত্র শেখার হার, গতিবেগ, এবং ওজন ক্ষয়কে সূক্ষ্ম-টিউন করি। আমরা HPO চালানোর জন্য স্বয়ংক্রিয় মডেল টিউনিং ব্যবহার করি। আমাদের শেখার হার, গতিবেগ এবং ওজন ক্ষয়ের জন্য হাইপারপ্যারামিটার রেঞ্জ প্রদান করতে হবে। স্বয়ংক্রিয় মডেল টিউনিং লগ নিরীক্ষণ করবে এবং উদ্দেশ্য মেট্রিক্স পার্স করবে। বস্তু সনাক্তকরণের জন্য, আমরা আমাদের মেট্রিক হিসাবে বৈধতা ডেটাসেটে গড় গড় যথার্থতা (mAP) ব্যবহার করি।
3. ফাইন-টিউন টাইপ 2 (সর্বশেষ) মডেল – টাইপ 2 (সর্বশেষ) অবজেক্ট সনাক্তকরণ মডেলের জন্য, আমরা নির্দেশাবলী অনুসরণ করি একটি মডেল ফাইন-টিউন করুন এবং একটি সেজমেকার এন্ডপয়েন্টে স্থাপন করুন এবং স্ট্যান্ডার্ড SageMaker API ব্যবহার করুন। আপনি সব ফাইন-টিউনেবল টাইপ 2 (সর্বশেষ) অবজেক্ট সনাক্তকরণ মডেল খুঁজে পেতে পারেন প্রাক-প্রশিক্ষিত মডেল সহ অন্তর্নির্মিত অ্যালগরিদম টেবিল এবং সেট FineTunable?=True. বর্তমানে, নয়টি ফাইন-টিউনেবল অবজেক্ট ডিটেকশন মডেল রয়েছে। আমরা VGG ব্যাকএন্ড সহ একটি ব্যবহার করি এবং VOC ডেটাসেটে প্রিট্রেনড। আমরা স্ট্যাটিক হাইপারপ্যারামিটারের একটি সেট ব্যবহার করে ফাইন-টিউন করি।
4. HPO সহ ফাইন-টিউন টাইপ 2 (সর্বশেষ) মডেল - আমরা জন্য একটি পরিসীমা প্রদান ADAM শেখার হার; বাকি হাইপারপ্যারামিটারগুলি ডিফল্ট থাকে। এছাড়াও, নোট করুন যে টাইপ 2 (সর্বশেষ) মডেল প্রশিক্ষণ প্রতিবেদন Val_CrossEntropy ক্ষতি এবং Val_SmoothL1 বৈধতা ডেটাসেটে এমএপি-র পরিবর্তে ক্ষতি। যেহেতু আমরা স্বয়ংক্রিয় মডেল টিউনিংয়ের জন্য শুধুমাত্র একটি মূল্যায়ন মেট্রিক নির্দিষ্ট করতে পারি, তাই আমরা ছোট করতে বেছে নিই Val_CrossEntropy.

হাইপারপ্যারামিটারের বিস্তারিত জানার জন্য, আপনি এর মাধ্যমে যেতে পারেন স্টুডিও নোটবুক.

ছন্দোবিজ্ঞান

পরবর্তী, আমরা গুরুত্বপূর্ণ মেট্রিক্স এবং অবকাঠামো খরচের উপর ভিত্তি করে পদ্ধতির ফলাফলগুলি তুলনা করি:

• মডেল জুড়ে ক্ষতি ফাংশন পার্থক্য - সমস্ত বিভিন্ন অ্যালগরিদম বস্তু সনাক্তকরণ কাজের জন্য একই ক্ষতি ফাংশন সংজ্ঞায়িত করে: ক্রস-এনট্রপি এবং মসৃণ L1 ক্ষতি। যাইহোক, আমরা তাদের ভিন্নভাবে ব্যবহার করি:
  • টাইপ 1 (লেগ্যাসি) অবজেক্ট ডিটেকশন অ্যালগরিদম বৈধকরণ ডেটাতে এমএপি সংজ্ঞায়িত করেছে এবং আমরা এটিকে একটি প্রশিক্ষণের কাজ খুঁজে পেতে মেট্রিক হিসাবে ব্যবহার করি যা এমএপি সর্বাধিক করে।
  • টাইপ 2 (সর্বশেষ) অবজেক্ট সনাক্তকরণ অ্যালগরিদম, তবে, এমএপি সংজ্ঞায়িত করে না। পরিবর্তে, এটি সংজ্ঞায়িত করে Val_SmoothL1 ক্ষতি এবং Val_CrossEntropy বৈধতা ডেটার ক্ষতি। HPO এর সাথে মডেল প্রশিক্ষণের সময়, আমাদের মনিটর এবং পার্স করার জন্য স্বয়ংক্রিয় মডেল টিউনিংয়ের জন্য একটি মেট্রিক নির্দিষ্ট করতে হবে। অতএব, আমরা ব্যবহার করি Val_CrossEntropy মেট্রিক হিসাবে ক্ষতি এবং প্রশিক্ষণের কাজটি সন্ধান করুন যা এটিকে হ্রাস করে।
• বৈধতা মেট্রিক (এমএপি) – আমরা আমাদের মেট্রিক হিসাবে বৈধতা ডেটাসেটে এমএপি ব্যবহার করি, যেখানে গড় নির্ভুলতা নির্ভুলতা এবং স্মরণের গড়। mAP হল প্রমিত মূল্যায়ন মেট্রিক যা ব্যবহৃত হয় COCO চ্যালেঞ্জ বস্তু সনাক্তকরণ কাজের জন্য। বস্তু সনাক্তকরণের জন্য mAP এর প্রযোজ্যতা সম্পর্কে আরও তথ্যের জন্য, পড়ুন বস্তু সনাক্তকরণের জন্য mAP (মানে গড় নির্ভুলতা). কারণ টাইপ 1 এবং টাইপ 2 মডেলের মধ্যে ক্ষতির ফাংশনের পার্থক্য রয়েছে, আমরা পরীক্ষার ডেটাসেটে প্রতিটি ধরণের মডেলের জন্য ম্যানুয়ালি এমএপি গণনা করি। আমরা SageMaker এন্ডপয়েন্টের পিছনে মডেলগুলি স্থাপন করে এবং ডেটাসেটের উপসেটে স্কোর করার জন্য মডেল এন্ডপয়েন্টকে কল করার মাধ্যমে এটি সম্পন্ন করি। প্রতিটি মডেল প্রকারের জন্য এমএপি গণনা করার জন্য ফলাফলগুলিকে স্থল সত্যের সাথে তুলনা করা হয়।
• প্রশিক্ষণের দৃষ্টান্ত রানটাইম খরচ - সরলতার জন্য, আমরা শুধুমাত্র পূর্ববর্তী বিভাগে হাইলাইট করা চারটি পদ্ধতির প্রতিটির জন্য পরিকাঠামোগত খরচের প্রতিবেদন করি। খরচ ডলারে রিপোর্ট করা হয় এবং অন্তর্নিহিত রানটাইমের উপর ভিত্তি করে গণনা করা হয় অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) উদাহরণ।

নোটবই

স্টুডিও নোটবুক পাওয়া যায় GitHub.

ফলাফল

ইস্পাত পৃষ্ঠের ডেটাসেটে ছয়টি বিভাগে মোট 1,800টি ছবি রয়েছে। যেমনটি পূর্ববর্তী বিভাগে আলোচনা করা হয়েছে, টাইপ 1 (লেগ্যাসি) এবং টাইপ 2 (সর্বশেষ) মডেলগুলি সর্বোত্তম মডেল খুঁজে পাওয়ার জন্য ক্ষতির ফাংশনের মধ্যে পার্থক্য রয়েছে, আমরা প্রথমে ডেটাসেটে একটি ট্রেন/পরীক্ষা বিভক্ত করি। অধ্যয়নের চূড়ান্ত পর্যায়ে, আমরা পরীক্ষার ডেটাসেটে অনুমান চালাই, যাতে আমরা একই মেট্রিক (এমএপি) ব্যবহার করে চারটি পদ্ধতির মধ্যে তুলনা করতে পারি।

পরীক্ষার সেটটিতে মূল ডেটাসেটের 20% থাকে, যা আমরা সম্পূর্ণ ডেটাসেট থেকে এলোমেলোভাবে বরাদ্দ করি। অবশিষ্ট 80% মডেল প্রশিক্ষণ পর্বের জন্য ব্যবহৃত হয়, যার জন্য আমাদের প্রশিক্ষণের পাশাপাশি বৈধতা ডেটাসেট সংজ্ঞায়িত করতে হবে। অতএব, প্রশিক্ষণ পর্বের জন্য, আমরা ডেটাতে আরও 80/20 ভাগ করি, যেখানে প্রশিক্ষণের ডেটার 80% প্রশিক্ষণের জন্য এবং 20% বৈধকরণের জন্য ব্যবহৃত হয়। নিম্নলিখিত টেবিল দেখুন.

উপাত্ত	নমুনার সংখ্যা	আসল ডেটাসেটের শতাংশ
পূর্ণ	1,800	100
রেলগাড়ি	1,152	64
ভ্যালিডেশন	288	16
পরীক্ষা	360	20

চারটি পদ্ধতির প্রতিটির আউটপুট ছিল একটি প্রশিক্ষিত এমএল মডেল। আমরা গ্রাউন্ড ট্রুথের পাশাপাশি DDN মডেলের বাউন্ডিং বাক্সের পাশাপাশি চারটি পন্থার প্রতিটি থেকে ফলাফল প্লট করি। নিম্নলিখিত প্লটটি ক্লাসের পূর্বাভাসের জন্য আত্মবিশ্বাসের স্কোরও দেখায়।

A আত্মবিশ্বাসের স্কোর একটি মূল্যায়ন মান হিসাবে প্রদান করা হয়. এই আত্মবিশ্বাসের স্কোর অ্যালগরিদম দ্বারা সঠিকভাবে সনাক্ত করা আগ্রহের বস্তুর সম্ভাবনা দেখায় এবং শতাংশ হিসাবে দেওয়া হয়। বিভিন্ন IoU (ইউনিয়নের উপর ছেদ) থ্রেশহোল্ডে এমএপিতে স্কোরগুলি নেওয়া হয়।

পরীক্ষার ডেটাসেটের বিপরীতে এমএপি স্কোর তৈরি করার উদ্দেশ্যে, আমরা প্রতিটি মডেলকে তার নিজস্ব পিছনে স্থাপন করেছি সেজমেকার রিয়েল-টাইম এন্ডপয়েন্ট. প্রতিটি অনুমান পরীক্ষা একটি এমএপি স্কোর তৈরি করে।

একটি বড় এমএপি স্কোর মডেল পরীক্ষার ফলাফলের উচ্চ নির্ভুলতা বোঝায়। স্পষ্টতই, টাইপ 2 (সর্বশেষ) মডেলগুলি টাইপ 1 (উত্তরাধিকার) মডেলগুলিকে HPO ব্যবহার করে বা ব্যবহার না করে নির্ভুলতার ক্ষেত্রে ছাড়িয়ে যায়৷ HPO-এর সাথে টাইপ 2-এর HPO (mAP 0.375) ছাড়া একের চেয়ে সামান্য প্রান্ত (mAP 0.371) আছে।

আমরা চারটি পদ্ধতির প্রতিটির জন্য প্রশিক্ষণের খরচও পরিমাপ করেছি। আমরা ব্যবহার করি P3 উদাহরণ প্রকার, বিশেষ করে প্রতিটি পদ্ধতির জন্য ml.p3.2x বড় দৃষ্টান্ত। প্রতিটি ml.p3.2x বড় উদাহরণের দাম $3.06/ঘন্টা। অনুমান পরীক্ষার এমএপি স্কোর এবং প্রশিক্ষণের খরচ উভয়ই তুলনা করার জন্য নিম্নলিখিত চার্টে সংক্ষিপ্ত করা হয়েছে।

সরলতার জন্য, আমরা শুধুমাত্র প্রশিক্ষণের দৃষ্টান্তের রানটাইমের উপর একটি খরচ তুলনা করেছি।

স্টুডিও নোটবুকের খরচের পাশাপাশি অনুমান করার জন্য ব্যবহৃত রিয়েল-টাইম এন্ডপয়েন্ট সহ মোট খরচের আরও দানাদার অনুমানের জন্য, দেখুন AWS প্রাইসিং ক্যালকুলেটর সেজমেকারের জন্য।

টাইপ 1 (লেগেসি) থেকে টাইপ 2 (সর্বশেষ) মডেলে যাওয়ার সময় ফলাফলগুলি নির্ভুলতার ক্ষেত্রে যথেষ্ট লাভ নির্দেশ করে। MAP স্কোর HPO ব্যবহার না করে 0.067 থেকে 0.371 হয়েছে এবং HPO এর সাথে যথাক্রমে 0.226 থেকে 0.375 হয়েছে। টাইপ 2 মডেলটিও একই উদাহরণ টাইপের সাথে প্রশিক্ষণ নিতে বেশি সময় নেয়, যা বোঝায় যে নির্ভুলতা লাভের অর্থও উচ্চ পরিকাঠামো ব্যয়। যাইহোক, উল্লিখিত সমস্ত পন্থা DDN মডেলকে ছাড়িয়ে গেছে (প্রবর্তিত Amazon SageMaker JumpStart ব্যবহার করে ভিজ্যুয়াল পরিদর্শন অটোমেশন) সমস্ত মেট্রিক্সে। টাইপ 1 (লেগ্যাসি) মডেলের প্রশিক্ষণে 34 মিনিট সময় লেগেছিল, টাইপ 2 (সর্বশেষ) মডেলটি 1 ঘন্টা সময় নেয় এবং ডিডিএন মডেলটি 8 ঘন্টার বেশি সময় নেয়। এটি ইঙ্গিত দেয় যে একটি প্রাক-প্রশিক্ষিত মডেলকে সূক্ষ্ম-টিউনিং স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণ দেওয়ার চেয়ে অনেক বেশি দক্ষ।

আমরা আরও দেখতে পেয়েছি যে HPO (SageMaker স্বয়ংক্রিয় মডেল টিউনিং) অত্যন্ত কার্যকর, বিশেষ করে টাইপ 4 (লেগ্যাসি) মডেলের জন্য mAP স্কোরে 1x উন্নতি সহ বড় হাইপারপ্যারামিটার অনুসন্ধান স্পেস সহ মডেলগুলির জন্য। আমরা উল্লেখ করেছি যে টাইপ 1 (লেগ্যাসি) মডেলের জন্য তিনটি হাইপারপ্যারামিটারে (শিক্ষার হার, ভরবেগ এবং ওজন ক্ষয়) সূক্ষ্ম-টিউনিং করার সময় আমরা অনেক ভালো মডেল নির্ভুলতার ফলাফল পেয়েছিADAM শেখার হার) টাইপ 2 (সর্বশেষ) মডেলের জন্য। এর কারণ হল একটি অপেক্ষাকৃত বড় অনুসন্ধান স্থান এবং তাই টাইপ 1 (উত্তরাধিকার) মডেলের উন্নতির জন্য আরও বেশি জায়গা রয়েছে৷ যাইহোক, HPO চালানোর সময় আমাদের অবকাঠামোগত খরচ এবং প্রশিক্ষণের সময় সহ মডেল পারফরম্যান্সের ব্যবসা করতে হবে।

উপসংহার

এই পোস্টে, আমরা SageMaker-এর সাথে উপলব্ধ অনেক ML মডেল প্রশিক্ষণ বিকল্পের মধ্য দিয়ে হেঁটেছি এবং SageMaker বিল্ট-ইন অ্যালগরিদম এবং প্রাক-প্রশিক্ষিত মডেলগুলিতে বিশেষভাবে ফোকাস করেছি। আমরা টাইপ 1 (লেগেসি) এবং টাইপ 2 (সর্বশেষ) মডেলগুলি প্রবর্তন করেছি। এই পোস্টে আলোচিত অন্তর্নির্মিত সেজমেকার অবজেক্ট ডিটেকশন মডেলগুলিকে বড় আকারের ডেটাসেটে প্রাক-প্রশিক্ষিত করা হয়েছে—ইমেজনেট ডেটাসেটে 14,197,122টি বিভাগের জন্য 21,841টি ছবি রয়েছে এবং PASCAL VOC ডেটাসেটে 11,530টি বিভাগের জন্য 20টি ছবি রয়েছে। প্রাক-প্রশিক্ষিত মডেলগুলি সমৃদ্ধ এবং বৈচিত্র্যময় নিম্ন-স্তরের বৈশিষ্ট্যগুলি শিখেছে, এবং দক্ষতার সাথে সূক্ষ্ম-টিউন করা মডেলগুলিতে জ্ঞান স্থানান্তর করতে পারে এবং লক্ষ্য ডেটাসেটের জন্য উচ্চ-স্তরের শব্দার্থিক বৈশিষ্ট্যগুলি শেখার উপর ফোকাস করতে পারে। আপনি এখানে সমস্ত অন্তর্নির্মিত অ্যালগরিদম এবং সূক্ষ্ম-টিউনযোগ্য প্রাক-প্রশিক্ষিত মডেলগুলি খুঁজে পেতে পারেন৷ প্রাক-প্রশিক্ষিত মডেল টেবিল সহ অন্তর্নির্মিত অ্যালগরিদম এবং আপনার ব্যবহারের ক্ষেত্রে একটি চয়ন করুন। ব্যবহারের ক্ষেত্রে টেক্সট সংক্ষিপ্তকরণ এবং প্রশ্ন উত্তর থেকে কম্পিউটার দৃষ্টি এবং রিগ্রেশন বা শ্রেণীবিভাগ পর্যন্ত বিস্তৃত।

শুরুতে, আমরা একটি দাবী করেছিলাম যে একটি সেজমেকার প্রাক-প্রশিক্ষিত মডেলকে ফাইন-টিউনিং করতে প্রশিক্ষণের সময়ের একটি ভগ্নাংশ সময় লাগবে যা একটি মডেলকে প্রথম থেকে প্রশিক্ষণ দেয়। আমরা স্ক্র্যাচ থেকে একটি DNN মডেলকে প্রশিক্ষিত করেছি এবং পূর্বপ্রশিক্ষিত মডেলগুলির সাথে দুটি ধরণের সেজমেকার বিল্ট-ইন অ্যালগরিদম চালু করেছি: টাইপ (লেগেসি) এবং টাইপ 2 (সর্বশেষ)। আমরা আরও চারটি পন্থা প্রদর্শন করেছি, যার মধ্যে দুটিতে সেজমেকার স্বয়ংক্রিয় মডেল টিউনিং ব্যবহার করা হয়েছে এবং অবশেষে সবচেয়ে কার্যকরী মডেলে পৌঁছেছি। প্রশিক্ষণের সময় এবং রানটাইম খরচ উভয় বিবেচনা করার সময়, সমস্ত সেজমেকার বিল্ট-ইন অ্যালগরিদম DDN মডেলকে ছাড়িয়ে গেছে, যার ফলে আমাদের দাবিকে বৈধতা দেয়।

যদিও টাইপ 1 (লেগ্যাসি) এবং টাইপ 2 (সর্বশেষ) উভয়ই স্ক্র্যাচ থেকে ডিডিএন মডেলকে ভালোভাবে প্রশিক্ষণ দিয়েছে, ভিজ্যুয়াল এবং সংখ্যাগত তুলনা নিশ্চিত করেছে যে টাইপ 2 (সর্বশেষ) মডেল এবং টাইপ 2 (সর্বশেষ) মডেল টাইপ 1 (উত্তরাধিকার) মডেলকে ছাড়িয়ে গেছে। . HPO টাইপ 1 মডেলের নির্ভুলতার উপর একটি বড় প্রভাব ফেলেছিল; যাইহোক, এটি টাইপ 2 মডেলের জন্য এইচপিও ব্যবহার করে সামান্য লাভ দেখেছে, একটি সংকীর্ণ হাইপারপ্যারামিটার স্থানের কারণে।

সংক্ষেপে, নির্দিষ্ট ব্যবহারের ক্ষেত্রে, একটি পূর্ব-প্রশিক্ষিত মডেলকে সূক্ষ্ম-টিউনিং উভয়ই আরও দক্ষ এবং আরও কার্যকরী। আমরা আপনাকে প্রাক-প্রশিক্ষিত সেজমেকার অন্তর্নির্মিত প্রি-প্রশিক্ষিত মডেলগুলির সুবিধা নেওয়ার পরামর্শ দিই এবং আপনার টার্গেট ডেটাসেটগুলিতে সূক্ষ্ম-টিউন। শুরু করার জন্য, আপনার একটি স্টুডিও পরিবেশ প্রয়োজন। আরো তথ্যের জন্য, পড়ুন স্টুডিও উন্নয়ন নির্দেশিকা এবং সেজমেকার প্রকল্প এবং জাম্পস্টার্ট সক্ষম করার বিষয়টি নিশ্চিত করুন। আপনার স্টুডিও সেটআপ সম্পূর্ণ হলে, জাম্পস্টার্ট সমাধান এবং মডেলগুলির সম্পূর্ণ তালিকা খুঁজে পেতে স্টুডিও লঞ্চারে নেভিগেট করুন। এই পোস্টে পরীক্ষাটি পুনরায় তৈরি বা সংশোধন করতে, "পণ্য ত্রুটি সনাক্তকরণ" সমাধানটি বেছে নিন, যা পরীক্ষা করার জন্য ব্যবহৃত নোটবুকের সাথে প্রিপ্যাকেজ করা হয়, যেমনটি নিম্নলিখিত ভিডিওতে দেখানো হয়েছে। আপনি সমাধানটি চালু করার পরে, আপনি শিরোনাম নোটবুকে উল্লেখিত কাজটি অ্যাক্সেস করতে পারেন visual_object_detection.ipynb.

---

লেখক সম্পর্কে

বেদান্ত জৈন একজন সিনিয়র এআই/এমএল স্পেশালিস্ট সলিউশন আর্কিটেক্ট, গ্রাহকদের AWS-এর মেশিন লার্নিং ইকোসিস্টেম থেকে মূল্য বের করতে সাহায্য করে। AWS-এ যোগদানের আগে, বেদান্ত বিভিন্ন কোম্পানি যেমন Databricks, Hortonworks (এখন Cloudera) এবং JP Morgan Chase-এ ML/Data Science Speciality পদে অধিষ্ঠিত ছিলেন। তার কাজের বাইরে, বেদান্ত একটি অর্থপূর্ণ জীবনযাপনের জন্য বিজ্ঞানকে ব্যবহার করে সঙ্গীত তৈরি করতে এবং বিশ্বজুড়ে সুস্বাদু নিরামিষ খাবারের অন্বেষণে আগ্রহী।

তাও সূর্য অ্যামাজন অনুসন্ধানের একজন ফলিত বিজ্ঞানী। তিনি তার পিএইচ.ডি. ম্যাসাচুসেটস বিশ্ববিদ্যালয়, আমহার্স্ট থেকে কম্পিউটার বিজ্ঞানে। তার গবেষণার আগ্রহ গভীর শক্তিবৃদ্ধি শেখার এবং সম্ভাব্য মডেলিংয়ের মধ্যে রয়েছে। অতীতে, Tao AWS Sagemaker Reinforcement Learning দলের হয়ে কাজ করেছেন এবং RL গবেষণা এবং অ্যাপ্লিকেশনগুলিতে অবদান রেখেছেন। Tao এখন Amazon Search এ পেজ টেমপ্লেট অপ্টিমাইজেশানে কাজ করছে।