বিল্ট ইন আমাজন সেজমেকার XGBoost অ্যালগরিদম জনপ্রিয় চালানোর জন্য একটি পরিচালিত ধারক প্রদান করে এক্সজিবিস্ট মেশিন লার্নিং (এমএল) ফ্রেমওয়ার্ক, উন্নত প্রশিক্ষণ বা অনুমান বৈশিষ্ট্যগুলিকে সমর্থন করার অতিরিক্ত সুবিধা সহ বিতরণ করা প্রশিক্ষণ, বড় আকারের ডেটাসেটের জন্য ডেটাসেট শার্ডিং, A/B মডেল টেস্টিং, বা বহু-মডেল অনুমান শেষ পয়েন্ট আপনি বিভিন্ন প্রয়োজনীয়তা মিটমাট করার জন্য এই শক্তিশালী অ্যালগরিদম প্রসারিত করতে পারেন।
একটি একক পাত্রে কোড এবং নির্ভরতা প্যাকেজিং দীর্ঘমেয়াদী কোড রক্ষণাবেক্ষণ, পুনরুত্পাদনযোগ্যতা এবং অডিটিং উদ্দেশ্যে একটি সুবিধাজনক এবং শক্তিশালী পদ্ধতি। কন্টেইনার পরিবর্তন করা সরাসরি বেস কন্টেইনারকে বিশ্বস্তভাবে অনুসরণ করে এবং বেস কন্টেইনার দ্বারা ইতিমধ্যে সমর্থিত বিদ্যমান ফাংশনগুলিকে নকল করা এড়িয়ে যায়। এই পোস্টে, আমরা SageMaker XGBoost অ্যালগরিদম কন্টেইনারের অভ্যন্তরীণ কাজগুলি পর্যালোচনা করি এবং কন্টেইনারটিকে সরাসরি কাস্টমাইজ করার জন্য বাস্তবসম্মত স্ক্রিপ্ট প্রদান করি।
SageMaker XGBoost ধারক গঠন
SageMaker বিল্ট-ইন XGBoost অ্যালগরিদম একটি স্বতন্ত্র ধারক হিসাবে প্যাকেজ করা হয়, GitHub এ উপলব্ধ, এবং বিকাশকারী-বান্ধব Apache 2.0 ওপেন-সোর্স লাইসেন্সের অধীনে প্রসারিত করা যেতে পারে। ধারক প্যাকেজ ওপেন সোর্স XGBoost অ্যালগরিদম এবং অন্যান্য AWS ক্লাউড পরিষেবাগুলির সাথে একত্রিত SageMaker পরিবেশে অ্যালগরিদম চালানোর জন্য আনুষঙ্গিক সরঞ্জাম। এটি আপনাকে XGBoost মডেলগুলিকে বিভিন্ন ধরণের প্রশিক্ষণ দেওয়ার অনুমতি দেয় তথ্য সূত্র, করা ব্যাচের পূর্বাভাস অফলাইন ডেটাতে, অথবা হোস্ট একটি অনুমান শেষ বিন্দু একটি বাস্তব সময়ে পাইপলাইন.
ধারকটি বিভিন্ন এন্ট্রি পয়েন্ট সহ প্রশিক্ষণ এবং অনুমান ক্রিয়াকলাপ সমর্থন করে। অনুমান মোডের জন্য, এন্ট্রিটি প্রধান ফাংশনে পাওয়া যাবে serving.py স্ক্রিপ্ট. রিয়েল-টাইম ইনফারেন্স পরিবেশনের জন্য, ধারকটি চালায় a বোতলভিত্তিক ওয়েব সার্ভার যে যখন প্রার্থনা, ডেটা ধারণকারী একটি HTTP-এনকোডেড অনুরোধ গ্রহণ করে, XGBoost-এর মধ্যে ডেটা ডিকোড করে ডিম্যাট্রিক্স বিন্যাস, মডেল লোড করে, এবং একটি ফেরত দেয় HTTP-এনকোডেড প্রতিক্রিয়া ফিরে. এই পদ্ধতির অধীনে encapsulated হয় স্কোরিং সার্ভিস ক্লাস, যা স্ক্রিপ্ট মোডের মাধ্যমেও অনেকাংশে কাস্টমাইজ করা যেতে পারে (নীচের পরিশিষ্টটি দেখুন)।
প্রশিক্ষণ মোডের জন্য এন্ট্রি পয়েন্ট (অ্যালগরিদম মোড) হল প্রধান ফাংশন training.py. প্রধান ফাংশন প্রশিক্ষণের পরিবেশ সেট আপ করে এবং প্রশিক্ষণ কাজের ফাংশনকে কল করে। এটি বিতরণ করা বা একক-নোড প্রশিক্ষণ, বা ক্রস যাচাইকরণের মতো ইউটিলিটিগুলির অনুমতি দেওয়ার জন্য যথেষ্ট নমনীয়। প্রশিক্ষণ প্রক্রিয়ার হৃদয় পাওয়া যাবে ট্রেন_চাকরি ফাংশন.
ধারক প্যাকেজিং ডকার ফাইল পাওয়া যাবে গিটহুব রেপো. নোট করুন যে পাত্রটি দুটি ধাপে তৈরি করা হয়েছে: ক ভিত্তি ধারক প্রথমে নির্মিত হয়, তারপরে চূড়ান্ত উপরে ধারক।
সমাধান ওভারভিউ
আপনি সোর্স কোডের মাধ্যমে ধারকটিকে সংশোধন এবং পুনর্নির্মাণ করতে পারেন। যাইহোক, এর মধ্যে স্ক্র্যাচ থেকে সমস্ত নির্ভরতা এবং প্যাকেজ সংগ্রহ এবং পুনর্নির্মাণ জড়িত। এই পোস্টে, আমরা একটি আরও সরল পদ্ধতি নিয়ে আলোচনা করব যা ইতিমধ্যেই নির্মিত এবং সর্বজনীনভাবে উপলব্ধ SageMaker XGBoost অ্যালগরিদম কন্টেইনার চিত্রের উপরে কন্টেইনারটিকে পরিবর্তন করে।
এই পদ্ধতিতে, আমরা টান পাবলিক SageMaker XGBoost ইমেজের একটি অনুলিপি, স্ক্রিপ্টগুলি পরিবর্তন করুন বা প্যাকেজ যোগ করুন এবং উপরে কন্টেইনারটি পুনর্নির্মাণ করুন। পরিবর্তিত ধারকটি একটি ব্যক্তিগত সংগ্রহস্থলে সংরক্ষণ করা যেতে পারে। এইভাবে, আমরা মধ্যস্থতাকারী নির্ভরতা পুনর্নির্মাণ এড়াই এবং পরিবর্তে সরকারী পাত্রে প্যাকেজ করা ইতিমধ্যে-নির্মিত লাইব্রেরির উপরে সরাসরি তৈরি করি।
নীচের চিত্রটি পাবলিক বেস ইমেজ টানতে, ইমেজটিকে সংশোধন এবং পুনর্নির্মাণ করতে এবং এটিকে একটি প্রাইভেটে আপলোড করতে ব্যবহৃত স্ক্রিপ্টের একটি ওভারভিউ দেখায় অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR) সংগ্রহস্থল। দ্য bash স্ক্রিপ্ট এই পোস্টের সহগামী কোডে চিত্রে দেখানো সমস্ত কর্মপ্রবাহের ধাপগুলি সম্পাদন করে৷ অনুষঙ্গী নোটবই একটি উদাহরণ দেখায় যেখানে SageMaker XGBoost অ্যালগরিদমের একটি নির্দিষ্ট সংস্করণের URI প্রথমে পুনরুদ্ধার করা হয় এবং পাস করা হয় bash স্ক্রিপ্ট, যা চিত্রের দুটি পাইথন স্ক্রিপ্ট প্রতিস্থাপন করে, এটিকে পুনর্নির্মাণ করে এবং পরিবর্তিত চিত্রটিকে একটি ব্যক্তিগত অ্যামাজন ইসিআর সংগ্রহস্থলে ঠেলে দেয়। আপনি আপনার প্রয়োজন অনুসারে সহগামী কোড পরিবর্তন করতে পারেন।
পূর্বশর্ত
সার্জারির GitHub সংগ্রহস্থল এই পোস্টের সাথে কোডটি রয়েছে। আপনি চালাতে পারেন নমুনা নোটবুক আপনার AWS অ্যাকাউন্টে, অথবা প্রদত্ত ব্যবহার করুন এডাব্লুএস ক্লাউডফর্মেশন একটি সেজমেকার নোটবুক ব্যবহার করে নোটবুক স্থাপন করতে স্ট্যাক করুন। আপনার নিম্নলিখিত পূর্বশর্ত প্রয়োজন:
- একটি AWS অ্যাকাউন্ট।
- SageMaker ব্যাচ ট্রান্সফর্ম এবং প্রশিক্ষণের কাজ চালানোর জন্য প্রয়োজনীয় অনুমতি এবং Amazon ECR বিশেষাধিকার। CloudFormation টেমপ্লেট নমুনা তৈরি করে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা।
সমাধান স্থাপন করুন
AWS CloudFormation ব্যবহার করে আপনার সমাধান সংস্থান তৈরি করতে, নির্বাচন করুন স্ট্যাক চালু করুন:
স্ট্যাকটি গিটহাব রিপোজিটরি ক্লোন করতে পূর্বে কনফিগার করা একটি সেজমেকার নোটবুক স্থাপন করে। ওয়াকথ্রু নোটবই একটি প্রদত্ত সংস্করণের জন্য সর্বজনীন SageMaker XGBoost ইমেজ টানতে, এটি সংশোধন করতে এবং কাস্টম ধারকটিকে একটি ব্যক্তিগত Amazon ECR সংগ্রহস্থলে পুশ করার পদক্ষেপগুলি অন্তর্ভুক্ত করে৷ নোটবুক জনসাধারণ ব্যবহার করে অ্যাবালোন ডেটাসেট একটি নমুনা হিসাবে, SageMaker XGBoost বিল্ট-ইন ট্রেনিং মোড ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দেয় এবং ব্যাচ ট্রান্সফর্ম কাজগুলি সম্পাদন করতে কাস্টম ছবিতে এই মডেলটিকে পুনরায় ব্যবহার করে যা SHAP মানগুলির সাথে একত্রে অনুমান তৈরি করে৷
উপসংহার
SageMaker বিল্ট-ইন অ্যালগরিদমগুলি বিভিন্ন বৈশিষ্ট্য এবং কার্যকারিতা প্রদান করে এবং Apache 2.0 ওপেন-সোর্স লাইসেন্সের অধীনে আরও বাড়ানো যেতে পারে। এই পোস্টে, আমরা পর্যালোচনা করেছি কিভাবে SageMaker XGBoost অ্যালগরিদমের জন্য প্রোডাকশন বিল্ট-ইন কন্টেইনার প্রসারিত করা যায় যাতে পশ্চাদগামী কোড এবং API সামঞ্জস্যের মত উৎপাদন প্রয়োজনীয়তা পূরণ করা যায়।
নমুনা নোটবুক এবং সাহায্যকারী স্ক্রিপ্ট SageMaker XGBoost কন্টেইনার ইমেজ আপনার পছন্দ মতো কাস্টমাইজ করার জন্য একটি সুবিধাজনক সূচনা পয়েন্ট প্রদান করুন। একবার চেষ্টা করে দেখো!
পরিশিষ্ট: স্ক্রিপ্ট মোড
স্ক্রিপ্ট মোড ইনপুট পরিবর্তন এবং মডেল লোড করার জন্য দায়ী ফাংশন প্রতিস্থাপন করার জন্য একটি ইন্টারফেস প্রদান করে অনেক SageMaker বিল্ট-ইন অ্যালগরিদম সংশোধন করার একটি উপায় প্রদান করে। স্ক্রিপ্ট মোড সরাসরি কন্টেইনার পরিবর্তন করার মতো নমনীয় নয়, তবে এটি বিল্ট-ইন অ্যালগরিদম কাস্টমাইজ করার জন্য একটি সম্পূর্ণ পাইথন-ভিত্তিক রুট প্রদান করে যার সাথে সরাসরি কাজ করার প্রয়োজন নেই ডকশ্রমিক.
স্ক্রিপ্ট মোডে, ক user-module
ডেটা ডিকোডিং, মডেল লোড করা এবং ভবিষ্যদ্বাণী করা কাস্টমাইজ করার জন্য প্রদান করা হয়। ব্যবহারকারী মডিউল একটি সংজ্ঞায়িত করতে পারে transformer_fn
এটি প্রতিক্রিয়া প্রস্তুত করার জন্য অনুরোধ প্রক্রিয়াকরণের সমস্ত দিক পরিচালনা করে। অথবা সংজ্ঞায়িত করার পরিবর্তে transformer_fn
, আপনি কাস্টম পদ্ধতি প্রদান করতে পারেন model_fn
, input_fn
, predict_fn
, এবং output_fn
মডেল লোড করা এবং ডিকোডিং এবং ভবিষ্যদ্বাণীর জন্য ইনপুট প্রস্তুত করার জন্য পৃথকভাবে কাস্টমাইজ করা। স্ক্রিপ্ট মোডের আরও পুঙ্খানুপুঙ্খ বিবরণের জন্য, দেখুন SageMaker স্ক্রিপ্ট মোড সহ আপনার নিজস্ব মডেল আনুন.
লেখক সম্পর্কে
পেমান রাজাঝি AWS-এর একজন ডেটা সায়েন্টিস্ট। তিনি টরন্টো বিশ্ববিদ্যালয় থেকে তথ্য তত্ত্বে পিএইচডি করেছেন এবং ইউনিভার্সিটি অফ সাউদার্ন ক্যালিফোর্নিয়া (ইউএসসি), লস এঞ্জেলেসের পোস্ট-ডক্টরাল গবেষণা বিজ্ঞানী ছিলেন। এডব্লিউএস-এ যোগদানের আগে, পেম্যান কোয়ালকমের একজন স্টাফ সিস্টেম ইঞ্জিনিয়ার ছিলেন এবং বেশ কয়েকটি উল্লেখযোগ্য আন্তর্জাতিক টেলিকমিউনিকেশন স্ট্যান্ডার্ডে অবদান রেখেছিলেন। তিনি পরিসংখ্যান এবং সিস্টেম-ইঞ্জিনিয়ারিং এলাকায় পিয়ার-পর্যালোচিত বেশ কয়েকটি বৈজ্ঞানিক গবেষণা নিবন্ধ লিখেছেন এবং কাজের বাইরে প্যারেন্টিং এবং রাস্তা সাইকেল চালানো উপভোগ করেন।
- "
- 100
- প্রবেশ
- মিটমাট করা
- হিসাব
- অগ্রসর
- অ্যালগরিদম
- আলগোরিদিম
- সব
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- API
- অভিগমন
- এলাকায়
- প্রবন্ধ
- ডেস্কটপ AWS
- নির্মাণ করা
- বিল্ট-ইন
- ক্যালিফোর্নিয়া
- বেছে নিন
- শ্রেণী
- মেঘ
- মেঘ পরিষেবা
- কোড
- সংগ্রহ
- সম্পূর্ণরূপে
- আধার
- ধারণ
- সুবিধা
- সুবিধাজনক
- সৃষ্টি
- প্রথা
- উপাত্ত
- তথ্য বিজ্ঞানী
- স্থাপন
- স্থাপন
- বিভিন্ন
- সরাসরি
- আলোচনা করা
- বণ্টিত
- ডকশ্রমিক
- প্রকৌশলী
- পরিবেশ
- উদাহরণ
- প্রসারিত করা
- বৈশিষ্ট্য
- ব্যক্তিত্ব
- প্রথম
- নমনীয়
- অনুসরণ
- বিন্যাস
- পাওয়া
- ফ্রেমওয়ার্ক
- ক্রিয়া
- অধিকতর
- GitHub
- মহান
- ঝুলিতে
- কিভাবে
- কিভাবে
- HTTPS দ্বারা
- পরিচয়
- ভাবমূর্তি
- তথ্য
- ইনপুট
- সংহত
- ইন্টারফেস
- আন্তর্জাতিক
- IT
- কাজ
- জবস
- শিক্ষা
- লাইসেন্স
- দীর্ঘ মেয়াদী
- লস এঞ্জেলেস
- মেশিন
- মেশিন লার্নিং
- তৈরি করে
- মেকিং
- পরিচালিত
- ML
- মডেল
- মডেল
- অধিক
- নোটবই
- সংখ্যা
- কর্মকর্তা
- অফলাইন
- অপারেশনস
- অন্যান্য
- নিজের
- বিন্দু
- জনপ্রিয়
- ক্ষমতাশালী
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- ব্যক্তিগত
- প্রক্রিয়া
- উৎপাদন করা
- উত্পাদনের
- প্রদান
- উপলব্ধ
- প্রদানের
- প্রকাশ্য
- উদ্দেশ্য
- প্রকৃত সময়
- সংগ্রহস্থলের
- অনুরোধ
- আবশ্যকতা
- গবেষণা
- Resources
- প্রতিক্রিয়া
- দায়ী
- আয়
- এখানে ক্লিক করুন
- রুট
- চালান
- বিজ্ঞানী
- সেবা
- ভজনা
- শারডিং
- সফটওয়্যার
- সমাধান
- সোর্স কোড
- দক্ষিণ
- গাদা
- মান
- পরিসংখ্যান
- সমর্থিত
- সমর্থক
- সমর্থন
- সিস্টেম
- উৎস
- দ্বারা
- একসঙ্গে
- সরঞ্জাম
- শীর্ষ
- টরন্টো
- প্রশিক্ষণ
- ট্রেন
- রুপান্তর
- রূপান্তর
- বিশ্ববিদ্যালয়
- ব্যবহার
- বৈচিত্র্য
- উইকিপিডিয়া
- হয়া যাই ?
- would