আপনি ওয়েব ট্র্যাফিকের জন্য আরও দক্ষতার সাথে সংস্থান বরাদ্দ করছেন, স্টাফিং চাহিদার জন্য রোগীর চাহিদার পূর্বাভাস দিচ্ছেন, বা একটি কোম্পানির পণ্য বিক্রির প্রত্যাশা করছেন, পূর্বাভাস অনেক ব্যবসায় একটি অপরিহার্য হাতিয়ার। একটি বিশেষ ব্যবহারের ক্ষেত্রে, হিসাবে পরিচিত ঠান্ডা শুরুর পূর্বাভাস, এমন একটি টাইম সিরিজের জন্য পূর্বাভাস তৈরি করে যার সামান্য বা কোনো বিদ্যমান ঐতিহাসিক ডেটা নেই, যেমন একটি নতুন পণ্য যা এইমাত্র খুচরা শিল্পে বাজারে প্রবেশ করেছে। অটোরিগ্রেসিভ ইন্টিগ্রেটেড মুভিং এভারেজ (ARIMA) বা এক্সপোনেনশিয়াল স্মুথিং (ES) এর মতো প্রথাগত সময় সিরিজের পূর্বাভাস পদ্ধতিগুলি প্রতিটি পৃথক পণ্যের ঐতিহাসিক সময় সিরিজের উপর অনেক বেশি নির্ভর করে এবং তাই ঠান্ডা শুরুর পূর্বাভাসের জন্য কার্যকর নয়।
এই পোস্টে, আমরা দেখিয়েছি কিভাবে ব্যবহার করে কোল্ড স্টার্ট পূর্বাভাস ইঞ্জিন তৈরি করা যায় সময় সিরিজের পূর্বাভাসের জন্য AutoGluon AutoML, একটি ওপেন সোর্স পাইথন প্যাকেজ যা ইমেজ, টেক্সট, টেবুলার এবং টাইম সিরিজ ডেটাতে মেশিন লার্নিং (ML) স্বয়ংক্রিয় করতে। AutoGluon অভিজ্ঞ ML ডেভেলপারদের জন্য নতুনদের জন্য এন্ড-টু-এন্ড অটোমেটেড মেশিন লার্নিং (AutoML) পাইপলাইন প্রদান করে, যা এটিকে সবচেয়ে সঠিক এবং সহজেই ব্যবহারযোগ্য সম্পূর্ণ স্বয়ংক্রিয় সমাধান করে তোলে। আমরা বিনামূল্যে ব্যবহার করি অ্যামাজন সেজমেকার স্টুডিও ল্যাব এই প্রদর্শনের জন্য পরিষেবা।
AutoGluon সময় সিরিজের ভূমিকা
অটোগ্লুওন টেক্সট, ইমেজ এবং ট্যাবুলার ডেটার জন্য অটোএমএল-এর একটি নেতৃস্থানীয় ওপেন-সোর্স লাইব্রেরি, যা আপনাকে শুধুমাত্র একটি লাইনের কোড সহ কাঁচা ডেটা থেকে অত্যন্ত নির্ভুল মডেল তৈরি করতে দেয়। সম্প্রতি, দলটি টাইম সিরিজ ডেটাতে এই ক্ষমতাগুলি প্রসারিত করার জন্য কাজ করছে, এবং একটি স্বয়ংক্রিয় পূর্বাভাস মডিউল তৈরি করেছে যা সর্বজনীনভাবে উপলব্ধ GitHub. দ্য autogluon.forecasting
মডিউল স্বয়ংক্রিয়ভাবে কাঁচা সময় সিরিজের ডেটা যথাযথ বিন্যাসে প্রক্রিয়া করে এবং তারপর সঠিক পূর্বাভাস তৈরি করতে বিভিন্ন অত্যাধুনিক গভীর শিক্ষার মডেলগুলিকে প্রশিক্ষণ দেয় এবং সুর করে। এই পোস্টে, আমরা কীভাবে ব্যবহার করব তা প্রদর্শন করি autogluon.forecasting
এবং ঠান্ডা শুরু পূর্বাভাস কর্ম এটি প্রয়োগ.
সমাধান ওভারভিউ
যেহেতু অটোগ্লুওন একটি ওপেন সোর্স পাইথন প্যাকেজ, আপনি এই সমাধানটি বাস্তবায়ন করতে পারেন স্থানীয়ভাবে আপনার ল্যাপটপে বা অ্যামাজন সেজমেকার স্টুডিও ল্যাবে। আমরা নিম্নলিখিত ধাপগুলি দিয়ে হাঁটছি:
- Amazon SageMaker স্টুডিও ল্যাবের জন্য AutoGluon সেট আপ করুন।
- ডেটাসেট প্রস্তুত করুন।
- AutoGluon ব্যবহার করে প্রশিক্ষণ পরামিতি সংজ্ঞায়িত করুন।
- সময় সিরিজের পূর্বাভাসের জন্য একটি কোল্ড স্টার্ট ফোরকাস্টিং ইঞ্জিনকে প্রশিক্ষণ দিন।
- ঠান্ডা শুরু পূর্বাভাস ভবিষ্যদ্বাণী কল্পনা করুন.
কোল্ড স্টার্টের পূর্বাভাসের মূল অনুমান হল যে একই ধরনের বৈশিষ্ট্যযুক্ত আইটেমগুলির একই সময় সিরিজের ট্র্যাজেক্টোরি থাকা উচিত, যা কোল্ড স্টার্টের পূর্বাভাসকে ঐতিহাসিক ডেটা ছাড়াই আইটেমগুলির উপর ভবিষ্যদ্বাণী করার অনুমতি দেয়, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে।
আমাদের ওয়াকথ্রুতে, আমরা বিদ্যুৎ খরচের উপর ভিত্তি করে একটি সিন্থেটিক ডেটাসেট ব্যবহার করি, যেটিতে 370টি আইটেমের জন্য ঘন্টায় সময় সিরিজ থাকে, প্রতিটিতে একটি item_id
0-369 থেকে। এই সিন্থেটিক ডেটাসেটের মধ্যে, প্রতিটি item_id
একটি স্ট্যাটিক বৈশিষ্ট্যের সাথেও যুক্ত (একটি বৈশিষ্ট্য যা সময়ের সাথে পরিবর্তিত হয় না)। আমরা একটি প্রশিক্ষণ ডিপএআর অনুরূপ আইটেমগুলির সাধারণ আচরণ শিখতে AutoGluon ব্যবহার করে মডেল, এবং নতুন আইটেমগুলির উপর ভবিষ্যদ্বাণী করতে এই ধরনের আচরণ স্থানান্তর করুন (item_id
370-373) যার ঐতিহাসিক সময় সিরিজের ডেটা নেই। যদিও আমরা শুধুমাত্র একটি স্ট্যাটিক বৈশিষ্ট্য সহ ঠান্ডা শুরুর পূর্বাভাস পদ্ধতি প্রদর্শন করছি, বাস্তবে, তথ্যপূর্ণ এবং উচ্চ-মানের স্ট্যাটিক বৈশিষ্ট্যগুলি একটি ভাল ঠান্ডা শুরুর পূর্বাভাসের মূল চাবিকাঠি।
নিম্নলিখিত চিত্রটি আমাদের সমাধানের একটি উচ্চ-স্তরের ওভারভিউ প্রদান করে। ওপেন সোর্স কোড পাওয়া যায় গিটহুব রেপো.
পূর্বশর্ত
এই ওয়াকথ্রুটির জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলি থাকা উচিত:
- An অ্যামাজন সেজমেকার স্টুডিও ল্যাব অ্যাকাউন্ট
- GitHub অ্যাকাউন্ট অ্যাক্সেস
আপনার Amazon SageMaker স্টুডিও ল্যাব অ্যাকাউন্টে লগ ইন করুন এবং টার্মিনাল ব্যবহার করে পরিবেশ সেট আপ করুন:
আপনার যদি Amazon SageMaker Studio Lab-এ অ্যাক্সেস না থাকে তবে এই নির্দেশাবলী আপনার ল্যাপটপ থেকেও কাজ করা উচিত (আমরা প্রথমে আপনার ল্যাপটপে Anaconda ইনস্টল করার পরামর্শ দিই)।
আপনার ভার্চুয়াল পরিবেশ সম্পূর্ণরূপে সেট আপ হয়ে গেলে, নোটবুকটি চালু করুন AutoGluon-cold-start-demo.ipynb
এবং কাস্টম পরিবেশ নির্বাচন করুন .conda-autogluon:Python
কার্নেল
টার্গেট টাইম সিরিজ এবং আইটেম মেটা ডেটাসেট প্রস্তুত করুন
নিম্নলিখিত ডেটাসেটগুলি আপনার নোটবুকের উদাহরণে ডাউনলোড করুন যদি সেগুলি অন্তর্ভুক্ত না থাকে এবং সেগুলিকে ডিরেক্টরির অধীনে সংরক্ষণ করুন৷ data/
. আপনি আমাদের এই ডেটাসেট খুঁজে পেতে পারেন গিটহুব রেপো:
- Test.csv.gz
- coldStartTargetData.csv
- itemMetaData.csv
কার্নেলে টার্গেট টাইম সিরিজ ডেটাসেট লোড করতে নিম্নলিখিত স্নিপেটটি চালান:
অটোগ্লুওন টাইম সিরিজের জন্য স্ট্যাটিক বৈশিষ্ট্যগুলিকে সংখ্যাসূচক বিন্যাসে উপস্থাপন করতে হবে। এটি আবেদনের মাধ্যমে অর্জন করা যেতে পারে LabelEncoder()
আমাদের স্ট্যাটিক বৈশিষ্ট্যের উপর type
, যেখানে আমরা A=0, B=1, C=2, D=3 এনকোড করি (নিম্নলিখিত কোড দেখুন)। ডিফল্টরূপে, অটোগ্লুওন স্ট্যাটিক বৈশিষ্ট্যকে হয় অর্ডিনাল বা শ্রেণীবদ্ধ বলে অনুমান করে। আপনি স্ট্যাটিক ফিচার কলামকে শ্রেণীগত বৈশিষ্ট্যের জন্য অবজেক্ট/স্ট্রিং ডেটা টাইপ বা অর্ডিনাল ফিচারের জন্য পূর্ণসংখ্যা/ফ্লোট ডেটা টাইপ হিসেবে রূপান্তর করে এটি ওভাররাইট করতে পারেন।
সেট আপ করুন এবং AutoGluon মডেল প্রশিক্ষণ শুরু করুন
আমরা নির্দিষ্ট করতে হবে save_path = ‘autogluon-coldstart-demo’
মডেল আর্টিফ্যাক্ট ফোল্ডার নাম হিসাবে (নিম্নলিখিত কোড দেখুন)। আমরা আমাদের সেট eval_metric
as মানে পরম শতাংশ ত্রুটি, বা ‘MAPE’
সংক্ষেপে, যেখানে আমরা সংজ্ঞায়িত করেছি prediction_length
24 ঘন্টা হিসাবে। যদি নির্দিষ্ট করা না থাকে, অটোগ্লুওন ডিফল্টভাবে সম্ভাব্য পূর্বাভাস তৈরি করে এবং এর মাধ্যমে স্কোর করে ওজনযুক্ত পরিমাণগত ক্ষতি. আমরা শুধুমাত্র তাকান ডিপএআর মডেল আমাদের ডেমোতে, কারণ আমরা জানি DeepAR অ্যালগরিদম ডিজাইনের মাধ্যমে কোল্ড স্টার্টের পূর্বাভাস দেয়। আমরা ডিপএআর হাইপারপ্যারামিটারগুলির একটি নির্বিচারে সেট করি এবং সেই হাইপারপ্যারামিটারটিকে তে পাস করি৷ ForecastingPredictor().fit()
কল এটি অটোগ্লুওনকে শুধুমাত্র নির্দিষ্ট মডেল দেখতে দেয়। টিউনযোগ্য হাইপারপ্যারামিটারের সম্পূর্ণ তালিকার জন্য, পড়ুন gluonts.model.deepar প্যাকেজ.
প্রশিক্ষণে 30-45 মিনিট সময় লাগে। আপনি নিম্নলিখিত ফাংশন কল করে মডেল সারাংশ পেতে পারেন:
ঠান্ডা শুরু আইটেম উপর পূর্বাভাস
এখন আমরা কোল্ড স্টার্ট আইটেমের জন্য পূর্বাভাস তৈরি করতে প্রস্তুত। আমরা প্রত্যেকের জন্য কমপক্ষে পাঁচটি সারি রাখার পরামর্শ দিই item_id
. অতএব, জন্য item_id
যেটিতে পাঁচটিরও কম পর্যবেক্ষণ আছে, আমরা NaN দিয়ে পূরণ করি। আমাদের ডেমো, উভয় item_id
370 এবং 372 এর শূন্য পর্যবেক্ষণ রয়েছে, একটি বিশুদ্ধ ঠান্ডা শুরু সমস্যা, যেখানে অন্য দুটির পাঁচটি লক্ষ্য মান রয়েছে।
নিম্নলিখিত কোড সহ কোল্ড স্টার্ট টার্গেট টাইম সিরিজ ডেটাসেট লোড করুন:
কোল্ড স্টার্টের জন্য আইটেম মেটা ডেটাসেট সহ আমরা আমাদের অটোগ্লুওন মডেলে কোল্ড স্টার্ট টার্গেট টাইম সিরিজ ফিড করি item_id
:
ভবিষ্যদ্বাণীগুলি কল্পনা করুন
আমরা একটি প্লটিং ফাংশন তৈরি করতে পারি কোল্ড স্টার্ট পূর্বাভাসের উপর একটি ভিজ্যুয়ালাইজেশন তৈরি করতে, যেমনটি নিম্নলিখিত গ্রাফে দেখানো হয়েছে।
পরিষ্কার কর
সম্পদের ব্যবহার অপ্টিমাইজ করতে, আপনি নোটবুকটি সম্পূর্ণভাবে অন্বেষণ করার পরে অ্যামাজন সেজমেকার স্টুডিও ল্যাবে রানটাইম বন্ধ করার কথা বিবেচনা করুন।
উপসংহার
এই পোস্টে, আমরা Amazon SageMaker স্টুডিও ল্যাবে টাইম সিরিজ ডেটার জন্য AutoGluon AutoML ব্যবহার করে কোল্ড স্টার্ট ফোরকাস্টিং ইঞ্জিন কীভাবে তৈরি করা যায় তা দেখিয়েছি। আপনি যারা মধ্যে পার্থক্য বিস্ময়কর তাদের জন্য আমাজন পূর্বাভাস এবং AutoGluon (টাইম সিরিজ), Amazon Forecast হল একটি সম্পূর্ণরূপে পরিচালিত এবং সমর্থিত পরিষেবা যা মেশিন লার্নিং (ML) ব্যবহার করে কোনো পূর্বের ML অভিজ্ঞতার প্রয়োজন ছাড়াই অত্যন্ত নির্ভুল পূর্বাভাস তৈরি করতে। যদিও AutoGluon হল একটি ওপেন সোর্স প্রজেক্ট যা সাম্প্রতিক গবেষণা অবদানের সাথে সম্প্রদায় সমর্থিত। টাইম সিরিজের জন্য অটোগ্লুওন কী সক্ষম তা প্রদর্শন করতে আমরা একটি এন্ড-টু-এন্ড উদাহরণের মধ্য দিয়ে হেঁটেছি এবং একটি ডেটাসেট এবং ব্যবহার কেস প্রদান করেছি।
টাইম সিরিজ ডেটার জন্য অটোগ্লুওন হল একটি ওপেন-সোর্স পাইথন প্যাকেজ, এবং আমরা আশা করি যে এই পোস্টটি, আমাদের কোড উদাহরণ সহ, চ্যালেঞ্জিং কোল্ড স্টার্ট পূর্বাভাস সংক্রান্ত সমস্যাগুলি মোকাবেলা করার জন্য আপনাকে একটি সরল সমাধান দেবে। আপনি আমাদের সম্পূর্ণ উদাহরণ অ্যাক্সেস করতে পারেন গিটহুব রেপো. এটি চেষ্টা করে দেখুন, এবং আপনি কি মনে করেন তা আমাদের জানান!
লেখক সম্পর্কে
ইভান কুই AWS প্রফেশনাল সার্ভিসের একজন ডেটা সায়েন্টিস্ট, যেখানে তিনি AWS-এ মেশিন লার্নিং ব্যবহার করে গ্রাহকদের সমাধান তৈরি ও স্থাপনে সহায়তা করেন। তিনি সফ্টওয়্যার, ফিনান্স, ফার্মাসিউটিক্যাল এবং স্বাস্থ্যসেবা সহ বিভিন্ন শিল্পে গ্রাহকদের সাথে কাজ করেছেন। তার অবসর সময়ে, তিনি পড়তে, তার পরিবারের সাথে সময় কাটাতে এবং তার স্টক পোর্টফোলিওকে সর্বাধিক করতে উপভোগ করেন।
জোনাস মুলার তিনি AWS-এর AI গবেষণা ও শিক্ষা গ্রুপের একজন সিনিয়র ফলিত বিজ্ঞানী, যেখানে তিনি গভীর শিক্ষার উন্নতি করতে এবং স্বয়ংক্রিয় মেশিন লার্নিং বিকাশের জন্য নতুন অ্যালগরিদম তৈরি করেন। এমএলকে গণতান্ত্রিক করার জন্য এডব্লিউএস-এ যোগদানের আগে, তিনি এমআইটি কম্পিউটার সায়েন্স অ্যান্ড আর্টিফিশিয়াল ইন্টেলিজেন্স ল্যাবে পিএইচডি সম্পন্ন করেন। তার অবসর সময়ে, তিনি পাহাড় এবং বাইরের অন্বেষণ উপভোগ করেন।
ওয়েনমিং ইয়ে AWS AI-তে একজন রিসার্চ প্রোডাক্ট ম্যানেজার। তিনি ওপেন সোর্স এবং অত্যাধুনিক মেশিন লার্নিং প্রযুক্তির মাধ্যমে গবেষক এবং এন্টারপ্রাইজ গ্রাহকদের দ্রুত তাদের উদ্ভাবনগুলি মাপতে সাহায্য করার বিষয়ে উত্সাহী৷ মাইক্রোসফট রিসার্চ, এসকিউএল ইঞ্জিনিয়ারিং টিম এবং সফল স্টার্টআপ থেকে ওয়েনমিং-এর বিভিন্ন R&D অভিজ্ঞতা রয়েছে।
- Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
- ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
- সূত্র: https://aws.amazon.com/blogs/machine-learning/build-a-cold-start-time-series-forecasting-engine-using-autogluon/
- "
- 100
- 9
- সম্পর্কে
- পরম
- প্রবেশ
- হিসাব
- সঠিক
- অর্জন
- দিয়ে
- AI
- আইআই গবেষণা
- অ্যালগরিদম
- আলগোরিদিম
- অনুমতি
- যদিও
- মর্দানী স্ত্রীলোক
- প্রয়োগ করা হচ্ছে
- অভিগমন
- কৃত্রিম
- কৃত্রিম বুদ্ধিমত্তা
- অটোমেটেড
- সহজলভ্য
- গড়
- ডেস্কটপ AWS
- নির্মাণ করা
- তৈরী করে
- ব্যবসা
- কল
- পেতে পারি
- ক্ষমতা
- CD
- পরিবর্তন
- চেকআউট
- কোড
- স্তম্ভ
- সম্প্রদায়
- কোম্পানির
- কম্পিউটার বিজ্ঞান
- খরচ
- গ্রাহকদের
- উপাত্ত
- তথ্য বিজ্ঞানী
- চাহিদা
- স্থাপন
- নকশা
- বিকাশ
- উন্নত
- ডেভেলপারদের
- না
- প্রশিক্ষণ
- কার্যকর
- বিদ্যুৎ
- প্রকৌশল
- প্রবিষ্ট
- উদ্যোগ
- পরিবেশ
- অপরিহার্য
- উদাহরণ
- অভিজ্ঞতা
- অভিজ্ঞ
- প্রসারিত করা
- পরিবার
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ব্যক্তিত্ব
- অর্থ
- প্রথম
- অনুসরণ
- বিন্যাস
- বিনামূল্যে
- সম্পূর্ণ
- ক্রিয়া
- ভবিষ্যৎ
- উত্পাদন করা
- git
- ভাল
- গ্রুপ
- জমিদারি
- স্বাস্থ্যসেবা
- সাহায্য
- অত্যন্ত
- ঐতিহাসিক
- কিভাবে
- কিভাবে
- HTTPS দ্বারা
- ভাবমূর্তি
- বাস্তবায়ন
- উন্নত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- স্বতন্ত্র
- শিল্প
- শিল্প
- সংহত
- বুদ্ধিমত্তা
- IT
- চাবি
- পরিচিত
- ল্যাপটপ
- সর্বশেষ
- শুরু করা
- নেতৃত্ব
- শিখতে
- শিক্ষা
- লাইব্রেরি
- লাইন
- তালিকা
- সামান্য
- বোঝা
- মেশিন
- মেশিন লার্নিং
- মেকিং
- পরিচালক
- বাজার
- মেটা
- মাইক্রোসফট
- এমআইটি
- ML
- মডেল
- মডেল
- সেতু
- চলন্ত
- নতুন পণ্য
- নোটবই
- ওপেন সোর্স কোড
- অন্যান্য
- বিদেশে
- শতকরা হার
- ফার্মাসিউটিক্যাল
- দফতর
- ভবিষ্যতবাণী
- সমস্যা
- সমস্যা
- প্রসেস
- উৎপাদন করা
- পণ্য
- পণ্য
- পেশাদারী
- প্রকল্প
- উপলব্ধ
- গবেষণা ও উন্নয়ন
- কাঁচা
- পড়া
- সুপারিশ করা
- গবেষণা
- সংস্থান
- Resources
- খুচরা
- বিক্রয়
- স্কেল
- আরোহী
- বিজ্ঞান
- বিজ্ঞানী
- ক্রম
- সেবা
- সেবা
- সেট
- সংক্ষিপ্ত
- অনুরূপ
- সফটওয়্যার
- সলিউশন
- খরচ
- শুরু
- প্রারম্ভ
- স্টক
- চিত্রশালা
- সফল
- সমর্থিত
- লক্ষ্য
- কাজ
- টীম
- প্রযুক্তিঃ
- প্রান্তিক
- দ্বারা
- সময়
- একসঙ্গে
- ঐতিহ্যগত
- ট্রাফিক
- প্রশিক্ষণ
- ট্রেন
- us
- ব্যবহার
- ভার্চুয়াল
- কল্পনা
- ওয়েব
- কি
- হু
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কাজ করছে
- কাজ
- শূন্য