ভাল সিদ্ধান্ত নিতে এবং কোম্পানিকে প্রতিযোগিতামূলক সুবিধা দেওয়ার জন্য প্রতিটি ব্যবসার ভবিষ্যতের সঠিকভাবে ভবিষ্যদ্বাণী করার ক্ষমতা প্রয়োজন। ঐতিহাসিক ডেটার সাহায্যে, ব্যবসাগুলি প্রবণতাগুলি বুঝতে পারে, কী ঘটতে পারে এবং কখন হতে পারে তার ভবিষ্যদ্বাণী করতে পারে এবং সেই তথ্যগুলি তাদের ভবিষ্যত পরিকল্পনাগুলিতে অন্তর্ভুক্ত করতে পারে, পণ্যের চাহিদা থেকে ইনভেন্টরি পরিকল্পনা এবং স্টাফিং পর্যন্ত। যদি একটি পূর্বাভাস খুব বেশি হয়, কোম্পানিগুলি পণ্য এবং কর্মীদের অতিরিক্ত বিনিয়োগ করতে পারে, যার ফলে বিনিয়োগ নষ্ট হয়। যদি পূর্বাভাস খুব কম হয়, কোম্পানিগুলি কম-বিনিয়োগ করতে পারে, যা কাঁচামাল এবং ইনভেন্টরির ঘাটতির দিকে নিয়ে যায়, একটি দুর্বল গ্রাহক অভিজ্ঞতা তৈরি করে।
টাইম সিরিজের পূর্বাভাস একটি কৌশল যা ঐতিহাসিক তথ্যের উপর ভিত্তি করে ভবিষ্যত টাইম সিরিজ ডেটার পূর্বাভাস দেয়। টাইম সিরিজের পূর্বাভাস খুচরা, অর্থ, লজিস্টিকস এবং স্বাস্থ্যসেবা সহ একাধিক ক্ষেত্রে কার্যকর। চাহিদার পূর্বাভাস একটি নির্দিষ্ট সময়ের মধ্যে গ্রাহকের চাহিদার সাথে সম্পর্কিত ভবিষ্যত অনুমান করতে এবং ব্যবসা জুড়ে সরবরাহ-চাহিদা সিদ্ধান্ত গ্রহণের প্রক্রিয়াটিকে প্রবাহিত করার জন্য ঐতিহাসিক সময় সিরিজের ডেটা ব্যবহার করে। চাহিদা পূর্বাভাস ব্যবহারের ক্ষেত্রে পরিবহন শিল্পে টিকিট বিক্রির পূর্বাভাস, স্টক মূল্য, হাসপাতালে পরিদর্শনের সংখ্যা, পরের মাসে একাধিক স্থানে ভাড়ার জন্য গ্রাহক প্রতিনিধির সংখ্যা, পরবর্তী প্রান্তিকে একাধিক অঞ্চলে পণ্য বিক্রয়, ক্লাউড সার্ভার ব্যবহার একটি ভিডিও স্ট্রিমিং পরিষেবার জন্য পরের দিন, পরের সপ্তাহে একাধিক অঞ্চলের জন্য বিদ্যুৎ খরচ, IoT ডিভাইস এবং সেন্সরগুলির সংখ্যা যেমন শক্তি খরচ, এবং আরও অনেক কিছু।
সময় সিরিজ ডেটা হিসাবে শ্রেণীবদ্ধ করা হয় অবিচ্ছিন্ন এবং বহু বৈচিত্র্যময়. উদাহরণস্বরূপ, একটি একক পরিবারের জন্য মোট বিদ্যুত খরচ একটি নির্দিষ্ট সময়ের মধ্যে একটি অবিচ্ছিন্ন সময়ের সিরিজ। যখন একাধিক ইউনিভেরিয়েট টাইম সিরিজ একে অপরের উপর স্ট্যাক করা হয়, তখন একে মাল্টি-ভেরিয়েট টাইম সিরিজ বলা হয়। উদাহরণস্বরূপ, একটি একক আশেপাশে 10টি ভিন্ন (কিন্তু সম্পর্কযুক্ত) পরিবারের মোট বিদ্যুৎ খরচ একটি বহু-ভেরিয়েট টাইম সিরিজ ডেটাসেট তৈরি করে।
সময় সিরিজ পূর্বাভাস জন্য ঐতিহ্যগত পন্থা অন্তর্ভুক্ত অটো রিগ্রেসিভ ইন্টিগ্রেটেড মুভিং এভারেজ (ARIMA) ইউনিভেরিয়েট টাইম সিরিজ ডেটার জন্য এবং ভেক্টর অটোরিগ্রেশন বহু-ভেরিয়েট টাইম সিরিজ ডেটার জন্য (VAR)। এই পদ্ধতিগুলির জন্য প্রায়শই মডেল প্রশিক্ষণের আগে ক্লান্তিকর ডেটা প্রিপ্রসেসিং এবং বৈশিষ্ট্য তৈরির প্রয়োজন হয়। মডেল প্রশিক্ষণের আগে বৈশিষ্ট্য তৈরির ধাপগুলিকে স্বয়ংক্রিয়ভাবে ডিপ লার্নিং (ডিএল) পদ্ধতির মাধ্যমে এই চ্যালেঞ্জগুলি মোকাবেলা করা হয়, যেমন বিভিন্ন ডেটা স্বাভাবিকীকরণ, ল্যাগ, বিভিন্ন সময় স্কেল, কিছু শ্রেণীবদ্ধ ডেটা, অনুপস্থিত মানগুলির সাথে মোকাবিলা করা এবং আরও অনেক কিছু, ভাল ভবিষ্যদ্বাণী সহ। শক্তি এবং দ্রুত GPU-সক্ষম প্রশিক্ষণ এবং স্থাপনা।
এই পোস্টে, আমরা আপনাকে দেখাই কিভাবে ব্যবহার করে একটি চাহিদা পূর্বাভাস সমাধান স্থাপন করতে হয় আমাজন সেজমেকার জাম্পস্টার্ট. তিনটি অত্যাধুনিক টাইম সিরিজ অ্যালগরিদম ব্যবহার করে চাহিদার পূর্বাভাস টাস্কের জন্য আমরা আপনাকে একটি এন্ড-টু-এন্ড সমাধানের মাধ্যমে নিয়ে যাচ্ছি: LSTNet, নবী, এবং সেজমেকার DeepAR, যা পাওয়া যায় GluonTS এবং আমাজন সেজমেকার. ইনপুট ডেটা হল একটি মাল্টি-ভেরিয়েট টাইম সিরিজ যা ঘন্টায় অন্তর্ভুক্ত করে বিদ্যুৎ খরচ 321-2012 থেকে 2014 জন ব্যবহারকারী। এর পরে, প্রতিটি অ্যালগরিদম একটি ভবিষ্যদ্বাণী ব্যবধানে সঠিক ভবিষ্যদ্বাণী (মাল্টি-ভেরিয়েট মান) প্রশিক্ষণ এবং উত্পাদন করতে ঐতিহাসিক বহু-ভেরিয়েট এবং পারস্পরিক সম্পর্কযুক্ত সময় সিরিজ ডেটা নেয়। প্রতিটি টাইম সিরিজ অ্যালগরিদমের জন্য, আমাদের দুটি আউটপুট রয়েছে: প্রতি ঘণ্টায় একটি প্রশিক্ষিত মডেল বিদ্যুৎ খরচ ডেটা এবং একটি সেজমেকার এন্ডপয়েন্ট যা ভবিষ্যত ব্যবধানে ভবিষ্যত (মাল্টি-ভেরিয়েট) মানগুলির পূর্বাভাস দিতে পারে।
বিকল্পভাবে, আপনি যদি কোড না লিখে অত্যন্ত নির্ভুল পূর্বাভাস দেওয়ার জন্য একটি সম্পূর্ণ পরিচালিত পরিষেবা খুঁজছেন, আমরা চেক আউট করার পরামর্শ দিই আমাজন পূর্বাভাস. Amazon Forecast হল মেশিন লার্নিং (ML) এর উপর ভিত্তি করে এবং ব্যবসায়িক মেট্রিক্স বিশ্লেষণের জন্য তৈরি একটি টাইম-সিরিজ পূর্বাভাস পরিষেবা। Amazon.com-এ ব্যবহৃত একই প্রযুক্তির উপর ভিত্তি করে, Amazon Forecast পূর্বাভাস তৈরি করতে অতিরিক্ত ভেরিয়েবলের সাথে টাইম সিরিজ ডেটা একত্রিত করতে মেশিন লার্নিং ব্যবহার করে।
সমাধান ওভারভিউ
নীচের চিত্রটি শেষ-থেকে-শেষ প্রশিক্ষণ এবং স্থাপনা প্রক্রিয়ার জন্য আর্কিটেকচার দেখায়।
সমাধান কর্মপ্রবাহ নিম্নরূপ:
- প্রশিক্ষণের জন্য ইনপুট ডেটা একটিতে অবস্থিত আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3) বালতি।
- প্রদান করা হয় সেজমেকার নোটবুক ইনপুট ডেটা পায় এবং নিম্নলিখিত পদক্ষেপগুলি চালু করে।
- প্রতিটি জন্য LSTNet, নবী, এবং সেজমেকার DeepAR অ্যালগরিদম, একটি মডেলকে প্রশিক্ষণ দিন এবং সেজমেকার ব্যবহার করে এর ফলাফলগুলি মূল্যায়ন করুন।
- প্রশিক্ষিত মডেল স্থাপন করুন এবং একটি সেজমেকার এন্ডপয়েন্ট তৈরি করুন, যা একটি HTTPS এন্ডপয়েন্ট যে ভবিষ্যদ্বাণী উত্পাদন করতে সক্ষম.
- এর মাধ্যমে মডেল প্রশিক্ষণ এবং স্থাপনা নিরীক্ষণ করুন অ্যামাজন ক্লাউডওয়াচ.
- অনুমান করার জন্য ইনপুট ডেটা একটি S3 বালতিতে অবস্থিত। সেজমেকার নোটবুক থেকে, সেজমেকার এন্ডপয়েন্টে অনুরোধ পাঠান এবং ভবিষ্যদ্বাণী করুন।
পূর্বশর্ত
আপনার নিজের অ্যাকাউন্টে সমাধানটি চেষ্টা করার জন্য, নিশ্চিত করুন যে আপনার কাছে নিম্নলিখিতগুলি রয়েছে:
- এই সমাধান ব্যবহার করার জন্য একটি AWS অ্যাকাউন্ট। আপনার যদি অ্যাকাউন্ট না থাকে তবে আপনি করতে পারেন একটি জন্য সাইন আপ করুন.
- এই পোস্টে বর্ণিত সমাধানের অংশ আমাজন সেজমেকার জাম্পস্টার্ট. এই জাম্পস্টার্ট 1P সলিউশনটি চালাতে এবং আপনার AWS অ্যাকাউন্টে পরিকাঠামো স্থাপন করতে, আপনাকে একটি সক্রিয় তৈরি করতে হবে অ্যামাজন সেজমেকার স্টুডিও উদাহরণ (দেখুন Amazon SageMaker ডোমেনে অনবোর্ড).
স্টুডিও ইনস্ট্যান্স প্রস্তুত হলে, আপনি স্টুডিও চালু করতে পারেন এবং জাম্পস্টার্ট অ্যাক্সেস করতে পারেন। জাম্পস্টার্ট বৈশিষ্ট্যগুলি সেজমেকার নোটবুক উদাহরণগুলিতে উপলব্ধ নয় এবং আপনি সেজমেকার এপিআই বা এর মাধ্যমে সেগুলি অ্যাক্সেস করতে পারবেন না এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)।
সমাধান চালু করুন
সমাধানটি চালু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- জাম্পস্টার্ট লঞ্চার ব্যবহার করে জাম্পস্টার্ট খুলুন এবার শুরু করা যাক বিভাগ বা বাম সাইডবারে জাম্পস্টার্ট আইকন নির্বাচন করে।
- মধ্যে সলিউশন বিভাগ, চয়ন করুন চাহিদার পূর্বাভাস অন্য স্টুডিও ট্যাবে সমাধান খুলতে।
- চাহিদা পূর্বাভাস ট্যাবে, সমাধান সংস্থান স্থাপন করতে লঞ্চ নির্বাচন করুন।
- আরেকটি ট্যাব খোলে যেটি স্থাপনের স্থিতি এবং উৎপন্ন শিল্পকর্ম দেখায়। স্থাপনা শেষ হলে, একটি ওপেন নোটবুক বোতাম প্রদর্শিত হবে। পছন্দ করা নোটবুক খুলুন স্টুডিওতে সমাধান নোটবুক খুলতে।
নিম্নলিখিত বিভাগগুলিতে, আমরা আপনাকে গভীর চাহিদা পূর্বাভাস সমাধানের ধাপগুলির মধ্য দিয়ে চলে যাব।
ডেটা প্রস্তুতি এবং ভিজ্যুয়ালাইজেশন
আমরা এখানে যে ডেটাসেট ব্যবহার করি তা হল মাল্টি-ভেরিয়েট টাইম সিরিজ বিদ্যুৎ খরচ Dua, D. এবং Graff, C. (2019) থেকে নেওয়া ডেটা। ইউসিআই মেশিন লার্নিং রিপোজিটরি, Irvine, CA: ইউনিভার্সিটি অফ ক্যালিফোর্নিয়া, স্কুল অফ ইনফরমেশন অ্যান্ড কম্পিউটার সায়েন্স। আমরা 321-ঘন্টা ফ্রিকোয়েন্সি সহ 1 টাইম সিরিজ ধারণকারী ডেটার একটি পরিষ্কার সংস্করণ ব্যবহার করি, যা 1 জানুয়ারী, 2012 থেকে শুরু হয় 26,304টি সময়-পদক্ষেপ সহ। আমরা প্রদান করেছি বিনিময় হার ডেটাসেট যদি আপনি অন্যান্য ডেটাসেটের সাথেও চেষ্টা করতে চান।
আমরা ট্রেন এবং পরীক্ষার ডেটা থেকে ডেটাফ্রেম তৈরি করার জন্য ইউটিলিটিগুলি সরবরাহ করেছি। প্রশিক্ষণের ডেটাতে 321-2012-01 01:00:00 থেকে 00-2014-05 26:19:00 পর্যন্ত ঘন্টায় বিদ্যুৎ খরচের মান (00টি পরিবারের জন্য) অন্তর্ভুক্ত রয়েছে এবং পরীক্ষার ডেটাতে 2012-01-01 00 পর্যন্ত মান রয়েছে :00:00 থেকে 2014-06-02 19:00:00 (প্রশিক্ষণ ডেটার তুলনায় ঘণ্টায় ডেটার আরও 7 দিন)। একটি সময় সিরিজ পূর্বাভাস মডেল প্রশিক্ষণ, CONTEXT_LENGTH
প্রতিটি ইনপুট সময় সিরিজের দৈর্ঘ্য সংজ্ঞায়িত করে, এবং PREDICTION_LENGTH প্রতিটি আউটপুট সময় সিরিজের দৈর্ঘ্য সংজ্ঞায়িত করে।
কারন CONTEXT_LENGTH
এবং PREDICTION_LENGTH
168 (7 দিন) এবং 24 (পরবর্তী 1 দিন) সেট করা হয়েছে, আমরা প্রদর্শনের উদ্দেশ্যে প্রশিক্ষণের শেষ 7 দিনের ডেটা এবং তার পরবর্তী 1 দিনের পরীক্ষার ডেটা প্লট করি। প্লট করা প্রশিক্ষণ ডেটা এবং পরীক্ষার ডেটা 2014-05-19 20:00:00 থেকে 2014-05-26 19:00:00 এবং 2014-05-26 20:00:00 থেকে 2014-05-27 02 পর্যন্ত :00:00, যথাক্রমে। প্রদর্শনের উদ্দেশ্যে, আমরা মোট 11টির মধ্যে শুধুমাত্র 321টি টাইম সিরিজ প্লট করি, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
মডেলদের প্রশিক্ষণ দিন
এই বিভাগে প্রশিক্ষণ একটি প্রদর্শন করে LSTNet মডেল ব্যবহার করে GluonTS, একটি নবী মডেল ব্যবহার করে GluonTS, এবং একটি সেজমেকার DeepAR হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) সহ এবং ছাড়া মডেল। এর প্রত্যেকটির জন্য, আমরা প্রথমে এইচপিও ছাড়া মডেলকে প্রশিক্ষণ দিয়েছিলাম, তারপরে আমরা এইচপিওর সাথে মডেলটিকে প্রশিক্ষণ দিয়েছিলাম। তুলনামূলক মেট্রিক্স, যথা RRSE (রুট রিলেটিভ স্কোয়ারড ত্রুটি), MAPE (মান পরম শতাংশ ত্রুটি), এবং sMAPE (প্রতিসম গড় পরসেন্টেজ ত্রুটি) দেখিয়ে HPO-এর সাথে মডেলের কর্মক্ষমতা কীভাবে বৃদ্ধি পায় তা আমরা প্রদর্শন করি। HPO-এর জন্য, আমরা তিনটি অ্যালগরিদমের মূল্যায়ন মেট্রিক হিসাবে RRSE ব্যবহার করি।
GluonTS ব্যবহার করে একটি সর্বোত্তম LSTNet মডেলকে প্রশিক্ষণ দিন
LSTNet হল একটি গভীর শিক্ষার মডেল যা নন-লিনিয়ার নিউরাল নেটওয়ার্ক অংশের সমান্তরালে ঐতিহ্যগত অটো-রিগ্রেসিভ লিনিয়ার মডেলগুলিকে অন্তর্ভুক্ত করে, যা স্কেল পরিবর্তনগুলি লঙ্ঘন করে এমন সময় সিরিজের জন্য নন-লিনিয়ার ডিপ লার্নিং মডেলকে আরও শক্তিশালী করে তোলে। LSTNet এর পিছনের গণিত সম্পর্কে তথ্যের জন্য, দেখুন গভীর নিউরাল নেটওয়ার্কের সাথে দীর্ঘ এবং স্বল্প-মেয়াদী টেম্পোরাল প্যাটার্নের মডেলিং.
আমরা প্রথমে HPO ছাড়া একটি LSTNet মডেলকে প্রশিক্ষণ দিই। হাইপারপ্যারামিটার সংজ্ঞায়িত করে, আমরা প্রশিক্ষণের কাজ চালাতে পারি। আমরা ব্যাবহার করি GluonTS ব্যাকএন্ড ডিপ লার্নিং ফ্রেমওয়ার্ক হিসেবে MXNet-এর সাথে আমাদের LSTNet মডেলকে সংজ্ঞায়িত ও প্রশিক্ষিত করতে। SageMaker এটিকে ফ্রেমওয়ার্ক এস্টিমেটরদের সাথে করে, যার ডিপ লার্নিং ফ্রেমওয়ার্ক ইতিমধ্যেই সেট আপ করা আছে। এখানে, আমরা একটি SageMaker MXNet এস্টিমেটর তৈরি করি এবং আমাদের মডেল ট্রেনিং স্ক্রিপ্ট, হাইপারপ্যারামিটার, সেইসাথে আমরা যে ট্রেনিং ইন্সট্যান্স চাই তার সংখ্যা এবং ধরন পাস করি।
এর পরে, আমরা HPO এর সাথে একটি সর্বোত্তম LSTNet মডেলকে প্রশিক্ষণ দিই এবং মডেলের কার্যকারিতা আরও উন্নত করি সেজমেকার স্বয়ংক্রিয় মডেল টিউনিং. SageMaker স্বয়ংক্রিয় মডেল টিউনিং, যা হাইপারপ্যারামিটার টিউনিং নামেও পরিচিত, আপনার নির্দিষ্ট করা হাইপারপ্যারামিটারের অ্যালগরিদম এবং রেঞ্জগুলি ব্যবহার করে আপনার ডেটাসেটে অনেক প্রশিক্ষণের কাজ চালানোর মাধ্যমে একটি মডেলের সেরা সংস্করণ খুঁজে পায়। তারপরে এটি হাইপারপ্যারামিটার মানগুলি বেছে নেয় যার ফলে এমন একটি মডেল যা সর্বোত্তম কার্য সম্পাদন করে, যেমন আপনার বেছে নেওয়া একটি মেট্রিক দ্বারা পরিমাপ করা হয়। 2014-05-26 20:00:00 থেকে 2014-06-01 19:00:00 (6 দিনের সাথে সম্পর্কিত) বৈধতা ডেটাতে সেরা মডেল এবং এর সংশ্লিষ্ট হাইপারপ্যারামিটারগুলি নির্বাচন করা হয়েছে। এর পরে, আমরা একটি শেষ পয়েন্টে সেরা মডেল স্থাপন করি যা আমরা ভবিষ্যদ্বাণীর জন্য জিজ্ঞাসা করতে পারি। অবশেষে, 2014-06-01 20:00:00 থেকে 2014-06-02 19:00:00 (পরবর্তী 1 দিনের সাথে সম্পর্কিত) হোল্ডআউট পরীক্ষার ডেটাতে সেরা মডেলটি মূল্যায়ন করা হয়। নিম্নলিখিত টেবিল মডেল কর্মক্ষমতা তুলনা.
ছন্দোবিজ্ঞান | HPO ছাড়া LSTNet | HPO সহ LSTNet |
আরআরএসই | 0.555 | 0.506 |
মানচিত্র | 0.318 | 0.301 |
sMAPE | 0.337 | 0.323 |
প্রশিক্ষণের সময় (মিনিট) | 10.780 | 57.242 |
অনুমান সময় (সেকেন্ড) | 5.202 | 5.340 |
প্রশিক্ষণ এবং অনুমান সময় ব্যতীত, RRSE, MAPE এবং sMAPE-এর জন্য, ছোট মানগুলি ভাল ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা নির্দেশ করে। অতএব, আমরা HPO এর সাথে প্রশিক্ষিত মডেলের কর্মক্ষমতা পর্যবেক্ষণ করতে পারি HPO ছাড়া প্রশিক্ষিত মডেলের তুলনায় উল্লেখযোগ্যভাবে ভালো।
HPO এর সাথে GluonTS ব্যবহার করে একটি সর্বোত্তম নবী মডেলকে প্রশিক্ষণ দিন
নবী এটি একটি অ্যাডিটিভ মডেলের উপর ভিত্তি করে টাইম সিরিজ ডেটার পূর্বাভাস দেওয়ার জন্য একটি অ্যালগরিদম যেখানে অ-রৈখিক প্রবণতাগুলি বার্ষিক, সাপ্তাহিক এবং দৈনিক ঋতু এবং ছুটির প্রভাবগুলির সাথে মানানসই। এটি টাইম সিরিজের সাথে সবচেয়ে ভালো কাজ করে যার শক্তিশালী মৌসুমী প্রভাব এবং ঐতিহাসিক ডেটার বেশ কয়েকটি ঋতু রয়েছে। প্রফেট অনুপস্থিত ডেটা এবং প্রবণতা পরিবর্তনের জন্য দৃঢ়, এবং সাধারণত বহিরাগতদের ভালভাবে পরিচালনা করে। নবী অ্যালগরিদম বাস্তবায়নের জন্য, আমরা ব্যবহার করি GluonTS সংস্করণ, যা কল করার জন্য একটি পাতলা মোড়ক fbপ্রফেট প্যাকেজ প্রথমত, আমরা সেজমেকার এস্টিমেটর ব্যবহার করে এইচপিও ছাড়াই একটি নবী মডেলকে প্রশিক্ষণ দিই। এর পরে, আমরা এর সাথে একটি সর্বোত্তম নবী মডেলকে প্রশিক্ষণ দিই সেজমেকার স্বয়ংক্রিয় মডেল টিউনিং (HPO) এবং আরও মডেল কর্মক্ষমতা উন্নত.
ছন্দোবিজ্ঞান | এইচপিও ছাড়া নবী সা | এইচপিও সহ নবী সা |
আরআরএসই | 0.183 | 0.147 |
মানচিত্র | 0.288 | 0.278 |
sMAPE | 0.278 | 0.289 |
প্রশিক্ষণের সময় (মিনিট) | - | 45.633 |
অনুমান সময় (সেকেন্ড) | 44.813 | 45.327 |
HPO টিউনিং সহ মেট্রিক মানগুলি একই পরীক্ষার ডেটাতে HPO টিউনিংবিহীন মানগুলির চেয়ে ছোট। এটি নির্দেশ করে যে এইচপিও টিউনিং মডেলের কর্মক্ষমতা আরও উন্নত করে।
HPO এর সাথে একটি সর্বোত্তম SageMaker DeepAR মডেলকে প্রশিক্ষণ দিন
সেজমেকার ডিপএআর ফোরকাস্টিং অ্যালগরিদম হল রিকারেন্ট নিউরাল নেটওয়ার্ক (RNN) ব্যবহার করে স্কেলার (এক-মাত্রিক) টাইম সিরিজের পূর্বাভাস দেওয়ার জন্য একটি তত্ত্বাবধান করা শেখার অ্যালগরিদম। ধ্রুপদী পূর্বাভাস পদ্ধতি, যেমন অটোরিগ্রেসিভ ইন্টিগ্রেটেড মুভিং এভারেজ (এআরআইএমএ) বা এক্সপোনেনশিয়াল স্মুথিং (ইটিএস), প্রতিটি পৃথক টাইম সিরিজে একটি একক মডেলের সাথে মানানসই। তারা তখন সেই মডেলটি ব্যবহার করে ভবিষ্যতের টাইম সিরিজ এক্সট্রাপোলেট করতে।
অনেক অ্যাপ্লিকেশনে, যাইহোক, ক্রস-বিভাগীয় ইউনিটগুলির একটি সেট জুড়ে আপনার কাছে অনেকগুলি অনুরূপ টাইম সিরিজ রয়েছে। উদাহরণস্বরূপ, বিভিন্ন পণ্যের চাহিদা, সার্ভার লোড এবং ওয়েবপৃষ্ঠাগুলির জন্য অনুরোধের জন্য আপনার কাছে টাইম সিরিজ গ্রুপিং থাকতে পারে। এই ধরনের অ্যাপ্লিকেশানের জন্য, আপনি সমস্ত সময় সিরিজে যৌথভাবে একটি একক মডেলকে প্রশিক্ষণ দিয়ে উপকৃত হতে পারেন। DeepAR এই পদ্ধতি গ্রহণ করে। যখন আপনার ডেটাসেটে শত শত সম্পর্কিত টাইম সিরিজ থাকে, তখন DeepAR স্ট্যান্ডার্ড ARIMA এবং ETS পদ্ধতিগুলিকে ছাড়িয়ে যায়। এছাড়াও আপনি প্রশিক্ষিত মডেলটি ব্যবহার করতে পারেন নতুন টাইম সিরিজের জন্য পূর্বাভাস তৈরি করতে যা এটিকে প্রশিক্ষিত করা হয়েছে। DeepAR এর পিছনের গণিত সম্পর্কে তথ্যের জন্য, দেখুন DeepAR: অটোরিগ্রেসিভ রিকারেন্ট নেটওয়ার্কের সাথে সম্ভাব্য পূর্বাভাস.
পূর্ববর্তী মডেলের সেটিংসের মতো, আমরা প্রথমে HPO ছাড়াই একটি DeepAR মডেলকে প্রশিক্ষণ দিই। এর পরে, আমরা HPO এর সাথে একটি সর্বোত্তম DeepAR মডেলকে প্রশিক্ষণ দিই। তারপরে আমরা একটি শেষ পয়েন্টে সেরা মডেলটি স্থাপন করি যা আমরা ভবিষ্যদ্বাণীর জন্য জিজ্ঞাসা করতে পারি। নিম্নলিখিত টেবিল মডেল কর্মক্ষমতা তুলনা.
ছন্দোবিজ্ঞান | HPO ছাড়া DeepAR | HPO সহ DeepAR |
আরআরএসই | 0.136 | 0.098 |
মানচিত্র | 0.087 | 0.099 |
sMAPE | 0.104 | 0.116 |
প্রশিক্ষণের সময় (মিনিট) | 24.048 | 210.530 |
অনুমান সময় (সেকেন্ড) | 68.411 | 72.829 |
HPO টিউনিং সহ মেট্রিক্সের মানগুলি একই পরীক্ষার ডেটাতে HPO টিউনিং ছাড়ার তুলনায় ছোট। এটি নির্দেশ করে যে এইচপিও টিউনিং মডেলের কর্মক্ষমতা আরও উন্নত করে।
একই হোল্ডআউট পরীক্ষার ডেটাতে তিনটি অ্যালগরিদমের মডেল কর্মক্ষমতা মূল্যায়ন করুন
এই বিভাগে, আমরা HPO থেকে প্রশিক্ষিত তিনটি মডেলের মডেল পারফরম্যান্সের তুলনা করি। ইনপুট ডেটার উপর ভিত্তি করে, বিভিন্ন ইনপুট ডেটাসেটের জন্য তুলনা পরিবর্তিত হতে পারে। এই পোস্টে ব্যবহৃত নমুনা বিদ্যুত ইনপুট ডেটার জন্য তিনটি অ্যালগরিদমের তুলনা করে নিচের টেবিলটি।
ছন্দোবিজ্ঞান | HPO সহ LSTNet | এইচপিও সহ নবী সা | HPO সহ DeepAR |
আরআরএসই | 0.506 | 0.147 | 0.098 |
মানচিত্র | 0.302 | 0.278 | 0.099 |
sMAPE | 0.323 | 0.289 | 0.116 |
প্রশিক্ষণের সময় (মিনিট) | 57.242 | 45.633 | 210.530 |
অনুমান সময় (সেকেন্ড) | 5.340 | 45.327 | 72.829 |
নিম্নলিখিত পরিসংখ্যান এই ফলাফল কল্পনা.
নিম্নলিখিত চিত্রটি ফলাফলগুলি কল্পনা করার আরেকটি উপায়।
প্রশিক্ষণ এবং পরীক্ষার তথ্য (গ্রাউন্ড ট্রুথ) প্লটে কালো কঠিন রেখা (লাল উল্লম্ব রেখা দ্বারা পৃথক) হিসাবে দেখানো হয়েছে। বিভিন্ন পূর্বাভাস অ্যালগরিদম থেকে ভবিষ্যদ্বাণী ড্যাশ লাইন হিসাবে দেখানো হয়. ড্যাশ লাইন কালো কঠিন রেখার যত কাছে আসবে, ভবিষ্যদ্বাণী তত বেশি নির্ভুল।
পরিষ্কার কর
যখন আপনি এই সমাধানটি শেষ করেছেন, তখন নিশ্চিত করুন যে আপনি অনাকাঙ্ক্ষিত চার্জগুলি এড়াতে সমস্ত অবাঞ্ছিত AWS সংস্থান মুছে ফেলেছেন৷ সমাধান নোটবুক ক্লিনআপ কোড প্রদান করে। সমাধান ট্যাবে, আপনিও বেছে নিতে পারেন সমস্ত সংস্থান মুছুন মধ্যে সমাধান মুছুন অধ্যায়.
উপসংহার
এই পোস্টে, আমরা তিনটি অত্যাধুনিক টাইম সিরিজ অ্যালগরিদম ব্যবহার করে চাহিদার পূর্বাভাস কাজের জন্য একটি এন্ড-টু-এন্ড সমাধান প্রবর্তন করেছি: LSTNet, Prophet, এবং SageMaker DeepAR, যা GluonTS এবং SageMaker-এ উপলব্ধ। আমরা তিনটি প্রশিক্ষণ পদ্ধতি নিয়ে আলোচনা করেছি: GluonTS ব্যবহার করে একটি সর্বোত্তম LSTNet মডেলকে প্রশিক্ষণ, GluonTS ব্যবহার করে একটি সর্বোত্তম নবী মডেলকে প্রশিক্ষণ, এবং HPO এর সাথে একটি সর্বোত্তম সেজমেকার ডিপএআর মডেলকে প্রশিক্ষণ দেওয়া। এগুলির প্রতিটির জন্য, আমরা প্রথমে HPO ছাড়াই মডেলকে প্রশিক্ষণ দিয়েছি, এবং তারপর HPO-এর সাথে মডেলটিকে প্রশিক্ষণ দিয়েছি। আমরা RRSE, MAPE, এবং sMAPE নামক মেট্রিক্সের তুলনা করে HPO-এর সাথে মডেলের কর্মক্ষমতা কীভাবে বৃদ্ধি পায় তা প্রদর্শন করেছি।
এই পোস্টে, আমরা আমাদের ইনপুট ডেটাসেট হিসাবে বিদ্যুৎ ডেটা ব্যবহার করেছি। যাইহোক, আপনি ইনপুট পরিবর্তন করতে পারেন এবং একটি S3 বালতিতে আপনার নিজস্ব ডেটা আনতে পারেন। আপনি মডেলগুলিকে প্রশিক্ষণ দিতে এবং বিভিন্ন কর্মক্ষমতা ফলাফল পেতে সেই ডেটা ব্যবহার করতে পারেন এবং সেই অনুযায়ী সেরা অ্যালগরিদম বেছে নিতে পারেন।
সেজমেকার কনসোলে, স্টুডিও খুলুন এবং শুরু করতে জাম্পস্টার্টে সমাধানটি চালু করুন, অথবা আপনি সমাধানটি পরীক্ষা করে দেখতে পারেন GitHub সংগ্রহস্থল কোড এবং আরও তথ্য পর্যালোচনা করতে।
লেখক সম্পর্কে
অলক ঈশ্বরদাস শিকাগো, ইলিনয় ভিত্তিক AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি ব্যবসায়িক চ্যালেঞ্জগুলি সমাধানের জন্য AWS পরিষেবাগুলি ব্যবহার করে গ্রাহকদের ক্লাউড আর্কিটেকচার ডিজাইন করতে সহায়তা করার বিষয়ে উত্সাহী৷ তিনি কম্পিউটার সায়েন্স ইঞ্জিনিয়ারিংয়ে স্নাতকোত্তর ডিগ্রি অর্জন করেছেন। AWS-এ যোগদানের আগে, তিনি বিভিন্ন স্বাস্থ্যসেবা সংস্থার জন্য কাজ করেছেন এবং জটিল সিস্টেম, প্রযুক্তি উদ্ভাবন এবং গবেষণার স্থাপত্যের গভীর অভিজ্ঞতা রয়েছে। সে তার মেয়েদের সাথে আড্ডা দেয় এবং তার অবসর সময়ে বাইরে ঘুরে বেড়ায়।
ডঃ জিন হুয়াং Amazon SageMaker JumpStart এবং Amazon SageMaker বিল্ট-ইন অ্যালগরিদমের জন্য একজন ফলিত বিজ্ঞানী। তিনি স্কেলেবল মেশিন লার্নিং অ্যালগরিদম বিকাশের দিকে মনোনিবেশ করেন। তার গবেষণার আগ্রহগুলি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, ট্যাবুলার ডেটার উপর ব্যাখ্যাযোগ্য গভীর শিক্ষা এবং নন-প্যারামেট্রিক স্পেস-টাইম ক্লাস্টারিংয়ের শক্তিশালী বিশ্লেষণের ক্ষেত্রে।
- "
- 10
- 100
- 11
- 2019
- 7
- a
- ক্ষমতা
- সম্পর্কে
- পরম
- প্রবেশ
- তদনুসারে
- হিসাব
- সঠিক
- দিয়ে
- সক্রিয়
- অতিরিক্ত
- সুবিধা
- অ্যালগরিদম
- আলগোরিদিম
- সব
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- বিশ্লেষণ
- অন্য
- API গুলি
- আবেদন
- অ্যাপ্লিকেশন
- ফলিত
- অভিগমন
- পন্থা
- স্থাপত্য
- এলাকায়
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়করণ
- সহজলভ্য
- গড়
- ডেস্কটপ AWS
- আগে
- পিছনে
- সুবিধা
- সর্বোত্তম
- উত্তম
- কালো
- সাহসী
- সীমান্ত
- আনা
- নির্মাণ করা
- বিল্ট-ইন
- ব্যবসায়
- ব্যবসা
- ক্যালিফোর্নিয়া
- সক্ষম
- কেস
- মামলা
- চ্যালেঞ্জ
- পরিবর্তন
- চার্জ
- পরীক্ষণ
- শিকাগো
- বেছে নিন
- কাছাকাছি
- মেঘ
- কোড
- কোম্পানি
- কোম্পানি
- তুলনা
- প্রতিযোগিতামূলক
- সম্পূর্ণ
- জটিল
- কম্পিউটার
- কম্পিউটার বিজ্ঞান
- কনসোল
- খরচ
- ধারণ
- অনুরূপ
- পারা
- সৃষ্টি
- তৈরি করা হচ্ছে
- ক্রেতা
- গ্রাহক অভিজ্ঞতা
- গ্রাহকদের
- দৈনিক
- হানাহানি
- উপাত্ত
- দিন
- দিন
- ডিলিং
- সিদ্ধান্ত
- গভীর
- চাহিদা
- প্রদর্শন
- প্রদর্শিত
- স্থাপন
- বিস্তৃতি
- নকশা
- উন্নয়নশীল
- ডিভাইস
- বিভিন্ন
- প্রতি
- প্রভাব
- বিদ্যুৎ
- সর্বশেষ সীমা
- শেষপ্রান্ত
- শক্তি
- প্রকৌশল
- মূল্যায়ন
- মূল্যায়ন
- উদাহরণ
- অভিজ্ঞতা
- দ্রুত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ক্ষেত্রসমূহ
- ব্যক্তিত্ব
- পরিশেষে
- অর্থ
- খুঁজে বের করে
- প্রথম
- ফিট
- গুরুত্ত্ব
- অনুসরণ
- অনুসরণ
- ফ্রেমওয়ার্ক
- অবকাঠামো
- বিনামূল্যে
- থেকে
- অধিকতর
- ভবিষ্যৎ
- উত্পাদন করা
- উত্পন্ন
- প্রজন্ম
- GitHub
- ঘটা
- স্বাস্থ্যসেবা
- উচ্চতা
- সাহায্য
- এখানে
- উচ্চ
- অত্যন্ত
- ভাড়া
- ঐতিহাসিক
- পরিবার
- পরিবারের
- কিভাবে
- কিভাবে
- যাহোক
- HTTPS দ্বারা
- শত শত
- আইকন
- ইলিনয়
- বাস্তবায়ন
- উন্নত করা
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- ইঙ্গিত
- স্বতন্ত্র
- শিল্প
- তথ্য
- পরিকাঠামো
- ইনোভেশন
- ইনপুট
- উদাহরণ
- সংহত
- মধ্যে রয়েছে
- জায়
- বিনিয়োগ
- IOT
- iot ডিভাইস
- IT
- জানুয়ারী
- কাজ
- জবস
- যোগদান
- পরিচিত
- ভাষা
- শুরু করা
- লঞ্চ
- বিশালাকার
- শিক্ষা
- লাইন
- লাইন
- অবস্থানগুলি
- সরবরাহ
- খুঁজছি
- মেশিন
- মেশিন লার্নিং
- করা
- তৈরি করে
- পরিচালিত
- মাস্টার্স
- উপকরণ
- অংক
- পদ্ধতি
- ছন্দোবিজ্ঞান
- হতে পারে
- ML
- মডেল
- মডেল
- মাস
- অধিক
- চলন্ত
- বহু
- যথা
- প্রাকৃতিক
- চাহিদা
- নেটওয়ার্ক
- নেটওয়ার্ক
- পরবর্তী
- নোটবই
- সংখ্যা
- খোলা
- প্রর্দশিত
- অপ্টিমাইজেশান
- ক্রম
- সংগঠন
- অন্যান্য
- বিদেশে
- নিজের
- প্যাকেজ
- অংশ
- কামুক
- শতকরা হার
- কর্মক্ষমতা
- কাল
- পরিকল্পনা
- পরিকল্পনা সমূহ
- দরিদ্র
- ক্ষমতা
- ভবিষ্যদ্বাণী করা
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- আগে
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- উৎপাদন করা
- পণ্য
- পণ্য
- প্রদত্ত
- উপলব্ধ
- উদ্দেশ্য
- সিকি
- কাঁচা
- সুপারিশ করা
- অনুরোধ
- প্রয়োজন
- গবেষণা
- Resources
- ফলাফল
- খুচরা
- এখানে ক্লিক করুন
- শিকড়
- চালান
- দৌড়
- বিক্রয়
- একই
- মাপযোগ্য
- স্কেল
- স্কুল
- বিজ্ঞান
- বিজ্ঞানী
- সেকেন্ড
- নির্বাচিত
- ক্রম
- সেবা
- সেবা
- সেট
- বিভিন্ন
- স্বল্পমেয়াদী
- ঘাটতি
- প্রদর্শনী
- প্রদর্শিত
- অনুরূপ
- সহজ
- একক
- কঠিন
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- নির্দিষ্ট
- মান
- শুরু
- রাষ্ট্র-এর-শিল্প
- অবস্থা
- স্টক
- স্টোরেজ
- স্ট্রিমিং
- স্ট্রিমিং পরিষেবা
- স্ট্রিমলাইন
- শক্তিশালী
- চিত্রশালা
- সিস্টেম
- প্রযুক্তিঃ
- পরীক্ষা
- পরীক্ষামূলক
- সার্জারির
- অতএব
- তিন
- দ্বারা
- টিকিট
- সময়
- ঐতিহ্যগত
- রেলগাড়ি
- প্রশিক্ষণ
- পরিবহন
- প্রবণতা
- সাধারণত
- বোঝা
- ইউনিট
- বিশ্ববিদ্যালয়
- ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়
- ব্যবহার
- ব্যবহারকারী
- ইউটিলিটি
- ব্যবহার
- বৈধতা
- বিভিন্ন
- সংস্করণ
- ভিডিও
- সপ্তাহান্তিক কাল
- সাপ্তাহিক
- কি
- উইকিপিডিয়া
- ছাড়া
- কাজ করছে
- কাজ
- লেখা
- আপনার