Amazon Forecast এবং Amazon SageMaker কাস্টম মডেলের সাথে Bosch-এ বড় আকারের আয়ের পূর্বাভাস

এই পোস্টটি Bosch Center for Artificial Intelligence (BCAI) থেকে Goktug Cinar, Michael Binder, এবং Adrian Horvath দ্বারা সহ-লিখিত।

রাজস্ব পূর্বাভাস বেশিরভাগ সংস্থায় কৌশলগত ব্যবসায়িক সিদ্ধান্ত এবং আর্থিক পরিকল্পনার জন্য একটি চ্যালেঞ্জিং কিন্তু গুরুত্বপূর্ণ কাজ। প্রায়ই, রাজস্ব পূর্বাভাস আর্থিক বিশ্লেষকদের দ্বারা ম্যানুয়ালি সঞ্চালিত হয় এবং এটি সময়সাপেক্ষ এবং বিষয়গত উভয়ই হয়। এই ধরনের ম্যানুয়াল প্রচেষ্টা বিশেষত বৃহৎ মাপের, বহুজাতিক ব্যবসায়িক সংস্থাগুলির জন্য চ্যালেঞ্জিং যেগুলির জন্য বিস্তৃত পণ্য গোষ্ঠী এবং ভৌগোলিক এলাকায় বিভিন্ন স্তরের গ্রানুলারিটির জন্য রাজস্ব পূর্বাভাস প্রয়োজন। এর জন্য শুধু নির্ভুলতা নয়, পূর্বাভাসের অনুক্রমিক সংগতিও প্রয়োজন।

বশ স্বয়ংচালিত, শিল্প সমাধান, এবং ভোগ্যপণ্য সহ একাধিক সেক্টরে কাজ করে এমন একটি বহুজাতিক কর্পোরেশন। সুস্থ ব্যবসা ক্রিয়াকলাপের উপর সঠিক এবং সুসংগত রাজস্ব পূর্বাভাসের প্রভাবের প্রেক্ষিতে, কৃত্রিম বুদ্ধিমত্তার জন্য বোশ সেন্টার (BCAI) আর্থিক পরিকল্পনা প্রক্রিয়ার দক্ষতা এবং নির্ভুলতা উন্নত করতে মেশিন লার্নিং (ML) ব্যবহারে প্রচুর বিনিয়োগ করছে। লক্ষ্য হল ML এর মাধ্যমে যুক্তিসঙ্গত বেসলাইন রাজস্ব পূর্বাভাস প্রদান করে ম্যানুয়াল প্রক্রিয়াগুলিকে উপশম করা, আর্থিক বিশ্লেষকরা তাদের শিল্প এবং ডোমেন জ্ঞান ব্যবহার করে শুধুমাত্র মাঝে মাঝে সামঞ্জস্যের প্রয়োজন।

এই লক্ষ্য অর্জনের জন্য, BCAI একটি অভ্যন্তরীণ পূর্বাভাস কাঠামো তৈরি করেছে যা বেস মডেলের বিস্তৃত পরিসরের কাস্টমাইজড ensembles এর মাধ্যমে বৃহৎ আকারের শ্রেণীবিন্যাস পূর্বাভাস প্রদান করতে সক্ষম। একজন মেটা-শিক্ষক প্রতিটি টাইম সিরিজ থেকে প্রাপ্ত বৈশিষ্ট্যের উপর ভিত্তি করে সেরা-পারফর্মিং মডেল নির্বাচন করে। নির্বাচিত মডেল থেকে পূর্বাভাস তারপর সমষ্টিগত পূর্বাভাস পেতে গড় করা হয়। স্থাপত্য নকশা একটি REST-শৈলী ইন্টারফেস বাস্তবায়নের মাধ্যমে মডুলারাইজড এবং এক্সটেনসিবল, যা অতিরিক্ত মডেল অন্তর্ভুক্ত করার মাধ্যমে ক্রমাগত কর্মক্ষমতা উন্নতির অনুমতি দেয়।

BCAI এর সাথে অংশীদারিত্ব করেছে অ্যামাজন এমএল সলিউশন ল্যাব (MLSL) রাজস্ব পূর্বাভাসের জন্য গভীর নিউরাল নেটওয়ার্ক (DNN)-ভিত্তিক মডেলগুলিতে সর্বশেষ অগ্রগতিগুলিকে অন্তর্ভুক্ত করতে। নিউরাল পূর্বাভাসকারীদের সাম্প্রতিক অগ্রগতিগুলি অনেক ব্যবহারিক পূর্বাভাস সমস্যার জন্য অত্যাধুনিক কর্মক্ষমতা প্রদর্শন করেছে। প্রথাগত পূর্বাভাস মডেলের তুলনায়, অনেক নিউরাল পূর্বাভাসকারী সময় সিরিজের অতিরিক্ত কোভেরিয়েট বা মেটাডেটা অন্তর্ভুক্ত করতে পারে। আমরা CNN-QR এবং DeepAR+, দুটি অফ-দ্য-শেল্ফ মডেল অন্তর্ভুক্ত করি আমাজন পূর্বাভাস, সেইসাথে একটি কাস্টম ট্রান্সফরমার মডেল ব্যবহার করে প্রশিক্ষিত আমাজন সেজমেকার. তিনটি মডেল এনকোডার ব্যাকবোনের একটি প্রতিনিধি সেট কভার করে যা প্রায়শই নিউরাল পূর্বাভাসে ব্যবহৃত হয়: কনভোল্যুশনাল নিউরাল নেটওয়ার্ক (সিএনএন), সিকুয়েন্সিয়াল রিকারেন্ট নিউরাল নেটওয়ার্ক (আরএনএন), এবং ট্রান্সফরমার-ভিত্তিক এনকোডার।

BCAI-MLSL অংশীদারিত্বের মুখোমুখি হওয়া প্রধান চ্যালেঞ্জগুলির মধ্যে একটি হল COVID-19-এর প্রভাবের অধীনে শক্তিশালী এবং যুক্তিসঙ্গত পূর্বাভাস প্রদান করা, একটি অভূতপূর্ব বৈশ্বিক ইভেন্ট যা বিশ্বব্যাপী কর্পোরেট আর্থিক ফলাফলের উপর ব্যাপক অস্থিরতা সৃষ্টি করে। যেহেতু স্নায়ু পূর্বাভাসকারীরা ঐতিহাসিক তথ্যের উপর প্রশিক্ষিত হয়, তাই আরও উদ্বায়ী সময়কাল থেকে বিতরণের বাইরের ডেটার উপর ভিত্তি করে তৈরি করা পূর্বাভাসগুলি ভুল এবং অবিশ্বস্ত হতে পারে। অতএব, আমরা এই সমস্যাটি সমাধানের জন্য ট্রান্সফরমার আর্কিটেকচারে একটি মুখোশযুক্ত মনোযোগের প্রক্রিয়া যুক্ত করার প্রস্তাব করেছি।

নিউরাল ফোরকাস্টারগুলিকে একটি একক এনসেম্বল মডেল হিসাবে বান্ডিল করা যেতে পারে, বা বোশের মডেল মহাবিশ্বে পৃথকভাবে অন্তর্ভুক্ত করা যেতে পারে এবং REST API শেষ পয়েন্টগুলির মাধ্যমে সহজেই অ্যাক্সেস করা যেতে পারে। আমরা ব্যাকটেস্ট ফলাফলের মাধ্যমে নিউরাল পূর্বাভাসকারীদের একত্রিত করার জন্য একটি পদ্ধতির প্রস্তাব করি, যা সময়ের সাথে প্রতিযোগিতামূলক এবং শক্তিশালী কর্মক্ষমতা প্রদান করে। উপরন্তু, আমরা পণ্য গোষ্ঠী, ভৌগোলিক, এবং ব্যবসা প্রতিষ্ঠান জুড়ে পূর্বাভাসগুলি সুসংহতভাবে একত্রিত হয় তা নিশ্চিত করার জন্য অনেকগুলি ধ্রুপদী স্তরবিন্যাস পুনর্মিলন কৌশলগুলি তদন্ত ও মূল্যায়ন করেছি৷

এই পোস্টে, আমরা নিম্নলিখিতগুলি প্রদর্শন করি:

• হায়ারার্কিক্যাল, বৃহৎ-স্কেল টাইম-সিরিজের পূর্বাভাস সমস্যাগুলির জন্য কীভাবে পূর্বাভাস এবং সেজমেকার কাস্টম মডেল প্রশিক্ষণ প্রয়োগ করবেন
• পূর্বাভাস থেকে অফ-দ্য-শেল্ফ মডেলগুলির সাথে কাস্টম মডেলগুলিকে কীভাবে সংযুক্ত করবেন৷
• কীভাবে ভবিষ্যদ্বাণী সমস্যাগুলির উপর COVID-19-এর মতো ব্যাঘাতমূলক ইভেন্টগুলির প্রভাব কমানো যায়
• কিভাবে AWS-এ এন্ড-টু-এন্ড ফোরকাস্টিং ওয়ার্কফ্লো তৈরি করবেন

চ্যালেঞ্জ

আমরা দুটি চ্যালেঞ্জ মোকাবেলা করেছি: শ্রেণিবদ্ধ, বৃহৎ আকারের রাজস্ব পূর্বাভাস তৈরি করা এবং দীর্ঘমেয়াদী পূর্বাভাসের উপর COVID-19 মহামারীর প্রভাব।

শ্রেণিবিন্যাস, বড় আকারের রাজস্ব পূর্বাভাস

আর্থিক বিশ্লেষকদের মূল আর্থিক পরিসংখ্যানের পূর্বাভাস দেওয়ার দায়িত্ব দেওয়া হয়, যার মধ্যে রাজস্ব, কর্মক্ষম খরচ এবং গবেষণা ও উন্নয়ন ব্যয়। এই মেট্রিকগুলি একত্রিতকরণের বিভিন্ন স্তরে ব্যবসায়িক পরিকল্পনার অন্তর্দৃষ্টি প্রদান করে এবং ডেটা-চালিত সিদ্ধান্ত গ্রহণকে সক্ষম করে। যেকোনো স্বয়ংক্রিয় পূর্বাভাস সমাধানের জন্য ব্যবসা-লাইন একত্রিতকরণের যেকোনো নির্বিচারে পূর্বাভাস প্রদান করতে হবে। বশ-এ, সমষ্টিগুলিকে শ্রেণিবদ্ধ কাঠামোর আরও সাধারণ রূপ হিসাবে গোষ্ঠীবদ্ধ সময় সিরিজ হিসাবে কল্পনা করা যেতে পারে। নীচের চিত্রটি একটি দ্বি-স্তরের কাঠামোর সাথে একটি সরলীকৃত উদাহরণ দেখায়, যা Bosch-এ অনুক্রমিক রাজস্ব পূর্বাভাস কাঠামোর অনুকরণ করে। মোট আয় পণ্য এবং অঞ্চলের উপর ভিত্তি করে একত্রিতকরণের একাধিক স্তরে বিভক্ত।

Bosch-এ যে টাইম সিরিজের পূর্বাভাস দিতে হবে তার মোট সংখ্যা লক্ষ লক্ষ। লক্ষ্য করুন যে শীর্ষ-স্তরের টাইম সিরিজকে পণ্য বা অঞ্চল দ্বারা বিভক্ত করা যেতে পারে, নীচের স্তরের পূর্বাভাসের একাধিক পথ তৈরি করে। 12 মাসের পূর্বাভাস দিগন্তের সাথে অনুক্রমের প্রতিটি নোডে রাজস্বের পূর্বাভাস করা দরকার। মাসিক ঐতিহাসিক তথ্য পাওয়া যায়.

নিম্নোক্ত ফর্মটি ব্যবহার করে ক্রমিক কাঠামোকে সমন্বিত ম্যাট্রিক্সের স্বরলিপি দিয়ে উপস্থাপন করা যেতে পারে S (হাইন্ডম্যান এবং অ্যাথানাসোপোলোস):

এই সমীকরণে, Y নিম্নলিখিত সমান:

এখানে, b সময়ে নিম্ন স্তরের সময়-সিরিজ প্রতিনিধিত্ব করে t.

COVID-19 মহামারীর প্রভাব

কোভিড-১৯ মহামারীটি কাজ এবং সামাজিক জীবনের প্রায় সব ক্ষেত্রেই এর ব্যাঘাতমূলক এবং অভূতপূর্ব প্রভাবের কারণে পূর্বাভাসের জন্য উল্লেখযোগ্য চ্যালেঞ্জ নিয়ে এসেছে। দীর্ঘমেয়াদী রাজস্ব পূর্বাভাসের জন্য, ব্যাঘাতটি অপ্রত্যাশিত নিম্নধারার প্রভাবও এনেছে। এই সমস্যাটি ব্যাখ্যা করার জন্য, নিম্নলিখিত চিত্রটি একটি নমুনা টাইম সিরিজ দেখায় যেখানে মহামারীর শুরুতে পণ্যের আয় উল্লেখযোগ্যভাবে হ্রাস পেয়েছে এবং পরে ধীরে ধীরে পুনরুদ্ধার হয়েছে। একটি সাধারণ নিউরাল ফোরকাস্টিং মডেল ঐতিহাসিক প্রসঙ্গ ইনপুট হিসাবে আউট-অফ-ডিস্ট্রিবিউশন (OOD) COVID পিরিয়ড সহ রাজস্ব ডেটা গ্রহণ করবে, সেইসাথে মডেল প্রশিক্ষণের মূল সত্য। ফলস্বরূপ, উত্পাদিত পূর্বাভাস আর নির্ভরযোগ্য নয়।

মডেলিং পন্থা

এই বিভাগে, আমরা আমাদের বিভিন্ন মডেলিং পদ্ধতি নিয়ে আলোচনা করি।

আমাজন পূর্বাভাস

পূর্বাভাস হল AWS-এর একটি সম্পূর্ণ-পরিচালিত AI/ML পরিষেবা যা প্রি-কনফিগার করা, অত্যাধুনিক টাইম সিরিজের পূর্বাভাস মডেলগুলি প্রদান করে। এটি স্বয়ংক্রিয় হাইপারপ্যারামিটার অপ্টিমাইজেশান, এনসেম্বল মডেলিং (পূর্বাভাস দ্বারা প্রদত্ত মডেলগুলির জন্য), এবং সম্ভাব্য পূর্বাভাস তৈরির জন্য তার অভ্যন্তরীণ ক্ষমতাগুলির সাথে এই অফারগুলিকে একত্রিত করে। এটি আপনাকে সহজেই কাস্টম ডেটাসেট, প্রিপ্রসেস ডেটা, ট্রেনের পূর্বাভাস মডেল এবং শক্তিশালী পূর্বাভাস তৈরি করতে দেয়। পরিষেবাটির মডুলার ডিজাইন আমাদের আরও সহজে অনুসন্ধান করতে এবং সমান্তরালভাবে তৈরি অতিরিক্ত কাস্টম মডেলগুলি থেকে ভবিষ্যদ্বাণীগুলিকে একত্রিত করতে সক্ষম করে৷

আমরা পূর্বাভাস থেকে দুটি নিউরাল পূর্বাভাসক অন্তর্ভুক্ত করেছি: CNN-QR এবং DeepAR+। উভয়ই তত্ত্বাবধানে গভীর শিক্ষার পদ্ধতি যা সমগ্র টাইম সিরিজ ডেটাসেটের জন্য একটি বৈশ্বিক মডেলকে প্রশিক্ষণ দেয়। CNNQR এবং DeepAR+ উভয় মডেলই প্রতিটি টাইম সিরিজ সম্পর্কে স্ট্যাটিক মেটাডেটা তথ্য নিতে পারে, যা আমাদের ক্ষেত্রে সংশ্লিষ্ট পণ্য, অঞ্চল এবং ব্যবসা প্রতিষ্ঠান। তারা স্বয়ংক্রিয়ভাবে মডেলটিতে ইনপুটের অংশ হিসাবে বছরের মাসের মতো অস্থায়ী বৈশিষ্ট্যগুলি যুক্ত করে।

COVID-এর জন্য মনোযোগের মুখোশ সহ ট্রান্সফরমার

ট্রান্সফরমার আর্কিটেকচার (ভাসওয়ানি প্রমুখ।), মূলত ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) এর জন্য ডিজাইন করা হয়েছে, সম্প্রতি সময় সিরিজের পূর্বাভাসের জন্য একটি জনপ্রিয় স্থাপত্য পছন্দ হিসেবে আবির্ভূত হয়েছে। এখানে, আমরা বর্ণিত ট্রান্সফরমার আর্কিটেকচার ব্যবহার করেছি ঝু এট আল। সম্ভাব্য লগ স্পার্স মনোযোগ ছাড়া. মডেলটি একটি এনকোডার এবং একটি ডিকোডারকে একত্রিত করে একটি সাধারণ আর্কিটেকচার ডিজাইন ব্যবহার করে। রাজস্ব পূর্বাভাসের জন্য, আমরা অটোরিগ্রেসিভ পদ্ধতিতে মাসে মাসে পূর্বাভাস তৈরি করার পরিবর্তে 12-মাসের দিগন্তের পূর্বাভাস সরাসরি আউটপুট করার জন্য ডিকোডারটিকে কনফিগার করি। টাইম সিরিজের ফ্রিকোয়েন্সির উপর ভিত্তি করে, ইনপুট পরিবর্তনশীল হিসাবে বছরের মাসের মতো অতিরিক্ত সময় সম্পর্কিত বৈশিষ্ট্যগুলি যোগ করা হয়। মেটা তথ্য বর্ণনাকারী অতিরিক্ত শ্রেণীগত ভেরিয়েবল (পণ্য, অঞ্চল, ব্যবসা প্রতিষ্ঠান) একটি প্রশিক্ষণযোগ্য এম্বেডিং স্তরের মাধ্যমে নেটওয়ার্কে খাওয়ানো হয়।

নিম্নলিখিত চিত্রটি ট্রান্সফরমার আর্কিটেকচার এবং মনোযোগের মুখোশের প্রক্রিয়াকে চিত্রিত করে। অটেনশন মাস্কিং সমস্ত এনকোডার এবং ডিকোডার স্তর জুড়ে প্রয়োগ করা হয়, যেমনটি কমলা রঙে হাইলাইট করা হয়েছে, যাতে পূর্বাভাসগুলিকে প্রভাবিত করা থেকে OOD ডেটা প্রতিরোধ করা হয়।

আমরা মনোযোগের মুখোশ যুক্ত করে OOD প্রসঙ্গ উইন্ডোর প্রভাব প্রশমিত করি। মডেলটিকে কোভিড সময়কালের প্রতি খুব কম মনোযোগ প্রয়োগ করার জন্য প্রশিক্ষিত করা হয় যাতে মুখোশের মাধ্যমে বহিরাগত থাকে এবং মুখোশযুক্ত তথ্যের সাথে পূর্বাভাস সম্পাদন করে। মনোযোগের মুখোশটি ডিকোডার এবং এনকোডার আর্কিটেকচারের প্রতিটি স্তর জুড়ে প্রয়োগ করা হয়। মুখোশযুক্ত উইন্ডোটি ম্যানুয়ালি বা একটি আউটলিয়ার সনাক্তকরণ অ্যালগরিদমের মাধ্যমে নির্দিষ্ট করা যেতে পারে। অতিরিক্তভাবে, প্রশিক্ষণের লেবেল হিসাবে আউটলায়ার ধারণ করে একটি টাইম উইন্ডো ব্যবহার করার সময়, ক্ষতিগুলি আবার প্রচারিত হয় না। এই মনোযোগ মাস্কিং-ভিত্তিক পদ্ধতিটি অন্যান্য বিরল ইভেন্টগুলির দ্বারা আনা ব্যাঘাত এবং OOD কেসগুলি পরিচালনা করতে এবং পূর্বাভাসের দৃঢ়তা উন্নত করতে প্রয়োগ করা যেতে পারে।

মডেল ensemble

মডেল এনসেম্বল প্রায়শই পূর্বাভাসের জন্য একক মডেলকে ছাড়িয়ে যায়-এটি মডেলের সাধারণীকরণের উন্নতি করে এবং পর্যায়ক্রমিকতা এবং বিরতির মধ্যে বিভিন্ন বৈশিষ্ট্যের সাথে সময় সিরিজের ডেটা পরিচালনা করতে আরও ভাল। আমরা মডেলের পারফরম্যান্স এবং পূর্বাভাসের দৃঢ়তা উন্নত করতে মডেল এনসেম্বল কৌশলগুলির একটি সিরিজ অন্তর্ভুক্ত করি। ডিপ লার্নিং মডেল এনসেম্বলের একটি সাধারণ রূপ হল মডেল রান থেকে বিভিন্ন র্যান্ডম ওয়েট ইনিশিয়ালাইজেশন বা বিভিন্ন প্রশিক্ষণের যুগ থেকে মোট ফলাফল সংগ্রহ করা। আমরা ট্রান্সফরমার মডেলের পূর্বাভাস পেতে এই কৌশলটি ব্যবহার করি।

ট্রান্সফরমার, CNNQR, এবং DeepAR+ এর মতো বিভিন্ন মডেল আর্কিটেকচারের উপরে আরও একটি সংমিশ্রণ তৈরি করতে, আমরা একটি প্যান-মডেল এনসেম্বল কৌশল ব্যবহার করি যা ব্যাকটেস্ট ফলাফলের উপর ভিত্তি করে প্রতিবারের সিরিজের জন্য সেরা-কে সেরা পারফরম্যান্স মডেলগুলি নির্বাচন করে এবং তাদের প্রাপ্ত গড় যেহেতু ব্যাকটেস্ট ফলাফল প্রশিক্ষিত পূর্বাভাস মডেলগুলি থেকে সরাসরি রপ্তানি করা যেতে পারে, এই কৌশলটি ট্রান্সফরমারের মতো কাস্টম মডেলগুলি থেকে অর্জিত উন্নতিগুলির সাথে পূর্বাভাসের মতো টার্নকি পরিষেবাগুলির সুবিধা নিতে সক্ষম করে৷ এই ধরনের একটি এন্ড-টু-এন্ড মডেল এনসেম্বল পদ্ধতির জন্য মডেল নির্বাচনের জন্য মেটা-শিক্ষককে প্রশিক্ষণ দেওয়া বা সময়ের সিরিজ বৈশিষ্ট্যগুলি গণনা করার প্রয়োজন হয় না।

অনুক্রমিক পুনর্মিলন

নিম্ন-উপর (BU), পূর্বাভাস অনুপাতের সাথে টপ-ডাউন পুনর্মিলন (TDFP), সাধারণ সর্বনিম্ন বর্গ (OLS), এবং ওজনযুক্ত সর্বনিম্ন বর্গাকার (বিউ) সহ অনুক্রমিক পূর্বাভাস পুনর্মিলনের জন্য পোস্টপ্রসেসিং পদক্ষেপ হিসাবে বিস্তৃত কৌশলগুলিকে অন্তর্ভুক্ত করার জন্য কাঠামোটি অভিযোজিত। WLS)। এই পোস্টের সমস্ত পরীক্ষামূলক ফলাফল পূর্বাভাসের অনুপাতের সাথে টপ-ডাউন পুনর্মিলন ব্যবহার করে রিপোর্ট করা হয়েছে।

আর্কিটেকচার ওভারভিউ

Forecast, SageMaker, সহ পরিষেবাগুলি ব্যবহার করে রাজস্ব পূর্বাভাস তৈরি করতে আমরা AWS-এ একটি স্বয়ংক্রিয় এন্ড-টু-এন্ড ওয়ার্কফ্লো তৈরি করেছি। আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3), এডাব্লুএস ল্যাম্বদা, এডাব্লুএস স্টেপ ফাংশন, এবং এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK)। স্থাপন করা সমাধান একটি REST API ব্যবহার করে পৃথক সময় সিরিজের পূর্বাভাস প্রদান করে অ্যামাজন এপিআই গেটওয়ে, পূর্বনির্ধারিত JSON বিন্যাসে ফলাফল ফেরত দিয়ে।

নিম্নলিখিত চিত্রটি শেষ থেকে শেষ পূর্বাভাস কর্মপ্রবাহকে চিত্রিত করে৷

স্থাপত্যের জন্য মূল নকশা বিবেচ্যতা হল বহুমুখিতা, কর্মক্ষমতা এবং ব্যবহারকারী-বন্ধুত্ব। ন্যূনতম প্রয়োজনীয় পরিবর্তন সহ, বিকাশ এবং স্থাপনার সময় বিভিন্ন অ্যালগরিদমের সেট অন্তর্ভুক্ত করার জন্য সিস্টেমটি যথেষ্ট বহুমুখী হওয়া উচিত এবং ভবিষ্যতে নতুন অ্যালগরিদম যোগ করার সময় সহজেই প্রসারিত করা যেতে পারে। প্রশিক্ষণের সময় কমাতে এবং দ্রুত সর্বশেষ পূর্বাভাস পেতে সিস্টেমের ন্যূনতম ওভারহেড যোগ করা উচিত এবং পূর্বাভাস এবং সেজমেকার উভয়ের জন্য সমান্তরাল প্রশিক্ষণ সমর্থন করা উচিত। অবশেষে, সিস্টেমটি পরীক্ষামূলক উদ্দেশ্যে ব্যবহার করা সহজ হওয়া উচিত।

এন্ড-টু-এন্ড ওয়ার্কফ্লো ক্রমানুসারে নিম্নলিখিত মডিউলগুলির মাধ্যমে চলে:

1. ডেটা রিফরম্যাটিং এবং রূপান্তরের জন্য একটি প্রিপ্রসেসিং মডিউল
2. সেজমেকারে পূর্বাভাস মডেল এবং কাস্টম মডেল উভয়কে অন্তর্ভুক্ত করে একটি মডেল প্রশিক্ষণ মডিউল (উভয়ই সমান্তরালভাবে চলছে)
3. একটি পোস্টপ্রসেসিং মডিউল সমর্থন করে মডেলের সংমিশ্রণ, অনুক্রমিক পুনর্মিলন, মেট্রিক্স এবং প্রতিবেদন তৈরি করা

স্টেপ ফাংশনগুলি স্টেট মেশিন হিসাবে শেষ থেকে শেষ পর্যন্ত ওয়ার্কফ্লোকে সংগঠিত করে এবং সাজায়। স্টেট মেশিন রান একটি JSON ফাইলের সাথে কনফিগার করা হয়েছে যাতে অ্যামাজন S3-এ ঐতিহাসিক রাজস্ব CSV ফাইলের অবস্থান, পূর্বাভাস শুরুর সময় এবং শেষ-থেকে-এন্ড ওয়ার্কফ্লো চালানোর জন্য মডেল হাইপারপ্যারামিটার সেটিংস সহ সমস্ত প্রয়োজনীয় তথ্য রয়েছে। Lambda ফাংশন ব্যবহার করে স্টেট মেশিনে মডেল প্রশিক্ষণকে সমান্তরাল করার জন্য অ্যাসিঙ্ক্রোনাস কল তৈরি করা হয়। সমস্ত ঐতিহাসিক তথ্য, কনফিগারেশন ফাইল, পূর্বাভাস ফলাফল, পাশাপাশি মধ্যবর্তী ফলাফল যেমন ব্যাকটেস্টিং ফলাফল Amazon S3 এ সংরক্ষণ করা হয়। REST API-টি Amazon S3-এর উপরে তৈরি করা হয়েছে যাতে পূর্বাভাসের ফলাফলগুলি অনুসন্ধান করার জন্য একটি অনুসন্ধানযোগ্য ইন্টারফেস প্রদান করা হয়। নতুন পূর্বাভাস মডেল এবং পূর্বাভাস ভিজ্যুয়ালাইজেশন রিপোর্ট তৈরি করার মতো সহায়ক ফাংশন অন্তর্ভুক্ত করার জন্য সিস্টেমটি প্রসারিত করা যেতে পারে।

মূল্যায়ন

এই বিভাগে, আমরা পরীক্ষা সেটআপের বিশদ বিবরণ দিই। মূল উপাদানগুলির মধ্যে ডেটাসেট, মূল্যায়ন মেট্রিক্স, ব্যাকটেস্ট উইন্ডো এবং মডেল সেটআপ এবং প্রশিক্ষণ অন্তর্ভুক্ত।

ডেটা সেটটি

একটি অর্থপূর্ণ ডেটাসেট ব্যবহার করার সময় Bosch-এর আর্থিক গোপনীয়তা রক্ষা করার জন্য, আমরা একটি সিন্থেটিক ডেটাসেট ব্যবহার করেছি যার পরিসংখ্যানগত বৈশিষ্ট্যগুলি Bosch-এর একটি ব্যবসায়িক ইউনিট থেকে একটি বাস্তব-বিশ্ব আয় ডেটাসেটের মতো। ডেটাসেটটিতে মোট 1,216টি টাইম সিরিজ রয়েছে যার মধ্যে একটি মাসিক ফ্রিকোয়েন্সি রেকর্ড করা হয়েছে, যা জানুয়ারী 2016 থেকে এপ্রিল 2022 পর্যন্ত কভার করে৷ ডেটাসেটটি 877টি টাইম সিরিজের সাথে সবচেয়ে দানাদার স্তরে (নীচের টাইম সিরিজ) বিতরণ করা হয়েছে, একটি অনুরূপ গোষ্ঠীবদ্ধ সময় সিরিজ কাঠামোর সাথে উপস্থাপন করা হয়েছে৷ একটি সংক্ষিপ্ত ম্যাট্রিক্স এস হিসাবে। প্রতিবার সিরিজ তিনটি স্ট্যাটিক ক্যাটাগরিকাল অ্যাট্রিবিউটের সাথে যুক্ত থাকে, যা প্রকৃত ডেটাসেটে পণ্যের বিভাগ, অঞ্চল এবং সাংগঠনিক ইউনিটের সাথে মিলে যায় (সিন্থেটিক ডেটাতে বেনামী)।

মূল্যায়ন মেট্রিক্স

মডেলের কর্মক্ষমতা মূল্যায়ন করতে এবং তুলনামূলক বিশ্লেষণ করতে আমরা মধ্য-মাঝারি আর্কটেনজেন্ট পরম শতাংশ ত্রুটি (মিডিয়ান-এমএএপিই) এবং ওজনযুক্ত-এমএএপিই ব্যবহার করি, যা বোশ-এ ব্যবহৃত মানক মেট্রিক। MAAPE সাধারণত ব্যবসার প্রসঙ্গে ব্যবহৃত গড় পরসেন্টেজ ত্রুটি (MAPE) মেট্রিকের ত্রুটিগুলিকে সম্বোধন করে। মিডিয়ান-এমএএপিই প্রতিটি টাইম সিরিজে পৃথকভাবে গণনা করা এমএএপিই-এর মধ্যমা গণনা করে মডেল পারফরম্যান্সের একটি ওভারভিউ দেয়। ওজনযুক্ত-MAAPE পৃথক MAAPE-এর একটি ওজনযুক্ত সমন্বয় রিপোর্ট করে। ওজন হল সমগ্র ডেটাসেটের সমষ্টিগত আয়ের তুলনায় প্রতিটি টাইম সিরিজের আয়ের অনুপাত। ওয়েটেড-এমএএপিই পূর্বাভাসের নির্ভুলতার নিম্নধারার ব্যবসায়িক প্রভাবগুলিকে আরও ভালভাবে প্রতিফলিত করে। উভয় মেট্রিক্স 1,216 টাইম সিরিজের সমগ্র ডেটাসেটে রিপোর্ট করা হয়েছে।

ব্যাকটেস্ট উইন্ডোজ

মডেল পারফরম্যান্সের তুলনা করার জন্য আমরা রোলিং 12-মাসের ব্যাকটেস্ট উইন্ডো ব্যবহার করি। নিম্নলিখিত চিত্রটি পরীক্ষায় ব্যবহৃত ব্যাকটেস্ট উইন্ডোগুলিকে চিত্রিত করে এবং প্রশিক্ষণ এবং হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) এর জন্য ব্যবহৃত সংশ্লিষ্ট ডেটা হাইলাইট করে। COVID-19 শুরু হওয়ার পরে ব্যাকটেস্ট উইন্ডোগুলির জন্য, রেভিনিউ টাইম সিরিজ থেকে আমরা যা পর্যবেক্ষণ করেছি তার ভিত্তিতে এপ্রিল থেকে মে 2020 পর্যন্ত OOD ইনপুট দ্বারা ফলাফল প্রভাবিত হয়।

মডেল সেটআপ এবং প্রশিক্ষণ

ট্রান্সফরমার প্রশিক্ষণের জন্য, আমরা কোয়ান্টাইল লস ব্যবহার করেছি এবং ট্রান্সফরমারে এটি খাওয়ানোর আগে এবং প্রশিক্ষণের ক্ষতি গণনা করার আগে এর ঐতিহাসিক গড় মান ব্যবহার করে প্রতিবার সিরিজ স্কেল করেছি। বাস্তবায়িত MeanScaler ব্যবহার করে নির্ভুলতা মেট্রিক্স গণনা করার জন্য চূড়ান্ত পূর্বাভাসগুলি পুনরায় স্কেল করা হয় GluonTS. আমরা গত 18 মাসের মাসিক আয়ের ডেটা সহ একটি প্রসঙ্গ উইন্ডো ব্যবহার করি, জুলাই 2018 থেকে জুন 2019 পর্যন্ত ব্যাকটেস্ট উইন্ডোতে HPO-এর মাধ্যমে নির্বাচিত। স্ট্যাটিক ক্যাটাগরিকাল ভেরিয়েবলের আকারে প্রতিটি টাইম সিরিজ সম্পর্কে অতিরিক্ত মেটাডেটা একটি এম্বেডিংয়ের মাধ্যমে মডেলে দেওয়া হয়। ট্রান্সফরমার স্তরে এটি খাওয়ানোর আগে স্তর. আমরা ট্রান্সফরমারটিকে পাঁচটি ভিন্ন ভিন্ন র্যান্ডম ওজনের প্রাথমিককরণের সাথে প্রশিক্ষণ দিই এবং প্রতিটি রানের জন্য শেষ তিনটি যুগের পূর্বাভাস ফলাফলের গড় গড় করে মোট 15টি মডেল। প্রশিক্ষণের সময় কমানোর জন্য পাঁচটি মডেল প্রশিক্ষণ রান সমান্তরাল করা যেতে পারে। মুখোশযুক্ত ট্রান্সফরমারের জন্য, আমরা এপ্রিল থেকে মে 2020 পর্যন্ত মাসগুলিকে বহিরাগত হিসাবে নির্দেশ করি।

সমস্ত পূর্বাভাস মডেল প্রশিক্ষণের জন্য, আমরা স্বয়ংক্রিয় HPO সক্ষম করেছি, যা ব্যবহারকারী-নির্দিষ্ট ব্যাকটেস্ট সময়ের উপর ভিত্তি করে মডেল এবং প্রশিক্ষণের পরামিতি নির্বাচন করতে পারে, যা প্রশিক্ষণ এবং HPO-এর জন্য ব্যবহৃত ডেটা উইন্ডোতে গত 12 মাসে সেট করা হয়।

পরীক্ষার ফলাফল

আমরা হাইপারপ্যারামিটারের একই সেট ব্যবহার করে মুখোশযুক্ত এবং মুখোশহীন ট্রান্সফরমারদের প্রশিক্ষণ দিই এবং COVID-19 শকের পরপরই ব্যাকটেস্ট উইন্ডোগুলির জন্য তাদের কার্যকারিতা তুলনা করি। মুখোশযুক্ত ট্রান্সফরমারে, দুটি মুখোশযুক্ত মাস হল এপ্রিল এবং মে 2020৷ নিম্নলিখিত সারণীটি জুন 12 থেকে শুরু হওয়া 2020 মাসের পূর্বাভাস উইন্ডো সহ ব্যাকটেস্ট পিরিয়ডের একটি সিরিজের ফলাফলগুলি দেখায়৷ আমরা লক্ষ্য করতে পারি যে মুখোশযুক্ত ট্রান্সফরমারটি ধারাবাহিকভাবে আনমাস্কড সংস্করণকে ছাড়িয়ে যাচ্ছে .

আমরা ব্যাকটেস্ট ফলাফলের উপর ভিত্তি করে মডেল এনসেম্বল কৌশলের উপর আরও মূল্যায়ন করেছি। বিশেষ করে, আমরা দুটি ক্ষেত্রে তুলনা করি যখন শুধুমাত্র সেরা পারফরমিং মডেল নির্বাচন করা হয় বনাম যখন সেরা দুটি পারফর্মিং মডেল নির্বাচন করা হয়, এবং মডেল গড় পূর্বাভাসের গড় মান গণনা করে সঞ্চালিত হয়। আমরা নিম্নলিখিত পরিসংখ্যানগুলিতে বেস মডেল এবং এনসেম্বল মডেলগুলির কর্মক্ষমতা তুলনা করি। লক্ষ্য করুন যে স্নায়ুর পূর্বাভাসকারীর কেউই ধারাবাহিকভাবে রোলিং ব্যাকটেস্ট উইন্ডোগুলির জন্য অন্যদের থেকে বেশি পারফর্ম করে না।

নিম্নলিখিত সারণী দেখায় যে, গড়পড়তা, শীর্ষ দুটি মডেলের মডেলিং সেরা পারফরম্যান্স দেয়। CNNQR দ্বিতীয় সেরা ফলাফল প্রদান করে।

উপসংহার

এই পোস্টটি দেখিয়েছে যে কীভাবে পূর্বাভাস এবং সেজমেকার-এ প্রশিক্ষিত একটি কাস্টম মডেলের সমন্বয়ে বড় আকারের পূর্বাভাস সমস্যার জন্য একটি এন্ড-টু-এন্ড এমএল সমাধান তৈরি করা যায়। আপনার ব্যবসার চাহিদা এবং এমএল জ্ঞানের উপর নির্ভর করে, আপনি একটি পূর্বাভাস মডেলের বিল্ড, ট্রেন এবং স্থাপনার প্রক্রিয়া অফলোড করতে পূর্বাভাসের মতো একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা ব্যবহার করতে পারেন; SageMaker এর সাথে নির্দিষ্ট টিউনিং মেকানিজম দিয়ে আপনার কাস্টম মডেল তৈরি করুন; অথবা দুটি পরিষেবা একত্রিত করে মডেল এনসেম্বলিং সঞ্চালন করুন।

আপনি যদি আপনার পণ্য এবং পরিষেবাগুলিতে ML-এর ব্যবহার ত্বরান্বিত করতে সাহায্য করতে চান তবে অনুগ্রহ করে যোগাযোগ করুন অ্যামাজন এমএল সলিউশন ল্যাব প্রোগ্রাম.

তথ্যসূত্র

Hyndman RJ, Athanasopoulos G. পূর্বাভাস: নীতি এবং অনুশীলন। OTটেক্সট; 2018 মে 8.

Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser Ł, Polosukhin I. মনোযোগ আপনার প্রয়োজন। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি। 2017;30।

Zhou H, Zhang S, Peng J, Zhang S, Li J, Xiong H, Zhang W. Informer: Beyond Efficient Transformer for long sequence time-series forecasting. AAAI 2021-এর কার্যক্রম 2 ফেব্রুয়ারি।

---

লেখক সম্পর্কে

গোকতুগ সিনার রবার্ট বোশ এলএলসি এবং কৃত্রিম বুদ্ধিমত্তার জন্য বোশ সেন্টারে ML-এর টেকনিক্যাল লিড এবং পরিসংখ্যান-ভিত্তিক পূর্বাভাসের একজন প্রধান এমএল বিজ্ঞানী। তিনি পূর্বাভাস মডেল, শ্রেণিবিন্যাস একত্রীকরণ এবং মডেল সমন্বয় কৌশলগুলির পাশাপাশি সফ্টওয়্যার ডেভেলপমেন্ট টিমের গবেষণায় নেতৃত্ব দেন যা এই মডেলগুলিকে স্কেল করে এবং অভ্যন্তরীণ শেষ থেকে শেষ আর্থিক পূর্বাভাস সফ্টওয়্যারের অংশ হিসাবে পরিবেশন করে।

মাইকেল বাইন্ডার Bosch Global Services-এর একজন পণ্যের মালিক, যেখানে তিনি আর্থিক মূল পরিসংখ্যানগুলির বৃহৎ-স্কেল স্বয়ংক্রিয় ডেটা চালিত পূর্বাভাসের জন্য কোম্পানির ব্যাপক ভবিষ্যদ্বাণীমূলক বিশ্লেষণ অ্যাপ্লিকেশনের উন্নয়ন, স্থাপনা এবং বাস্তবায়নের সমন্বয় করেন।

আদ্রিয়ান হরভাথ কৃত্রিম বুদ্ধিমত্তার জন্য বশ সেন্টারের একজন সফ্টওয়্যার বিকাশকারী, যেখানে তিনি বিভিন্ন পূর্বাভাস মডেলের উপর ভিত্তি করে ভবিষ্যদ্বাণী তৈরি করার জন্য সিস্টেমগুলি বিকাশ এবং রক্ষণাবেক্ষণ করেন।

প্যানপান জু AWS-এ Amazon ML Solutions Lab-এর একজন সিনিয়র ফলিত বিজ্ঞানী এবং ম্যানেজার৷ তিনি তাদের AI এবং ক্লাউড গ্রহণকে ত্বরান্বিত করার জন্য বিভিন্ন শিল্প উল্লম্বে উচ্চ-প্রভাবিত গ্রাহক অ্যাপ্লিকেশনগুলির জন্য মেশিন লার্নিং অ্যালগরিদমগুলির গবেষণা এবং উন্নয়নে কাজ করছেন৷ তার গবেষণার আগ্রহের মধ্যে রয়েছে মডেল ব্যাখ্যাযোগ্যতা, কার্যকারণ বিশ্লেষণ, হিউম্যান-ইন-দ্য-লুপ এআই এবং ইন্টারেক্টিভ ডেটা ভিজ্যুয়ালাইজেশন।

জসলিন গ্রেওয়াল অ্যামাজন ওয়েব সার্ভিসেস-এর একজন ফলিত বিজ্ঞানী, যেখানে তিনি মেশিন লার্নিং ব্যবহার করে বাস্তব বিশ্বের সমস্যা সমাধানের জন্য AWS গ্রাহকদের সাথে কাজ করেন, বিশেষ মনোযোগ মেডিসিন এবং জিনোমিক্সের উপর। বায়োইনফরমেটিক্স, অনকোলজি এবং ক্লিনিকাল জিনোমিক্সে তার একটি শক্তিশালী পটভূমি রয়েছে। তিনি রোগীর যত্ন উন্নত করতে AI/ML এবং ক্লাউড পরিষেবাগুলি ব্যবহার করার বিষয়ে উত্সাহী৷

সেলভান সেন্টিভেল তিনি AWS-এ Amazon ML সলিউশন ল্যাব-এর একজন সিনিয়র ML ইঞ্জিনিয়ার, মেশিন লার্নিং, গভীর শিক্ষার সমস্যা এবং এন্ড-টু-এন্ড ML সলিউশনে গ্রাহকদের সাহায্য করার উপর ফোকাস করছেন। তিনি আমাজন কম্প্রিহেন্ড মেডিকেলের প্রতিষ্ঠাতা ইঞ্জিনিয়ারিং লিড ছিলেন এবং একাধিক AWS AI পরিষেবার নকশা এবং স্থাপত্যে অবদান রেখেছিলেন।

রুইলিন ঝাং AWS-এ Amazon ML সলিউশন ল্যাব সহ একটি SDE। তিনি গ্রাহকদের সাধারণ ব্যবসায়িক সমস্যা সমাধানের জন্য সমাধান তৈরি করে AWS AI পরিষেবাগুলি গ্রহণ করতে সহায়তা করেন।

শেন রাই AWS-এ Amazon ML Solutions Lab-এর একজন সিনিয়র ML কৌশলবিদ। তিনি AWS-এর ক্লাউড-ভিত্তিক AI/ML পরিষেবাগুলির প্রশস্ততা ব্যবহার করে তাদের সবচেয়ে চাপযুক্ত এবং উদ্ভাবনী ব্যবসায়িক চাহিদাগুলি সমাধান করতে বিভিন্ন শিল্পের বিভিন্ন স্পেকট্রাম জুড়ে গ্রাহকদের সাথে কাজ করেন।

লিন লি চেয়ং AWS-এ Amazon ML Solutions Lab টিমের সাথে একজন ফলিত বিজ্ঞান ব্যবস্থাপক। তিনি নতুন অন্তর্দৃষ্টি আবিষ্কার করতে এবং জটিল সমস্যা সমাধানের জন্য কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং অন্বেষণ এবং প্রয়োগ করতে কৌশলগত AWS গ্রাহকদের সাথে কাজ করেন।