এই ব্লগ পোস্টের সহ-লেখক গুইলারমো রিবেইরো, সিপসার সিনিয়র ডেটা সায়েন্টিস্ট।
মেশিন লার্নিং (ML) একাডেমিক পরিবেশ এবং উদ্ভাবন বিভাগ থেকে উদ্ভূত একটি ফ্যাশনেবল প্রবণতা থেকে দ্রুত বিকশিত হয়েছে যা প্রতিটি শিল্পের ব্যবসায়িক মূল্য প্রদানের মূল উপায়ে পরিণত হয়েছে। ল্যাবরেটরিতে পরীক্ষা-নিরীক্ষা থেকে উৎপাদন পরিবেশে বাস্তব-বিশ্বের সমস্যা সমাধানের এই রূপান্তর হাত ধরে চলে এমএলওএস, অথবা ML জগতে DevOps-এর অভিযোজন।
MLOps একটি ML মডেলের সম্পূর্ণ জীবনচক্রকে স্ট্রীমলাইন এবং স্বয়ংক্রিয় করতে সাহায্য করে, সোর্স ডেটাসেট, এক্সপেরিমেন্ট রিপ্রোডিসিবিলিটি, এমএল অ্যালগরিদম কোড এবং মডেল কোয়ালিটির উপর ফোকাস রাখে।
At সিপসা, একটি গ্লোবাল এনার্জি কোম্পানি, আমরা আমাদের ব্যবসার লাইন জুড়ে জটিল সমস্যাগুলি মোকাবেলা করতে ML ব্যবহার করি, শিল্প সরঞ্জামগুলির জন্য ভবিষ্যদ্বাণীমূলক রক্ষণাবেক্ষণ করা থেকে শুরু করে আমাদের শোধনাগারগুলিতে পেট্রোকেমিক্যাল প্রক্রিয়াগুলি পর্যবেক্ষণ এবং উন্নত করা।
এই পোস্টে, আমরা আলোচনা করব কিভাবে আমরা নিম্নলিখিত কী AWS পরিষেবাগুলি ব্যবহার করে MLOps-এর জন্য আমাদের রেফারেন্স আর্কিটেকচার তৈরি করেছি:
- আমাজন সেজমেকার, এমএল মডেল তৈরি, প্রশিক্ষণ এবং স্থাপনের জন্য একটি পরিষেবা
- এডাব্লুএস স্টেপ ফাংশন, একটি সার্ভারহীন লো-কোড ভিজ্যুয়াল ওয়ার্কফ্লো পরিষেবা যা প্রক্রিয়াগুলি অর্কেস্ট্রেট এবং স্বয়ংক্রিয় করতে ব্যবহৃত হয়৷
- অ্যামাজন ইভেন্টব্রিজ, একটি সার্ভারহীন ইভেন্ট বাস
- এডাব্লুএস ল্যাম্বদা, একটি সার্ভারবিহীন কম্পিউট পরিষেবা যা আপনাকে সার্ভারের বিধান বা পরিচালনা ছাড়াই কোড চালানোর অনুমতি দেয়
আমরা আমাদের কোম্পানিতে নতুন এমএল প্রকল্প বুটস্ট্র্যাপ করার জন্য এই রেফারেন্স আর্কিটেকচারটি কীভাবে প্রয়োগ করেছি তাও আমরা ব্যাখ্যা করি।
চ্যালেঞ্জ
বিগত 4 বছরে, Cepsa জুড়ে ব্যবসার একাধিক লাইন এমএল প্রকল্পগুলি শুরু করেছে, কিন্তু শীঘ্রই কিছু সমস্যা এবং সীমাবদ্ধতা দেখা দিতে শুরু করেছে।
আমাদের কাছে ML-এর জন্য একটি রেফারেন্স আর্কিটেকচার ছিল না, তাই প্রতিটি প্রকল্প একটি ভিন্ন বাস্তবায়ন পথ অনুসরণ করে, অ্যাডহক মডেল প্রশিক্ষণ এবং স্থাপনা সম্পাদন করে। প্রজেক্ট কোড এবং প্যারামিটারগুলি পরিচালনা করার জন্য একটি সাধারণ পদ্ধতি ছাড়া এবং একটি ML মডেল রেজিস্ট্রি বা সংস্করণ সিস্টেম ছাড়া, আমরা ডেটাসেট, কোড এবং মডেলগুলির মধ্যে সনাক্তযোগ্যতা হারিয়ে ফেলেছি।
আমরা উত্পাদনে মডেলগুলি পরিচালনা করার পদ্ধতিতে উন্নতির জন্য জায়গাও সনাক্ত করেছি, কারণ আমরা মোতায়েন করা মডেলগুলি নিরীক্ষণ করিনি এবং তাই মডেলের কার্যকারিতা ট্র্যাক করার উপায় ছিল না। ফলস্বরূপ, আমরা সাধারণত সময়সূচির উপর ভিত্তি করে মডেলগুলিকে পুনঃপ্রশিক্ষিত করি, কারণ আমাদের কাছে সঠিক মেট্রিক্সের অভাব ছিল যাতে অবগত পুনঃপ্রশিক্ষণের সিদ্ধান্ত নেওয়া যায়।
সমাধান
আমাদের যে চ্যালেঞ্জগুলি অতিক্রম করতে হয়েছিল তা থেকে শুরু করে, আমরা একটি সাধারণ সমাধান ডিজাইন করেছি যার লক্ষ্য ছিল ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ, অনুমান, এবং মডেল পর্যবেক্ষণ, এবং একটি কেন্দ্রীভূত মডেল রেজিস্ট্রি বৈশিষ্ট্যযুক্ত। এইভাবে, কেন্দ্রীভূত মডেল ট্রেসেবিলিটি প্রবর্তন করার সময়, আমরা একাধিক AWS অ্যাকাউন্ট জুড়ে পরিবেশ ব্যবস্থাপনাকে সরলীকৃত করেছি।
আমাদের ডেটা বিজ্ঞানী এবং বিকাশকারীরা ব্যবহার করেন এডাব্লুএস ক্লাউড 9 (লেখা, চলমান এবং ডিবাগিং কোডের জন্য একটি ক্লাউড আইডিই) ডেটা র্যাংলিং এবং এমএল পরীক্ষার জন্য এবং গিট কোড রিপোজিটরি হিসাবে গিটহাব।
একটি স্বয়ংক্রিয় প্রশিক্ষণ কর্মপ্রবাহ ডেটা সায়েন্স টিম দ্বারা নির্মিত কোড ব্যবহার করে সেজমেকারে ট্রেনের মডেল এবং মডেল রেজিস্ট্রিতে আউটপুট মডেল নিবন্ধন করতে।
একটি ভিন্ন ওয়ার্কফ্লো মডেল স্থাপনা পরিচালনা করে: এটি মডেল রেজিস্ট্রি থেকে রেফারেন্স প্রাপ্ত করে এবং ব্যবহার করে একটি অনুমান শেষ পয়েন্ট তৈরি করে SageMaker মডেল হোস্টিং বৈশিষ্ট্য.
আমরা স্টেপ ফাংশন ব্যবহার করে মডেল ট্রেনিং এবং ডিপ্লোয়মেন্ট ওয়ার্কফ্লো উভয়ই বাস্তবায়ন করেছি, কারণ এটি একটি নমনীয় কাঠামো প্রদান করেছে যা প্রতিটি প্রকল্পের জন্য নির্দিষ্ট ওয়ার্কফ্লো তৈরি করতে সক্ষম করে এবং বিভিন্ন AWS পরিষেবা এবং উপাদানগুলিকে সহজবোধ্যভাবে সাজায়৷
ডেটা খরচ মডেল
Cepsa-তে, আমরা বিভিন্ন ব্যবসায়িক চাহিদা মেটাতে একাধিক ডেটা লেক ব্যবহার করি এবং এই সমস্ত ডেটা লেকগুলি একটি সাধারণ ডেটা খরচ মডেল ভাগ করে যা ডেটা ইঞ্জিনিয়ার এবং ডেটা বিজ্ঞানীদের জন্য তাদের প্রয়োজনীয় ডেটা খুঁজে পাওয়া এবং ব্যবহার করা সহজ করে তোলে।
সহজে খরচ এবং দায়িত্বগুলি পরিচালনা করার জন্য, ডেটা লেক পরিবেশগুলিকে সম্পূর্ণরূপে ডেটা প্রযোজক এবং ভোক্তা অ্যাপ্লিকেশন থেকে আলাদা করা হয় এবং একটি সাধারণ AWS সংস্থার অন্তর্গত বিভিন্ন AWS অ্যাকাউন্টে স্থাপন করা হয়।
এমএল মডেলগুলিকে প্রশিক্ষণের জন্য ব্যবহৃত ডেটা এবং প্রশিক্ষিত মডেলগুলির জন্য একটি অনুমান ইনপুট হিসাবে ব্যবহৃত ডেটা বিভিন্ন ডেটা লেক থেকে সু-সংজ্ঞায়িত API-এর একটি সেটের মাধ্যমে উপলব্ধ করা হয়। অ্যামাজন এপিআই গেটওয়ে, স্কেলে API তৈরি, প্রকাশ, রক্ষণাবেক্ষণ, নিরীক্ষণ এবং সুরক্ষিত করার জন্য একটি পরিষেবা। API ব্যাকএন্ড ব্যবহার করে অ্যামাজন অ্যাথেনা (মানক এসকিউএল ব্যবহার করে ডেটা বিশ্লেষণ করার জন্য একটি ইন্টারেক্টিভ কোয়েরি পরিষেবা) ইতিমধ্যেই সংরক্ষিত ডেটা অ্যাক্সেস করতে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এবং তালিকাভুক্ত এডাব্লুএস আঠালো ডেটা ক্যাটালগ।
নিম্নলিখিত চিত্রটি Cepsa এর MLOps আর্কিটেকচারের একটি সাধারণ ওভারভিউ প্রদান করে।
মডেল প্রশিক্ষণ
প্রশিক্ষণ প্রক্রিয়া প্রতিটি মডেলের জন্য স্বাধীন এবং একটি দ্বারা পরিচালিত হয় স্টেপ ফাংশন স্ট্যান্ডার্ড ওয়ার্কফ্লো, যা আমাদের বিভিন্ন প্রকল্পের প্রয়োজনীয়তার উপর ভিত্তি করে মডেল প্রসেস করার নমনীয়তা দেয়। আমাদের কাছে একটি সংজ্ঞায়িত একটি বেস টেমপ্লেট আছে যা আমরা বেশিরভাগ প্রকল্পে পুনঃব্যবহার করি, প্রয়োজনে ছোটখাটো সমন্বয় করে থাকি। উদাহরণস্বরূপ, কিছু প্রকল্পের মালিকরা নতুন উত্পাদন মডেলের স্থাপনার অনুমোদনের জন্য ম্যানুয়াল গেট যুক্ত করার সিদ্ধান্ত নিয়েছে, যখন অন্যান্য প্রকল্প মালিকরা তাদের নিজস্ব ত্রুটি সনাক্তকরণ এবং পুনরায় চেষ্টা করার পদ্ধতি প্রয়োগ করেছে।
আমরা মডেল প্রশিক্ষণের জন্য ব্যবহৃত ইনপুট ডেটাসেটগুলিতে রূপান্তরও সম্পাদন করি। এই উদ্দেশ্যে, আমরা ল্যাম্বডা ফাংশনগুলি ব্যবহার করি যা প্রশিক্ষণ কর্মপ্রবাহের সাথে একত্রিত হয়। কিছু পরিস্থিতিতে যেখানে আরও জটিল ডেটা রূপান্তরের প্রয়োজন হয়, আমরা আমাদের কোড চালাই অ্যামাজন ইলাস্টিক কনটেইনার পরিষেবা (Amazon ECS) চালু আছে AWS Fargate, কনটেইনার চালানোর জন্য একটি সার্ভারহীন কম্পিউট ইঞ্জিন।
আমাদের ডেটা সায়েন্স টিম ঘন ঘন কাস্টম অ্যালগরিদম ব্যবহার করে, তাই আমরা এর ক্ষমতার সদ্ব্যবহার করি সেজমেকার মডেল প্রশিক্ষণে কাস্টম পাত্র ব্যবহার করুন, আস্থা রাখা অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (Amazon ECR), একটি সম্পূর্ণরূপে পরিচালিত কন্টেইনার রেজিস্ট্রি যা কন্টেইনার ছবিগুলিকে সঞ্চয়, পরিচালনা, ভাগ এবং স্থাপন করা সহজ করে তোলে।
আমাদের বেশিরভাগ এমএল প্রকল্পগুলি স্কিট-লার্ন লাইব্রেরির উপর ভিত্তি করে, তাই আমরা মানকে প্রসারিত করেছি সেজমেকার স্কিট-লার্ন কন্টেইনার প্রকল্পের জন্য প্রয়োজনীয় পরিবেশ ভেরিয়েবলগুলি অন্তর্ভুক্ত করতে, যেমন গিট সংগ্রহস্থলের তথ্য এবং স্থাপনার বিকল্পগুলি।
এই পদ্ধতির সাহায্যে, আমাদের ডেটা বিজ্ঞানীদের শুধুমাত্র প্রশিক্ষণের অ্যালগরিদম বিকাশের উপর ফোকাস করতে হবে এবং প্রকল্পের জন্য প্রয়োজনীয় লাইব্রেরিগুলি নির্দিষ্ট করতে হবে। যখন তারা গিট রিপোজিটরিতে কোড পরিবর্তন করে, আমাদের CI/CD সিস্টেম (জেনকিন্স AWS-এ হোস্ট করা) প্রশিক্ষণ কোড এবং লাইব্রেরি সহ কন্টেইনার তৈরি করে। এই ধারকটিকে অ্যামাজন ইসিআর-এ ঠেলে দেওয়া হয় এবং অবশেষে সেজমেকার প্রশিক্ষণ আহ্বানের একটি প্যারামিটার হিসাবে পাস করা হয়।
যখন প্রশিক্ষণ প্রক্রিয়া সম্পূর্ণ হয়, ফলস্বরূপ মডেলটি Amazon S3 এ সংরক্ষণ করা হয়, মডেল রেজিস্ট্রিতে একটি রেফারেন্স যোগ করা হয় এবং সমস্ত সংগৃহীত তথ্য এবং মেট্রিক্স পরীক্ষার ক্যাটালগে সংরক্ষিত হয়। এটি সম্পূর্ণ পুনরুত্পাদনযোগ্যতা নিশ্চিত করে কারণ অ্যালগরিদম কোড এবং লাইব্রেরিগুলি পরীক্ষার সাথে যুক্ত ডেটা সহ প্রশিক্ষিত মডেলের সাথে সংযুক্ত থাকে।
নিম্নলিখিত চিত্রটি মডেল প্রশিক্ষণ এবং পুনঃপ্রশিক্ষণ প্রক্রিয়াকে চিত্রিত করে।
মডেল মোতায়েন
স্থাপত্যটি নমনীয় এবং প্রশিক্ষিত মডেলের স্বয়ংক্রিয় এবং ম্যানুয়াল উভয় স্থাপনার অনুমতি দেয়। মডেল ডিপ্লোয়ার ওয়ার্কফ্লো স্বয়ংক্রিয়ভাবে একটি ইভেন্টের মাধ্যমে আহ্বান করা হয় যা প্রশিক্ষণ শেষ হওয়ার পরে সেজমেকার প্রশিক্ষণ ইভেন্টব্রিজে প্রকাশ করে, তবে মডেল রেজিস্ট্রি থেকে সঠিক মডেল সংস্করণ পাস করে প্রয়োজনে এটি নিজেও আহ্বান করা যেতে পারে। স্বয়ংক্রিয় আহ্বান সম্পর্কে আরও তথ্যের জন্য, দেখুন অ্যামাজন ইভেন্টব্রিজের সাথে স্বয়ংক্রিয় অ্যামাজন সেজমেকার.
মডেল ডিপ্লোয়ার ওয়ার্কফ্লো মডেল রেজিস্ট্রি থেকে মডেল তথ্য পুনরুদ্ধার করে এবং ব্যবহার করে এডাব্লুএস ক্লাউডফর্মেশন, কোড পরিষেবা হিসাবে একটি পরিচালিত পরিকাঠামো, হয় মডেলটিকে একটি রিয়েল-টাইম ইনফরেন্স এন্ডপয়েন্টে স্থাপন করতে বা প্রজেক্টের প্রয়োজনীয়তার উপর নির্ভর করে একটি সঞ্চিত ইনপুট ডেটাসেটের সাথে ব্যাচ অনুমান সম্পাদন করতে।
যখনই একটি মডেল সফলভাবে কোনো পরিবেশে স্থাপন করা হয়, মডেল রেজিস্ট্রি একটি নতুন ট্যাগের সাথে আপডেট করা হয় যা নির্দেশ করে যে মডেলটি বর্তমানে কোন পরিবেশে চলছে। যে কোন সময় একটি এন্ডপয়েন্ট সরানো হয়, তার ট্যাগটি মডেল রেজিস্ট্রি থেকেও মুছে ফেলা হয়।
নিম্নলিখিত চিত্রটি মডেল স্থাপনা এবং অনুমানের জন্য কর্মপ্রবাহ দেখায়।
পরীক্ষা এবং মডেল রেজিস্ট্রি
প্রতিটি পরীক্ষা এবং মডেল সংস্করণকে একটি একক অবস্থানে সংরক্ষণ করা এবং একটি কেন্দ্রীভূত কোড সংগ্রহস্থল থাকা আমাদেরকে মডেল প্রশিক্ষণ এবং স্থাপনার ডিকপল করতে এবং প্রতিটি প্রকল্প এবং পরিবেশের জন্য বিভিন্ন AWS অ্যাকাউন্ট ব্যবহার করতে সক্ষম করে।
সমস্ত পরীক্ষার এন্ট্রি প্রশিক্ষণ এবং অনুমান কোডের কমিট আইডি সঞ্চয় করে, তাই আমাদের সম্পূর্ণ পরীক্ষা-নিরীক্ষা প্রক্রিয়ার সম্পূর্ণ ট্রেসেবিলিটি রয়েছে এবং আমরা সহজেই বিভিন্ন পরীক্ষা-নিরীক্ষার তুলনা করতে সক্ষম। এটি আমাদেরকে অ্যালগরিদম এবং মডেলের জন্য বৈজ্ঞানিক অন্বেষণ পর্বে সদৃশ কাজ সম্পাদন করতে বাধা দেয় এবং আমাদের মডেলগুলিকে যে কোনও জায়গায় স্থাপন করতে সক্ষম করে, যে অ্যাকাউন্ট এবং পরিবেশ থেকে মডেলটিকে প্রশিক্ষণ দেওয়া হয়েছিল। এটি আমাদের AWS Cloud9 পরীক্ষামূলক পরিবেশে প্রশিক্ষিত মডেলগুলির জন্যও সত্য।
সর্বোপরি, আমাদের কাছে সম্পূর্ণ স্বয়ংক্রিয় মডেল প্রশিক্ষণ এবং স্থাপনার পাইপলাইন রয়েছে এবং যখন কিছু সঠিকভাবে কাজ করছে না বা যখন পরীক্ষার উদ্দেশ্যে একটি ভিন্ন পরিবেশে একটি মডেল স্থাপনের প্রয়োজন হলে দ্রুত ম্যানুয়াল মডেল স্থাপনা সম্পাদন করার নমনীয়তা রয়েছে।
একটি বিস্তারিত ব্যবহারের ক্ষেত্রে: YET ড্রাগন প্রকল্প
YET ড্রাগন প্রকল্পের লক্ষ্য সাংহাইতে Cepsa এর পেট্রোকেমিক্যাল প্ল্যান্টের উৎপাদন কর্মক্ষমতা উন্নত করা। এই লক্ষ্য অর্জনের জন্য, আমরা উৎপাদন প্রক্রিয়াটি পুঙ্খানুপুঙ্খভাবে অধ্যয়ন করেছি, কম দক্ষ পদক্ষেপগুলি খুঁজছি। আমাদের লক্ষ্য ছিল উপাদানের ঘনত্ব ঠিক একটি প্রান্তিকের নীচে রেখে প্রক্রিয়াগুলির ফলন দক্ষতা বৃদ্ধি করা।
এই প্রক্রিয়াটি অনুকরণ করার জন্য, আমরা চারটি সাধারণ সংযোজন মডেল বা GAM তৈরি করেছি, রৈখিক মডেল যার প্রতিক্রিয়া ভবিষ্যদ্বাণীকারী ভেরিয়েবলের মসৃণ ফাংশনের উপর নির্ভর করে, দুটি অক্সিডেশন প্রক্রিয়া, একটি ঘনত্ব প্রক্রিয়া এবং পূর্বোক্ত ফলনের ফলাফলের পূর্বাভাস দিতে। এছাড়াও আমরা চারটি GAM মডেলের ফলাফল প্রক্রিয়া করার জন্য একটি অপ্টিমাইজার তৈরি করেছি এবং প্ল্যান্টে প্রয়োগ করা যেতে পারে এমন সেরা অপ্টিমাইজেশনগুলি খুঁজে বের করেছি৷
যদিও আমাদের মডেলগুলিকে ঐতিহাসিক তথ্য দিয়ে প্রশিক্ষিত করা হয়, প্ল্যান্টটি কখনও কখনও এমন পরিস্থিতিতে কাজ করতে পারে যা প্রশিক্ষণ ডেটাসেটে নিবন্ধিত ছিল না; আমরা আশা করি যে আমাদের সিমুলেশন মডেলগুলি সেই পরিস্থিতিতে ভালভাবে কাজ করবে না তাই আমরা আইসোলেশন ফরেস্ট অ্যালগরিদম ব্যবহার করে দুটি অসামঞ্জস্যতা সনাক্তকরণ মডেলও তৈরি করেছি, যা নির্ধারণ করে যে অসামঞ্জস্যগুলি সনাক্ত করতে বাকি ডেটা থেকে ডেটা পয়েন্ট কতদূর। এই মডেলগুলি যখনই এটি ঘটবে তখনই স্বয়ংক্রিয় অপ্টিমাইজেশন প্রক্রিয়াগুলিকে অক্ষম করতে এই জাতীয় পরিস্থিতি সনাক্ত করতে আমাদের সহায়তা করে।
শিল্প রাসায়নিক প্রক্রিয়াগুলি অত্যন্ত পরিবর্তনশীল এবং এমএল মডেলগুলিকে উদ্ভিদের ক্রিয়াকলাপের সাথে ভালভাবে সারিবদ্ধ করা প্রয়োজন, তাই ঘন ঘন পুনরায় প্রশিক্ষণের পাশাপাশি প্রতিটি পরিস্থিতিতে মোতায়েন করা মডেলগুলির সন্ধানযোগ্যতা প্রয়োজন। YET Dragon ছিল আমাদের প্রথম ML অপ্টিমাইজেশান প্রজেক্ট যা একটি মডেল রেজিস্ট্রি, পরীক্ষাগুলির সম্পূর্ণ পুনরুত্পাদনযোগ্যতা এবং একটি সম্পূর্ণরূপে পরিচালিত স্বয়ংক্রিয় প্রশিক্ষণ প্রক্রিয়া বৈশিষ্ট্যযুক্ত।
এখন, সম্পূর্ণ পাইপলাইন যা একটি মডেলকে উৎপাদনে নিয়ে আসে (ডেটা ট্রান্সফর্মেশন, মডেল ট্রেনিং, এক্সপেরিমেন্ট ট্র্যাকিং, মডেল রেজিস্ট্রি এবং মডেল ডিপ্লয়মেন্ট) প্রতিটি ML মডেলের জন্য স্বাধীন। এটি আমাদেরকে পুনরাবৃত্তভাবে মডেলগুলিকে উন্নত করতে সক্ষম করে (উদাহরণস্বরূপ নতুন ভেরিয়েবল যোগ করা বা নতুন অ্যালগরিদম পরীক্ষা করা) এবং প্রশিক্ষণ এবং স্থাপনার পর্যায়গুলিকে বিভিন্ন ট্রিগারের সাথে সংযুক্ত করতে।
ফলাফল এবং ভবিষ্যতের উন্নতি
আমরা বর্তমানে YET ড্রাগন প্রকল্পে ব্যবহৃত ছয়টি এমএল মডেলকে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ, স্থাপন এবং ট্র্যাক করতে সক্ষম, এবং আমরা ইতিমধ্যে প্রতিটি উত্পাদন মডেলের জন্য 30টিরও বেশি সংস্করণ স্থাপন করেছি। এই MLOps আর্কিটেকচারটি কোম্পানি জুড়ে অন্যান্য প্রকল্পে শত শত এমএল মডেলে প্রসারিত করা হয়েছে।
আমরা এই স্থাপত্যের উপর ভিত্তি করে নতুন YET প্রকল্প চালু করার পরিকল্পনা করছি, যা বুটস্ট্র্যাপিং সময় হ্রাস এবং ML পাইপলাইনগুলির স্বয়ংক্রিয়তার জন্য প্রকল্পের গড় সময়কাল 25% হ্রাস করেছে। ফলন এবং ঘনত্ব বৃদ্ধির জন্য আমরা প্রতি বছর প্রায় €300,000 এর সঞ্চয় অনুমান করেছি যা YET ড্রাগন প্রকল্পের সরাসরি ফলাফল।
এই MLOps আর্কিটেকচারের স্বল্পমেয়াদী বিবর্তন মডেল পর্যবেক্ষণ এবং স্বয়ংক্রিয় পরীক্ষার দিকে। আমরা একটি নতুন মডেল স্থাপন করার আগে পূর্বে স্থাপন করা মডেলগুলির বিরুদ্ধে স্বয়ংক্রিয়ভাবে মডেল দক্ষতা পরীক্ষা করার পরিকল্পনা করি৷ আমরা মডেল মনিটরিং এবং ইনফারেন্স ডেটা ড্রিফ্ট মনিটরিং এর বাস্তবায়নে কাজ করছি অ্যামাজন সেজমেকার মডেল মনিটর, মডেল পুনরায় প্রশিক্ষণ স্বয়ংক্রিয় করার জন্য.
উপসংহার
কোম্পানিগুলি তাদের এমএল প্রকল্পগুলিকে একটি স্বয়ংক্রিয় এবং দক্ষ পদ্ধতিতে উৎপাদনে আনার চ্যালেঞ্জের সম্মুখীন হচ্ছে। সম্পূর্ণ এমএল মডেল লাইফসাইকেল স্বয়ংক্রিয়করণ প্রকল্পের সময় কমাতে সাহায্য করে এবং আরও ভাল মডেলের গুণমান নিশ্চিত করে এবং উত্পাদনে দ্রুত এবং আরও ঘন ঘন স্থাপনা নিশ্চিত করে।
একটি প্রমিত MLOps আর্কিটেকচার তৈরি করে যা কোম্পানি জুড়ে বিভিন্ন ব্যবসার দ্বারা গৃহীত হয়েছে, আমরা Cepsa-এ ML প্রোজেক্ট বুটস্ট্র্যাপিংকে গতিশীল করতে এবং ML মডেলের মান উন্নত করতে সক্ষম হয়েছি, একটি নির্ভরযোগ্য এবং স্বয়ংক্রিয় কাঠামো প্রদান করে যার উপর আমাদের ডেটা সায়েন্স টিমগুলি দ্রুত উদ্ভাবন করতে পারে। .
SageMaker-এ MLOps সম্পর্কে আরও তথ্যের জন্য, দেখুন MLOps জন্য Amazon SageMaker এবং অন্যান্য গ্রাহকের ব্যবহারের ক্ষেত্রে পরীক্ষা করে দেখুন এডাব্লুএস মেশিন লার্নিং ব্লগ.
লেখক সম্পর্কে
গুইলারমো রিবেইরো জিমেনেজ পিএইচডি সহ সিপসা-তে একজন সিনিয়র ডেটা সায়েন্টিস্ট। নিউক্লিয়ার ফিজিক্সে। মূলত টেলকো এবং এনার্জি ইন্ডাস্ট্রিতে ডেটা সায়েন্স প্রকল্পের সাথে তার 6 বছরের অভিজ্ঞতা রয়েছে। তিনি বর্তমানে Cepsa এর ডিজিটাল ট্রান্সফরমেশন ডিপার্টমেন্টে ডেটা সায়েন্টিস্ট টিমের নেতৃত্ব দিচ্ছেন, যেখানে মেশিন লার্নিং প্রজেক্টের স্কেলিং এবং প্রোডাক্টাইজেশনের উপর ফোকাস রয়েছে।
গুইলারমো মেনেন্দেজ কোরাল AWS এনার্জি এবং ইউটিলিটিসে একজন সলিউশন আর্কিটেক্ট। তার 15 বছরের বেশি অভিজ্ঞতা রয়েছে SW অ্যাপ্লিকেশন ডিজাইন এবং নির্মাণের, এবং বর্তমানে তিনি শক্তি শিল্পে AWS গ্রাহকদের স্থাপত্য নির্দেশিকা প্রদান করেন, বিশ্লেষণ এবং মেশিন লার্নিং এর উপর ফোকাস করে।
- Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
- ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
- সূত্র: https://aws.amazon.com/blogs/machine-learning/how-cepsa-used-amazon-sagemaker-and-aws-step-functions-to-industrialize-their-ml-projects-and-operate- তাদের-মডেল-এ-স্কেল/
- "
- 000
- 100
- 15 বছর
- a
- ক্ষমতা
- সম্পর্কে
- প্রবেশ
- হিসাব
- অর্জন করা
- দিয়ে
- Ad
- যোগ
- সুবিধা
- বিরুদ্ধে
- অ্যালগরিদম
- আলগোরিদিম
- সব
- অনুমতি
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- মধ্যে
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ করা
- কোথাও
- API
- API গুলি
- অ্যাপ্লিকেশন
- ফলিত
- অভিগমন
- অনুমোদন করা
- স্থাপত্য
- স্থাপত্য
- কাছাকাছি
- যুক্ত
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়করণ
- স্বয়ংক্রিয়তা
- সহজলভ্য
- ডেস্কটপ AWS
- কারণ
- মানানসই
- আগে
- হচ্ছে
- নিচে
- সর্বোত্তম
- ব্লগ
- নির্মাণ করা
- ভবন
- তৈরী করে
- ব্যবসায়
- ব্যবসা
- কেস
- মামলা
- কেন্দ্রীভূত
- কিছু
- চ্যালেঞ্জ
- চ্যালেঞ্জ
- রাসায়নিক
- মেঘ
- কোড
- সমর্পণ করা
- সাধারণ
- কোম্পানি
- সম্পূর্ণ
- সম্পূর্ণরূপে
- জটিল
- উপাদান
- উপাদান
- গনা
- একাগ্রতা
- সংযোগ করা
- গ্রাস করা
- ভোক্তা
- খরচ
- আধার
- কন্টেনারগুলি
- খরচ
- পারা
- আবরণ
- সৃষ্টি
- সৃষ্টি
- সৃষ্টি
- এখন
- প্রথা
- ক্রেতা
- গ্রাহকদের
- উপাত্ত
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- সিদ্ধান্ত নিয়েছে
- সিদ্ধান্ত
- নির্ভর করে
- নির্ভর করে
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- স্থাপনার
- পরিকল্পিত
- ফন্দিবাজ
- বিশদ
- সনাক্ত
- সনাক্তকরণ
- নির্ধারণ
- ডেভেলপারদের
- উন্নয়নশীল
- বিভিন্ন
- ডিজিটাল
- ডিজিটাল ট্রান্সফরমেসন
- সরাসরি
- আলোচনা করা
- ঘুড়ি বিশেষ
- প্রতি
- সহজে
- দক্ষতা
- দক্ষ
- শিরীষের গুঁড়ো
- সম্ভব
- শেষপ্রান্ত
- শক্তি
- ইঞ্জিন
- প্রকৌশলী
- পরিবেশ
- উপকরণ
- আনুমানিক
- ঘটনা
- বিবর্তন
- ঠিক
- উদাহরণ
- আশা করা
- অভিজ্ঞতা
- পরীক্ষা
- অন্বেষণ
- সম্মুখ
- দ্রুত
- দ্রুত
- বৈশিষ্ট্য
- সুগঠনবিশিষ্ট
- পরিশেষে
- প্রথম
- নমনীয়তা
- নমনীয়
- কেন্দ্রবিন্দু
- অনুসরণ
- ফ্রেমওয়ার্ক
- থেকে
- সম্পূর্ণ
- ক্রিয়াকলাপ
- ভবিষ্যৎ
- গেটস
- সাধারণ
- git
- GitHub
- বিশ্বব্যাপী
- লক্ষ্য
- হাতল
- জমিদারি
- সাহায্য
- সাহায্য
- অত্যন্ত
- ঐতিহাসিক
- ঝুলিতে
- হোস্ট
- হোস্টিং
- কিভাবে
- HTTPS দ্বারা
- শত শত
- চিত্র
- বাস্তবায়ন
- বাস্তবায়িত
- উন্নত করা
- উন্নতি
- উন্নতি
- অন্যান্য
- অন্তর্ভুক্ত করা
- বৃদ্ধি
- স্বাধীন
- স্বাধীনভাবে
- শিল্প
- শিল্প
- তথ্য
- অবগত
- পরিকাঠামো
- ইনোভেশন
- ইনপুট
- সংহত
- ইন্টারেক্টিভ
- উপস্থাপক
- বিচ্ছিন্নতা
- সমস্যা
- IT
- রাখা
- পালন
- চাবি
- চালু করা
- নেতৃত্ব
- শিক্ষা
- লাইব্রেরি
- লাইন
- অবস্থান
- খুঁজছি
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- বজায় রাখা
- রক্ষণাবেক্ষণ
- করা
- তৈরি করে
- পরিচালনা করা
- পরিচালিত
- পরিচালক
- পদ্ধতি
- ম্যানুয়াল
- ম্যানুয়ালি
- মানে
- ছন্দোবিজ্ঞান
- ML
- মডেল
- মডেল
- মনিটর
- পর্যবেক্ষণ
- অধিক
- সেতু
- বহু
- চাহিদা
- পরিচালনা করা
- অপারেশন
- অপ্টিমাইজেশান
- অপশন সমূহ
- ক্রম
- সংগঠন
- অন্যান্য
- নিজের
- মালিকদের
- পাসিং
- কর্মক্ষমতা
- করণ
- ফেজ
- পদার্থবিদ্যা
- পয়েন্ট
- ভবিষ্যদ্বাণী করা
- সমস্যা
- প্রক্রিয়া
- প্রসেস
- সৃজনকর্তা
- উত্পাদনের
- প্রকল্প
- প্রকল্প
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- প্রকাশ করা
- উদ্দেশ্য
- উদ্দেশ্য
- ধাক্কা
- গুণ
- প্রকৃত সময়
- হ্রাস করা
- খাতা
- নিবন্ধভুক্ত
- বিশ্বাসযোগ্য
- সংগ্রহস্থলের
- প্রয়োজনীয়
- আবশ্যকতা
- প্রতিক্রিয়া
- দায়িত্ব
- বিশ্রাম
- ফলে এবং
- ফলাফল
- চালান
- দৌড়
- স্কেল
- আরোহী
- বিজ্ঞান
- বিজ্ঞানী
- বিজ্ঞানীরা
- নিরাপদ
- ক্রম
- Serverless
- সেবা
- সেবা
- সেট
- সাংহাই
- শেয়ার
- স্বল্পমেয়াদী
- সহজ
- ব্যাজ
- একক
- অবস্থা
- ছয়
- So
- সমাধান
- সলিউশন
- কিছু
- কিছু
- নির্দিষ্ট
- স্পীড
- ইন্টার্নশিপ
- মান
- শুরু
- স্টোরেজ
- দোকান
- স্ট্রিমলাইন
- সফলভাবে
- পদ্ধতি
- লক্ষ্য
- টীম
- দল
- Telco
- পরীক্ষা
- পরীক্ষামূলক
- সার্জারির
- উৎস
- অতএব
- পুঙ্খানুপুঙ্খভাবে
- গোবরাট
- দ্বারা
- সময়
- বার
- প্রতি
- traceability
- পথ
- অনুসরণকরণ
- প্রশিক্ষণ
- রুপান্তর
- রূপান্তরের
- রূপান্তর
- অধীনে
- us
- ব্যবহার
- সাধারণত
- ইউটিলিটি
- মূল্য
- সংস্করণ
- ভাল-সংজ্ঞায়িত
- যখন
- ছাড়া
- হয়া যাই ?
- কর্মপ্রবাহ
- কাজ
- বিশ্ব
- লেখা
- বছর
- বছর
- উত্পাদ