উত্পাদনে মেশিন লার্নিং (এমএল) ওয়ার্কফ্লো বজায় রাখা একটি চ্যালেঞ্জিং কাজ কারণ এর জন্য এমএল কোড এবং মডেলগুলির জন্য ক্রমাগত ইন্টিগ্রেশন এবং ক্রমাগত বিতরণ (সিআই/সিডি) পাইপলাইন তৈরি করা প্রয়োজন, মডেল সংস্করণ, ডেটা এবং ধারণা ড্রিফটের জন্য পর্যবেক্ষণ, মডেল পুনরায় প্রশিক্ষণ এবং একটি ম্যানুয়াল। মডেলের নতুন সংস্করণগুলি কর্মক্ষমতা এবং সম্মতির প্রয়োজনীয়তা উভয়ই পূরণ করে তা নিশ্চিত করার জন্য অনুমোদন প্রক্রিয়া।
এই পোস্টে, আমরা বর্ণনা করি কিভাবে ব্যাচ ইনফারেন্সের জন্য একটি MLOps ওয়ার্কফ্লো তৈরি করা যায় যা কাজের সময়সূচী, মডেল মনিটরিং, পুনঃপ্রশিক্ষণ এবং নিবন্ধন, সেইসাথে ত্রুটি পরিচালনা এবং বিজ্ঞপ্তি ব্যবহার করে স্বয়ংক্রিয়ভাবে কাজ করে। আমাজন সেজমেকার, অ্যামাজন ইভেন্টব্রিজ, এডাব্লুএস ল্যাম্বদা, অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS), HashiCorp Terraform, এবং GitLab CI/CD। উপস্থাপিত MLOps ওয়ার্কফ্লো অটোমেশন, নিরীক্ষণ, নিরীক্ষাযোগ্যতা এবং স্কেলেবিলিটির মাধ্যমে এমএল লাইফসাইকেল পরিচালনার জন্য একটি পুনঃব্যবহারযোগ্য টেমপ্লেট সরবরাহ করে, যার ফলে উত্পাদনে ব্যাচ ইনফারেন্স ওয়ার্কলোডগুলি বজায় রাখার জটিলতা এবং খরচ হ্রাস করে।
সমাধান ওভারভিউ
নিম্নলিখিত চিত্রটি AWS সরঞ্জাম এবং পরিষেবাগুলির সাথে একত্রে GitLab CI/CD এবং কোড (IaC) হিসাবে টেরাফর্ম অবকাঠামো ব্যবহার করে এমন সংস্থাগুলির জন্য এন্টারপ্রাইজ ব্যাচের অনুমানের জন্য প্রস্তাবিত লক্ষ্য MLOps আর্কিটেকচারকে চিত্রিত করে৷ GitLab CI/CD ম্যাক্রো-অর্কেস্ট্রেটর, অর্কেস্ট্রেটিং হিসাবে কাজ করে model build
এবং model deploy
পাইপলাইন, যার মধ্যে রয়েছে সোর্সিং, বিল্ডিং এবং প্রভিশনিং অ্যামাজন সেজমেকার পাইপলাইন এবং SageMaker Python SDK এবং Terraform ব্যবহার করে সহায়তাকারী সংস্থান। SageMaker Python SDK প্রশিক্ষণের জন্য SageMaker পাইপলাইন তৈরি বা আপডেট করতে ব্যবহার করা হয়, হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) এবং ব্যাচ ইনফারেন্স সহ প্রশিক্ষণ। সেজমেকার পাইপলাইন নিরীক্ষণ এবং বিজ্ঞপ্তি পাঠানোর জন্য (উদাহরণস্বরূপ, যখন একটি পাইপলাইন পদক্ষেপ ব্যর্থ হয় বা সফল হয়) ইভেন্টব্রিজের নিয়ম, ল্যাম্বডা ফাংশন এবং এসএনএস বিষয়গুলির মতো অতিরিক্ত সংস্থান তৈরি করতে Terraform ব্যবহার করা হয়। SageMaker Pipelines ML মডেল প্রশিক্ষণ এবং অনুমান কর্মপ্রবাহের জন্য অর্কেস্ট্রেটর হিসাবে কাজ করে।
এই আর্কিটেকচার ডিজাইনটি একটি মাল্টি-অ্যাকাউন্ট কৌশল উপস্থাপন করে যেখানে ML মডেলগুলি তৈরি করা হয়, প্রশিক্ষিত হয় এবং একটি কেন্দ্রীয় মডেল রেজিস্ট্রিতে একটি ডেটা সায়েন্স ডেভেলপমেন্ট অ্যাকাউন্টের মধ্যে নিবন্ধিত হয় (যা একটি সাধারণ অ্যাপ্লিকেশন ডেভেলপমেন্ট অ্যাকাউন্টের চেয়ে বেশি নিয়ন্ত্রণ করে)। তারপরে, গিটল্যাব CI/CD এর মতো DevOps সরঞ্জামগুলি থেকে অটোমেশন ব্যবহার করে ইনফারেন্স পাইপলাইনগুলি স্টেজিং এবং উত্পাদন অ্যাকাউন্টগুলিতে স্থাপন করা হয়। কেন্দ্রীয় মডেল রেজিস্ট্রি ঐচ্ছিকভাবে একটি শেয়ার্ড সার্ভিস অ্যাকাউন্টেও স্থাপন করা যেতে পারে। নির্দেশ করে কার্যকরী নকশা ML-এর জন্য একটি মাল্টি-অ্যাকাউন্ট কৌশল সম্পর্কিত সর্বোত্তম অনুশীলনের জন্য।
নিম্নলিখিত উপধারায়, আমরা স্থাপত্য নকশার বিভিন্ন দিক নিয়ে বিস্তারিত আলোচনা করি।
কোড হিসাবে পরিকাঠামো
IaC মেশিন-পঠনযোগ্য ফাইলগুলির মাধ্যমে আইটি পরিকাঠামো পরিচালনা করার একটি উপায় অফার করে, দক্ষ সংস্করণ নিয়ন্ত্রণ নিশ্চিত করে। এই পোস্টে এবং সহগামী কোড নমুনা, আমরা প্রদর্শন কিভাবে ব্যবহার করতে হয় HashiCorp Terraform AWS সংস্থানগুলি কার্যকরভাবে পরিচালনা করতে GitLab CI/CD এর সাথে। আইটি অবকাঠামো পরিচালনায় একটি স্বচ্ছ এবং পুনরাবৃত্তিযোগ্য প্রক্রিয়া অফার করে এই পদ্ধতিটি IaC-এর মূল সুবিধার উপর আন্ডারস্কোর করে।
মডেল প্রশিক্ষণ এবং পুনরায় প্রশিক্ষণ
এই ডিজাইনে, সেজমেকার প্রশিক্ষণ পাইপলাইন একটি সময়সূচীতে চলে (ইভেন্টব্রিজের মাধ্যমে) বা একটির উপর ভিত্তি করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) ইভেন্ট ট্রিগার (উদাহরণস্বরূপ, যখন একটি ট্রিগার ফাইল বা নতুন প্রশিক্ষণ ডেটা, একটি একক প্রশিক্ষণ ডেটা অবজেক্টের ক্ষেত্রে, Amazon S3 তে স্থাপন করা হয়) নিয়মিতভাবে নতুন ডেটা সহ মডেলটি পুনঃক্রমানুসারে। এই পাইপলাইনটি মডেলটিতে কাঠামোগত বা উপাদানগত পরিবর্তনগুলি প্রবর্তন করে না কারণ এটি নির্দিষ্ট হাইপারপ্যারামিটার ব্যবহার করে যা এন্টারপ্রাইজ মডেল পর্যালোচনা প্রক্রিয়ার সময় অনুমোদিত হয়েছে।
প্রশিক্ষণ পাইপলাইন নতুন প্রশিক্ষিত মডেল সংস্করণ নিবন্ধন করে আমাজন সেজমেকার মডেল রেজিস্ট্রি যদি মডেলটি পূর্বনির্ধারিত মডেল পারফরম্যান্স থ্রেশহোল্ড অতিক্রম করে (উদাহরণস্বরূপ, রিগ্রেশনের জন্য RMSE এবং শ্রেণীবিভাগের জন্য F1 স্কোর)। যখন মডেলের একটি নতুন সংস্করণ মডেল রেজিস্ট্রিতে নিবন্ধিত হয়, তখন এটি Amazon SNS এর মাধ্যমে দায়ী ডেটা বিজ্ঞানীর কাছে একটি বিজ্ঞপ্তি ট্রিগার করে। ডেটা সায়েন্টিস্টকে তারপরে মডেলটির সর্বশেষ সংস্করণটি পর্যালোচনা এবং ম্যানুয়ালি অনুমোদন করতে হবে৷ অ্যামাজন সেজমেকার স্টুডিও UI বা একটি API কলের মাধ্যমে ব্যবহার করে এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) বা AWS SDK-এর জন্য Python (Boto3) মডেলের নতুন সংস্করণ অনুমানের জন্য ব্যবহার করার আগে।
সেজমেকার প্রশিক্ষণ পাইপলাইন এবং এর সহায়ক সংস্থানগুলি গিটল্যাব দ্বারা তৈরি করা হয়েছে model build
পাইপলাইন, হয় গিটল্যাব পাইপলাইনের ম্যানুয়াল চালানোর মাধ্যমে বা স্বয়ংক্রিয়ভাবে যখন কোড একত্রিত হয় main
এর শাখা model build
গিট সংগ্রহস্থল।
ব্যাচ অনুমান
সেজমেকার ব্যাচ ইনফারেন্স পাইপলাইন একটি সময়সূচীতে (ইভেন্টব্রিজের মাধ্যমে) বা একটি S3 ইভেন্ট ট্রিগারের উপর ভিত্তি করে চলে। ব্যাচ ইনফারেন্স পাইপলাইন স্বয়ংক্রিয়ভাবে মডেল রেজিস্ট্রি থেকে মডেলের সর্বশেষ অনুমোদিত সংস্করণ টেনে আনে এবং অনুমানের জন্য এটি ব্যবহার করে। ব্যাচ ইনফারেন্স পাইপলাইনে প্রশিক্ষণ পাইপলাইন দ্বারা তৈরি একটি বেসলাইনের বিপরীতে ডেটা গুণমান পরীক্ষা করার পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে, সেইসাথে মডেলের গুণমান (মডেল পারফরম্যান্স) যদি গ্রাউন্ড ট্রুথ লেবেল উপলব্ধ থাকে।
যদি ব্যাচ ইনফারেন্স পাইপলাইন ডেটা মানের সমস্যাগুলি আবিষ্কার করে, তবে এটি Amazon SNS এর মাধ্যমে দায়ী ডেটা বিজ্ঞানীকে অবহিত করবে। যদি এটি মডেলের গুণমানের সমস্যাগুলি আবিষ্কার করে (উদাহরণস্বরূপ, RMSE একটি পূর্ব-নির্দিষ্ট থ্রেশহোল্ডের চেয়ে বেশি), মডেলের গুণমান পরীক্ষা করার জন্য পাইপলাইন পদক্ষেপ ব্যর্থ হবে, যা HPO পাইপলাইনের সাথে প্রশিক্ষণ শুরু করার জন্য একটি ইভেন্টব্রিজ ইভেন্টকে ট্রিগার করবে।
সেজমেকার ব্যাচ ইনফারেন্স পাইপলাইন এবং এর সহায়ক সংস্থানগুলি গিটল্যাব দ্বারা তৈরি করা হয়েছে model deploy
পাইপলাইন, হয় গিটল্যাব পাইপলাইনের ম্যানুয়াল চালানোর মাধ্যমে বা স্বয়ংক্রিয়ভাবে যখন কোড একত্রিত হয় main
এর শাখা model deploy
গিট সংগ্রহস্থল।
মডেল টিউনিং এবং রিটিউনিং
ব্যাচ ইনফারেন্স পাইপলাইনের মডেল কোয়ালিটি চেক স্টেপ ব্যর্থ হলে HPO পাইপলাইনের সাথে SageMaker প্রশিক্ষণ শুরু হয়। প্রকৃত গ্রাউন্ড ট্রুথ লেবেলের সাথে মডেলের ভবিষ্যদ্বাণীর তুলনা করে মডেলের গুণমান পরীক্ষা করা হয়। যদি মডেলের গুণমানের মেট্রিক (উদাহরণস্বরূপ, রিগ্রেশনের জন্য RMSE এবং শ্রেণীবিভাগের জন্য F1 স্কোর) একটি পূর্ব-নির্দিষ্ট মানদণ্ড পূরণ না করে, তাহলে মডেলের গুণমান যাচাই ধাপটি ব্যর্থ হিসাবে চিহ্নিত করা হয়। এইচপিও পাইপলাইনের সাথে সেজমেকার প্রশিক্ষণটি ম্যানুয়ালিও ট্রিগার করা যেতে পারে (সেজমেকার স্টুডিও UI-তে বা AWS CLI বা SageMaker Python SDK ব্যবহার করে একটি API কলের মাধ্যমে) প্রয়োজনে দায়ী ডেটা বিজ্ঞানী দ্বারা। যেহেতু মডেলের হাইপারপ্যারামিটারগুলি পরিবর্তিত হচ্ছে, মডেল রেজিস্ট্রিতে নতুন মডেল সংস্করণ অনুমোদিত হওয়ার আগে দায়ী ডেটা বিজ্ঞানীকে এন্টারপ্রাইজ মডেল পর্যালোচনা বোর্ড থেকে অনুমোদন নিতে হবে।
এইচপিও পাইপলাইন সহ সেজমেকার প্রশিক্ষণ এবং এর সহায়ক সংস্থানগুলি গিটল্যাব দ্বারা তৈরি করা হয়েছে model build
পাইপলাইন, হয় গিটল্যাব পাইপলাইনের ম্যানুয়াল চালানোর মাধ্যমে বা স্বয়ংক্রিয়ভাবে যখন কোড একত্রিত হয় main
এর শাখা model build
গিট সংগ্রহস্থল।
মডেল পর্যবেক্ষণ
এইচপিও পাইপলাইনগুলির সাথে প্রশিক্ষণ এবং প্রশিক্ষণের অংশ হিসাবে ডেটা পরিসংখ্যান এবং সীমাবদ্ধতার বেসলাইনগুলি তৈরি করা হয়। সেগুলি Amazon S3 এ সংরক্ষিত হয় এবং মডেল রেজিস্ট্রিতে প্রশিক্ষিত মডেলের সাথে নিবন্ধিত হয় যদি মডেল মূল্যায়নে উত্তীর্ণ হয়। ব্যাচ ইনফারেন্স পাইপলাইনের জন্য প্রস্তাবিত আর্কিটেকচার ব্যবহার করে অ্যামাজন সেজমেকার মডেল মনিটর কাস্টম ব্যবহার করার সময় ডেটা গুণমান পরীক্ষা করার জন্য আমাজন সেজমেকার প্রসেসিং মডেলের মান পরীক্ষা করার জন্য পদক্ষেপ। এই নকশাটি ডেটা এবং মডেলের গুণমান পরীক্ষাকে ডিকপল করে, যার ফলে ডেটা ড্রিফ্ট শনাক্ত হলেই আপনি শুধুমাত্র একটি সতর্কতা বিজ্ঞপ্তি পাঠাতে পারবেন; এবং যখন একটি মডেল গুণমান লঙ্ঘন সনাক্ত করা হয় তখন এইচপিও পাইপলাইনের সাথে প্রশিক্ষণ ট্রিগার করুন।
মডেল অনুমোদন
একটি নতুন প্রশিক্ষিত মডেল মডেল রেজিস্ট্রিতে নিবন্ধিত হওয়ার পরে, দায়িত্বশীল ডেটা বিজ্ঞানী একটি বিজ্ঞপ্তি পান। যদি মডেলটি ট্রেনিং পাইপলাইন দ্বারা প্রশিক্ষিত হয়ে থাকে (হাইপারপ্যারামিটারগুলি স্থির থাকাকালীন নতুন প্রশিক্ষণ ডেটার সাথে পুনঃক্রমিককরণ), এন্টারপ্রাইজ মডেল পর্যালোচনা বোর্ড থেকে অনুমোদনের প্রয়োজন নেই। ডেটা বিজ্ঞানী স্বাধীনভাবে মডেলের নতুন সংস্করণ পর্যালোচনা এবং অনুমোদন করতে পারেন। অন্যদিকে, যদি মডেলটিকে এইচপিও পাইপলাইন (হাইপারপ্যারামিটার পরিবর্তন করে রিটিউনিং) দিয়ে প্রশিক্ষণের মাধ্যমে প্রশিক্ষিত করা হয়, তাহলে নতুন মডেল সংস্করণটিকে উৎপাদনে অনুমান করার জন্য ব্যবহার করার আগে এন্টারপ্রাইজ পর্যালোচনা প্রক্রিয়ার মধ্য দিয়ে যেতে হবে। পর্যালোচনা প্রক্রিয়া সম্পূর্ণ হলে, ডেটা বিজ্ঞানী এগিয়ে যেতে এবং মডেল রেজিস্ট্রিতে মডেলটির নতুন সংস্করণ অনুমোদন করতে পারেন। মডেল প্যাকেজের স্থিতিতে পরিবর্তন করা হচ্ছে Approved
ইভেন্টব্রিজের মাধ্যমে একটি ল্যাম্বডা ফাংশন ট্রিগার করবে, যা গিটল্যাবকে ট্রিগার করবে model deploy
একটি API কলের মাধ্যমে পাইপলাইন। অনুমানের জন্য মডেলের সর্বশেষ অনুমোদিত সংস্করণ ব্যবহার করতে এটি স্বয়ংক্রিয়ভাবে সেজমেকার ব্যাচ ইনফারেন্স পাইপলাইন আপডেট করবে।
মডেল রেজিস্ট্রিতে একটি নতুন মডেল সংস্করণ অনুমোদন বা প্রত্যাখ্যান করার দুটি প্রধান উপায় রয়েছে: Python (Boto3) এর জন্য AWS SDK ব্যবহার করে বা SageMaker Studio UI থেকে। ডিফল্টরূপে, HPO পাইপলাইন সেট সহ প্রশিক্ষণ পাইপলাইন এবং প্রশিক্ষণ উভয়ই ModelApprovalStatus
থেকে PendingManualApproval
. দায়িত্বশীল ডেটা সায়েন্টিস্ট ফোন করে মডেলটির অনুমোদনের স্থিতি আপডেট করতে পারেন update_model_package
Boto3 থেকে API। নির্দেশ করে একটি মডেলের অনুমোদনের অবস্থা আপডেট করুন SageMaker Studio UI এর মাধ্যমে একটি মডেলের অনুমোদনের স্থিতি আপডেট করার বিষয়ে বিস্তারিত জানার জন্য।
ডেটা I/O ডিজাইন
প্রশিক্ষণ এবং অনুমান পাইপলাইনে ইনপুট পড়ার এবং আউটপুটগুলি সঞ্চয় করার জন্য SageMaker সরাসরি Amazon S3 এর সাথে যোগাযোগ করে। নিম্নলিখিত চিত্রটি ব্যাখ্যা করে কিভাবে বিভিন্ন পাইথন স্ক্রিপ্ট, কাঁচা এবং প্রক্রিয়াকৃত প্রশিক্ষণ ডেটা, কাঁচা এবং প্রক্রিয়াকৃত অনুমান ডেটা, অনুমান ফলাফল এবং গ্রাউন্ড ট্রুথ লেবেল (যদি মডেলের মান পর্যবেক্ষণের জন্য উপলব্ধ), মডেল শিল্পকর্ম, প্রশিক্ষণ এবং অনুমান মূল্যায়ন মেট্রিক্স (মডেল গুণমান পর্যবেক্ষণ), পাশাপাশি ডেটা মানের বেসলাইন এবং লঙ্ঘন রিপোর্ট (ডেটা গুণমান পর্যবেক্ষণের জন্য) একটি S3 বাকেটের মধ্যে সংগঠিত করা যেতে পারে। ডায়াগ্রামে তীরের দিক নির্দেশ করে যে কোন ফাইলগুলি সেজমেকার পাইপলাইনে তাদের নিজ নিজ ধাপ থেকে ইনপুট বা আউটপুট। তীরগুলিকে সহজে পড়ার জন্য পাইপলাইন ধাপের ধরণের উপর ভিত্তি করে রঙ-কোড করা হয়েছে। পাইপলাইন স্বয়ংক্রিয়ভাবে GitLab সংগ্রহস্থল থেকে পাইথন স্ক্রিপ্ট আপলোড করবে এবং উপযুক্ত S3 পাথের প্রতিটি ধাপ থেকে আউটপুট ফাইল বা মডেল আর্টিফ্যাক্ট সঞ্চয় করবে।
ডেটা ইঞ্জিনিয়ার নিম্নলিখিতগুলির জন্য দায়ী:
- Amazon S3 এ উপযুক্ত পাথে লেবেলযুক্ত প্রশিক্ষণ ডেটা আপলোড করা হচ্ছে। এর মধ্যে প্রশিক্ষণ পাইপলাইন এবং HPO পাইপলাইন সহ প্রশিক্ষণ যথাক্রমে মডেল পুনঃপ্রশিক্ষণ এবং পুনঃপ্রতিষ্ঠার জন্য সাম্প্রতিক প্রশিক্ষণ ডেটা অ্যাক্সেস করতে পারে তা নিশ্চিত করতে নিয়মিত নতুন প্রশিক্ষণ ডেটা যোগ করা অন্তর্ভুক্ত।
- অনুমান পাইপলাইনের পরিকল্পিত রানের আগে S3 বালতিতে উপযুক্ত পথের অনুমানের জন্য ইনপুট ডেটা আপলোড করা হচ্ছে।
- মডেলের মান পর্যবেক্ষণের জন্য উপযুক্ত S3 পাথে গ্রাউন্ড ট্রুথ লেবেল আপলোড করা হচ্ছে।
তথ্য বিজ্ঞানী নিম্নলিখিত জন্য দায়ী:
- গ্রাউন্ড ট্রুথ লেবেল প্রস্তুত করা এবং Amazon S3 এ আপলোড করার জন্য ডেটা ইঞ্জিনিয়ারিং টিমকে প্রদান করা।
- এন্টারপ্রাইজ পর্যালোচনা প্রক্রিয়ার মাধ্যমে এইচপিও পাইপলাইনের সাথে প্রশিক্ষণের মাধ্যমে প্রশিক্ষিত মডেল সংস্করণগুলি গ্রহণ করা এবং প্রয়োজনীয় অনুমোদন প্রাপ্ত করা।
- মডেল রেজিস্ট্রিতে নতুন প্রশিক্ষিত মডেল সংস্করণ ম্যানুয়ালি অনুমোদন বা প্রত্যাখ্যান করা।
- অনুমান পাইপলাইনের জন্য উত্পাদন গেট অনুমোদন করা এবং উত্পাদনে উন্নীত করার জন্য সহায়ক সংস্থানগুলি।
কোডের উদাহরণ
এই বিভাগে, আমরা নিম্নলিখিত আর্কিটেকচার ডায়াগ্রামে দেখানো হিসাবে একটি একক-অ্যাকাউন্ট সেটআপ সহ ব্যাচ ইনফারেন্স অপারেশনের জন্য একটি নমুনা কোড উপস্থাপন করি। নমুনা কোড পাওয়া যাবে GitHub সংগ্রহস্থল, এবং এন্টারপ্রাইজগুলির জন্য প্রায়শই প্রয়োজনীয় গুণমানের গেটগুলি ব্যবহার করে মডেল পর্যবেক্ষণ এবং স্বয়ংক্রিয় পুনঃপ্রশিক্ষণ সহ ব্যাচ অনুমানের জন্য একটি সূচনা পয়েন্ট হিসাবে পরিবেশন করতে পারে। নমুনা কোড নিম্নলিখিত উপায়ে লক্ষ্য আর্কিটেকচার থেকে পৃথক:
- এটি এমএল মডেল এবং সমর্থনকারী সংস্থান তৈরি এবং স্থাপনের জন্য একটি একক AWS অ্যাকাউন্ট ব্যবহার করে। নির্দেশ করে একাধিক অ্যাকাউন্ট ব্যবহার করে আপনার AWS পরিবেশ সংগঠিত করা AWS-এ মাল্টি-অ্যাকাউন্ট সেটআপ সংক্রান্ত নির্দেশনার জন্য।
- এটি এমএল মডেল এবং সহায়ক সংস্থান তৈরি এবং স্থাপনের জন্য একটি একক গিটল্যাব সিআই/সিডি পাইপলাইন ব্যবহার করে।
- মডেলের একটি নতুন সংস্করণ প্রশিক্ষিত এবং অনুমোদিত হলে, GitLab CI/CD পাইপলাইন স্বয়ংক্রিয়ভাবে ট্রিগার হয় না এবং মডেলের সর্বশেষ অনুমোদিত সংস্করণের সাথে SageMaker ব্যাচ ইনফারেন্স পাইপলাইন আপডেট করার জন্য দায়ী ডেটা বিজ্ঞানী দ্বারা ম্যানুয়ালি চালানোর প্রয়োজন হয়।
- এটি শুধুমাত্র S3 ইভেন্ট-ভিত্তিক ট্রিগার সমর্থন করে SageMaker প্রশিক্ষণ এবং অনুমান পাইপলাইন চালানোর জন্য।
পূর্বশর্ত
এই সমাধানটি স্থাপন করার আগে আপনার নিম্নলিখিত পূর্বশর্ত থাকা উচিত:
- একটি AWS অ্যাকাউন্ট
- সেজমেকার স্টুডিও
- Amazon S3 এর সাথে একটি সেজমেকার এক্সিকিউশন রোল রিড/রাইট এবং AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) এনক্রিপ্ট/ডিক্রিপ্ট অনুমতি
- ডেটা, স্ক্রিপ্ট এবং মডেল আর্টিফ্যাক্ট সংরক্ষণের জন্য একটি S3 বালতি
- Terraform সংস্করণ 0.13.5 বা তার বেশি
- পাইপলাইন চালানোর জন্য একটি কর্মরত ডকার রানার সহ গিটল্যাব
- AWS CLI
- jq
- আনজিপ
- Python3 (Python 3.7 বা তার বেশি) এবং নিম্নলিখিত Python প্যাকেজগুলি:
- boto3
- ঋষি নির্মাতা
- পান্ডাস
- pyyaml
সংগ্রহস্থল কাঠামো
সার্জারির GitHub সংগ্রহস্থল নিম্নলিখিত ডিরেক্টরি এবং ফাইল রয়েছে:
/code/lambda_function/
– এই ডিরেক্টরিটিতে একটি ল্যাম্বডা ফাংশনের জন্য পাইথন ফাইল রয়েছে যা সেজমেকার পাইপলাইনগুলির স্টেপ স্টেট পরিবর্তন সম্পর্কে বিজ্ঞপ্তি বার্তা (আমাজন SNS এর মাধ্যমে) প্রস্তুত করে এবং পাঠায়/data/
- এই ডিরেক্টরিতে কাঁচা ডেটা ফাইল অন্তর্ভুক্ত রয়েছে (প্রশিক্ষণ, অনুমান, এবং গ্রাউন্ড ট্রুথ ডেটা)/env_files/
– এই ডিরেক্টরিতে টেরাফর্ম ইনপুট ভেরিয়েবল ফাইল রয়েছে/pipeline_scripts/
– এই ডিরেক্টরিটিতে এইচপিও সেজমেকার পাইপলাইনগুলির সাথে প্রশিক্ষণ, অনুমান এবং প্রশিক্ষণ তৈরি এবং আপডেট করার জন্য তিনটি পাইথন স্ক্রিপ্ট রয়েছে, সেইসাথে প্রতিটি পাইপলাইনের পরামিতিগুলি নির্দিষ্ট করার জন্য কনফিগারেশন ফাইল রয়েছে/scripts/
- এই ডিরেক্টরিতে অতিরিক্ত পাইথন স্ক্রিপ্ট রয়েছে (যেমন প্রিপ্রসেসিং এবং মূল্যায়ন) যা প্রশিক্ষণ, অনুমান, এবং এইচপিও পাইপলাইনগুলির প্রশিক্ষণ দ্বারা উল্লেখ করা হয়.gitlab-ci.yml
- এই ফাইলটি GitLab CI/CD পাইপলাইন কনফিগারেশন নির্দিষ্ট করে/events.tf
- এই ফাইলটি ইভেন্টব্রিজ সংস্থানগুলিকে সংজ্ঞায়িত করে/lambda.tf
- এই ফাইলটি ল্যাম্বডা বিজ্ঞপ্তি ফাংশন এবং সংশ্লিষ্টকে সংজ্ঞায়িত করে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) সম্পদ/main.tf
- এই ফাইলটি Terraform ডেটা উত্স এবং স্থানীয় ভেরিয়েবলগুলিকে সংজ্ঞায়িত করে৷/sns.tf
- এই ফাইলটি অ্যামাজন এসএনএস সংস্থানগুলিকে সংজ্ঞায়িত করে৷/tags.json
- এই JSON ফাইলটি আপনাকে কাস্টম ট্যাগ কী-মান জোড়া ঘোষণা করতে এবং স্থানীয় পরিবর্তনশীল ব্যবহার করে আপনার Terraform সংস্থানগুলিতে যুক্ত করতে দেয়/variables.tf
- এই ফাইলটি সমস্ত Terraform ভেরিয়েবল ঘোষণা করে
ভেরিয়েবল এবং কনফিগারেশন
নিম্নলিখিত সারণীটি ভেরিয়েবলগুলি দেখায় যা এই সমাধানটি প্যারামিটারাইজ করতে ব্যবহৃত হয়। পড়ুন ./env_files/dev_env.tfvars
আরো বিস্তারিত জানার জন্য ফাইল.
নাম | বিবরণ |
bucket_name |
S3 বাকেট যা ডেটা, স্ক্রিপ্ট এবং মডেল আর্টিফ্যাক্ট সংরক্ষণ করতে ব্যবহৃত হয় |
bucket_prefix |
ML প্রকল্পের জন্য S3 উপসর্গ |
bucket_train_prefix |
প্রশিক্ষণ ডেটার জন্য S3 উপসর্গ |
bucket_inf_prefix |
অনুমান ডেটার জন্য S3 উপসর্গ |
notification_function_name |
Lambda ফাংশনের নাম যা সেজমেকার পাইপলাইনগুলির স্টেপ স্টেট পরিবর্তন সম্পর্কে বিজ্ঞপ্তি বার্তা প্রস্তুত করে এবং পাঠায় |
custom_notification_config |
নির্দিষ্ট সেজমেকার পাইপলাইন পদক্ষেপের জন্য বিজ্ঞপ্তি বার্তা কাস্টমাইজ করার কনফিগারেশন যখন একটি নির্দিষ্ট পাইপলাইন চালানোর অবস্থা সনাক্ত করা হয় |
email_recipient |
সেজমেকার পাইপলাইনগুলির স্টেপ স্টেট পরিবর্তনের বিজ্ঞপ্তিগুলি পাওয়ার জন্য ইমেল ঠিকানা তালিকা৷ |
pipeline_inf |
সেজমেকার ইনফারেন্স পাইপলাইনের নাম |
pipeline_train |
সেজমেকার প্রশিক্ষণ পাইপলাইনের নাম |
pipeline_trainwhpo |
HPO পাইপলাইন সহ সেজমেকার প্রশিক্ষণের নাম |
recreate_pipelines |
যদি সেট করা থাকে true , তিনটি বিদ্যমান সেজমেকার পাইপলাইন (প্রশিক্ষণ, অনুমান, এইচপিও সহ প্রশিক্ষণ) মুছে ফেলা হবে এবং গিটল্যাব সিআই/সিডি চালানো হলে নতুনগুলি তৈরি করা হবে |
model_package_group_name |
মডেল প্যাকেজ গ্রুপের নাম |
accuracy_mse_threshold |
মডেলের আপডেট করার আগে MSE-এর সর্বোচ্চ মান |
role_arn |
SageMaker পাইপলাইন কার্যকর করার ভূমিকার IAM ভূমিকা ARN৷ |
kms_key |
Amazon S3 এবং SageMaker এনক্রিপশনের জন্য KMS কী ARN |
subnet_id |
SageMaker নেটওয়ার্কিং কনফিগারেশনের জন্য সাবনেট আইডি |
sg_id |
SageMaker নেটওয়ার্কিং কনফিগারেশনের জন্য নিরাপত্তা গ্রুপ আইডি |
upload_training_data |
যদি সেট করা থাকে true , প্রশিক্ষণ ডেটা Amazon S3 এ আপলোড করা হবে, এবং এই আপলোড অপারেশনটি প্রশিক্ষণ পাইপলাইনের রানকে ট্রিগার করবে |
upload_inference_data |
যদি সেট করা থাকে true , অনুমান ডেটা Amazon S3 এ আপলোড করা হবে, এবং এই আপলোড অপারেশনটি অনুমান পাইপলাইনের রানকে ট্রিগার করবে |
user_id |
SageMaker ব্যবহারকারীর কর্মচারী আইডি যা SageMaker সংস্থানগুলিতে ট্যাগ হিসাবে যোগ করা হয় |
সমাধান স্থাপন করুন
আপনার AWS অ্যাকাউন্টে সমাধানটি স্থাপন করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- আপনার কাজের ডিরেক্টরিতে GitHub সংগ্রহস্থল ক্লোন করুন।
- আপনার পরিবেশ অনুসারে গিটল্যাব সিআই/সিডি পাইপলাইন কনফিগারেশন পর্যালোচনা এবং সংশোধন করুন। কনফিগারেশন উল্লেখ করা হয়
./gitlab-ci.yml
ফাইল. - সাধারণ সমাধান ভেরিয়েবল আপডেট করতে README ফাইলটি পড়ুন
./env_files/dev_env.tfvars
ফাইল এই ফাইলটিতে Python স্ক্রিপ্ট এবং Terraform অটোমেশন উভয়ের জন্য ভেরিয়েবল রয়েছে।- অতিরিক্ত সেজমেকার পাইপলাইন প্যারামিটারগুলি পরীক্ষা করুন যা নীচের YAML ফাইলগুলিতে সংজ্ঞায়িত করা হয়েছে
./batch_scoring_pipeline/pipeline_scripts/
. প্রয়োজনে পরামিতি পর্যালোচনা এবং আপডেট করুন।
- অতিরিক্ত সেজমেকার পাইপলাইন প্যারামিটারগুলি পরীক্ষা করুন যা নীচের YAML ফাইলগুলিতে সংজ্ঞায়িত করা হয়েছে
- সেজমেকার পাইপলাইন তৈরির স্ক্রিপ্টগুলি পর্যালোচনা করুন
./pipeline_scripts/
সেইসাথে স্ক্রিপ্ট যে তাদের দ্বারা উল্লেখ করা হয়./scripts/
ফোল্ডার GitHub রেপোতে প্রদত্ত উদাহরণ স্ক্রিপ্টগুলি এর উপর ভিত্তি করে অ্যাবালোন ডেটাসেট. আপনি যদি একটি ভিন্ন ডেটাসেট ব্যবহার করতে যাচ্ছেন, তাহলে নিশ্চিত করুন যে আপনি আপনার নির্দিষ্ট সমস্যার জন্য স্ক্রিপ্ট আপডেট করেছেন। - আপনার তথ্য ফাইল রাখুন
./data/
নিম্নলিখিত নামকরণ পদ্ধতি ব্যবহার করে ফোল্ডার। আপনি যদি প্রদত্ত উদাহরণ স্ক্রিপ্টের সাথে অ্যাবালোন ডেটাসেট ব্যবহার করেন, তাহলে নিশ্চিত করুন যে ডেটা ফাইলগুলি শিরোনামবিহীন, প্রশিক্ষণ ডেটাতে স্বাধীন এবং লক্ষ্য ভেরিয়েবল উভয়ই অন্তর্ভুক্ত থাকে এবং কলামের মূল ক্রম সংরক্ষিত থাকে, অনুমান ডেটাতে শুধুমাত্র স্বাধীন ভেরিয়েবল এবং গ্রাউন্ড ট্রুথ অন্তর্ভুক্ত থাকে। ফাইল শুধুমাত্র লক্ষ্য পরিবর্তনশীল অন্তর্ভুক্ত.training-data.csv
inference-data.csv
ground-truth.csv
- গিটল্যাব সিআই/সিডি পাইপলাইন রান (প্রথম রান) ট্রিগার করার জন্য কোডটি রিপোজিটরিতে কমিট করুন এবং পুশ করুন। উল্লেখ্য যে প্রথম পাইপলাইন রান ব্যর্থ হবে
pipeline
স্টেজ কারণ অনুমান পাইপলাইন স্ক্রিপ্ট ব্যবহার করার জন্য এখনও কোন অনুমোদিত মডেল সংস্করণ নেই। ধাপ লগ পর্যালোচনা করুন এবং একটি নতুন SageMaker পাইপলাইন নাম যাচাই করুনTrainingPipeline
সফলভাবে তৈরি করা হয়েছে।
-
- SageMaker Studio UI খুলুন, তারপর পর্যালোচনা করুন এবং প্রশিক্ষণ পাইপলাইন চালান।
- প্রশিক্ষণ পাইপলাইন সফলভাবে চালানোর পরে, মডেল রেজিস্ট্রিতে নিবন্ধিত মডেল সংস্করণ অনুমোদন করুন, তারপর সমগ্র GitLab CI/CD পাইপলাইন পুনরায় চালু করুন।
- মধ্যে Terraform পরিকল্পনা আউটপুট পর্যালোচনা
build
মঞ্চ ম্যানুয়াল অনুমোদন করুনapply
GitLab CI/CD পাইপলাইনে ধাপে পাইপলাইন চালানো পুনরায় শুরু করুন এবং আপনার AWS অ্যাকাউন্টে পর্যবেক্ষণ এবং বিজ্ঞপ্তি সংস্থান তৈরি করতে Terraform কে অনুমোদন করুন। - অবশেষে, SageMaker স্টুডিও UI-তে SageMaker পাইপলাইনগুলির রানের স্থিতি এবং আউটপুট পর্যালোচনা করুন এবং নিম্নলিখিত স্ক্রিনশটে দেখানো হিসাবে বিজ্ঞপ্তি বার্তাগুলির জন্য আপনার ইমেল পরীক্ষা করুন৷ ডিফল্ট মেসেজ বডি JSON ফর্ম্যাটে আছে।
সেজমেকার পাইপলাইন
এই বিভাগে, আমরা MLOps কর্মপ্রবাহের মধ্যে তিনটি সেজমেকার পাইপলাইন বর্ণনা করি।
প্রশিক্ষণ পাইপলাইন
প্রশিক্ষণ পাইপলাইন নিম্নলিখিত পদক্ষেপগুলি নিয়ে গঠিত:
- বৈশিষ্ট্য রূপান্তর এবং এনকোডিং সহ প্রি-প্রসেসিং ধাপ
- প্রশিক্ষণ ডেটা ব্যবহার করে ডেটা পরিসংখ্যান এবং সীমাবদ্ধতা বেসলাইন তৈরি করার জন্য ডেটা গুণমান পরীক্ষা পদক্ষেপ
- প্রশিক্ষণের ধাপ
- প্রশিক্ষণ মূল্যায়ন ধাপ
- প্রশিক্ষিত মডেল পূর্ব-নির্দিষ্ট কর্মক্ষমতা থ্রেশহোল্ড পূরণ করে কিনা তা পরীক্ষা করার শর্ত ধাপ
- প্রশিক্ষিত মডেল প্রয়োজনীয় কর্মক্ষমতা থ্রেশহোল্ড পূরণ করলে মডেল রেজিস্ট্রিতে সদ্য প্রশিক্ষিত মডেল নিবন্ধন করার জন্য মডেল নিবন্ধন ধাপ
উভয় skip_check_data_quality
এবং register_new_baseline_data_quality
পরামিতি সেট করা হয় True
প্রশিক্ষণ পাইপলাইনে। এই পরামিতিগুলি পাইপলাইনকে ডেটা গুণমান পরীক্ষা এড়িয়ে যাওয়ার নির্দেশ দেয় এবং প্রশিক্ষণ ডেটা ব্যবহার করে নতুন ডেটা পরিসংখ্যান বা সীমাবদ্ধতা বেসলাইন তৈরি এবং নিবন্ধন করে। নিম্নলিখিত চিত্রটি প্রশিক্ষণ পাইপলাইনের একটি সফল চালনা চিত্রিত করে।
ব্যাচ ইনফারেন্স পাইপলাইন
ব্যাচ ইনফারেন্স পাইপলাইন নিম্নলিখিত ধাপগুলি নিয়ে গঠিত:
- মডেল রেজিস্ট্রিতে সর্বশেষ অনুমোদিত মডেল সংস্করণ থেকে একটি মডেল তৈরি করা
- বৈশিষ্ট্য রূপান্তর এবং এনকোডিং সহ প্রি-প্রসেসিং ধাপ
- ব্যাচ অনুমান ধাপ
- ডেটা কোয়ালিটি চেক প্রিপ্রসেসিং স্টেপ, যা একটি নতুন CSV ফাইল তৈরি করে যেখানে ডেটা কোয়ালিটি চেক করার জন্য ব্যবহার করা ইনপুট ডেটা এবং মডেলের ভবিষ্যদ্বাণী উভয়ই রয়েছে
- ডেটা গুণমান পরীক্ষা পদক্ষেপ, যা নিবন্ধিত মডেলের সাথে যুক্ত বেসলাইন পরিসংখ্যান এবং সীমাবদ্ধতার বিরুদ্ধে ইনপুট ডেটা পরীক্ষা করে
- গ্রাউন্ড ট্রুথ ডেটা পাওয়া যায় কিনা তা পরীক্ষা করার শর্ত ধাপ। যদি গ্রাউন্ড ট্রুথ ডেটা পাওয়া যায়, তাহলে মডেল কোয়ালিটি চেক স্টেপ সঞ্চালিত হবে
- মডেলের গুণমান গণনার ধাপ, যা গ্রাউন্ড ট্রুথ লেবেলের উপর ভিত্তি করে মডেলের কার্যক্ষমতা গণনা করে
উভয় skip_check_data_quality
এবং register_new_baseline_data_quality
পরামিতি সেট করা হয় False
অনুমান পাইপলাইনে। এই প্যারামিটারগুলি নিবন্ধিত মডেলের সাথে যুক্ত ডেটা পরিসংখ্যান বা সীমাবদ্ধতা বেসলাইন ব্যবহার করে একটি ডেটা গুণমান পরীক্ষা করার জন্য পাইপলাইনকে নির্দেশ দেয় (supplied_baseline_statistics_data_quality
এবং supplied_baseline_constraints_data_quality
) এবং অনুমানের সময় নতুন ডেটা পরিসংখ্যান এবং সীমাবদ্ধতা বেসলাইন তৈরি বা নিবন্ধন করা এড়িয়ে যান। নীচের চিত্রটি ব্যাচ ইনফারেন্স পাইপলাইনের একটি রানকে চিত্রিত করে যেখানে অনুমান ডেটাতে মডেলের দুর্বল কার্যকারিতার কারণে ডেটা গুণমান পরীক্ষা পদক্ষেপ ব্যর্থ হয়েছে। এই বিশেষ ক্ষেত্রে, HPO পাইপলাইনের সাথে প্রশিক্ষণটি স্বয়ংক্রিয়ভাবে মডেলটিকে সূক্ষ্ম-টিউন করতে ট্রিগার করা হবে।
এইচপিও পাইপলাইনের সাথে প্রশিক্ষণ
এইচপিও পাইপলাইনের প্রশিক্ষণ নিম্নলিখিত ধাপগুলি নিয়ে গঠিত:
- প্রিপ্রসেসিং ধাপ (বৈশিষ্ট্য রূপান্তর এবং এনকোডিং)
- প্রশিক্ষণ ডেটা ব্যবহার করে ডেটা পরিসংখ্যান এবং সীমাবদ্ধতা বেসলাইন তৈরি করার জন্য ডেটা গুণমান পরীক্ষা পদক্ষেপ
- হাইপারপ্যারামিটার টিউনিং ধাপ
- প্রশিক্ষণ মূল্যায়ন ধাপ
- প্রশিক্ষিত মডেল একটি পূর্ব-নির্দিষ্ট নির্ভুলতা থ্রেশহোল্ড পূরণ করে কিনা তা পরীক্ষা করার শর্ত ধাপ
- মডেল রেজিস্ট্রেশন ধাপ যদি সেরা প্রশিক্ষিত মডেল প্রয়োজনীয় নির্ভুলতা থ্রেশহোল্ড পূরণ করে
উভয় skip_check_data_quality
এবং register_new_baseline_data_quality
পরামিতি সেট করা হয় True
এইচপিও পাইপলাইনের সাথে প্রশিক্ষণে। নিম্নলিখিত চিত্রটি HPO পাইপলাইনের সাথে প্রশিক্ষণের একটি সফল দৌড় চিত্রিত করে।
পরিষ্কার কর
আপনার সংস্থানগুলি পরিষ্কার করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- নিয়োগ
destroy
GitLab CI/CD পাইপলাইনে স্টেজ টেরাফর্ম দ্বারা প্রবিধান করা সমস্ত সংস্থানগুলিকে নির্মূল করার জন্য। - এর জন্য AWS CLI ব্যবহার করুন তালিকা এবং অপসারণ পাইথন স্ক্রিপ্ট দ্বারা তৈরি যে কোনো অবশিষ্ট পাইপলাইন।
- ঐচ্ছিকভাবে, CI/CD পাইপলাইনের বাইরে তৈরি S3 বাকেট বা IAM ভূমিকার মতো অন্যান্য AWS সংস্থান মুছুন।
উপসংহার
এই পোস্টে, আমরা দেখিয়েছি কিভাবে এন্টারপ্রাইজগুলি Amazon SageMaker, Amazon EventBridge, AWS Lambda, Amazon SNS, HashiCorp Terraform, এবং GitLab CI/CD ব্যবহার করে তাদের ব্যাচ ইনফারেন্স কাজের জন্য MLOps ওয়ার্কফ্লো তৈরি করতে পারে। উপস্থাপিত কর্মপ্রবাহ স্বয়ংক্রিয়ভাবে ডেটা এবং মডেল মনিটরিং, মডেল পুনঃপ্রশিক্ষণ, পাশাপাশি ব্যাচ জব রান, কোড সংস্করণ এবং অবকাঠামো ব্যবস্থা। এটি উত্পাদনে ব্যাচ ইনফারেন্স কাজগুলি বজায় রাখার জটিলতা এবং খরচগুলিতে উল্লেখযোগ্য হ্রাস ঘটাতে পারে। বাস্তবায়নের বিবরণ সম্পর্কে আরও তথ্যের জন্য, পর্যালোচনা করুন গিটহুব রেপো.
লেখক সম্পর্কে
হাসান শোজাই তিনি AWS প্রফেশনাল সার্ভিসেস-এর একজন সিনিয়র ডেটা সায়েন্টিস্ট, যেখানে তিনি বিগ ডেটা, মেশিন লার্নিং এবং ক্লাউড প্রযুক্তি ব্যবহারের মাধ্যমে বিভিন্ন শিল্প যেমন ক্রীড়া, বীমা এবং আর্থিক পরিষেবার গ্রাহকদের তাদের ব্যবসায়িক চ্যালেঞ্জগুলি সমাধান করতে সাহায্য করেন। এই ভূমিকার আগে, হাসান শীর্ষ শক্তি সংস্থাগুলির জন্য অভিনব পদার্থবিদ্যা-ভিত্তিক এবং ডেটা-চালিত মডেলিং কৌশলগুলি বিকাশের জন্য একাধিক উদ্যোগের নেতৃত্ব দিয়েছিলেন। কাজের বাইরে, হাসান বই, হাইকিং, ফটোগ্রাফি এবং ইতিহাস সম্পর্কে উত্সাহী।
ওয়েনক্সিন লিউ একজন সিনিয়র ক্লাউড ইনফ্রাস্ট্রাকচার আর্কিটেক্ট। Wenxin এন্টারপ্রাইজ কোম্পানিগুলিকে কীভাবে ক্লাউড গ্রহণকে ত্বরান্বিত করা যায় সে সম্পর্কে পরামর্শ দেয় এবং ক্লাউডে তাদের উদ্ভাবনকে সমর্থন করে। তিনি একজন পোষা প্রাণী প্রেমিক এবং স্নোবোর্ডিং এবং ভ্রমণ সম্পর্কে উত্সাহী।
বিবেক লক্ষ্মণন অ্যামাজনে একজন মেশিন লার্নিং ইঞ্জিনিয়ার। তিনি ডেটা সায়েন্সে বিশেষীকরণ সহ সফ্টওয়্যার ইঞ্জিনিয়ারিংয়ে স্নাতকোত্তর ডিগ্রি এবং এমএলই হিসাবে কয়েক বছরের অভিজ্ঞতা অর্জন করেছেন। বিবেক অত্যাধুনিক প্রযুক্তি প্রয়োগ করতে এবং ক্লাউডে গ্রাহকদের জন্য এআই/এমএল সমাধান তৈরি করে উত্তেজিত। তিনি এআই/এমএলে পরিসংখ্যান, এনএলপি এবং মডেল ব্যাখ্যাযোগ্যতার প্রতি আগ্রহী। অবসর সময়ে, তিনি ক্রিকেট খেলতে এবং রাস্তা ভ্রমণ করতে উপভোগ করেন।
অ্যান্ডি ক্র্যাচিওলো একজন ক্লাউড ইনফ্রাস্ট্রাকচার আর্কিটেক্ট। আইটি অবকাঠামোতে 15 বছরেরও বেশি সময় ধরে, অ্যান্ডি একজন দক্ষ এবং ফলাফল-চালিত আইটি পেশাদার। আইটি পরিকাঠামো, ক্রিয়াকলাপ এবং অটোমেশন অপ্টিমাইজ করার পাশাপাশি, অ্যান্ডির আইটি অপারেশন বিশ্লেষণ, অসঙ্গতিগুলি সনাক্তকরণ, এবং কার্যকারিতা বৃদ্ধি, খরচ হ্রাস এবং মুনাফা বৃদ্ধির প্রক্রিয়া বর্ধিতকরণ বাস্তবায়নের একটি প্রমাণিত ট্র্যাক রেকর্ড রয়েছে৷
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/mlops-for-batch-inference-with-model-monitoring-and-retraining-using-amazon-sagemaker-hashicorp-terraform-and-gitlab-ci-cd/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 100
- 125
- 13
- 15 বছর
- 15%
- 26%
- 29
- 500
- 7
- a
- সম্পর্কে
- দ্রুততর করা
- প্রবেশ
- সম্পন্ন
- হিসাব
- অ্যাকাউন্টস
- সঠিকতা
- দিয়ে
- আসল
- যোগ
- যোগ
- যোগ
- অতিরিক্ত
- ঠিকানা
- গ্রহণ
- বিরুদ্ধে
- এআই / এমএল
- সব
- অনুমতি
- বরাবর
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ
- এবং
- এবং অবকাঠামো
- কোন
- API
- আবেদন
- অ্যাপ্লিকেশন ডেভেলপমেন্ট
- প্রয়োগ করা হচ্ছে
- অভিগমন
- যথাযথ
- অনুমোদন
- অনুমোদন
- অনুমোদন করা
- অনুমোদিত
- স্থাপত্য
- রয়েছি
- AS
- আ
- যুক্ত
- At
- নিরীক্ষাযোগ্যতা
- অনুমোদন করা
- গাড়ী
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- সহজলভ্য
- ডেস্কটপ AWS
- এডাব্লুএস ল্যাম্বদা
- AWS প্রফেশনাল সার্ভিসেস
- ভিত্তি
- বেসলাইন
- BE
- কারণ
- হয়েছে
- আগে
- সুবিধা
- সর্বোত্তম
- সেরা অভ্যাস
- বিশাল
- বড় ডেটা
- তক্তা
- শরীর
- বই
- উভয়
- শাখা
- ভবন
- নির্মিত
- ব্যবসায়
- by
- হিসাব করে
- হিসাব
- কল
- কলিং
- CAN
- কেস
- মধ্য
- চ্যালেঞ্জ
- চ্যালেঞ্জিং
- পরিবর্তন
- পরিবর্তন
- পরিবর্তন
- চেক
- পরীক্ষণ
- চেক
- শ্রেণীবিন্যাস
- মেঘ
- মেঘ গ্রহণ
- মেঘ অবকাঠামো
- কোড
- কলাম
- কোম্পানি
- তুলনা
- সম্পূর্ণ
- জটিলতার
- সম্মতি
- স্থিরীকৃত
- ধারণা
- কনফিগারেশন
- সংযোগ
- সীমাবদ্ধতার
- ধারণ
- একটানা
- নিয়ন্ত্রণ
- নিয়ন্ত্রণগুলি
- সম্মেলন
- খরচ
- পারা
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- সৃষ্টি
- ক্রিকেট
- প্রথা
- গ্রাহকদের
- কাটিং-এজ
- উপাত্ত
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- তথ্য চালিত
- ঘোষণা
- ডিফল্ট
- সংজ্ঞায়িত
- সংজ্ঞায়িত
- ডিগ্রী
- বিলি
- প্রদর্শন
- প্রদর্শিত
- স্থাপন
- মোতায়েন
- মোতায়েন
- বর্ণনা করা
- নকশা
- বিস্তারিত
- বিস্তারিত
- সনাক্ত
- বিকাশ
- উন্নয়ন
- বিভিন্ন
- অভিমুখ
- সরাসরি
- ডিরেক্টরি
- আবিষ্কার
- আলোচনা করা
- ডকশ্রমিক
- না
- না
- কারণে
- সময়
- প্রতি
- সহজ
- কার্যকরীভাবে
- দক্ষতা
- দক্ষ
- পারেন
- বাছা
- ইমেইল
- কর্মচারী
- শক্তি
- প্রকৌশলী
- প্রকৌশল
- উন্নত বৈশিষ্ট্য
- নিশ্চিত করা
- নিশ্চিত
- উদ্যোগ
- উদ্যোগ
- সমগ্র
- পরিবেশ
- ভুল
- মূল্যায়ন
- ঘটনা
- উদাহরণ
- অতিক্রম করে
- উত্তেজিত
- ফাঁসি
- বিদ্যমান
- অভিজ্ঞতা
- f1
- ব্যর্থ
- ব্যর্থ
- ব্যর্থ
- বৈশিষ্ট্য
- ব্যক্তিত্ব
- ফাইল
- নথি পত্র
- আর্থিক
- অর্থনৈতিক সেবা সমূহ
- প্রথম
- স্থায়ী
- অনুসরণ
- জন্য
- বিন্যাস
- পাওয়া
- থেকে
- ক্রিয়া
- ক্রিয়াকলাপ
- গেটস
- সাধারণ
- উত্পন্ন
- উৎপাদিত
- git
- GitHub
- Go
- চালু
- বৃহত্তর
- স্থল
- গ্রুপ
- পথপ্রদর্শন
- হাত
- হ্যান্ডলিং
- আছে
- he
- সাহায্য
- তার
- ইতিহাস
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- হাইপারপ্যারামিটার অপ্টিমাইজেশান
- ID
- চিহ্নিতকরণের
- পরিচয়
- if
- প্রকাশ
- বাস্তবায়ন
- বাস্তবায়ন
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- বৃদ্ধি
- স্বাধীন
- স্বাধীনভাবে
- ইঙ্গিত
- স্বতন্ত্র
- শিল্প
- তথ্য
- পরিকাঠামো
- উদ্যোগ
- প্রবর্তিত
- ইনপুট
- ইনপুট
- বীমা
- ইন্টিগ্রেশন
- ইন্টারেক্টিভ
- মধ্যে
- প্রবর্তন করা
- সমস্যা
- IT
- এর
- কাজ
- জবস
- JPG
- JSON
- মাত্র
- চাবি
- লেবেলগুলি
- সর্বশেষ
- নেতৃত্ব
- শিক্ষা
- বরফ
- জীবনচক্র
- লাইন
- তালিকা
- স্থানীয়
- লগ ইন করুন
- মেশিন
- মেশিন লার্নিং
- প্রধান
- নিয়ন্ত্রণের
- করা
- পরিচালনা করা
- ব্যবস্থাপনা
- পরিচালক
- ম্যানুয়াল
- ম্যানুয়ালি
- চিহ্নিত
- মাস্টার্স
- উপাদান
- সম্মেলন
- পূরণ
- বার্তা
- বার্তা
- ছন্দোময়
- ছন্দোবিজ্ঞান
- ML
- এমএলওএস
- মডেল
- মূর্তিনির্মাণ
- মডেল
- পরিবর্তন
- পর্যবেক্ষণ
- অধিক
- বহু
- নামে
- নামকরণ
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- চাহিদা
- নেটওয়ার্কিং
- নতুন
- সদ্য
- NLP
- না।
- প্রজ্ঞাপন
- বিজ্ঞপ্তি
- উপন্যাস
- লক্ষ্য
- প্রাপ্ত
- উপগমন
- of
- নৈবেদ্য
- অফার
- প্রায়ই
- on
- ওগুলো
- কেবল
- অপারেশন
- অপারেশনস
- অপ্টিমাইজেশান
- সর্বোচ্চকরন
- or
- ক্রম
- সংগঠন
- সংগঠিত
- মূল
- অন্যান্য
- আউটপুট
- বাহিরে
- প্যাকেজ
- প্যাকেজ
- জোড়া
- পরামিতি
- অংশ
- বিশেষ
- পাস
- কামুক
- পথ
- সম্পাদন করা
- কর্মক্ষমতা
- সম্পাদিত
- ফটোগ্রাফি
- পাইপলাইন
- পরিকল্পনা
- পরিকল্পিত
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- বিন্দু
- দরিদ্র
- পোস্ট
- চর্চা
- ভবিষ্যতবাণী
- প্রস্তুত করে
- পূর্বশর্ত
- বর্তমান
- উপস্থাপন
- পূর্বে
- সমস্যা
- এগিয়ে
- প্রক্রিয়া
- প্রক্রিয়াকৃত
- উত্পাদনের
- পেশাদারী
- লাভ
- উন্নীত
- প্রস্তাবিত
- প্রমাণিত
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- pulls
- ধাক্কা
- পাইথন
- গুণ
- কাঁচা
- পড়া
- পড়া
- পায়
- গ্রহণ
- সাম্প্রতিক
- নথি
- হ্রাস করা
- হ্রাস
- সংক্রান্ত
- খাতা
- নিবন্ধভুক্ত
- নিবন্ধনের
- খাতাপত্র
- নিবন্ধন
- রেজিস্ট্রি
- নিয়মিতভাবে
- অবশিষ্ট
- পুনরাবৃত্তিযোগ্য
- প্রতিবেদন
- সংগ্রহস্থলের
- প্রতিনিধিত্ব করে
- প্রয়োজনীয়
- আবশ্যকতা
- প্রয়োজন
- Resources
- নিজ নিজ
- যথাক্রমে
- দায়ী
- ফলাফল
- জীবনবৃত্তান্ত
- পুনর্ব্যবহারযোগ্য
- এখানে ক্লিক করুন
- রাস্তা
- ভূমিকা
- নিয়ম
- চালান
- চর
- দৌড়
- রান
- ঋষি নির্মাতা
- সেজমেকার ইনফারেন্স
- সেজমেকার পাইপলাইন
- স্কেলেবিলিটি
- তফসিল
- পূর্বপরিকল্পনা
- বিজ্ঞান
- বিজ্ঞানী
- স্কোর
- স্ক্রিপ্ট
- SDK
- অধ্যায়
- পাঠান
- পাঠানোর
- পাঠায়
- পরিবেশন করা
- স্থল
- সেবা
- সেট
- সেটআপ
- বিভিন্ন
- ভাগ
- উচিত
- প্রদর্শিত
- শো
- গুরুত্বপূর্ণ
- সহজ
- একক
- সফটওয়্যার
- সফ্টওয়্যার প্রকৌশল
- সমাধান
- সলিউশন
- সমাধান
- সোর্স
- উৎস
- নির্দিষ্ট
- নিদিষ্ট
- বিজ্ঞাপন
- পর্যায়
- উপস্থাপনকারী
- শুরু
- শুরু হচ্ছে
- রাষ্ট্র
- পরিসংখ্যান
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- দোকান
- সংরক্ষণ
- কৌশল
- কাঠামোগত
- চিত্রশালা
- সফল
- সফলভাবে
- এমন
- মামলা
- সমর্থক
- সমর্থন
- টেবিল
- TAG
- গ্রহণ
- লক্ষ্য
- কার্য
- টীম
- প্রযুক্তি
- প্রযুক্তি
- টেমপ্লেট
- Terraform
- চেয়ে
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- তারপর
- সেখানে।
- যার ফলে
- এইগুলো
- তারা
- এই
- তিন
- গোবরাট
- দ্বারা
- সময়
- থেকে
- সরঞ্জাম
- শীর্ষ
- টপিক
- পথ
- রেকর্ড ট্র্যাক
- প্রশিক্ষিত
- প্রশিক্ষণ
- রুপান্তর
- স্বচ্ছ
- ভ্রমণ
- ট্রিগার
- আলোড়ন সৃষ্টি
- সত্য
- চালু
- দুই
- আদর্শ
- টিপিক্যাল
- ui
- অধীনে
- আন্ডারস্কোর
- আপডেট
- আপডেট
- আপলোড করা
- আপলোড
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- সদ্ব্যবহার করা
- ব্যবহার
- মূল্য
- পরিবর্তনশীল
- যাচাই
- সংস্করণ
- সংস্করণ
- মাধ্যমে
- ভায়োলেশন
- সতর্কবার্তা
- উপায়..
- উপায়
- we
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- কখন
- কিনা
- যে
- যখন
- হু
- ইচ্ছা
- সঙ্গে
- মধ্যে
- হয়া যাই ?
- কর্মপ্রবাহ
- কর্মপ্রবাহ
- কাজ
- ইয়ামল
- বছর
- এখনো
- আপনি
- আপনার
- zephyrnet