প্রান্তে ভিজ্যুয়াল গুণমান পরিদর্শনের জন্য এন্ড-টু-এন্ড MLOps পাইপলাইন তৈরি করুন – পার্ট 1 | আমাজন ওয়েব সার্ভিসেস

একটি উত্পাদন পরিবেশে একটি মেশিন লার্নিং (ML) মডেলের সফল স্থাপনা একটি এন্ড-টু-এন্ড ML পাইপলাইনের উপর ব্যাপকভাবে নির্ভর করে। যদিও এই ধরনের একটি পাইপলাইন তৈরি করা চ্যালেঞ্জিং হতে পারে, তবে একটির সাথে কাজ করার সময় এটি আরও জটিল হয়ে ওঠে প্রান্ত এমএল ব্যবহার ক্ষেত্রে. প্রান্তে মেশিন লার্নিং এমন একটি ধারণা যা স্থানীয়ভাবে এমএল মডেলগুলিকে প্রান্তের ডিভাইসগুলিতে চালানোর ক্ষমতা নিয়ে আসে। প্রান্তে এই মডেলগুলি স্থাপন, নিরীক্ষণ এবং বজায় রাখার জন্য, একটি শক্তিশালী MLOps পাইপলাইন প্রয়োজন। একটি MLOps পাইপলাইন ডেটা লেবেলিং থেকে মডেল প্রশিক্ষণ এবং স্থাপনা পর্যন্ত সম্পূর্ণ ML জীবনচক্র স্বয়ংক্রিয় করতে দেয়।

প্রান্তে একটি MLOps পাইপলাইন প্রয়োগ করা অতিরিক্ত জটিলতার পরিচয় দেয় যা অটোমেশন, ইন্টিগ্রেশন, এবং রক্ষণাবেক্ষণ প্রক্রিয়াগুলিকে আরও চ্যালেঞ্জিং করে তোলে কারণ বর্ধিত অপারেশনাল ওভারহেড জড়িত। যাইহোক, উদ্দেশ্য-নির্মিত সেবা ব্যবহার করে আমাজন সেজমেকার এবং এডাব্লুএস আইওটি গ্রিনগ্রাস আপনি উল্লেখযোগ্যভাবে এই প্রচেষ্টা কমাতে পারবেন. এই সিরিজে, আমরা আপনাকে সেজমেকার, এডব্লিউএস আইওটি গ্রীনগ্রাস এবং এডব্লিউএস আইওটি গ্রিনগ্রাস ব্যবহার করে প্রান্তে কম্পিউটার ভিশন ব্যবহারের ক্ষেত্রে একটি সমন্বিত এন্ড-টু-এন্ড MLOps পাইপলাইন নির্মাণের প্রক্রিয়ার মধ্য দিয়ে নিয়ে যাচ্ছি। এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK)।

এই পোস্টটি সামগ্রিক MLOps পাইপলাইন আর্কিটেকচার ডিজাইন করার উপর দৃষ্টি নিবদ্ধ করে; পার্ট 2 এবং পার্ট 3 এই সিরিজের পৃথক উপাদান বাস্তবায়ন উপর ফোকাস. আমরা সহগামী একটি নমুনা বাস্তবায়ন প্রদান করেছি GitHub সংগ্রহস্থল আপনি নিজেকে চেষ্টা করার জন্য। আপনি যদি সবেমাত্র AWS-এর প্রান্তে MLOps দিয়ে শুরু করছেন, তাহলে উল্লেখ করুন Amazon SageMaker Edge Manager এবং AWS IoT Greengrass-এর সাথে প্রান্তে MLOps একটি ওভারভিউ এবং রেফারেন্স আর্কিটেকচারের জন্য।

ব্যবহার ক্ষেত্রে: ধাতব ট্যাগের গুণমান পরিদর্শন করা

একজন এমএল ইঞ্জিনিয়ার হিসাবে, আপনি যে ব্যবসায়িক ক্ষেত্রে কাজ করছেন তা বোঝা গুরুত্বপূর্ণ। তাই আমরা MLOps পাইপলাইন আর্কিটেকচারে ডুব দেওয়ার আগে, আসুন এই পোস্টের নমুনা ব্যবহারের ক্ষেত্রে দেখি। কাস্টমাইজড লাগেজ ট্যাগ তৈরি করতে মেটাল ট্যাগ খোদাই করে এমন একটি প্রস্তুতকারকের উৎপাদন লাইন কল্পনা করুন। গুণমান নিশ্চিতকরণ প্রক্রিয়াটি ব্যয়বহুল কারণ কাঁচা ধাতু ট্যাগগুলি স্ক্র্যাচের মতো ত্রুটিগুলির জন্য ম্যানুয়ালি পরিদর্শন করা প্রয়োজন৷ এই প্রক্রিয়াটিকে আরও দক্ষ করার জন্য, আমরা প্রক্রিয়ার প্রথম দিকে ত্রুটিযুক্ত ট্যাগ সনাক্ত করতে ML ব্যবহার করি। এটি উত্পাদন প্রক্রিয়ার পরবর্তী পর্যায়ে ব্যয়বহুল ত্রুটিগুলি এড়াতে সহায়তা করে। মডেলটিকে প্রায়-রিয়েল টাইমে স্ক্র্যাচের মতো সম্ভাব্য ত্রুটিগুলি সনাক্ত করা উচিত এবং সেগুলি চিহ্নিত করা উচিত। দোকানের মেঝে পরিবেশে উত্পাদনে, আপনাকে প্রায়শই কোনও সংযোগ বা সীমাবদ্ধ ব্যান্ডউইথ এবং বর্ধিত বিলম্বের সাথে মোকাবিলা করতে হয়। অতএব, আমরা ভিজ্যুয়াল মানের পরিদর্শনের জন্য একটি অন-এজ এমএল সমাধান বাস্তবায়ন করতে চাই যা দোকানের মেঝেতে স্থানীয়ভাবে অনুমান চালাতে পারে এবং সংযোগের ক্ষেত্রে প্রয়োজনীয়তা হ্রাস করতে পারে। আমাদের উদাহরণ সহজবোধ্য রাখতে, আমরা এমন একটি মডেলকে প্রশিক্ষণ দিই যা শনাক্ত করা স্ক্র্যাচগুলিকে বাউন্ডিং বাক্সগুলির সাথে চিহ্নিত করে৷ নিম্নলিখিত চিত্রটি আমাদের ডেটাসেট থেকে তিনটি স্ক্র্যাচ চিহ্নিত একটি ট্যাগের উদাহরণ।

পাইপলাইন আর্কিটেকচার সংজ্ঞায়িত করা

আমরা এখন আমাদের ব্যবহারের ক্ষেত্রে স্পষ্টতা অর্জন করেছি এবং নির্দিষ্ট এমএল সমস্যা যা আমরা সমাধান করার লক্ষ্য নিয়েছি, যা প্রান্তে বস্তু সনাক্তকরণের চারপাশে ঘোরে। এখন আমাদের MLOps পাইপলাইনের জন্য একটি আর্কিটেকচার খসড়া করার সময়। এই পর্যায়ে, আমরা এখনও প্রযুক্তি বা নির্দিষ্ট পরিষেবাগুলি দেখছি না, বরং আমাদের পাইপলাইনের উচ্চ-স্তরের উপাদানগুলি দেখছি৷ দ্রুত পুনরায় প্রশিক্ষণ এবং স্থাপন করার জন্য, আমাদের সম্পূর্ণ এন্ড-টু-এন্ড প্রক্রিয়াটি স্বয়ংক্রিয় করতে হবে: ডেটা লেবেলিং থেকে প্রশিক্ষণ, অনুমান পর্যন্ত। যাইহোক, কয়েকটি চ্যালেঞ্জ রয়েছে যা একটি প্রান্তের ক্ষেত্রে একটি পাইপলাইন স্থাপন করা বিশেষভাবে কঠিন করে তোলে:

• এই প্রক্রিয়ার বিভিন্ন অংশ তৈরি করতে বিভিন্ন দক্ষতার প্রয়োজন। উদাহরণস্বরূপ, ডেটা লেবেলিং এবং প্রশিক্ষণের একটি শক্তিশালী ডেটা সায়েন্স ফোকাস রয়েছে, প্রান্ত স্থাপনের জন্য একজন ইন্টারনেট অফ থিংস (IoT) বিশেষজ্ঞের প্রয়োজন, এবং পুরো প্রক্রিয়াটি স্বয়ংক্রিয়ভাবে সাধারণত একজন DevOps দক্ষতা সেট সহ কেউ সম্পন্ন করে।
• আপনার প্রতিষ্ঠানের উপর নির্ভর করে, এই পুরো প্রক্রিয়াটি একাধিক দল দ্বারা বাস্তবায়িত হতে পারে। আমাদের ব্যবহারের ক্ষেত্রে, আমরা এই ধারণার অধীনে কাজ করছি যে আলাদা দলগুলি লেবেলিং, প্রশিক্ষণ এবং স্থাপনার জন্য দায়ী৷
• আরও ভূমিকা এবং দক্ষতা সেট মানে বিভিন্ন প্রয়োজনীয়তা যখন এটি টুলিং এবং প্রক্রিয়া আসে। উদাহরণস্বরূপ, ডেটা বিজ্ঞানীরা তাদের পরিচিত নোটবুক পরিবেশের সাথে নিরীক্ষণ এবং কাজ করতে চাইতে পারেন। MLOps প্রকৌশলীরা কোড (IaC) টুল হিসাবে অবকাঠামো ব্যবহার করে কাজ করতে চান এবং এর সাথে আরও পরিচিত হতে পারেন এডাব্লুএস ম্যানেজমেন্ট কনসোল.

আমাদের পাইপলাইন আর্কিটেকচারের জন্য এর অর্থ কী?

প্রথমত, এন্ড-টু-এন্ড সিস্টেমের প্রধান উপাদানগুলিকে স্পষ্টভাবে সংজ্ঞায়িত করা অত্যন্ত গুরুত্বপূর্ণ যা বিভিন্ন দলকে স্বাধীনভাবে কাজ করতে দেয়। দ্বিতীয়ত, সহযোগিতার দক্ষতা বাড়ানোর জন্য দলগুলির মধ্যে সু-সংজ্ঞায়িত ইন্টারফেসগুলিকে সংজ্ঞায়িত করতে হবে৷ এই ইন্টারফেসগুলি দলগুলির মধ্যে বিঘ্ন কমাতে সাহায্য করে, যতক্ষণ পর্যন্ত তারা সংজ্ঞায়িত ইন্টারফেসগুলি মেনে চলে ততক্ষণ তাদের অভ্যন্তরীণ প্রক্রিয়াগুলিকে প্রয়োজন অনুসারে পরিবর্তন করতে সক্ষম করে। নিম্নলিখিত চিত্রটি আমাদের কম্পিউটার ভিশন পাইপলাইনের জন্য এটি দেখতে কেমন হতে পারে তা ব্যাখ্যা করে।

আসুন MLOps পাইপলাইনের সামগ্রিক স্থাপত্য বিস্তারিতভাবে পরীক্ষা করি:

1. প্রক্রিয়াটি শুরু হয় ধাতব ট্যাগের কাঁচা চিত্রগুলির একটি সংগ্রহের মাধ্যমে, যা একটি প্রাথমিক প্রশিক্ষণ ডেটাসেট তৈরি করার জন্য উত্পাদন পরিবেশে একটি প্রান্ত ক্যামেরা ডিভাইস ব্যবহার করে ক্যাপচার করা হয়।
2. পরবর্তী ধাপে এই চিত্রগুলিকে লেবেল করা এবং বাউন্ডিং বাক্স ব্যবহার করে ত্রুটিগুলি চিহ্নিত করা জড়িত৷ লেবেলযুক্ত ডেটাসেটের সংস্করণ করা অপরিহার্য, ব্যবহৃত প্রশিক্ষণ ডেটার জন্য ট্রেসেবিলিটি এবং জবাবদিহিতা নিশ্চিত করা।
3. আমাদের একটি লেবেলযুক্ত ডেটাসেট থাকার পরে, আমরা আমাদের মডেলের প্রশিক্ষণ, সূক্ষ্ম টিউনিং, মূল্যায়ন এবং সংস্করণের সাথে এগিয়ে যেতে পারি।
4. যখন আমরা আমাদের মডেলের পারফরম্যান্সে সন্তুষ্ট থাকি, তখন আমরা মডেলটিকে একটি প্রান্ত ডিভাইসে স্থাপন করতে পারি এবং প্রান্তে লাইভ ইনফারেন্স চালাতে পারি।
5. মডেলটি উৎপাদনে কাজ করার সময়, এজ ক্যামেরা ডিভাইস মূল্যবান ইমেজ ডেটা তৈরি করে যাতে পূর্বে দেখা না যাওয়া ত্রুটি এবং এজ কেস রয়েছে। আমরা আমাদের মডেলের কর্মক্ষমতা আরও উন্নত করতে এই ডেটা ব্যবহার করতে পারি। এটি সম্পন্ন করার জন্য, আমরা এমন চিত্রগুলি সংরক্ষণ করি যার জন্য মডেলটি কম আত্মবিশ্বাসের সাথে ভবিষ্যদ্বাণী করে বা ভুল ভবিষ্যদ্বাণী করে৷ এই ছবিগুলি আবার আমাদের কাঁচা ডেটাসেটে যোগ করা হয়, পুরো প্রক্রিয়াটি আবার শুরু করে।

এটি লক্ষ করা গুরুত্বপূর্ণ যে কাঁচা চিত্রের ডেটা, লেবেলযুক্ত ডেটাসেট এবং প্রশিক্ষিত মডেলগুলি স্বতন্ত্র পাইপলাইনগুলির মধ্যে সু-সংজ্ঞায়িত ইন্টারফেস হিসাবে কাজ করে৷ MLOps প্রকৌশলী এবং ডেটা বিজ্ঞানীদের তাদের পাইপলাইনের মধ্যে প্রযুক্তিগুলি বেছে নেওয়ার নমনীয়তা রয়েছে যতক্ষণ না তারা ধারাবাহিকভাবে এই শিল্পকর্মগুলি তৈরি করে। সবচেয়ে উল্লেখযোগ্যভাবে, আমরা একটি বন্ধ ফিডব্যাক লুপ স্থাপন করেছি। উত্পাদনে করা ত্রুটিপূর্ণ বা কম-আস্থা ভবিষ্যদ্বাণী নিয়মিতভাবে আমাদের ডেটাসেট বৃদ্ধি করতে এবং স্বয়ংক্রিয়ভাবে মডেলটিকে পুনরায় প্রশিক্ষণ ও উন্নত করতে ব্যবহার করা যেতে পারে।

টার্গেট আর্কিটেকচার

এখন যেহেতু উচ্চ-স্তরের আর্কিটেকচার প্রতিষ্ঠিত হয়েছে, এখন সময় এসেছে এক স্তরের গভীরে যাওয়ার এবং আমরা কীভাবে AWS পরিষেবাগুলির সাথে এটি তৈরি করতে পারি তা দেখার। নোট করুন যে এই পোস্টে দেখানো আর্কিটেকচার অনুমান করে যে আপনি পুরো ডেটা বিজ্ঞান প্রক্রিয়ার সম্পূর্ণ নিয়ন্ত্রণ নিতে চান। যাইহোক, যদি আপনি প্রান্তে গুণমান পরিদর্শন শুরু করছেন, আমরা সুপারিশ করি দৃষ্টি জন্য Amazon Lookout. এটি এমএল কোড তৈরি, রক্ষণাবেক্ষণ বা বোঝা ছাড়াই আপনার নিজস্ব গুণমান পরিদর্শন মডেলকে প্রশিক্ষণ দেওয়ার একটি উপায় প্রদান করে। আরো তথ্যের জন্য, পড়ুন ভিশনের জন্য অ্যামাজন লুকআউট এখন প্রান্তে পণ্যের ত্রুটিগুলির চাক্ষুষ পরিদর্শন সমর্থন করে.

যাইহোক, যদি আপনি সম্পূর্ণ নিয়ন্ত্রণ নিতে চান, নিম্নলিখিত চিত্রটি দেখায় যে একটি স্থাপত্য কেমন হতে পারে।

আগের মতই, আসুন ধাপে ধাপে কর্মপ্রবাহের মধ্য দিয়ে চলুন এবং কোন AWS পরিষেবাগুলি আমাদের প্রয়োজনীয়তার সাথে মানানসই হয় তা শনাক্ত করি:

1. আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) কাঁচা ইমেজ ডেটা সঞ্চয় করতে ব্যবহৃত হয় কারণ এটি আমাদের একটি কম খরচে স্টোরেজ সমাধান প্রদান করে।
2. লেবেলিং ওয়ার্কফ্লো ব্যবহার করে সাজানো হয় এডাব্লুএস স্টেপ ফাংশন, একটি সার্ভারহীন ওয়ার্কফ্লো ইঞ্জিন যা লেবেলিং ওয়ার্কফ্লো এর ধাপগুলিকে সহজ করে তোলে৷ এই কর্মপ্রবাহের অংশ হিসাবে, আমরা ব্যবহার করি আমাজন সেজমেকার গ্রাউন্ড ট্রুথ লেবেলিং কাজ এবং পরিচালিত মানব কর্মশক্তি ব্যবহার করে লেবেলিং সম্পূর্ণরূপে স্বয়ংক্রিয় করতে। এডাব্লুএস ল্যাম্বদা ডেটা প্রস্তুত করতে, লেবেলিং কাজ শুরু করতে এবং লেবেলগুলি সংরক্ষণ করতে ব্যবহৃত হয় আমাজন সেজমেকার ফিচার স্টোর.
3. সেজমেকার ফিচার স্টোর লেবেল সংরক্ষণ করে। এটি আমাদেরকে কেন্দ্রীয়ভাবে আমাদের বৈশিষ্ট্যগুলিকে পরিচালনা এবং শেয়ার করার অনুমতি দেয় এবং আমাদেরকে অন্তর্নির্মিত ডেটা সংস্করণ করার ক্ষমতা প্রদান করে, যা আমাদের পাইপলাইনকে আরও শক্তিশালী করে তোলে।
4. আমরা মডেল বিল্ডিং এবং প্রশিক্ষণ পাইপলাইন ব্যবহার করে অর্কেস্ট্রেট করি অ্যামাজন সেজমেকার পাইপলাইন. এটি অন্তর্নির্মিত পদক্ষেপের মাধ্যমে প্রয়োজনীয় অন্যান্য সেজমেকার বৈশিষ্ট্যগুলির সাথে সংহত করে। সেজমেকার প্রশিক্ষণের চাকরি মডেল প্রশিক্ষণ স্বয়ংক্রিয় করতে ব্যবহৃত হয়, এবং সেজমেকার প্রসেসিং চাকরি ডেটা প্রস্তুত করতে এবং মডেলের কর্মক্ষমতা মূল্যায়ন করতে ব্যবহৃত হয়। এই উদাহরণে, আমরা ব্যবহার করছি Ultralytics YOLOv8 পাইথন প্যাকেজ এবং মডেল আর্কিটেকচার প্রশিক্ষণ এবং একটি বস্তু সনাক্তকরণ মডেল রপ্তানি ওএনএনএক্স বহনযোগ্যতার জন্য ML মডেল বিন্যাস।
5. কর্মক্ষমতা গ্রহণযোগ্য হলে, প্রশিক্ষিত মডেল নিবন্ধিত হয় আমাজন সেজমেকার মডেল রেজিস্ট্রি একটি বর্ধিত সংস্করণ নম্বর সংযুক্ত। এটি মডেল প্রশিক্ষণ এবং প্রান্ত স্থাপন পদক্ষেপের মধ্যে আমাদের ইন্টারফেস হিসাবে কাজ করে। আমরা এখানে মডেলগুলির অনুমোদনের অবস্থাও পরিচালনা করি। ব্যবহৃত অন্যান্য পরিষেবাগুলির মতো, এটি সম্পূর্ণরূপে পরিচালিত, তাই আমাদের নিজস্ব অবকাঠামো চালানোর যত্ন নিতে হবে না।
6. এজ ডিপ্লয়মেন্ট ওয়ার্কফ্লো স্টেপ ফাংশন ব্যবহার করে স্বয়ংক্রিয় হয়, লেবেলিং ওয়ার্কফ্লো অনুরূপ। আমরা স্টেপ ফাংশনের API ইন্টিগ্রেশন ব্যবহার করে সহজেই বিভিন্ন প্রয়োজনীয় AWS পরিষেবা API-কে কল করতে পারি যেমন AWS IoT Greengrass নতুন মডেলের উপাদান তৈরি করতে এবং তারপরে প্রান্ত ডিভাইসে উপাদানগুলি স্থাপন করতে।
7. AWS IoT Greengrass প্রান্ত ডিভাইস রানটাইম পরিবেশ হিসাবে ব্যবহৃত হয়। এটি প্রান্তে আমাদের মডেল এবং অনুমান উপাদানগুলির জন্য স্থাপনার জীবনচক্র পরিচালনা করে। এটি আমাদের সহজে সহজ API কল ব্যবহার করে আমাদের মডেলের নতুন সংস্করণ এবং অনুমান উপাদান স্থাপন করতে দেয়। উপরন্তু, প্রান্তে এমএল মডেল সাধারণত বিচ্ছিন্নভাবে চালানো হয় না; আমরা বিভিন্ন ব্যবহার করতে পারি ডেস্কটপ AWS এবং সম্প্রদায় অন্যান্য পরিষেবার সাথে সংযোগ করার জন্য AWS IoT Greengrass এর উপাদানগুলি প্রদান করে৷

স্থাপত্যের রূপরেখা পূর্বে দেখানো আমাদের উচ্চ-স্তরের স্থাপত্যের সাথে সাদৃশ্যপূর্ণ। Amazon S3, SageMaker ফিচার স্টোর, এবং SageMaker মডেল রেজিস্ট্রি বিভিন্ন পাইপলাইনের মধ্যে ইন্টারফেস হিসাবে কাজ করে। সমাধানটি চালানো এবং পরিচালনা করার প্রচেষ্টা কমাতে, আমরা যেখানেই সম্ভব পরিচালিত এবং সার্ভারহীন পরিষেবাগুলি ব্যবহার করি।

একটি শক্তিশালী CI/CD সিস্টেমে একত্রিত হচ্ছে

ডেটা লেবেলিং, মডেল প্রশিক্ষণ, এবং প্রান্ত স্থাপনের পদক্ষেপগুলি আমাদের সমাধানের মূল। যেমন, সেই অংশগুলির যে কোনও একটিতে অন্তর্নিহিত কোড বা ডেটা সম্পর্কিত যে কোনও পরিবর্তন পুরো অর্কেস্ট্রেশন প্রক্রিয়ার একটি নতুন রান ট্রিগার করবে৷ এটি অর্জন করার জন্য, আমাদের এই পাইপলাইনটিকে একটি CI/CD সিস্টেমে সংহত করতে হবে যা আমাদেরকে একটি সংস্করণযুক্ত কোড সংগ্রহস্থল থেকে উত্পাদনে স্বয়ংক্রিয়ভাবে কোড এবং অবকাঠামোগত পরিবর্তনগুলি স্থাপন করতে দেয়৷ পূর্ববর্তী স্থাপত্যের অনুরূপ, দলের স্বায়ত্তশাসন এখানে একটি গুরুত্বপূর্ণ দিক। নিম্নলিখিত চিত্রটি দেখায় যে এটি AWS পরিষেবাগুলি ব্যবহার করে দেখতে কেমন হতে পারে৷

আসুন সিআই/সিডি আর্কিটেকচারের মাধ্যমে চলুন:

1. এডাব্লুএস কোডকমিট আমাদের গিট সংগ্রহস্থল হিসাবে কাজ করে। সরলতার জন্য, আমাদের প্রদত্ত নমুনায়, আমরা একটি একক গিট রিপোজিটরিতে সাবফোল্ডারের মাধ্যমে স্বতন্ত্র অংশগুলি (লেবেলিং, মডেল প্রশিক্ষণ, প্রান্ত স্থাপন) আলাদা করেছি। একটি বাস্তব-বিশ্বের দৃশ্যে, প্রতিটি দল প্রতিটি অংশের জন্য বিভিন্ন সংগ্রহস্থল ব্যবহার করতে পারে।
2. অবকাঠামো স্থাপনা AWS CDK ব্যবহার করে স্বয়ংক্রিয় হয় এবং প্রতিটি অংশ (লেবেলিং, প্রশিক্ষণ এবং প্রান্ত) স্বাধীন স্থাপনের অনুমতি দেওয়ার জন্য নিজস্ব AWS CDK অ্যাপ পায়।
3. AWS CDK পাইপলাইন বৈশিষ্ট্য ব্যবহার করে AWS কোড পাইপলাইন অবকাঠামো এবং কোড স্থাপনা স্বয়ংক্রিয় করতে।
4. AWS CDK প্রতিটি ধাপের জন্য দুটি কোড পাইপলাইন স্থাপন করে: একটি সম্পদ পাইপলাইন এবং একটি ওয়ার্কফ্লো পাইপলাইন। সম্পদের কোনো পরিবর্তন না হলে (উদাহরণস্বরূপ, প্রশিক্ষণের জন্য নতুন ছবি পাওয়া গেলে) আমাদের আলাদাভাবে ওয়ার্কফ্লো শুরু করার অনুমতি দেওয়ার জন্য আমরা অ্যাসেট ডিপ্লয়মেন্ট থেকে ওয়ার্কফ্লোকে আলাদা করেছি।
   • সম্পদ কোড পাইপলাইন কর্মপ্রবাহ সফলভাবে চালানোর জন্য প্রয়োজনীয় সমস্ত অবকাঠামো স্থাপন করে, যেমন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা, Lambda ফাংশন, এবং কন্টেইনার ইমেজ প্রশিক্ষণ সময় ব্যবহৃত.
   • ওয়ার্কফ্লো কোড পাইপলাইন প্রকৃত লেবেলিং, প্রশিক্ষণ, বা প্রান্ত স্থাপনার কর্মপ্রবাহ চালায়।
5. সম্পদ পাইপলাইনগুলি স্বয়ংক্রিয়ভাবে কমিটের সাথে সাথে পূর্ববর্তী ওয়ার্কফ্লো পাইপলাইন সম্পূর্ণ হলে ট্রিগার হয়।
6. পুরো প্রক্রিয়াটি একটি ব্যবহার করে একটি সময়সূচীতে ট্রিগার করা হয় অ্যামাজন ইভেন্টব্রিজ নিয়মিত পুনরায় প্রশিক্ষণের জন্য নিয়ম।

CI/CD ইন্টিগ্রেশনের সাথে, পুরো এন্ড-টু-এন্ড চেইন এখন সম্পূর্ণ স্বয়ংক্রিয়। যখনই আমাদের গিট রিপোজিটরিতে কোড পরিবর্তিত হয় সেইসাথে ডেটা পরিবর্তনের জন্য মিটমাট করার জন্য একটি সময়সূচীতে পাইপলাইনটি ট্রিগার হয়।

সামনের কথা ভাবছি

বর্ণিত সমাধান আর্কিটেকচার প্রান্তে একটি এন্ড-টু-এন্ড MLOps পাইপলাইন নির্মাণের মৌলিক উপাদানগুলিকে উপস্থাপন করে। যাইহোক, আপনার প্রয়োজনীয়তার উপর নির্ভর করে, আপনি অতিরিক্ত কার্যকারিতা যোগ করার কথা ভাবতে পারেন। নিচে কিছু উদাহরণ দেওয়া হল:

উপসংহার

এই পোস্টে, আমরা AWS পরিষেবাগুলি ব্যবহার করে প্রান্তে ভিজ্যুয়াল মানের পরিদর্শনের জন্য এন্ড-টু-এন্ড MLOps পাইপলাইন তৈরির জন্য আমাদের আর্কিটেকচারের রূপরেখা দিয়েছি। এই আর্কিটেকচারটি পুরো প্রক্রিয়াটিকে স্ট্রীমলাইন করে, ডেটা লেবেলিং, মডেল ডেভেলপমেন্ট এবং এজ ডিপ্লয়মেন্টকে অন্তর্ভুক্ত করে, আমাদেরকে দ্রুত এবং নির্ভরযোগ্যভাবে ট্রেনিং এবং মডেলের নতুন সংস্করণ বাস্তবায়ন করতে সক্ষম করে। সার্ভারহীন এবং পরিচালিত পরিষেবাগুলির সাথে, আমরা অবকাঠামো পরিচালনার পরিবর্তে ব্যবসায়িক মূল্য প্রদানের দিকে আমাদের ফোকাসকে নির্দেশ করতে পারি।

In পার্ট 2 এই সিরিজের, আমরা এক স্তরের গভীরে অনুসন্ধান করব এবং এই আর্কিটেকচারের বাস্তবায়নকে আরও বিশদে দেখব, বিশেষ করে লেবেলিং এবং মডেল বিল্ডিং। আপনি যদি সরাসরি কোডে ঝাঁপ দিতে চান, আপনি সহগামী চেক আউট করতে পারেন গিটহুব রেপো.

---

লেখক সম্পর্কে

মাইকেল রথ তিনি AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট যিনি জার্মানিতে উৎপাদনকারী গ্রাহকদের AWS প্রযুক্তির মাধ্যমে তাদের ব্যবসায়িক চ্যালেঞ্জগুলি সমাধান করতে সহায়তা করেন। কাজ এবং পরিবারের পাশাপাশি তিনি স্পোর্টস কারগুলিতে আগ্রহী এবং ইতালিয়ান কফি উপভোগ করেন।

জর্গ ওহরল তিনি AWS-এর একজন সলিউশন আর্কিটেক্ট, জার্মানিতে উৎপাদনকারী গ্রাহকদের সাথে কাজ করছেন। অটোমেশনের প্রতি অনুরাগের সাথে, Joerg তার প্রাক-AWS জীবনে একজন সফ্টওয়্যার বিকাশকারী, DevOps প্রকৌশলী এবং সাইট নির্ভরযোগ্যতা প্রকৌশলী হিসাবে কাজ করেছেন। মেঘের বাইরে, তিনি একজন উচ্চাভিলাষী রানার এবং তার পরিবারের সাথে মানসম্পন্ন সময় উপভোগ করেন। তাই যদি আপনার একটি DevOps চ্যালেঞ্জ থাকে বা একটি দৌড়ের জন্য যেতে চান: তাকে জানান।

জোহানেস ল্যাঙ্গার AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট, জার্মানিতে এন্টারপ্রাইজ গ্রাহকদের সাথে কাজ করছেন। জোহানেস প্রকৃত ব্যবসায়িক সমস্যা সমাধানের জন্য মেশিন লার্নিং প্রয়োগ করার বিষয়ে উত্সাহী। তার ব্যক্তিগত জীবনে, জোহানেস বাড়ির উন্নতি প্রকল্পে কাজ করা এবং তার পরিবারের সাথে বাইরে সময় কাটাতে উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-for-visual-quality-inspection-at-the-edge-part-1/