কিভাবে CCC ইন্টেলিজেন্ট সলিউশন Amazon SageMaker ব্যবহার করে জটিল AI মডেল হোস্ট করার জন্য একটি কাস্টম পদ্ধতি তৈরি করেছে

এই পোস্টটি CCC ইন্টেলিজেন্ট সলিউশন থেকে ক্রিস্টোফার ডিয়াজ, স্যাম কিনার্ড, জেইম হিডালগো এবং ড্যানিয়েল সুয়ারেজ দ্বারা সহ-লিখিত।

এই পোস্টে, আমরা কিভাবে আলোচনা CCC ইন্টেলিজেন্ট সলিউশন (CCC) মিলিত আমাজন সেজমেকার অন্যান্য AWS পরিষেবাগুলির সাথে একটি কাস্টম সমাধান তৈরি করতে যা কল্পনা করা জটিল কৃত্রিম বুদ্ধিমত্তা (AI) মডেলগুলির প্রকারগুলি হোস্ট করতে সক্ষম। CCC হল একটি অগ্রণী সফ্টওয়্যার-এ-সার্ভিস (SaaS) প্ল্যাটফর্ম যা বহু-ট্রিলিয়ন-ডলারের সম্পত্তি এবং বিমাকারী, মেরামতকারী, অটোমেকার, অংশ সরবরাহকারী, ঋণদাতা এবং আরও অনেকের জন্য ক্রিয়াকলাপকে শক্তিশালী করে। CCC ক্লাউড প্রযুক্তি 30,000 টিরও বেশি ব্যবসাকে ডিজিটাইজিং মিশন-সমালোচনামূলক কর্মপ্রবাহ, বাণিজ্য এবং গ্রাহকের অভিজ্ঞতাকে সংযুক্ত করে। AI, ইন্টারনেট অফ থিংস (IoT), গ্রাহকের অভিজ্ঞতা এবং নেটওয়ার্ক এবং ওয়ার্কফ্লো ম্যানেজমেন্টের একজন বিশ্বস্ত নেতা, CCC উদ্ভাবনগুলি সরবরাহ করে যা মানুষের জীবনকে এগিয়ে নিয়ে যায় যখন এটি সবচেয়ে গুরুত্বপূর্ণ।

চ্যালেঞ্জ

CCC বার্ষিক $1 ট্রিলিয়ন দাবির লেনদেন প্রক্রিয়া করে। যেহেতু কোম্পানিটি তার বিদ্যমান এবং নতুন পণ্যের ক্যাটালগে AI-কে সংহত করার জন্য বিকশিত হচ্ছে, এর জন্য জটিল ব্যবসায়িক চাহিদাগুলি সমাধানের জন্য মাল্টি-মডেল মেশিন লার্নিং (ML) এনসেম্বল মডেলগুলিকে প্রশিক্ষণ ও স্থাপন করার জন্য পরিশীলিত পদ্ধতির প্রয়োজন। এগুলি এমন এক শ্রেণীর মডেল যা মালিকানার অ্যালগরিদম এবং বিষয়বস্তুর ডোমেন দক্ষতাকে অন্তর্ভুক্ত করে যা CCC বছরের পর বছর ধরে সম্মানিত করেছে। এই মডেলগুলি একক ভবিষ্যদ্বাণী ফলাফল তৈরি করতে সূক্ষ্ম ডেটা এবং গ্রাহকের নিয়মগুলির নতুন স্তরগুলি গ্রহণ করতে সক্ষম হওয়া উচিত। এই ব্লগ পোস্টে, আমরা শিখব কিভাবে CCC অ্যামাজন সেজমেকার হোস্টিং এবং অন্যান্য AWS পরিষেবাগুলিকে একাধিক মাল্টি-মডেল মডেল স্থাপন বা হোস্ট করতে একটি ensemble inference পাইপলাইনে ব্যবহার করে।

নিম্নলিখিত চিত্রে দেখানো হয়েছে, একটি ensemble হল দুটি বা ততোধিক মডেলের একটি সংগ্রহ যা একটি একক ভবিষ্যদ্বাণী তৈরি করার জন্য একটি রৈখিক বা অরৈখিক ফ্যাশনে চালানোর জন্য সাজানো হয়। রৈখিকভাবে স্ট্যাক করা হলে, একটি ensemble এর পৃথক মডেলগুলিকে সরাসরি ভবিষ্যদ্বাণীর জন্য আহ্বান করা যেতে পারে এবং পরে একীকরণের জন্য একত্রিত করা যেতে পারে। কখনও কখনও, এনসেম্বল মডেলগুলিকে সিরিয়াল ইনফারেন্স পাইপলাইন হিসাবেও প্রয়োগ করা যেতে পারে।

আমাদের ব্যবহারের ক্ষেত্রে, এনসেম্বল পাইপলাইনটি কঠোরভাবে অরৈখিক, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে। ননলিনিয়ার এনসেম্বল পাইপলাইনগুলি তাত্ত্বিকভাবে সরাসরি অ্যাসাইক্লিক গ্রাফ (DAGs)। আমাদের ব্যবহারের ক্ষেত্রে, এই DAG পাইপলাইনে উভয়ই স্বাধীন মডেল ছিল যা সমান্তরালভাবে চালিত হয় (পরিষেবা বি, সি) এবং অন্যান্য মডেল যা পূর্ববর্তী পদক্ষেপগুলি (পরিষেবা ডি) থেকে পূর্বাভাস ব্যবহার করে।

CCC-তে গবেষণা-চালিত সংস্কৃতি থেকে বেরিয়ে আসা একটি অনুশীলন হল প্রযুক্তির ক্রমাগত পর্যালোচনা যা গ্রাহকদের কাছে আরও মূল্য আনতে পারে। যেহেতু CCC এই সমন্বিত চ্যালেঞ্জের মুখোমুখি হয়েছিল, নেতৃত্ব একটি প্রুফ-অফ-কনসেপ্ট (POC) উদ্যোগ চালু করেছে যাতে AWS থেকে অফারগুলিকে পুঙ্খানুপুঙ্খভাবে মূল্যায়ন করা যায়, বিশেষত, Amazon SageMaker এবং অন্যান্য AWS টুলগুলি জটিল, ননলাইনারে পৃথক AI মডেলগুলির হোস্টিং পরিচালনা করতে পারে কিনা। ensembles

এনসেম্বল ব্যাখ্যা করা হয়েছে: এই প্রসঙ্গে, একটি ensemble হল 2 বা তার বেশি AI মডেলের একটি গ্রুপ যা 1টি সামগ্রিক ভবিষ্যদ্বাণী তৈরি করতে একসঙ্গে কাজ করে।

প্রশ্ন গবেষণা চালনা

Amazon SageMaker কি AI মডেলগুলির জটিল ensembles হোস্ট করতে ব্যবহার করা যেতে পারে যা একটি সামগ্রিক ভবিষ্যদ্বাণী প্রদান করতে একসাথে কাজ করে? যদি তাই হয়, সেজমেকার কি বাক্সের বাইরে অন্যান্য সুবিধা দিতে পারে, যেমন বর্ধিত অটোমেশন, নির্ভরযোগ্যতা, পর্যবেক্ষণ, স্বয়ংক্রিয় স্কেলিং এবং খরচ-সঞ্চয় ব্যবস্থা?

ক্লাউড প্রোভাইডারদের কাছ থেকে প্রযুক্তিগত অগ্রগতি ব্যবহার করে CCC-এর AI মডেলগুলি মোতায়েন করার বিকল্প উপায় খুঁজে বের করা CCC-কে তার প্রতিযোগিতার চেয়ে দ্রুত বাজারে AI সমাধান আনতে সাহায্য করবে। উপরন্তু, ব্যবসায়িক অগ্রাধিকারের উপর ভিত্তি করে খরচ এবং কর্মক্ষমতার মধ্যে ভারসাম্য খুঁজে বের করার সময় একাধিক স্থাপনার আর্কিটেকচার নমনীয়তা প্রদান করে।

আমাদের প্রয়োজনীয়তার উপর ভিত্তি করে, আমরা একটি প্রোডাকশন-গ্রেড স্থাপনার আর্কিটেকচারের জন্য একটি চেকলিস্ট হিসাবে বৈশিষ্ট্যগুলির নিম্নলিখিত তালিকাটি চূড়ান্ত করেছি:

• জটিল ensembles জন্য সমর্থন
• সমস্ত উপাদানের জন্য গ্যারান্টিযুক্ত আপটাইম
• স্থাপন করা AI মডেলের জন্য কাস্টমাইজযোগ্য স্বয়ংক্রিয় স্কেলিং
• এআই মডেল ইনপুট এবং আউটপুট সংরক্ষণ
• সমস্ত উপাদানের জন্য ব্যবহারের মেট্রিক্স এবং লগ
• খরচ-সঞ্চয় প্রক্রিয়া

কম্পিউটার ভিশন মডেলের উপর নির্ভরশীল CCC-এর AI সলিউশনের অধিকাংশের সাথে, ছবি এবং ভিডিও ফাইলগুলিকে সমর্থন করার জন্য একটি নতুন আর্কিটেকচারের প্রয়োজন ছিল যা রেজোলিউশনে বাড়তে থাকে। একটি অ্যাসিঙ্ক্রোনাস মডেল হিসাবে এই স্থাপত্যটি ডিজাইন এবং বাস্তবায়নের একটি শক্তিশালী প্রয়োজন ছিল।

গবেষণার চক্র এবং প্রাথমিক বেঞ্চমার্কিং প্রচেষ্টার পরে, CCC নির্ধারণ করে যে সেজমেকার তাদের বেশিরভাগ উত্পাদন প্রয়োজনীয়তা পূরণের জন্য উপযুক্ত, বিশেষত গ্যারান্টিযুক্ত আপটাইম সেজমেকার তার বেশিরভাগ অনুমান উপাদানগুলির জন্য সরবরাহ করে। Amazon SageMaker অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের ডিফল্ট বৈশিষ্ট্য Amazon S3 এ ইনপুট/আউটপুট সংরক্ষণ করে জটিল ensembles থেকে উৎপন্ন ডেটা সংরক্ষণের কাজকে সহজ করে। উপরন্তু, প্রতিটি AI মডেলের নিজস্ব এন্ডপয়েন্ট দ্বারা হোস্ট করা হলে, মডেল বা এন্ডপয়েন্ট লেভেলে স্বয়ংক্রিয় স্কেলিং নীতিগুলি পরিচালনা করা সহজ হয়ে যায়। ব্যবস্থাপনাকে সরলীকরণ করে, এর থেকে একটি সম্ভাব্য খরচ-সঞ্চয় সুবিধা হল ডেভেলপমেন্ট টিমগুলি কম্পিউট রিসোর্সের অত্যধিক প্রভিশনিং কমানোর জন্য ফাইন-টিউনিং স্কেলিং নীতিগুলির জন্য আরও বেশি সময় বরাদ্দ করতে পারে।

স্থাপত্যের মূল উপাদান হিসাবে SageMaker ব্যবহার করার সিদ্ধান্ত নেওয়ার পরে, আমরা আরও বুঝতে পেরেছি যে SageMaker একটি আরও বড় আর্কিটেকচারের অংশ হতে পারে, অন্যান্য অনেক সার্ভারহীন AWS-পরিচালিত পরিষেবাগুলির সাথে পরিপূরক। এই জটিল স্থাপত্যের উচ্চ-ক্রম অর্কেস্ট্রেশন এবং পর্যবেক্ষণের প্রয়োজনীয়তা সহজতর করার জন্য এই পছন্দটি প্রয়োজন ছিল।

প্রথমত, পেলোডের আকারের সীমাবদ্ধতা দূর করতে এবং উচ্চ-ট্রাফিক পরিস্থিতিতে সময়সীমার ঝুঁকি কমাতে, CCC একটি আর্কিটেকচার প্রয়োগ করেছে যা অ্যাসিঙ্ক্রোনাসভাবে ভবিষ্যদ্বাণী চালায় সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট মূল বিল্ডিং ব্লক হিসাবে অন্যান্য AWS-পরিচালিত পরিষেবাগুলির সাথে মিলিত। উপরন্তু, সিস্টেমের ইউজার ইন্টারফেস ফায়ার-এন্ড-ফোরগেট ডিজাইন প্যাটার্ন অনুসরণ করে। অন্য কথায়, একবার একজন ব্যবহারকারী সিস্টেমে তাদের ইনপুট আপলোড করলে, আর কিছু করার দরকার নেই। পূর্বাভাস পাওয়া গেলে তাদের জানানো হবে। নীচের চিত্রটি আমাদের অ্যাসিঙ্ক্রোনাস ইভেন্ট-চালিত আর্কিটেকচারের একটি উচ্চ-স্তরের ওভারভিউ চিত্রিত করে। আসন্ন বিভাগে, আসুন ডিজাইন করা আর্কিটেকচারের এক্সিকিউশন ফ্লোতে গভীরভাবে ডুব দেওয়া যাক।

ধাপে ধাপে সমাধান

ধাপ 1

একটি ক্লায়েন্ট একটি অনুরোধ করে AWS API গেটওয়ে শেষপ্রান্ত. অনুরোধের বিষয়বস্তুতে AI পরিষেবার নাম রয়েছে যেখান থেকে তাদের একটি পূর্বাভাস এবং বিজ্ঞপ্তির পছন্দসই পদ্ধতি প্রয়োজন।

এই অনুরোধ একটি পাস করা হয় ল্যামডা ফাংশন বলা হয় নতুন ভবিষ্যদ্বাণী, যার প্রধান কাজগুলি হল:

• ক্লায়েন্ট দ্বারা অনুরোধ করা পরিষেবা উপলব্ধ কিনা তা পরীক্ষা করুন।
• অনুরোধে একটি অনন্য পূর্বাভাস আইডি বরাদ্দ করুন। এই ভবিষ্যদ্বাণী আইডিটি ব্যবহারকারী পুরো প্রক্রিয়া জুড়ে ভবিষ্যদ্বাণীর স্থিতি পরীক্ষা করতে ব্যবহার করতে পারেন।
• একটি উৎপন্ন আমাজন S3 পূর্ব-স্বাক্ষরিত URL যা ব্যবহারকারীকে পরবর্তী ধাপে ভবিষ্যদ্বাণী অনুরোধের ইনপুট সামগ্রী আপলোড করতে ব্যবহার করতে হবে।
• একটি এন্ট্রি তৈরি করুন আমাজন ডায়নামোডিবি প্রাপ্ত অনুরোধের তথ্য সহ।

Lambda ফাংশন তারপর API গেটওয়ে এন্ডপয়েন্টের মাধ্যমে একটি বার্তা সহ একটি প্রতিক্রিয়া প্রদান করবে যাতে অনুরোধের জন্য নির্ধারিত পূর্বাভাস আইডি এবং Amazon S3 পূর্ব-স্বাক্ষর করা URL অন্তর্ভুক্ত থাকে।

ধাপ 2

ক্লায়েন্ট পূর্ববর্তী ধাপে তৈরি করা প্রাক-স্বাক্ষরিত URL ব্যবহার করে একটি S3 বালতিতে পূর্বাভাস ইনপুট সামগ্রী নিরাপদে আপলোড করে। ইনপুট বিষয়বস্তু AI পরিষেবার উপর নির্ভর করে এবং এটি ছবি, ট্যাবুলার ডেটা বা উভয়ের সংমিশ্রণে গঠিত হতে পারে।

ধাপ 3

ব্যবহারকারী যখন ইনপুট সামগ্রী আপলোড করে তখন একটি ইভেন্ট ট্রিগার করার জন্য S3 বালতি কনফিগার করা হয়। এই বিজ্ঞপ্তিটি একটি Amazon SQS সারিতে পাঠানো হয় এবং একটি Lambda ফাংশন দ্বারা পরিচালিত হয় প্রসেস ইনপুট. দ্য প্রসেস ইনপুট Lambda DynamoDB থেকে সেই ভবিষ্যদ্বাণী আইডি সম্পর্কিত তথ্য পাবেন যে পরিষেবাটির কাছে অনুরোধ করা হবে তার নাম পেতে৷

এই পরিষেবাটি হয় একটি একক AI মডেল হতে পারে, এই ক্ষেত্রে প্রসেস ইনপুট Lambda সেজমেকার এন্ডপয়েন্টের কাছে একটি অনুরোধ করবে যা সেই মডেলটি হোস্ট করে (ধাপ 3-A), অথবা এটি একটি ensemble AI পরিষেবা হতে পারে যে ক্ষেত্রে প্রসেস ইনপুট Lambda স্টেপ ফাংশনগুলির স্টেট মেশিনের কাছে একটি অনুরোধ করবে যা ensemble লজিক হোস্ট করে (ধাপ 3-B)।

উভয় বিকল্পে (একক AI মডেল বা ensemble AI পরিষেবা), যখন চূড়ান্ত ভবিষ্যদ্বাণী প্রস্তুত হবে, এটি উপযুক্ত S3 বালতিতে সংরক্ষণ করা হবে এবং কলারকে ধাপ 1-এ উল্লেখিত পদ্ধতির মাধ্যমে অবহিত করা হবে (ধাপে বিজ্ঞপ্তি সম্পর্কে আরও বিশদ বিবরণ 4)।

পদক্ষেপ 3-এ

যদি পূর্বাভাস আইডি একটি একক AI মডেলের সাথে যুক্ত হয়, প্রসেস ইনপুট Lambda SageMaker এন্ডপয়েন্টের কাছে একটি অনুরোধ করবে যা মডেলটি পরিবেশন করে। এই সিস্টেমে, দুই ধরনের সেজমেকার এন্ডপয়েন্ট সমর্থিত:

• অসমনিয়ত: দ্য প্রসেস ইনপুট Lambda সেজমেকার অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্টের কাছে অনুরোধ করে। তাৎক্ষণিক প্রতিক্রিয়ার মধ্যে S3 অবস্থান রয়েছে যেখানে SageMaker পূর্বাভাস আউটপুট সংরক্ষণ করবে। এই অনুরোধটি অসিঙ্ক্রোনাস, ফায়ার-এন্ড-ফোরগেট প্যাটার্ন অনুসরণ করে এবং ল্যাম্বডা ফাংশনের কার্যকরী প্রবাহকে ব্লক করে না।
• সমলয়: দ্য প্রসেস ইনপুট Lambda সেজমেকার সিঙ্ক্রোনাস এন্ডপয়েন্টে অনুরোধ করে। যেহেতু এটি একটি সিঙ্ক্রোনাস অনুরোধ, প্রসেস ইনপুট প্রতিক্রিয়ার জন্য অপেক্ষা করে, এবং একবার প্রাপ্ত হলে, এটি S3-এ একটি সাদৃশ্যপূর্ণ উপায়ে সংরক্ষণ করে যা সেজমেকার অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্টগুলি করবে।

উভয় ক্ষেত্রেই (সিঙ্ক্রোনাস বা অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট), ভবিষ্যদ্বাণীটি একটি S3 বালতিতে আউটপুট সংরক্ষণ করে, একটি সমতুল্য উপায়ে প্রক্রিয়া করা হয়। যখন অ্যাসিঙ্ক্রোনাস সেজমেকার এন্ডপয়েন্ট একটি ভবিষ্যদ্বাণী সম্পূর্ণ করে, তখন একটি অ্যামাজন এসএনএস ইভেন্ট ট্রিগার হয়। ল্যাম্বডা ফাংশনে অতিরিক্ত যুক্তি সহ সিনক্রোনাস এন্ডপয়েন্টের জন্যও এই আচরণটি প্রতিলিপি করা হয়।

পদক্ষেপ 3-বি

যদি পূর্বাভাস আইডি একটি AI ensemble এর সাথে যুক্ত হয়, প্রসেস ইনপুট Lambda সেই AI এনসেম্বলের সাথে যুক্ত স্টেপ ফাংশনে অনুরোধ করবে। উপরে উল্লিখিত হিসাবে, একটি AI এনসেম্বল হল একটি স্থাপত্য যা AI মডেলগুলির একটি গ্রুপের উপর ভিত্তি করে যা একটি একক সামগ্রিক পূর্বাভাস তৈরি করতে একসাথে কাজ করে। একটি AI ensemble এর অর্কেস্ট্রেশন একটি ধাপ ফাংশনের মাধ্যমে সম্পন্ন করা হয়।

স্টেপ ফাংশনটিতে প্রতি এআই পরিষেবার একটি ধাপ রয়েছে যা এনসেম্বল নিয়ে গঠিত। প্রতিটি ধাপে একটি Lambda ফাংশন আহ্বান করবে যা পূর্ববর্তী ধাপের পূর্ববর্তী AI পরিষেবা কলগুলি থেকে আউটপুট সামগ্রীর বিভিন্ন সংমিশ্রণ ব্যবহার করে তার সংশ্লিষ্ট AI পরিষেবার ইনপুট প্রস্তুত করবে। এটি তারপর প্রতিটি AI পরিষেবাতে একটি কল করে যা এই প্রসঙ্গে, একটি একক AI মডেল বা অন্য AI ensemble হতে পারে।

একই Lambda ফাংশন, বলা হয় GetTransformCall একটি AI এনসেম্বলের মধ্যবর্তী ভবিষ্যদ্বাণীগুলি পরিচালনা করতে ব্যবহৃত ধাপের কার্য জুড়ে ব্যবহৃত হয়, তবে প্রতিটি ধাপের জন্য বিভিন্ন ইনপুট পরামিতি সহ। এই ইনপুটটিতে AI পরিষেবার নাম রয়েছে যা বলা হবে৷ এটি নির্দিষ্ট AI পরিষেবার জন্য ইনপুট তৈরি করার জন্য ম্যাপিং সংজ্ঞাও অন্তর্ভুক্ত করে। এটি একটি কাস্টম সিনট্যাক্স ব্যবহার করে করা হয় যা ল্যাম্বডা ডিকোড করতে পারে, যা সংক্ষেপে, একটি JSON অভিধান যেখানে মানগুলি পূর্ববর্তী AI পূর্বাভাসের সামগ্রীর সাথে প্রতিস্থাপন করা উচিত। Lambda Amazon S3 থেকে এই পূর্ববর্তী ভবিষ্যদ্বাণীগুলি ডাউনলোড করবে।

প্রতিটি ধাপে, GetTransformCall Lambda Amazon S3 থেকে পূর্ববর্তী আউটপুটগুলি পড়ে যা নির্দিষ্ট AI পরিষেবার ইনপুট তৈরি করতে প্রয়োজন৷ এটি তারপর আহ্বান করবে নতুন ভবিষ্যদ্বাণী Lambda কোড পূর্বে ধাপ 1-এ ব্যবহার করা হয়েছে এবং পরিষেবার নাম, কলব্যাক পদ্ধতি ("পদক্ষেপ ফাংশন") এবং অনুরোধ পেলোডে কলব্যাকের জন্য প্রয়োজনীয় টোকেন প্রদান করে, যা পরবর্তীতে একটি নতুন পূর্বাভাস রেকর্ড হিসাবে DynamoDB-তে সংরক্ষিত হয়। Lambda সেই পর্যায়ের তৈরি ইনপুট একটি S3 বালতিতেও সঞ্চয় করে। সেই স্টেজটি একটি একক AI মডেল বা একটি AI ensemble কিনা তার উপর নির্ভর করে, Lambda একটি SageMaker এন্ডপয়েন্ট বা একটি ভিন্ন স্টেপ ফাংশনের কাছে একটি অনুরোধ করে যা একটি AI ensemble পরিচালনা করে যা প্যারেন্ট ensemble এর নির্ভরতা।

একবার অনুরোধ করা হলে, স্টেপ ফাংশনটি একটি মুলতুবি অবস্থায় প্রবেশ করে যতক্ষণ না এটি কলব্যাক টোকেনটি প্রাপ্ত হয় যা নির্দেশ করে যে এটি পরবর্তী পর্যায়ে যেতে পারে। কলব্যাক টোকেন পাঠানোর কাজটি ল্যাম্বডা ফাংশন দ্বারা সঞ্চালিত হয় বিজ্ঞপ্তি (ধাপ 4 এ আরও বিশদ) যখন মধ্যবর্তী ভবিষ্যদ্বাণী প্রস্তুত হয়। চূড়ান্ত ভবিষ্যদ্বাণী প্রস্তুত না হওয়া পর্যন্ত এই প্রক্রিয়াটি ধাপ ফাংশনে সংজ্ঞায়িত প্রতিটি পর্যায়ের জন্য পুনরাবৃত্তি করা হয়।

ধাপ 4

যখন একটি ভবিষ্যদ্বাণী প্রস্তুত হয় এবং S3 বালতিতে সংরক্ষণ করা হয়, তখন একটি SNS বিজ্ঞপ্তি ট্রিগার হয়৷ এই ঘটনাটি প্রবাহের উপর নির্ভর করে বিভিন্ন উপায়ে ট্রিগার করা যেতে পারে:

1. স্বয়ংক্রিয়ভাবে যখন একটি সেজমেকার অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট একটি ভবিষ্যদ্বাণী সম্পূর্ণ করে।
2. স্টেপ ফাংশনের একেবারে শেষ ধাপ হিসেবে।
3. By প্রসেস ইনপুট or GetTransformCall Lambda যখন একটি সিঙ্ক্রোনাস SageMaker এন্ডপয়েন্ট একটি ভবিষ্যদ্বাণী ফিরিয়ে দিয়েছে।

B এবং C এর জন্য, A স্বয়ংক্রিয়ভাবে যা পাঠায় তার অনুরূপ আমরা একটি SNS বার্তা তৈরি করি।

নোটিফিকেশন নামক একটি ল্যাম্বডা ফাংশন এই এসএনএস বিষয়ে সদস্যতা নিয়েছে। নোটিফিকেশন Lambda DynamoDB থেকে ভবিষ্যদ্বাণী আইডি সম্পর্কিত তথ্য পাবে, স্ট্যাটাস ভ্যালু সহ এন্ট্রিকে "সম্পূর্ণ" বা "ত্রুটি" তে আপডেট করবে এবং ডাটাবেস রেকর্ডে সংরক্ষিত কলব্যাক মোডের উপর নির্ভর করে প্রয়োজনীয় পদক্ষেপ করবে।

যদি এই ভবিষ্যদ্বাণীটি একটি AI ensemble-এর মধ্যবর্তী ভবিষ্যদ্বাণী হয়, যেমনটি ধাপ 3-B-তে বর্ণিত হয়েছে, তাহলে এই ভবিষ্যদ্বাণীটির সাথে যুক্ত কলব্যাক মোড হবে "স্টেপ ফাংশন" এবং ডাটাবেস রেকর্ডে নির্দিষ্ট ধাপের সাথে যুক্ত একটি কলব্যাক টোকেন থাকবে। ধাপ ফাংশন। Lambda বিজ্ঞপ্তিগুলি "SendTaskSuccess" বা "SendTaskFailure" পদ্ধতি ব্যবহার করে AWS স্টেপ ফাংশন API এ কল করবে। এটি ধাপ ফাংশনটিকে পরবর্তী ধাপে যেতে বা প্রস্থান করার অনুমতি দেবে।

যদি ভবিষ্যদ্বাণীটি স্টেপ ফাংশনের চূড়ান্ত আউটপুট হয় এবং কলব্যাক মোড হয় "ওয়েবহুক" [বা ইমেল, বার্তা ব্রোকার (কাফকা) ইত্যাদি], তাহলে বিজ্ঞপ্তি ল্যাম্বডা নির্দিষ্ট উপায়ে ক্লায়েন্টকে অবহিত করবে। যেকোনো সময়ে, ব্যবহারকারী তাদের ভবিষ্যদ্বাণীর স্থিতির জন্য অনুরোধ করতে পারেন। অনুরোধে অবশ্যই ভবিষ্যদ্বাণী আইডি অন্তর্ভুক্ত করতে হবে যা ধাপ 1-এ বরাদ্দ করা হয়েছিল এবং এপিআই গেটওয়ের মধ্যে সঠিক ইউআরএলটি নির্দেশ করে ল্যাম্বডা ফাংশনে অনুরোধটি রুট করতে ফলাফল.

ফলাফল Lambda DynamoDB এর কাছে একটি অনুরোধ করবে, অনুরোধের স্থিতি পেয়ে এবং ব্যবহারকারীকে তথ্য ফেরত দেবে। যদি ভবিষ্যদ্বাণীর অবস্থা হয় ভুল, তারপর ব্যর্থতার প্রাসঙ্গিক বিবরণ প্রতিক্রিয়াতে অন্তর্ভুক্ত করা হবে। যদি ভবিষ্যদ্বাণীর অবস্থা হয় সাফল্য, ভবিষ্যদ্বাণী বিষয়বস্তু ডাউনলোড করার জন্য ব্যবহারকারীর জন্য একটি S3 পূর্ব-স্বাক্ষরিত URL ফেরত দেওয়া হবে।

ফলাফল

প্রাথমিক কর্মক্ষমতা পরীক্ষার ফলাফল আশাব্যঞ্জক এবং এই নতুন স্থাপনার আর্কিটেকচারের বাস্তবায়নকে প্রসারিত করার জন্য CCC-এর ক্ষেত্রে সমর্থন করে।

উল্লেখযোগ্য পর্যবেক্ষণ:

• পরীক্ষাগুলি উচ্চ ট্র্যাফিক পরিস্থিতিতে উচ্চ থ্রুপুট এবং 0 শতাংশ ব্যর্থতার হার সহ ব্যাচ বা সমকালীন অনুরোধগুলি প্রক্রিয়া করার শক্তি প্রকাশ করে।
• স্কেলিং ট্রিগার অতিরিক্ত কম্পিউট রিসোর্স প্রদান না করা পর্যন্ত অনুরোধের আকস্মিক প্রবাহের সময় বার্তা সারি সিস্টেমের মধ্যে স্থিতিশীলতা প্রদান করে। ট্রাফিক 3x বৃদ্ধি করার সময়, গড় অনুরোধের বিলম্ব মাত্র 5 শতাংশ বেড়েছে।
• বিভিন্ন সিস্টেমের উপাদানগুলির মধ্যে যোগাযোগের ওভারহেডের কারণে স্থায়িত্বের দাম দেরীতে বৃদ্ধি পায়। যখন ব্যবহারকারীর ট্র্যাফিক বেসলাইন থ্রেশহোল্ডের উপরে থাকে, খরচের তুলনায় কর্মক্ষমতা উচ্চ অগ্রাধিকার হলে আরও গণনা সংস্থান প্রদান করে যোগ করা বিলম্বিতা আংশিকভাবে প্রশমিত করা যেতে পারে।
• সেজমেকারের অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্ট অনুরোধগুলি পাওয়ার জন্য এন্ডপয়েন্ট সক্রিয় রাখার সময় ইনস্ট্যান্স গণনাকে শূন্যে স্কেল করার অনুমতি দেয়। এই কার্যকারিতা কম্পিউট খরচ ছাড়াই ডিপ্লোয়মেন্টগুলিকে চালিয়ে যেতে এবং দুটি পরিস্থিতিতে প্রয়োজন হলে শূন্য থেকে স্কেল করতে সক্ষম করে: নিম্ন পরীক্ষার পরিবেশে ব্যবহৃত পরিষেবা স্থাপনা এবং যেগুলি তাত্ক্ষণিক প্রক্রিয়াকরণের প্রয়োজন ছাড়াই ন্যূনতম ট্র্যাফিক রয়েছে।

উপসংহার

POC প্রক্রিয়া চলাকালীন যেমন দেখা গেছে, CCC এবং AWS দ্বারা যৌথভাবে তৈরি করা উদ্ভাবনী নকশা জটিল মাল্টি-মডাল AI ensembles এবং কার্যকরভাবে এবং নির্বিঘ্নে অর্কেস্ট্রেট ইনফারেন্স পাইপলাইনগুলি হোস্ট করতে অন্যান্য AWS পরিচালিত পরিষেবাগুলির সাথে Amazon SageMaker ব্যবহার করার জন্য একটি শক্ত ভিত্তি প্রদান করে। অ্যাসিঙ্ক্রোনাস ইনফারেন্সের মতো অ্যামাজন সেজমেকার-এর আউট-অফ-দ্য-বক্স কার্যকারিতাগুলিকে কাজে লাগানোর মাধ্যমে, CCC বিশেষ ব্যবসা-সমালোচনামূলক কাজগুলিতে ফোকাস করার আরও সুযোগ রয়েছে৷ CCC-এর গবেষণা-চালিত সংস্কৃতির চেতনায়, এই অভিনব স্থাপত্যটি বিকশিত হতে থাকবে কারণ CCC ক্লায়েন্টদের জন্য শক্তিশালী নতুন এআই সলিউশন আনতে AWS-এর পাশাপাশি এগিয়ে যাওয়ার পথ দেখায়।

অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টগুলি কীভাবে তৈরি, আহ্বান এবং নিরীক্ষণ করা যায় সে সম্পর্কে বিস্তারিত পদক্ষেপের জন্য, দেখুন ডকুমেন্টেশন, যা একটি ধারণ করে নমুনা নোটবুক আপনাকে শুরু করতে সাহায্য করার জন্য। মূল্য তথ্যের জন্য, দেখুন অ্যামাজন সেজমেকার প্রাইসিং.

কম্পিউটার ভিশন এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) এর মতো অসংগঠিত ডেটার সাথে অ্যাসিঙ্ক্রোনাস ইনফারেন্স ব্যবহার করার উদাহরণগুলির জন্য, পড়ুন Amazon SageMaker অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্টের সাথে বড় ভিডিওগুলিতে কম্পিউটার ভিশন ইনফারেন্স চালান এবং Hugging Face এবং Amazon SageMaker অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের সাথে উচ্চ-মূল্যের গবেষণা উন্নত করুন, যথাক্রমে।

---

লেখক সম্পর্কে

ক্রিস্টোফার ডিয়াজ CCC ইন্টেলিজেন্ট সলিউশনে একজন লিড R&D ইঞ্জিনিয়ার। R&D টিমের একজন সদস্য হিসেবে, তিনি ETL টুলিং, ব্যাকএন্ড ওয়েব ডেভেলপমেন্ট, ডিস্ট্রিবিউটেড সিস্টেমে AI মডেল প্রশিক্ষণের জন্য গবেষকদের সাথে সহযোগিতা এবং গবেষণা ও অপারেশন টিমের মধ্যে নতুন AI পরিষেবা সরবরাহের সুবিধার মতো বিভিন্ন প্রকল্পে কাজ করেছেন। তার সাম্প্রতিক ফোকাস কোম্পানির এআই মডেল ডেভেলপমেন্ট লাইফসাইকেলের বিভিন্ন দিক বাড়ানোর জন্য ক্লাউড টুলিং সমাধান নিয়ে গবেষণা করা হয়েছে। তার অবসর সময়ে, তিনি তার নিজের শহর শিকাগোতে নতুন রেস্তোরাঁর চেষ্টা করা এবং তার বাড়ির জন্য উপযুক্ত হিসাবে অনেকগুলি লেগো সেট সংগ্রহ করা উপভোগ করেন৷ ক্রিস্টোফার উত্তরপূর্ব ইলিনয় বিশ্ববিদ্যালয় থেকে কম্পিউটার বিজ্ঞানে স্নাতক ডিগ্রি অর্জন করেছেন।

এমি পুরস্কার বিজয়ী স্যাম কিনার্ড CCC ইন্টেলিজেন্ট সলিউশনে সফটওয়্যার ইঞ্জিনিয়ারিং-এর একজন সিনিয়র ম্যানেজার। অস্টিন, টেক্সাসে অবস্থিত, তিনি এআই রানটাইম টিমের সাথে ঝগড়া করেন, যেটি উচ্চ প্রাপ্যতা এবং বড় পরিসরে CCC-এর এআই পণ্য পরিবেশনের জন্য দায়ী। তার অবসর সময়ে, স্যাম তার দুটি দুর্দান্ত সন্তানের কারণে ঘুম থেকে বঞ্চিত হওয়া উপভোগ করে। স্যাম কম্পিউটার সায়েন্সে স্নাতক এবং অস্টিনের টেক্সাস বিশ্ববিদ্যালয় থেকে গণিতে বিজ্ঞানে স্নাতক করেছেন।

জাইমে হিডালগো CCC ইন্টেলিজেন্ট সলিউশনের একজন সিনিয়র সিস্টেম ইঞ্জিনিয়ার। AI গবেষণা দলে যোগদানের আগে, তিনি ক্লাউড পণ্য ও পরিষেবার মোতায়েন সমর্থন করার জন্য AWS-এর পরিকাঠামো ডিজাইন, নির্মাণ এবং স্বয়ংক্রিয়ভাবে মাইক্রোসার্ভিসেস আর্কিটেকচারে কোম্পানির গ্লোবাল মাইগ্রেশনের নেতৃত্ব দেন। বর্তমানে, তিনি AI প্রশিক্ষণের জন্য নির্মিত একটি অন-প্রিমিসেস ডেটা সেন্টার ক্লাস্টার তৈরি এবং সমর্থন করেন এবং কোম্পানির ভবিষ্যতের AI গবেষণা ও স্থাপনার জন্য ক্লাউড সমাধানগুলি ডিজাইন ও তৈরি করেন।

ড্যানিয়েল সুয়ারেজ CCC ইন্টেলিজেন্ট সলিউশনের একজন ডেটা সায়েন্স ইঞ্জিনিয়ার। AI ইঞ্জিনিয়ারিং টিমের একজন সদস্য হিসাবে, তিনি মেট্রিক্স এবং ML অপারেশনের অন্যান্য দিকগুলির উত্পাদন, মূল্যায়ন এবং পর্যবেক্ষণে AI মডেলগুলির অটোমেশন এবং প্রস্তুতির উপর কাজ করেন। ড্যানিয়েল ইলিনয় ইনস্টিটিউট অফ টেকনোলজি থেকে কম্পিউটার সায়েন্সে স্নাতকোত্তর এবং Universidad Politecnica de Madrid থেকে টেলিকমিউনিকেশন ইঞ্জিনিয়ারিংয়ে স্নাতকোত্তর এবং স্নাতক ডিগ্রি লাভ করেন।

অরুণপ্রসথ শংকর তিনি AWS-এর সাথে একজন সিনিয়র AI/ML বিশেষজ্ঞ সলিউশন আর্কিটেক্ট, বিশ্বব্যাপী গ্রাহকদেরকে তাদের AI সমাধানগুলি কার্যকরভাবে এবং দক্ষতার সাথে ক্লাউডে স্কেল করতে সাহায্য করে। অবসর সময়ে, অরুণ সাই-ফাই সিনেমা দেখতে এবং শাস্ত্রীয় সঙ্গীত শুনতে উপভোগ করেন।

জাস্টিন ম্যাকওয়ার্টার AWS-এর একজন সলিউশন আর্কিটেক্ট ম্যানেজার। তিনি আশ্চর্যজনক সমাধান স্থপতিদের একটি দলের সাথে কাজ করেন যারা AWS প্ল্যাটফর্ম গ্রহণ করার সময় গ্রাহকদের একটি ইতিবাচক অভিজ্ঞতা পেতে সহায়তা করে। কর্মস্থলে না থাকলে, জাস্টিন তার দুই ছেলের সাথে ভিডিও গেম খেলা, আইস হকি এবং তার জিপে অফ-রোডিং উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/