আজকাল, আমাদের বেশিরভাগ গ্রাহক বড় ভাষা মডেল (LLMs) নিয়ে উচ্ছ্বসিত এবং চিন্তা করছেন যে কীভাবে জেনারেটিভ AI তাদের ব্যবসায় রূপান্তর করতে পারে। যাইহোক, এই ধরনের সমাধান এবং মডেলগুলিকে ব্যবসার মতো-সাধারণ ক্রিয়াকলাপে আনা সহজ কাজ নয়। এই পোস্টে, আমরা আলোচনা করব কিভাবে MLOps নীতিগুলি ব্যবহার করে জেনারেটিভ AI অ্যাপ্লিকেশনগুলিকে কার্যকর করা যায় যার ফলে ফাউন্ডেশন মডেল অপারেশন (FMOps) হয়। উপরন্তু, আমরা টেক্সট-টু-টেক্সট অ্যাপ্লিকেশন এবং LLM অপারেশন (LLMOps), FMOps-এর একটি উপসেটের সবচেয়ে সাধারণ জেনারেটিভ AI ব্যবহারের ক্ষেত্রে গভীরভাবে ডুব দিই। নিম্নলিখিত চিত্রটি আমরা যে বিষয়গুলি নিয়ে আলোচনা করি তা ব্যাখ্যা করে৷
বিশেষত, আমরা সংক্ষেপে MLOps নীতিগুলি প্রবর্তন করি এবং প্রক্রিয়া, মানুষ, মডেল নির্বাচন এবং মূল্যায়ন, ডেটা গোপনীয়তা এবং মডেল স্থাপন সংক্রান্ত FMOps এবং LLMOps এর তুলনায় প্রধান পার্থক্যকারীদের উপর ফোকাস করি। এটি সেই গ্রাহকদের ক্ষেত্রে প্রযোজ্য যারা এগুলিকে বাক্সের বাইরে ব্যবহার করে, স্ক্র্যাচ থেকে ফাউন্ডেশন মডেল তৈরি করে বা সেগুলিকে সুন্দর করে। আমাদের পদ্ধতি ওপেন সোর্স এবং মালিকানাধীন মডেল উভয় ক্ষেত্রেই সমানভাবে প্রযোজ্য।
এমএল অপারেশনালাইজেশন সারাংশ
পোস্টে সংজ্ঞায়িত করা হয়েছে Amazon SageMaker এর সাথে উদ্যোগের জন্য MLOps ফাউন্ডেশন রোডম্যাপ, ML এবং অপারেশনস (MLOps) হল মেশিন লার্নিং (ML) সমাধানগুলিকে দক্ষতার সাথে উৎপাদন করার জন্য মানুষ, প্রক্রিয়া এবং প্রযুক্তির সমন্বয়। এটি অর্জনের জন্য, দল এবং ব্যক্তিত্বের সমন্বয়ে সহযোগিতা করতে হবে, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে।
এই দলগুলি নিম্নরূপ:
- উন্নত বিশ্লেষণ দল (ডেটা লেক এবং ডেটা জাল) - ডেটা ইঞ্জিনিয়াররা একাধিক উত্স থেকে ডেটা প্রস্তুত এবং ইনজেস্ট করার জন্য, ডেটা কিউরেট এবং ক্যাটালগ করার জন্য ETL (এক্সট্রাক্ট, ট্রান্সফর্ম এবং লোড) পাইপলাইন তৈরি করার জন্য এবং ML ব্যবহারের ক্ষেত্রে প্রয়োজনীয় ঐতিহাসিক ডেটা প্রস্তুত করার জন্য দায়ী৷ এই ডেটা মালিকরা একাধিক ব্যবসায়িক ইউনিট বা দলগুলিতে তাদের ডেটা অ্যাক্সেস দেওয়ার দিকে মনোনিবেশ করে।
- তথ্য বিজ্ঞান দল - ডেটা বিজ্ঞানীদের নোটবুকে কাজ করা পূর্বনির্ধারিত কী পারফরম্যান্স ইন্ডিকেটর (KPIs) এর উপর ভিত্তি করে সেরা মডেল তৈরির উপর ফোকাস করতে হবে। গবেষণা পর্যায় সমাপ্ত হওয়ার পরে, ডেটা বিজ্ঞানীদের এমএল ইঞ্জিনিয়ারদের সাথে সহযোগিতা করতে হবে যাতে সিআই/সিডি পাইপলাইনগুলি ব্যবহার করে বিল্ডিং (এমএল পাইপলাইন) এবং মডেলগুলিকে উৎপাদনে স্থাপনের জন্য অটোমেশন তৈরি করতে হয়।
- ব্যবসায়িক দল – মডেলের কার্যকারিতা মূল্যায়নের জন্য ব্যবহার করা ব্যবসার ক্ষেত্রে, প্রয়োজনীয়তা এবং কেপিআইগুলি সংজ্ঞায়িত করার জন্য একজন পণ্যের মালিক দায়ী৷ ML গ্রাহকরা হল অন্যান্য ব্যবসায়িক স্টেকহোল্ডার যারা সিদ্ধান্ত নেওয়ার জন্য অনুমান ফলাফল (পূর্বাভাস) ব্যবহার করে।
- প্ল্যাটফর্ম দল - স্থপতিরা ব্যবসার সামগ্রিক ক্লাউড আর্কিটেকচারের জন্য দায়ী এবং কীভাবে সমস্ত বিভিন্ন পরিষেবা একসাথে সংযুক্ত থাকে। নিরাপত্তা এসএমই ব্যবসার নিরাপত্তা নীতি এবং প্রয়োজনের উপর ভিত্তি করে আর্কিটেকচার পর্যালোচনা করে। MLOps ইঞ্জিনিয়াররা ML ব্যবহারের কেস তৈরি করতে ডেটা বিজ্ঞানী এবং ML ইঞ্জিনিয়ারদের জন্য একটি নিরাপদ পরিবেশ প্রদানের জন্য দায়ী। বিশেষত, তারা ব্যবসা এবং নিরাপত্তা প্রয়োজনীয়তার উপর ভিত্তি করে CI/CD পাইপলাইন, ব্যবহারকারী এবং পরিষেবার ভূমিকা এবং কন্টেইনার তৈরি, মডেল খরচ, পরীক্ষা এবং স্থাপনার পদ্ধতির মানককরণের জন্য দায়ী।
- ঝুঁকি এবং সম্মতি দল - আরো সীমাবদ্ধ পরিবেশের জন্য, অডিটররা ডেটা, কোড এবং মডেল আর্টিফ্যাক্টগুলি মূল্যায়ন করার জন্য এবং ব্যবসাটি ডেটা গোপনীয়তার মতো প্রবিধানগুলির সাথে সঙ্গতিপূর্ণ কিনা তা নিশ্চিত করার জন্য দায়ী৷
নোট করুন যে ব্যবসার স্কেলিং এবং MLOps পরিপক্কতার উপর নির্ভর করে একাধিক ব্যক্তি একই ব্যক্তি দ্বারা কভার করা যেতে পারে।
এই ব্যক্তিদের বিভিন্ন প্রক্রিয়া সঞ্চালনের জন্য নিবেদিত পরিবেশের প্রয়োজন, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
পরিবেশগুলি নিম্নরূপ:
- প্ল্যাটফর্ম প্রশাসন - প্ল্যাটফর্ম অ্যাডমিনিস্ট্রেশন এনভায়রনমেন্ট হল সেই জায়গা যেখানে প্ল্যাটফর্ম টিম AWS অ্যাকাউন্ট তৈরি করতে এবং সঠিক ব্যবহারকারী এবং ডেটা লিঙ্ক করতে অ্যাক্সেস করে
- উপাত্ত - ডেটা লেয়ার, প্রায়ই ডেটা লেক বা ডেটা মেশ নামে পরিচিত, এটি এমন একটি পরিবেশ যা ডেটা ইঞ্জিনিয়ার বা মালিক এবং ব্যবসায়িক স্টেকহোল্ডাররা ডেটা প্রস্তুত করতে, ইন্টারঅ্যাক্ট করতে এবং ভিজ্যুয়ালাইজ করতে ব্যবহার করে।
- পরীক্ষা - ডেটা বিজ্ঞানীরা নতুন লাইব্রেরি এবং এমএল কৌশলগুলি পরীক্ষা করার জন্য একটি স্যান্ডবক্স বা পরীক্ষার পরিবেশ ব্যবহার করে প্রমাণ করে যে তাদের ধারণার প্রমাণ ব্যবসায়িক সমস্যার সমাধান করতে পারে
- মডেল বিল্ড, মডেল টেস্ট, মডেল স্থাপন - মডেল তৈরি, পরীক্ষা এবং স্থাপনার পরিবেশ হল MLOps-এর স্তর, যেখানে ডেটা বিজ্ঞানী এবং ML ইঞ্জিনিয়াররা গবেষণাকে স্বয়ংক্রিয় করতে এবং উৎপাদনে নিয়ে যেতে সহযোগিতা করে
- এমএল শাসন – ধাঁধার শেষ অংশটি হল ML গভর্নেন্স এনভায়রনমেন্ট, যেখানে সমস্ত মডেল এবং কোড আর্টিফ্যাক্ট সংরক্ষিত, পর্যালোচনা এবং সংশ্লিষ্ট ব্যক্তিদের দ্বারা নিরীক্ষিত হয়
নিম্নলিখিত চিত্রটি রেফারেন্স আর্কিটেকচারকে চিত্রিত করে, যা ইতিমধ্যে আলোচনা করা হয়েছে Amazon SageMaker এর সাথে উদ্যোগের জন্য MLOps ফাউন্ডেশন রোডম্যাপ.
প্রতিটি ব্যবসায়িক ইউনিটের নিজস্ব বিকাশ (স্বয়ংক্রিয় মডেল প্রশিক্ষণ এবং বিল্ডিং), প্রিপ্রোডাকশন (স্বয়ংক্রিয় পরীক্ষা) এবং উৎপাদন (মডেল স্থাপন এবং পরিবেশন) অ্যাকাউন্ট রয়েছে এমএল ব্যবহারের ক্ষেত্রে উৎপাদন করার জন্য, যা একটি কেন্দ্রীভূত বা বিকেন্দ্রীভূত ডেটা লেক বা ডেটা থেকে ডেটা পুনরুদ্ধার করে। জাল, যথাক্রমে। সমস্ত উত্পাদিত মডেল এবং কোড অটোমেশন একটি মডেল রেজিস্ট্রির ক্ষমতা ব্যবহার করে একটি কেন্দ্রীভূত টুলিং অ্যাকাউন্টে সংরক্ষণ করা হয়। এই সমস্ত অ্যাকাউন্টের জন্য অবকাঠামো কোড একটি শেয়ার্ড সার্ভিস অ্যাকাউন্টে (উন্নত অ্যানালিটিক্স গভর্নেন্স অ্যাকাউন্ট) সংস্করণ করা হয়েছে যা প্ল্যাটফর্ম টিম প্রতিটি নতুন দলের MLOps প্ল্যাটফর্মে অনবোর্ডিংয়ের জন্য বিমূর্ত, টেমপ্লেটাইজ, বজায় রাখতে এবং পুনরায় ব্যবহার করতে পারে।
জেনারেটিভ AI সংজ্ঞা এবং MLOps এর পার্থক্য
ক্লাসিক ML-এ, মানুষ, প্রক্রিয়া এবং প্রযুক্তির পূর্ববর্তী সংমিশ্রণ আপনাকে আপনার ML ব্যবহারের ক্ষেত্রে উত্পাদন করতে সাহায্য করতে পারে। যাইহোক, জেনারেটিভ AI-তে, ব্যবহারের ক্ষেত্রের প্রকৃতির জন্য সেই ক্ষমতাগুলির একটি এক্সটেনশন বা নতুন ক্ষমতা প্রয়োজন। এই নতুন ধারণাগুলির মধ্যে একটি হল ভিত্তি মডেল (এফএম)। এগুলিকে এই নামে ডাকা হয় কারণ এগুলি অন্যান্য AI মডেলগুলির বিস্তৃত পরিসর তৈরি করতে ব্যবহার করা যেতে পারে, যেমনটি নিম্নলিখিত চিত্রটিতে চিত্রিত হয়েছে।
FM কে টেরাবাইট ডেটার উপর ভিত্তি করে প্রশিক্ষিত করা হয়েছে এবং জেনারেটিভ AI ব্যবহারের ক্ষেত্রে তিনটি প্রধান বিভাগের উপর ভিত্তি করে পরবর্তী সর্বোত্তম উত্তরের পূর্বাভাস দিতে সক্ষম হওয়ার জন্য কয়েক বিলিয়ন প্যারামিটার রয়েছে:
- টেক্সট টু টেক্সট – FMs (LLMs) কে লেবেলবিহীন ডেটার (যেমন বিনামূল্যের পাঠ্য) উপর ভিত্তি করে প্রশিক্ষণ দেওয়া হয়েছে এবং পরবর্তী সেরা শব্দ বা শব্দের ক্রম (অনুচ্ছেদ বা দীর্ঘ প্রবন্ধ) ভবিষ্যদ্বাণী করতে সক্ষম। মানুষের মতো চ্যাটবট, সংক্ষিপ্তকরণ, বা প্রোগ্রামিং কোডের মতো অন্যান্য বিষয়বস্তু তৈরির ক্ষেত্রে প্রধান ব্যবহারের ক্ষেত্রে।
- টেক্সট টু ইমেজ - লেবেলযুক্ত ডেটা, যেমন জোড়া , এফএম প্রশিক্ষণের জন্য ব্যবহার করা হয়েছে, যা পিক্সেলের সর্বোত্তম সংমিশ্রণের পূর্বাভাস দিতে সক্ষম। উদাহরণ ব্যবহারের ক্ষেত্রে পোশাক ডিজাইন জেনারেশন বা কাল্পনিক ব্যক্তিগতকৃত ছবি।
- পাঠ্য থেকে অডিও বা ভিডিও - লেবেলযুক্ত এবং লেবেলবিহীন উভয় ডেটাই এফএম প্রশিক্ষণের জন্য ব্যবহার করা যেতে পারে। একটি প্রধান জেনারেটিভ এআই ব্যবহারের ক্ষেত্রে উদাহরণ হল সঙ্গীত রচনা।
এই জেনারেটিভ AI ব্যবহারের ক্ষেত্রে উৎপাদন করতে, নিম্নলিখিতগুলি অন্তর্ভুক্ত করার জন্য আমাদের MLOps ডোমেন ধার এবং প্রসারিত করতে হবে:
- FM অপারেশন (FMOps) - এটি যেকোন ব্যবহারের কেস টাইপ সহ জেনারেটিভ এআই সলিউশন তৈরি করতে পারে
- LLM অপারেশন (LLMOps) - এটি এফএমওপ-এর একটি উপসেট যা এলএলএম-ভিত্তিক সমাধান যেমন টেক্সট-টু-টেক্সট উৎপাদনে ফোকাস করে।
নিম্নলিখিত চিত্রটি এই ব্যবহারের ক্ষেত্রে ওভারল্যাপকে চিত্রিত করে।
ক্লাসিক ML এবং MLOps-এর তুলনায়, FMOps এবং LLMOps চারটি প্রধান বিভাগের উপর ভিত্তি করে স্থগিত করে যা আমরা নিম্নলিখিত বিভাগে কভার করি: মানুষ এবং প্রক্রিয়া, FM-এর নির্বাচন এবং অভিযোজন, FM-এর মূল্যায়ন ও পর্যবেক্ষণ, ডেটা গোপনীয়তা এবং মডেল স্থাপনা, এবং প্রযুক্তির প্রয়োজন। আমরা একটি পৃথক পোস্টে পর্যবেক্ষণ কভার করব.
জেনারেটিভ এআই ব্যবহারকারীর ধরন প্রতি অপারেশনালাইজেশন যাত্রা
প্রক্রিয়াগুলির বর্ণনা সহজ করার জন্য, নিম্নলিখিত চিত্রে দেখানো হিসাবে আমাদের প্রধান জেনারেটিভ এআই ব্যবহারকারীর প্রকারগুলিকে শ্রেণিবদ্ধ করতে হবে।
ব্যবহারকারীর প্রকারগুলি নিম্নরূপ:
- প্রোভাইডার - ব্যবহারকারীরা যারা স্ক্র্যাচ থেকে FM তৈরি করে এবং অন্যান্য ব্যবহারকারীদের (ফাইন-টিউনার এবং ভোক্তাদের) পণ্য হিসাবে সরবরাহ করে। তাদের গভীর এন্ড-টু-এন্ড ML এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) দক্ষতা এবং ডেটা বিজ্ঞানের দক্ষতা এবং বিশাল ডেটা লেবেলার এবং সম্পাদক দল রয়েছে।
- ফাইন-টিউনার - ব্যবহারকারীরা যারা কাস্টম প্রয়োজনীয়তা পূরণের জন্য প্রদানকারীদের থেকে FM পুনরায় প্রশিক্ষণ (সূক্ষ্ম-টিউন) করে। তারা ভোক্তাদের দ্বারা ব্যবহারের জন্য একটি পরিষেবা হিসাবে মডেলের স্থাপনার অর্কেস্ট্রেট করে। এই ব্যবহারকারীদের শক্তিশালী এন্ড-টু-এন্ড এমএল এবং ডেটা বিজ্ঞানের দক্ষতা এবং মডেল স্থাপনা এবং অনুমান সম্পর্কে জ্ঞান প্রয়োজন। প্রম্পট ইঞ্জিনিয়ারিং সহ টিউনিংয়ের জন্য শক্তিশালী ডোমেন জ্ঞানও প্রয়োজন।
- কনজিউমার্স - ব্যবহারকারীরা যারা টেক্সট প্রম্পটিং বা ভিজ্যুয়াল ইন্টারফেসের মাধ্যমে প্রদানকারী বা ফাইন-টিউনারদের কাছ থেকে জেনারেটিভ AI পরিষেবার সাথে যোগাযোগ করে কাঙ্ক্ষিত ক্রিয়াগুলি সম্পূর্ণ করতে। কোন ML দক্ষতার প্রয়োজন নেই কিন্তু, বেশিরভাগই, অ্যাপ্লিকেশন ডেভেলপার বা শেষ-ব্যবহারকারীদের পরিষেবার ক্ষমতা বোঝার সাথে। ভালো ফলাফলের জন্য শুধুমাত্র প্রম্পট ইঞ্জিনিয়ারিং প্রয়োজন।
সংজ্ঞা এবং প্রয়োজনীয় ML দক্ষতা অনুসারে, MLOpsগুলি বেশিরভাগ প্রদানকারী এবং ফাইন-টিউনারদের জন্য প্রয়োজন, যখন গ্রাহকরা জেনারেটিভ AI অ্যাপ্লিকেশন তৈরি করতে DevOps এবং AppDev এর মতো অ্যাপ্লিকেশন উত্পাদন নীতিগুলি ব্যবহার করতে পারেন। উপরন্তু, আমরা ব্যবহারকারীর ধরনগুলির মধ্যে একটি আন্দোলন লক্ষ্য করেছি, যেখানে প্রদানকারীরা একটি নির্দিষ্ট উল্লম্ব (যেমন আর্থিক খাতের) উপর ভিত্তি করে ব্যবহারের ক্ষেত্রে সমর্থন করার জন্য ফাইন-টিউনার হতে পারে বা গ্রাহকরা আরও সঠিক ফলাফল অর্জনের জন্য ফাইন-টিউনার হতে পারে। কিন্তু আসুন ব্যবহারকারীর ধরন প্রতি প্রধান প্রক্রিয়া পর্যবেক্ষণ করা যাক.
ভোক্তাদের যাত্রা
নিম্নলিখিত চিত্রটি ভোক্তাদের যাত্রার চিত্র তুলে ধরে।
পূর্বে উল্লিখিত হিসাবে, ভোক্তাদের একটি FM নির্বাচন, পরীক্ষা এবং ব্যবহার করতে হবে, নির্দিষ্ট ইনপুট প্রদান করে এর সাথে ইন্টারঅ্যাক্ট করতে হবে, অন্যথায় হিসাবে পরিচিত অনুরোধ জানানো. কম্পিউটার প্রোগ্রামিং এবং এআই-এর প্রেক্ষাপটে প্রম্পটগুলি একটি প্রতিক্রিয়া তৈরি করার জন্য একটি মডেল বা সিস্টেমকে দেওয়া ইনপুটকে উল্লেখ করে। এটি একটি পাঠ্য, কমান্ড বা একটি প্রশ্নের আকারে হতে পারে, যা সিস্টেমটি প্রক্রিয়া করতে এবং একটি আউটপুট তৈরি করতে ব্যবহার করে। এফএম দ্বারা উত্পন্ন আউটপুট শেষ ব্যবহারকারীদের দ্বারা ব্যবহার করা যেতে পারে, যারা মডেলের ভবিষ্যত প্রতিক্রিয়াগুলিকে উন্নত করতে এই আউটপুটগুলিকে রেট দিতেও সক্ষম হওয়া উচিত।
এই মৌলিক প্রক্রিয়াগুলির বাইরে, আমরা লক্ষ্য করেছি যে ভোক্তারা ফাইন-টিউনারদের দেওয়া কার্যকারিতা ব্যবহার করে একটি মডেলকে সূক্ষ্ম-টিউন করার ইচ্ছা প্রকাশ করছে। উদাহরণস্বরূপ, একটি ওয়েবসাইট নিন যা ছবি তৈরি করে। এখানে, শেষ-ব্যবহারকারীরা ব্যক্তিগত অ্যাকাউন্ট সেট আপ করতে, ব্যক্তিগত ফটো আপলোড করতে এবং পরবর্তীতে সেই ছবিগুলির সাথে সম্পর্কিত বিষয়বস্তু তৈরি করতে পারে (উদাহরণস্বরূপ, একটি মোটরবাইকে শেষ-ব্যবহারকারীকে একটি তলোয়ার নিয়ে বা একটি বহিরাগত অবস্থানে অবস্থিত চিত্রিত একটি চিত্র তৈরি করা)। এই পরিস্থিতিতে, ভোক্তাদের দ্বারা ডিজাইন করা জেনারেটিভ AI অ্যাপ্লিকেশনটিকে অবশ্যই এপিআই-এর মাধ্যমে ফাইন-টিউনার ব্যাকএন্ডের সাথে ইন্টারঅ্যাক্ট করতে হবে যাতে শেষ ব্যবহারকারীদের কাছে এই কার্যকারিতা পৌঁছে দেওয়া যায়।
যাইহোক, আমরা এটির মধ্যে অনুসন্ধান করার আগে, আসুন প্রথমে মডেল নির্বাচন, পরীক্ষা, ব্যবহার, ইনপুট এবং আউটপুট মিথস্ক্রিয়া এবং রেটিং এর যাত্রায় মনোনিবেশ করি, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
ধাপ 1. শীর্ষ এফএম ক্ষমতা বুঝুন
ফাউন্ডেশন মডেল নির্বাচন করার সময় অনেকগুলি মাত্রা বিবেচনা করা প্রয়োজন, ব্যবহারের ক্ষেত্রে, উপলভ্য ডেটা, প্রবিধান ইত্যাদির উপর নির্ভর করে। একটি ভাল চেকলিস্ট, যদিও ব্যাপক নয়, নিম্নলিখিতগুলি হতে পারে:
- মালিকানাধীন বা ওপেন সোর্স এফএম - মালিকানাধীন মডেলগুলি প্রায়শই আর্থিক খরচে আসে, তবে তারা সাধারণত আরও ভাল কার্যকারিতা অফার করে (উত্পাদিত পাঠ্য বা চিত্রের গুণমানের ক্ষেত্রে), প্রায়শই মডেল সরবরাহকারীদের ডেডিকেটেড টিম দ্বারা উন্নত এবং রক্ষণাবেক্ষণ করা হয় যারা সর্বোত্তম কার্যক্ষমতা এবং নির্ভরযোগ্যতা নিশ্চিত করে। অন্যদিকে, আমরা ওপেন-সোর্স মডেলগুলিকেও গ্রহণ করতে দেখি যেগুলি, বিনামূল্যে হওয়া ছাড়া, অ্যাক্সেসযোগ্য এবং নমনীয় হওয়ার অতিরিক্ত সুবিধা প্রদান করে (উদাহরণস্বরূপ, প্রতিটি ওপেন-সোর্স মডেল ফাইন-টিউনেবল)। একটি মালিকানাধীন মডেলের উদাহরণ হল অ্যানথ্রোপিকস ক্লাউড মডেল, এবং জুলাই 40 অনুযায়ী একটি উচ্চ পারফর্মিং ওপেন-সোর্স মডেলের উদাহরণ হল ফ্যালকন-2023B৷
- বাণিজ্যিক অনুমোদনপত্র - একটি FM সিদ্ধান্ত নেওয়ার সময় লাইসেন্সিং বিবেচনা অত্যন্ত গুরুত্বপূর্ণ। এটা মনে রাখা গুরুত্বপূর্ণ যে কিছু মডেল ওপেন সোর্স কিন্তু লাইসেন্সিং বিধিনিষেধ বা শর্তের কারণে বাণিজ্যিক উদ্দেশ্যে ব্যবহার করা যাবে না। পার্থক্য সূক্ষ্ম হতে পারে: সদ্য প্রকাশিত xgen-7b-8k-বেস মডেল, উদাহরণস্বরূপ, ওপেন সোর্স এবং বাণিজ্যিকভাবে ব্যবহারযোগ্য (Apache-2.0 লাইসেন্স), যেখানে নির্দেশনা মডেলটির সূক্ষ্ম-সংযুক্ত সংস্করণ xgen-7b-8k-inst শুধুমাত্র গবেষণার উদ্দেশ্যে প্রকাশ করা হয়। একটি বাণিজ্যিক অ্যাপ্লিকেশনের জন্য একটি FM নির্বাচন করার সময়, লাইসেন্স চুক্তিটি যাচাই করা, এর সীমাবদ্ধতাগুলি বোঝা এবং এটি প্রকল্পের উদ্দেশ্যযুক্ত ব্যবহারের সাথে সারিবদ্ধ হয়েছে তা নিশ্চিত করা অপরিহার্য।
- পরামিতি - নিউরাল নেটওয়ার্কে ওজন এবং পক্ষপাত নিয়ে গঠিত প্যারামিটারের সংখ্যা হল আরেকটি মূল বিষয়। আরও পরামিতি বলতে সাধারণত আরও জটিল এবং সম্ভাব্য শক্তিশালী মডেল বোঝায়, কারণ এটি ডেটাতে আরও জটিল নিদর্শন এবং পারস্পরিক সম্পর্ক ক্যাপচার করতে পারে। যাইহোক, ট্রেড-অফ হল যে এটির জন্য আরও কম্পিউটেশনাল রিসোর্স প্রয়োজন এবং তাই, চালানোর জন্য আরও বেশি খরচ হয়। উপরন্তু, আমরা ছোট মডেলের দিকে একটি প্রবণতা দেখতে পাই, বিশেষ করে ওপেন-সোর্স স্পেসে (7-40 বিলিয়ন মডেলের মধ্যে) যেগুলি ভাল পারফরম্যান্স করে, বিশেষ করে, যখন সূক্ষ্ম সুর করা হয়।
- গতি - একটি মডেলের গতি তার আকার দ্বারা প্রভাবিত হয়। বৃহত্তর মডেলগুলি ক্রমবর্ধমান গণনাগত জটিলতার কারণে ডেটা ধীরগতিতে (উচ্চ বিলম্বিত) প্রক্রিয়া করার প্রবণতা রাখে। অতএব, গতির জন্য ব্যবহারিক প্রয়োজনীয়তার সাথে উচ্চ ভবিষ্যদ্বাণী করার ক্ষমতা (প্রায়ই বড় মডেলের) একটি মডেলের প্রয়োজনের ভারসাম্য বজায় রাখা অত্যন্ত গুরুত্বপূর্ণ, বিশেষ করে চ্যাট বটগুলির মতো অ্যাপ্লিকেশনগুলিতে, যেগুলি রিয়েল-টাইম বা কাছাকাছি-রিয়েল-টাইম প্রতিক্রিয়ার দাবি করে৷
- প্রসঙ্গ উইন্ডোর আকার (টোকেনের সংখ্যা) – প্রম্পট প্রতি ইনপুট বা আউটপুট হতে পারে এমন সর্বাধিক সংখ্যক টোকেন দ্বারা সংজ্ঞায়িত প্রসঙ্গ উইন্ডো, মডেলটি এক সময়ে কতটা প্রসঙ্গ বিবেচনা করতে পারে তা নির্ধারণের জন্য গুরুত্বপূর্ণ (একটি টোকেন মোটামুটি ইংরেজিতে 0.75 শব্দে অনুবাদ করে)। বৃহত্তর প্রসঙ্গ উইন্ডো সহ মডেলগুলি পাঠ্যের দীর্ঘ ক্রমগুলি বুঝতে এবং তৈরি করতে পারে, যা দীর্ঘ কথোপকথন বা নথির সাথে জড়িত কাজের জন্য কার্যকর হতে পারে।
- প্রশিক্ষণ ডেটাসেট - এটা বোঝাও গুরুত্বপূর্ণ যে এফএম কি ধরনের ডেটার উপর প্রশিক্ষিত হয়েছিল। কিছু মডেল ইন্টারনেট ডেটা, কোডিং স্ক্রিপ্ট, নির্দেশাবলী, বা মানুষের প্রতিক্রিয়ার মতো বিভিন্ন পাঠ্য ডেটাসেটগুলিতে প্রশিক্ষিত হতে পারে। অন্যদেরও মাল্টিমডাল ডেটাসেটের বিষয়ে প্রশিক্ষণ দেওয়া হতে পারে, যেমন পাঠ্য এবং চিত্র ডেটার সংমিশ্রণ। এটি বিভিন্ন কাজের জন্য মডেলের উপযুক্ততাকে প্রভাবিত করতে পারে। উপরন্তু, একটি প্রতিষ্ঠানের সঠিক উৎসের উপর নির্ভর করে কপিরাইট সংক্রান্ত উদ্বেগ থাকতে পারে একটি মডেলকে প্রশিক্ষণ দেওয়া হয়েছে—তাই, প্রশিক্ষণের ডেটাসেটটি ঘনিষ্ঠভাবে পরিদর্শন করা বাধ্যতামূলক।
- গুনাগুন – একটি এফএম-এর গুণমান তার প্রকার (মালিকানা বনাম ওপেন সোর্স), আকার এবং এটি কী বিষয়ে প্রশিক্ষিত হয়েছিল তার উপর ভিত্তি করে পরিবর্তিত হতে পারে। গুণমান প্রসঙ্গ-নির্ভর, যার অর্থ একটি অ্যাপ্লিকেশনের জন্য যা উচ্চ-মানের বলে বিবেচিত হয় তা অন্যটির জন্য নাও হতে পারে। উদাহরণস্বরূপ, ইন্টারনেট ডেটাতে প্রশিক্ষিত একটি মডেল কথোপকথনমূলক পাঠ্য তৈরির জন্য উচ্চ মানের হিসাবে বিবেচিত হতে পারে, তবে প্রযুক্তিগত বা বিশেষ কাজের জন্য কম।
- ফাইন-টিউনযোগ্য - মডেলের ওজন বা স্তরগুলি সামঞ্জস্য করে একটি এফএমকে সূক্ষ্ম-টিউন করার ক্ষমতা একটি গুরুত্বপূর্ণ কারণ হতে পারে। ফাইন-টিউনিং মডেলটিকে অ্যাপ্লিকেশনের নির্দিষ্ট প্রেক্ষাপটের সাথে আরও ভালভাবে খাপ খাইয়ে নিতে দেয়, হাতে থাকা নির্দিষ্ট কাজের কর্মক্ষমতা উন্নত করে। যাইহোক, ফাইন-টিউনিংয়ের জন্য অতিরিক্ত কম্পিউটেশনাল রিসোর্স এবং প্রযুক্তিগত দক্ষতার প্রয়োজন, এবং সমস্ত মডেল এই বৈশিষ্ট্যটিকে সমর্থন করে না। ওপেন-সোর্স মডেলগুলি (সাধারণভাবে) সর্বদা সূক্ষ্ম-টুনেবল হয় কারণ মডেল আর্টিফ্যাক্টগুলি ডাউনলোড করার জন্য উপলব্ধ এবং ব্যবহারকারীরা ইচ্ছামতো সেগুলি প্রসারিত করতে এবং ব্যবহার করতে সক্ষম। মালিকানাধীন মডেলগুলি কখনও কখনও ফাইন-টিউনিংয়ের বিকল্প অফার করতে পারে।
- বিদ্যমান গ্রাহক দক্ষতা - একটি FM নির্বাচন গ্রাহক বা উন্নয়ন দলের দক্ষতা এবং পরিচিতি দ্বারা প্রভাবিত হতে পারে। যদি কোনো প্রতিষ্ঠানের দলে কোনো AI/ML বিশেষজ্ঞ না থাকে, তাহলে একটি API পরিষেবা তাদের জন্য আরও উপযুক্ত হতে পারে। এছাড়াও, যদি একটি টিমের একটি নির্দিষ্ট এফএম নিয়ে ব্যাপক অভিজ্ঞতা থাকে, তবে এটি শিখতে এবং নতুনের সাথে মানিয়ে নিতে সময় এবং সংস্থান বিনিয়োগ করার পরিবর্তে এটি ব্যবহার চালিয়ে যাওয়া আরও দক্ষ হতে পারে।
নিম্নলিখিত দুটি শর্টলিস্টের উদাহরণ, একটি মালিকানাধীন মডেলের জন্য এবং একটি ওপেন-সোর্স মডেলের জন্য৷ উপলব্ধ বিকল্পগুলির একটি দ্রুত ওভারভিউ পেতে আপনি আপনার নির্দিষ্ট চাহিদার উপর ভিত্তি করে অনুরূপ টেবিল কম্পাইল করতে পারেন। নোট করুন যে এই মডেলগুলির কর্মক্ষমতা এবং পরামিতিগুলি দ্রুত পরিবর্তিত হয় এবং পড়ার সময় দ্বারা পুরানো হতে পারে, যখন অন্যান্য ক্ষমতাগুলি নির্দিষ্ট গ্রাহকদের জন্য গুরুত্বপূর্ণ হতে পারে, যেমন সমর্থিত ভাষা।
নিম্নলিখিত AWS (জুলাই 2023) এ উপলব্ধ উল্লেখযোগ্য মালিকানাধীন এফএমগুলির একটি উদাহরণ।
নিম্নলিখিত AWS (জুলাই 2023) এ উপলব্ধ উল্লেখযোগ্য ওপেন-সোর্স এফএম-এর একটি উদাহরণ।
আপনি 10-20 সম্ভাব্য প্রার্থী মডেলের একটি ওভারভিউ কম্পাইল করার পরে, এই সংক্ষিপ্ত তালিকাটিকে আরও পরিমার্জন করা প্রয়োজন হয়ে ওঠে। এই বিভাগে, আমরা একটি দ্রুত ব্যবস্থার প্রস্তাব করি যা পরবর্তী রাউন্ডের প্রার্থী হিসাবে দুই বা তিনটি কার্যকর চূড়ান্ত মডেল দেবে।
নিম্নোক্ত চিত্রটি প্রাথমিক শর্টলিস্টিং প্রক্রিয়াকে চিত্রিত করে।
সাধারণত, প্রম্পট ইঞ্জিনিয়াররা, যারা উচ্চ-মানের প্রম্পট তৈরিতে বিশেষজ্ঞ যা এআই মডেলগুলিকে ব্যবহারকারীর ইনপুটগুলি বুঝতে এবং প্রক্রিয়া করতে দেয়, একটি মডেলে একই কাজ (যেমন সংক্ষিপ্তকরণ) করার জন্য বিভিন্ন পদ্ধতির সাথে পরীক্ষা করে। আমরা পরামর্শ দিই যে এই প্রম্পটগুলি ফ্লাইতে তৈরি করা হয় না, তবে একটি প্রম্পট ক্যাটালগ থেকে পদ্ধতিগতভাবে বের করা হয়। এই প্রম্পট ক্যাটালগটি প্রতিলিপিগুলি এড়াতে, সংস্করণ নিয়ন্ত্রণ সক্ষম করতে এবং বিভিন্ন বিকাশ পর্যায়ে বিভিন্ন প্রম্পট পরীক্ষকের মধ্যে সামঞ্জস্যতা নিশ্চিত করার জন্য প্রম্পটগুলি ভাগ করে নেওয়ার জন্য প্রম্পটগুলি সংরক্ষণ করার জন্য একটি কেন্দ্রীয় অবস্থান, যা আমরা পরবর্তী বিভাগে উপস্থাপন করব। এই প্রম্পট ক্যাটালগটি একটি বৈশিষ্ট্য স্টোরের একটি গিট সংগ্রহস্থলের অনুরূপ। জেনারেটিভ এআই ডেভেলপার, যিনি সম্ভাব্যভাবে প্রম্পট ইঞ্জিনিয়ার হিসাবে একই ব্যক্তি হতে পারেন, তারপরে তারা যে জেনারেটিভ AI অ্যাপ্লিকেশনটি বিকাশ করতে চাইছেন তার জন্য এটি উপযুক্ত কিনা তা নির্ধারণ করতে আউটপুটটি মূল্যায়ন করতে হবে।
ধাপ 2. শীর্ষ এফএম পরীক্ষা করুন এবং মূল্যায়ন করুন
সংক্ষিপ্ত তালিকাটি আনুমানিক তিনটি FM-এ হ্রাস করার পরে, আমরা FM-এর ক্ষমতা এবং ব্যবহারের ক্ষেত্রে উপযুক্ততা পরীক্ষা করার জন্য একটি মূল্যায়ন পদক্ষেপের সুপারিশ করি। মূল্যায়ন ডেটার প্রাপ্যতা এবং প্রকৃতির উপর নির্ভর করে, আমরা নিম্নলিখিত চিত্রে চিত্রিত হিসাবে বিভিন্ন পদ্ধতির পরামর্শ দিই।
প্রথমে ব্যবহার করার পদ্ধতিটি নির্ভর করে আপনি পরীক্ষার ডেটা লেবেল করেছেন কিনা তার উপর।
আপনি যদি ডেটা লেবেল করে থাকেন তবে আপনি এটিকে একটি মডেল মূল্যায়ন পরিচালনা করতে ব্যবহার করতে পারেন, যেমনটি আমরা প্রথাগত ML মডেলগুলির সাথে করি (কিছু নমুনা ইনপুট করুন এবং লেবেলের সাথে আউটপুট তুলনা করুন)। পরীক্ষার ডেটাতে আলাদা লেবেল আছে কিনা (যেমন ইতিবাচক, নেতিবাচক বা নিরপেক্ষ অনুভূতি বিশ্লেষণ) বা অসংগঠিত পাঠ্য (যেমন সংক্ষিপ্তকরণ) আছে কিনা তার উপর নির্ভর করে, আমরা মূল্যায়নের জন্য বিভিন্ন পদ্ধতি প্রস্তাব করি:
- নির্ভুলতা মেট্রিক্স - বিচ্ছিন্ন আউটপুটগুলির ক্ষেত্রে (যেমন সেন্টিমেন্ট বিশ্লেষণ), আমরা নির্ভুলতা, প্রত্যাহার এবং F1 স্কোরের মতো স্ট্যান্ডার্ড নির্ভুলতা মেট্রিক্স ব্যবহার করতে পারি
- সাদৃশ্য মেট্রিক্স - যদি আউটপুট অসংগঠিত হয় (যেমন একটি সারাংশ), আমরা ROUGE এবং কোসাইন সাদৃশ্যের মতো সাদৃশ্য মেট্রিক্সের পরামর্শ দিই
কিছু ব্যবহারের ক্ষেত্রে একটি সত্য উত্তর পাওয়ার জন্য নিজেকে ধার দেয় না (উদাহরণস্বরূপ, "আমার 5 বছর বয়সী মেয়ের জন্য একটি ছোট শিশুদের গল্প তৈরি করুন")। এই ধরনের ক্ষেত্রে, মডেলগুলি মূল্যায়ন করা আরও চ্যালেঞ্জিং হয়ে ওঠে কারণ আপনার কাছে পরীক্ষার ডেটা লেবেল নেই৷ মডেল বনাম স্বয়ংক্রিয় মূল্যায়নের মানবিক পর্যালোচনার গুরুত্বের উপর নির্ভর করে আমরা দুটি পদ্ধতির প্রস্তাব করি:
- হিউম্যান-ইন-দ্য-লুপ (এইচআইএল) - এই ক্ষেত্রে, প্রম্পট পরীক্ষকদের একটি দল একটি মডেল থেকে প্রতিক্রিয়া পর্যালোচনা করবে। অ্যাপ্লিকেশনটি কতটা সমালোচনামূলক তার উপর নির্ভর করে, প্রম্পট পরীক্ষকরা 100% মডেল আউটপুট বা শুধুমাত্র একটি নমুনা পর্যালোচনা করতে পারে।
- এলএলএম-চালিত মূল্যায়ন – এই পরিস্থিতিতে, প্রম্পট পরীক্ষকদের একটি এলএলএম দ্বারা প্রতিস্থাপিত করা হয়, আদর্শভাবে যেটি পরীক্ষা করা হচ্ছে তার চেয়ে বেশি শক্তিশালী (যদিও সম্ভবত ধীরগতির এবং সবচেয়ে ব্যয়বহুল)। এলএলএম সমস্ত মডেল-উত্পন্ন প্রতিক্রিয়া পর্যালোচনা করবে এবং সেগুলি স্কোর করবে। এই পদ্ধতির ফলে নিম্ন মানের হতে পারে, কিন্তু এটি একটি সস্তা এবং দ্রুত মূল্যায়ন বিকল্প যা মডেলের কর্মক্ষমতার উপর একটি ভাল প্রাথমিক গেজ প্রদান করতে পারে।
উদাহরণস্বরূপ, আমরা একটি LLM-তে নিম্নলিখিত উদাহরণ প্রম্পট ব্যবহার করতে পারি, যার মধ্যে ইনপুট ক্যোয়ারী, LLM প্রতিক্রিয়া এবং নির্দেশাবলী রয়েছে: “আমরা উপরে প্রদর্শিত ব্যবহারকারীর প্রশ্নের উত্তরে একজন AI সহকারীর কর্মক্ষমতা সম্পর্কে আপনার প্রতিক্রিয়ার অনুরোধ করতে চাই . অনুগ্রহ করে সহকারীর প্রতিক্রিয়ার সহায়কতা, প্রাসঙ্গিকতা, নির্ভুলতা, বিশদ বিবরণের স্তরকে রেট দিন। সহকারী 1 থেকে 10 স্কেলে একটি সামগ্রিক স্কোর পাবেন, যেখানে উচ্চতর স্কোর সামগ্রিক পারফরম্যান্সকে আরও ভাল নির্দেশ করে।
এই প্রম্পটটি মূল্যায়নের জন্য অন্য LLM (EvalLLM)-এ পাঠানো হবে। নিম্নলিখিত একটি উদাহরণ যেখানে Falcon-40B মডেলের প্রতিক্রিয়া একটি EvalLLM দ্বারা মূল্যায়ন করা হয়েছে (এই ক্ষেত্রে Claude)। আমরা প্রশ্নটি ব্যবহার করি "যদি সুয়েজ খাল কখনও নির্মিত না হতো?" প্রতিক্রিয়া নিম্নরূপ:
প্রশ্ন: সুয়েজ খাল যদি কখনও নির্মিত না হতো?
falcon-40b-নির্দেশ
যদি সুয়েজ খাল কখনও নির্মিত না হয়, তাহলে ভূমধ্যসাগর এবং লোহিত সাগরের মধ্যে চলাচলের জন্য জাহাজগুলিকে আফ্রিকার চারপাশে ভ্রমণ করতে হবে। এটি সমুদ্রযাত্রায় উল্লেখযোগ্য সময় এবং দূরত্ব যোগ করবে, এটিকে কম দক্ষ এবং আরও ব্যয়বহুল করে তুলবে। উপরন্তু, সুয়েজ খাল না থাকলে, মধ্যপ্রাচ্য এবং উত্তর আফ্রিকার অনেক দেশ বাকি বিশ্বের সাথে অনেক কম সংযুক্ত হতো, যা অর্থনৈতিক ও সাংস্কৃতিক উন্নয়নকে বাধাগ্রস্ত করত।
পর্যালোচনা (স্কোর: 9/10)
সহকারীর প্রতিক্রিয়া অত্যন্ত প্রাসঙ্গিক, নির্ভুল এবং বিশদ। এটি সুয়েজ খালের অ-অস্তিত্ব সম্পর্কে ব্যবহারকারীর অনুমানমূলক প্রশ্নের একটি চমৎকার উত্তর প্রদান করে। সহকারী সঠিকভাবে সামুদ্রিক ভ্রমণের প্রভাব এবং মধ্যপ্রাচ্য এবং উত্তর আফ্রিকার অর্থনৈতিক ও সাংস্কৃতিক প্রভাবগুলি নির্দেশ করে। যাইহোক, এটি আরও ব্যাপক প্রতিক্রিয়ার জন্য ভূ-রাজনৈতিক প্রভাব বা বৈশ্বিক বাণিজ্য নিদর্শনগুলির উপর প্রভাব সম্পর্কে আরও বিস্তারিত হতে পারে।
নিচের চিত্রটি শেষ থেকে শেষ মূল্যায়ন প্রক্রিয়ার উদাহরণ তুলে ধরে।
এই উদাহরণের উপর ভিত্তি করে, মূল্যায়ন সঞ্চালনের জন্য, আমাদের উদাহরণ প্রম্পট প্রদান করতে হবে, যা আমরা প্রম্পট ক্যাটালগে সংরক্ষণ করি এবং আমাদের নির্দিষ্ট অ্যাপ্লিকেশনের উপর ভিত্তি করে লেবেলযুক্ত বা লেবেলবিহীন একটি মূল্যায়ন ডেটাসেট। উদাহরণস্বরূপ, একটি লেবেলযুক্ত মূল্যায়ন ডেটাসেটের সাহায্যে, আমরা প্রম্পট (ইনপুট এবং প্রশ্ন) প্রদান করতে পারি যেমন "আমাকে 2023 সালে যুক্তরাজ্যের প্রধানমন্ত্রীর পুরো নাম দিন" এবং আউটপুট এবং উত্তর, যেমন "ঋষি সুনাক।" একটি লেবেলবিহীন ডেটাসেটের সাথে, আমরা শুধুমাত্র প্রশ্ন বা নির্দেশ প্রদান করি, যেমন "একটি খুচরা ওয়েবসাইটের জন্য সোর্স কোড তৈরি করুন।" আমরা প্রম্পট ক্যাটালগ এবং মূল্যায়ন ডেটাসেটের সমন্বয়কে বলি মূল্যায়ন প্রম্পট ক্যাটালগ. আমরা যে প্রম্পট ক্যাটালগ এবং মূল্যায়ন প্রম্পট ক্যাটালগকে আলাদা করি তার কারণ হল পরেরটি প্রম্পট ক্যাটালগে থাকা জেনেরিক প্রম্পট এবং নির্দেশাবলীর (যেমন প্রশ্নের উত্তর) পরিবর্তে একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে উত্সর্গীকৃত।
এই মূল্যায়ন প্রম্পট ক্যাটালগের সাথে, পরবর্তী ধাপ হল মূল্যায়ন প্রম্পটগুলিকে শীর্ষ FM গুলিকে খাওয়ানো৷ ফলাফল হল একটি মূল্যায়ন ফলাফল ডেটাসেট যাতে প্রতিটি এফএম-এর প্রম্পট, আউটপুট এবং স্কোর সহ লেবেলযুক্ত আউটপুট থাকে (যদি এটি থাকে)। একটি লেবেলবিহীন মূল্যায়ন প্রম্পট ক্যাটালগের ক্ষেত্রে, একটি HIL বা LLM-এর জন্য ফলাফল পর্যালোচনা এবং একটি স্কোর এবং প্রতিক্রিয়া প্রদান করার জন্য একটি অতিরিক্ত পদক্ষেপ রয়েছে (যেমন আমরা আগে বর্ণনা করেছি)। চূড়ান্ত ফলাফল হবে সমষ্টিগত ফলাফল যা সমস্ত আউটপুটের স্কোরকে একত্রিত করে (গড় নির্ভুলতা বা মানব রেটিং গণনা করুন) এবং ব্যবহারকারীদের মডেলের গুণমান মানদণ্ডের অনুমতি দেয়।
মূল্যায়নের ফলাফল সংগ্রহ করার পরে, আমরা বিভিন্ন মাত্রার উপর ভিত্তি করে একটি মডেল নির্বাচন করার প্রস্তাব দিই। এগুলি সাধারণত নির্ভুলতা, গতি এবং খরচের মতো বিষয়গুলির উপর নির্ভর করে। নিম্নলিখিত চিত্র একটি উদাহরণ দেখায়.
প্রতিটি মডেল এই মাত্রাগুলির সাথে শক্তি এবং নির্দিষ্ট ট্রেড-অফের অধিকারী হবে। ব্যবহারের ক্ষেত্রের উপর নির্ভর করে, আমাদের এই মাত্রাগুলিতে বিভিন্ন অগ্রাধিকার বরাদ্দ করা উচিত। পূর্ববর্তী উদাহরণে, আমরা সবচেয়ে গুরুত্বপূর্ণ ফ্যাক্টর হিসাবে খরচকে অগ্রাধিকার দিতে নির্বাচন করেছি, তারপরে নির্ভুলতা এবং তারপর গতি। যদিও এটি ধীরগতির এবং FM1 এর মতো দক্ষ নয়, এটি যথেষ্ট কার্যকর এবং হোস্ট করার জন্য উল্লেখযোগ্যভাবে সস্তা। ফলস্বরূপ, আমরা শীর্ষ পছন্দ হিসাবে FM2 নির্বাচন করতে পারি।
ধাপ 3. জেনারেটিভ AI অ্যাপ্লিকেশন ব্যাকএন্ড এবং ফ্রন্টএন্ড বিকাশ করুন
এই মুহুর্তে, জেনারেটিভ এআই ডেভেলপাররা প্রম্পট ইঞ্জিনিয়ার এবং পরীক্ষকদের সাহায্যে নির্দিষ্ট অ্যাপ্লিকেশনের জন্য সঠিক FM নির্বাচন করেছে। পরবর্তী ধাপ হল জেনারেটিভ এআই অ্যাপ্লিকেশন ডেভেলপ করা শুরু করা। আমরা জেনারেটিভ এআই অ্যাপ্লিকেশনের বিকাশকে দুটি স্তরে বিভক্ত করেছি, একটি ব্যাকএন্ড এবং ফ্রন্ট এন্ড, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
ব্যাকএন্ডে, জেনারেটিভ এআই ডেভেলপাররা নির্বাচিত এফএমকে সমাধানের মধ্যে অন্তর্ভুক্ত করে এবং প্রম্পট ইঞ্জিনিয়ারদের সাথে একসাথে কাজ করে অটোমেশন তৈরি করে যাতে শেষ-ব্যবহারকারীর ইনপুটকে উপযুক্ত এফএম প্রম্পটে রূপান্তর করা যায়। প্রম্পট টেস্টাররা স্বয়ংক্রিয় বা ম্যানুয়াল (এইচআইএল বা এলএলএম) পরীক্ষার জন্য প্রম্পট ক্যাটালগে প্রয়োজনীয় এন্ট্রি তৈরি করে। তারপরে, জেনারেটিভ এআই ডেভেলপাররা চূড়ান্ত আউটপুট প্রদানের জন্য প্রম্পট চেইনিং এবং অ্যাপ্লিকেশন মেকানিজম তৈরি করে। প্রম্পট চেইনিং, এই প্রসঙ্গে, আরও গতিশীল এবং প্রাসঙ্গিকভাবে সচেতন এলএলএম অ্যাপ্লিকেশন তৈরি করার একটি কৌশল। এটি একটি জটিল কাজকে ছোট, আরও পরিচালনাযোগ্য সাব-টাস্কের একটি সিরিজে ভেঙে কাজ করে। উদাহরণস্বরূপ, যদি আমরা একজন LLM কে প্রশ্ন করি "যুক্তরাজ্যের প্রধানমন্ত্রী কোথায় জন্মগ্রহণ করেছিলেন এবং সেই জায়গাটি লন্ডন থেকে কত দূরে," টাস্কটিকে পৃথক প্রম্পটে বিভক্ত করা যেতে পারে, যেখানে উত্তরের উপর ভিত্তি করে একটি প্রম্পট তৈরি করা যেতে পারে। পূর্ববর্তী প্রম্পট মূল্যায়ন, যেমন "যুক্তরাজ্যের প্রধানমন্ত্রী কে," "তাদের জন্মস্থান কি" এবং "লন্ডন থেকে সেই স্থানটি কতদূর?" একটি নির্দিষ্ট ইনপুট এবং আউটপুট গুণমান নিশ্চিত করতে, জেনারেটিভ এআই ডেভেলপারদেরও শেষ-ব্যবহারকারীর ইনপুট এবং অ্যাপ্লিকেশন আউটপুটগুলি নিরীক্ষণ এবং ফিল্টার করার প্রক্রিয়া তৈরি করতে হবে। যদি, উদাহরণস্বরূপ, LLM অ্যাপ্লিকেশনটি বিষাক্ত অনুরোধ এবং প্রতিক্রিয়া এড়াতে অনুমিত হয়, তারা ইনপুট এবং আউটপুটের জন্য একটি বিষাক্ততা সনাক্তকারী প্রয়োগ করতে পারে এবং সেগুলিকে ফিল্টার করতে পারে। সবশেষে, তাদের একটি রেটিং প্রক্রিয়া প্রদান করতে হবে, যা ভাল এবং খারাপ উদাহরণ সহ মূল্যায়ন প্রম্পট ক্যাটালগ বৃদ্ধিতে সহায়তা করবে। এই প্রক্রিয়াগুলির আরও বিশদ উপস্থাপনা ভবিষ্যতের পোস্টগুলিতে উপস্থাপন করা হবে।
জেনারেটিভ এআই এন্ড-ব্যবহারকারীকে কার্যকারিতা প্রদানের জন্য, ব্যাকএন্ডের সাথে ইন্টারঅ্যাক্ট করে এমন একটি ফ্রন্টএন্ড ওয়েবসাইট তৈরি করা প্রয়োজন। অতএব, DevOps এবং AppDevs (ক্লাউডে অ্যাপ্লিকেশন বিকাশকারী) ব্যক্তিদের ইনপুট/আউটপুট এবং রেটিং কার্যকারিতা বাস্তবায়নের জন্য সর্বোত্তম বিকাশের অনুশীলনগুলি অনুসরণ করতে হবে।
এই মৌলিক কার্যকারিতা ছাড়াও, ফ্রন্টএন্ড এবং ব্যাকএন্ডকে ব্যক্তিগত ব্যবহারকারীর অ্যাকাউন্ট তৈরি, ডেটা আপলোড করা, ব্ল্যাক বক্স হিসাবে ফাইন-টিউনিং শুরু করা এবং মৌলিক এফএম-এর পরিবর্তে ব্যক্তিগতকৃত মডেল ব্যবহার করার বৈশিষ্ট্য অন্তর্ভুক্ত করতে হবে। একটি জেনারেটিভ এআই অ্যাপ্লিকেশনের উত্পাদন একটি সাধারণ অ্যাপ্লিকেশনের সাথে একই রকম। নিম্নলিখিত চিত্রটি একটি উদাহরণ স্থাপত্য চিত্রিত করে।
এই আর্কিটেকচারে, জেনারেটিভ AI ডেভেলপার, প্রম্পট ইঞ্জিনিয়ার এবং DevOps বা AppDevs ডেডিকেটেড কোড রিপোজিটরি ব্যবহার করে CI/CD এর মাধ্যমে ডেভেলপমেন্ট এনভায়রনমেন্টে (পূর্ববর্তী চিত্রে জেনারেটিভ AI অ্যাপ ডেভ) স্থাপন করে অ্যাপ্লিকেশনটিকে ম্যানুয়ালি তৈরি এবং পরীক্ষা করে এবং এর সাথে একত্রিত করে। দেব শাখা। এই পর্যায়ে, জেনারেটিভ এআই ডেভেলপাররা এপিআই কল করে সংশ্লিষ্ট এফএম ব্যবহার করবে যেমনটি ফাইন-টিউনারের এফএম প্রদানকারীদের দ্বারা সরবরাহ করা হয়েছে। তারপরে, অ্যাপ্লিকেশনটি ব্যাপকভাবে পরীক্ষা করার জন্য, তাদের পরীক্ষার শাখায় কোডটি প্রচার করতে হবে, যা CI/CD এর মাধ্যমে প্রিপ্রোডাকশন পরিবেশে (জেনারেটিভ AI অ্যাপ প্রি-প্রোড) স্থাপনার ট্রিগার করবে। এই পরিবেশে, প্রম্পট পরীক্ষকদের প্রচুর পরিমাণে প্রম্পট সমন্বয় চেষ্টা করতে হবে এবং ফলাফল পর্যালোচনা করতে হবে। ভবিষ্যতে পরীক্ষার প্রক্রিয়া স্বয়ংক্রিয় করতে প্রম্পট, আউটপুট এবং পর্যালোচনার সংমিশ্রণকে মূল্যায়ন প্রম্পট ক্যাটালগে স্থানান্তরিত করতে হবে। এই বিস্তৃত পরীক্ষার পর, শেষ ধাপ হল মূল শাখার (জেনারেটিভ এআই অ্যাপ প্রোড) সাথে একীভূত হয়ে CI/CD এর মাধ্যমে উৎপাদনে জেনারেটিভ AI অ্যাপ্লিকেশনকে উন্নীত করা। নোট করুন যে প্রম্পট ক্যাটালগ, মূল্যায়ন ডেটা এবং ফলাফল, শেষ-ব্যবহারকারীর ডেটা এবং মেটাডেটা এবং ফাইন-টিউনড মডেল মেটাডেটা সহ সমস্ত ডেটা ডেটা লেক বা ডেটা জাল স্তরে সংরক্ষণ করা প্রয়োজন৷ CI/CD পাইপলাইন এবং সংগ্রহস্থলগুলিকে একটি পৃথক টুলিং অ্যাকাউন্টে সংরক্ষণ করতে হবে (MLOps-এর জন্য বর্ণিত একটির অনুরূপ)।
প্রদানকারীদের যাত্রা
এফএম প্রদানকারীদের এফএম প্রশিক্ষণ দিতে হবে, যেমন গভীর শিক্ষার মডেল। তাদের জন্য, শেষ থেকে শেষ MLOps জীবনচক্র এবং অবকাঠামো প্রয়োজনীয়। ঐতিহাসিক তথ্য প্রস্তুতি, মডেল মূল্যায়ন, এবং পর্যবেক্ষণে সংযোজন প্রয়োজন। নিচের চিত্রটি তাদের যাত্রার চিত্র তুলে ধরে।
ক্লাসিক ML-এ, ঐতিহাসিক তথ্যগুলি প্রায়শই ETL পাইপলাইনের মাধ্যমে গ্রাউন্ড ট্রুথ খাওয়ানোর মাধ্যমে তৈরি করা হয়। উদাহরণস্বরূপ, একটি মন্থন পূর্বাভাস ব্যবহারের ক্ষেত্রে, একটি অটোমেশন স্বয়ংক্রিয়ভাবে মন্থন/মন্থন না করার জন্য গ্রাহকের নতুন অবস্থার উপর ভিত্তি করে একটি ডাটাবেস টেবিল আপডেট করে। FM-এর ক্ষেত্রে, তাদের হয় কোটি কোটি লেবেলযুক্ত বা লেবেলবিহীন ডেটা পয়েন্টের প্রয়োজন। টেক্সট-টু-ইমেজ ব্যবহারের ক্ষেত্রে, ডেটা লেবেলারদের একটি দলকে লেবেল করতে হবে ম্যানুয়ালি জোড়া। এটি একটি ব্যয়বহুল ব্যায়াম যার জন্য বিপুল সংখ্যক লোকের সম্পদ প্রয়োজন। আমাজন সেজমেকার গ্রাউন্ড ট্রুথ প্লাস আপনার জন্য এই কার্যকলাপ সম্পাদন করার জন্য লেবেলারদের একটি দল প্রদান করতে পারে৷ কিছু ব্যবহারের ক্ষেত্রে, এই প্রক্রিয়াটি আংশিকভাবে স্বয়ংক্রিয় হতে পারে, উদাহরণস্বরূপ CLIP-এর মতো মডেলগুলি ব্যবহার করে৷ LLM-এর ক্ষেত্রে, যেমন টেক্সট-টু-টেক্সট, ডেটা লেবেলবিহীন। যাইহোক, তাদের প্রস্তুত থাকতে হবে এবং বিদ্যমান ঐতিহাসিক লেবেলবিহীন ডেটার বিন্যাস অনুসরণ করতে হবে। অতএব, প্রয়োজনীয় ডেটা প্রস্তুতি সঞ্চালন এবং ধারাবাহিকতা নিশ্চিত করার জন্য ডেটা সম্পাদকদের প্রয়োজন।
প্রস্তুত ঐতিহাসিক তথ্য সহ, পরবর্তী ধাপ হল মডেলের প্রশিক্ষণ এবং উৎপাদন। উল্লেখ্য যে আমরা ভোক্তাদের জন্য বর্ণনা করা একই মূল্যায়ন কৌশল ব্যবহার করা যেতে পারে।
ফাইন-টিউনারদের যাত্রা
ফাইন-টিউনারদের লক্ষ্য একটি বিদ্যমান এফএমকে তাদের নির্দিষ্ট প্রেক্ষাপটে মানিয়ে নেওয়া। উদাহরণস্বরূপ, একটি এফএম মডেল একটি সাধারণ-উদ্দেশ্যের পাঠ্যের সারসংক্ষেপ করতে পারে কিন্তু একটি আর্থিক প্রতিবেদন সঠিকভাবে নয় বা একটি অ-সাধারণ প্রোগ্রামিং ভাষার জন্য উত্স কোড তৈরি করতে পারে না। এই ক্ষেত্রে, সূক্ষ্ম-টিউনারদের ডেটা লেবেল করতে হবে, প্রশিক্ষণের কাজ চালিয়ে একটি মডেলকে সূক্ষ্ম-টিউন করতে হবে, মডেলটি স্থাপন করতে হবে, ভোক্তা প্রক্রিয়াগুলির উপর ভিত্তি করে এটি পরীক্ষা করতে হবে এবং মডেলটি পর্যবেক্ষণ করতে হবে। নিম্নলিখিত চিত্রটি এই প্রক্রিয়াটি চিত্রিত করে।
আপাতত, দুটি ফাইন-টিউনিং মেকানিজম রয়েছে:
- ফাইন-টিউনিং - একটি এফএম এবং লেবেলযুক্ত ডেটা ব্যবহার করে, একটি প্রশিক্ষণের কাজ গভীর শিক্ষার মডেল স্তরগুলির ওজন এবং পক্ষপাতগুলি পুনরায় গণনা করে। এই প্রক্রিয়াটি গণনামূলকভাবে নিবিড় হতে পারে এবং এর জন্য একটি প্রতিনিধি পরিমাণ ডেটা প্রয়োজন কিন্তু সঠিক ফলাফল তৈরি করতে পারে।
- প্যারামিটার-দক্ষ ফাইন-টিউনিং (PEFT) - সমস্ত ওজন এবং পক্ষপাত পুনঃগণনা করার পরিবর্তে, গবেষকরা দেখিয়েছেন যে গভীর শিক্ষার মডেলগুলিতে অতিরিক্ত ছোট স্তর যুক্ত করে, তারা সন্তোষজনক ফলাফল অর্জন করতে পারে (উদাহরণস্বরূপ, LoRA) ডিপ ফাইন-টিউনিং এবং কম ইনপুট ডেটা সহ একটি প্রশিক্ষণ কাজের তুলনায় PEFT-এর কম কম্পিউটেশনাল শক্তি প্রয়োজন। অপূর্ণতা হল সম্ভাব্য নিম্ন নির্ভুলতা।
নিম্নলিখিত চিত্রটি এই প্রক্রিয়াগুলিকে চিত্রিত করে।
এখন যেহেতু আমরা দুটি প্রধান সূক্ষ্ম-টিউনিং পদ্ধতি সংজ্ঞায়িত করেছি, পরবর্তী ধাপ হল আমরা কীভাবে ওপেন-সোর্স এবং মালিকানাধীন এফএম স্থাপন এবং ব্যবহার করতে পারি তা নির্ধারণ করা।
ওপেন-সোর্স এফএম-এর সাহায্যে, ফাইন-টিউনাররা ওয়েব থেকে মডেল আর্টিফ্যাক্ট এবং সোর্স কোড ডাউনলোড করতে পারে, উদাহরণস্বরূপ, ব্যবহার করে হাগিং ফেস মডেল হাব. এটি আপনাকে মডেলটিকে গভীরভাবে সূক্ষ্ম-টিউন করার নমনীয়তা দেয়, এটি একটি স্থানীয় মডেল রেজিস্ট্রিতে সংরক্ষণ করে এবং এটিকে একটিতে স্থাপন করে আমাজন সেজমেকার শেষপ্রান্ত. এই প্রক্রিয়ার জন্য একটি ইন্টারনেট সংযোগ প্রয়োজন। আরও নিরাপদ পরিবেশ সমর্থন করতে (যেমন আর্থিক ক্ষেত্রের গ্রাহকদের জন্য), আপনি প্রাঙ্গনে মডেলটি ডাউনলোড করতে পারেন, সমস্ত প্রয়োজনীয় নিরাপত্তা পরীক্ষা চালাতে পারেন এবং একটি AWS অ্যাকাউন্টে স্থানীয় বালতিতে আপলোড করতে পারেন৷ তারপর, ফাইন-টিউনাররা ইন্টারনেট সংযোগ ছাড়াই স্থানীয় বালতি থেকে এফএম ব্যবহার করে। এটি ডেটা গোপনীয়তা নিশ্চিত করে এবং ডেটা ইন্টারনেটের মাধ্যমে ভ্রমণ করে না। নিম্নলিখিত চিত্রটি এই পদ্ধতিটি ব্যাখ্যা করে।
মালিকানাধীন FM-এর সাথে, স্থাপনার প্রক্রিয়া ভিন্ন কারণ ফাইন-টিউনারদের মডেল আর্টিফ্যাক্ট বা সোর্স কোডে অ্যাক্সেস নেই। মডেলগুলি মালিকানাধীন FM প্রদানকারী AWS অ্যাকাউন্ট এবং মডেল রেজিস্ট্রিতে সংরক্ষণ করা হয়। একটি সেজমেকার এন্ডপয়েন্টে এই ধরনের একটি মডেল স্থাপন করতে, ফাইন-টিউনাররা শুধুমাত্র মডেল প্যাকেজের অনুরোধ করতে পারে যা সরাসরি একটি এন্ডপয়েন্টে স্থাপন করা হবে। এই প্রক্রিয়াটির জন্য মালিকানাধীন FM প্রদানকারীদের অ্যাকাউন্টে গ্রাহকের ডেটা ব্যবহার করা প্রয়োজন, যা গ্রাহক-সংবেদনশীল ডেটা সূক্ষ্ম-টিউনিং সম্পাদন করার জন্য দূরবর্তী অ্যাকাউন্টে ব্যবহার করা এবং মডেলগুলি একাধিক গ্রাহকের মধ্যে ভাগ করা মডেল রেজিস্ট্রিতে হোস্ট করা সম্পর্কিত প্রশ্ন উত্থাপন করে। . এটি একটি মাল্টি-টেনেন্সি সমস্যার দিকে নিয়ে যায় যা আরও চ্যালেঞ্জিং হয়ে ওঠে যদি মালিকানাধীন এফএম প্রদানকারীদের এই মডেলগুলি পরিবেশন করতে হয়। ফাইন-টিউনার ব্যবহার করলে আমাজন বেডরক, এই চ্যালেঞ্জগুলি সমাধান করা হয়েছে — ডেটা ইন্টারনেটে ভ্রমণ করে না এবং FM প্রদানকারীদের ফাইন-টিউনারদের ডেটাতে অ্যাক্সেস নেই৷ ওপেন-সোর্স মডেলগুলির জন্য একই চ্যালেঞ্জগুলি ধারণ করে যদি ফাইন-টিউনাররা একাধিক গ্রাহকের কাছ থেকে মডেলগুলি পরিবেশন করতে চায়, যেমন উদাহরণটি আমরা আগে ওয়েবসাইটে দিয়েছিলাম যেখানে হাজার হাজার গ্রাহক ব্যক্তিগতকৃত ছবি আপলোড করবেন৷ যাইহোক, এই পরিস্থিতিগুলিকে নিয়ন্ত্রণযোগ্য হিসাবে বিবেচনা করা যেতে পারে কারণ শুধুমাত্র ফাইন-টিউনার জড়িত। নিম্নলিখিত চিত্রটি এই পদ্ধতিটি ব্যাখ্যা করে।
প্রযুক্তির দৃষ্টিকোণ থেকে, একটি সূক্ষ্ম-টিউনারকে সমর্থন করার জন্য যে আর্কিটেকচার প্রয়োজন তা হল MLOps-এর মতো (নিচের চিত্রটি দেখুন)। ML পাইপলাইন তৈরি করে dev-এ ফাইন-টিউনিং করা দরকার, যেমন ব্যবহার করে অ্যামাজন সেজমেকার পাইপলাইন; প্রিপ্রসেসিং, ফাইন-টিউনিং (প্রশিক্ষণের কাজ), এবং পোস্টপ্রসেসিং করা; এবং ওপেন-সোর্স এফএম-এর ক্ষেত্রে ফাইন-টিউন করা মডেলগুলিকে স্থানীয় মডেল রেজিস্ট্রিতে পাঠানো (অন্যথায়, নতুন মডেলটি মালিকানাধীন এফএম সরবরাহকারী পরিবেশে সংরক্ষণ করা হবে)। তারপর, প্রি-প্রোডাকশনে, আমরা ভোক্তাদের পরিস্থিতির জন্য বর্ণনা করার মতো মডেলটি পরীক্ষা করতে হবে। অবশেষে, মডেল পরিবেশন করা হবে এবং পণ্যে নিরীক্ষণ করা হবে। মনে রাখবেন যে বর্তমান (সূক্ষ্ম-টিউনড) এফএম-এর জন্য GPU দৃষ্টান্তের শেষ পয়েন্ট প্রয়োজন। যদি আমাদের প্রতিটি ফাইন-টিউনড মডেলকে একটি পৃথক এন্ডপয়েন্টে স্থাপন করতে হয়, তাহলে এটি শত শত মডেলের ক্ষেত্রে খরচ বাড়িয়ে দিতে পারে। অতএব, আমাদের মাল্টি-মডেল এন্ডপয়েন্ট ব্যবহার করতে হবে এবং মাল্টি-টেনেন্সি চ্যালেঞ্জের সমাধান করতে হবে।
ফাইন-টিউনাররা তাদের ব্যবসায়িক উদ্দেশ্যে ব্যবহার করার জন্য একটি নির্দিষ্ট প্রেক্ষাপটের উপর ভিত্তি করে একটি এফএম মডেলকে মানিয়ে নেয়। এর মানে হল যে বেশিরভাগ সময়, সূক্ষ্ম-টিউনারগুলিও সমস্ত স্তরগুলিকে সমর্থন করার জন্য প্রয়োজনীয় ভোক্তা হয়, যেমনটি আমরা পূর্ববর্তী বিভাগে বর্ণনা করেছি, যার মধ্যে জেনারেটিভ AI অ্যাপ্লিকেশন ডেভেলপমেন্ট, ডেটা লেক এবং ডেটা জাল এবং MLOps রয়েছে৷
নিম্নলিখিত চিত্রটি সম্পূর্ণ এফএম ফাইন-টিউনিং লাইফসাইকেলকে চিত্রিত করে যা ফাইন-টিউনারদের জেনারেটিভ এআই এন্ড-ইউজার প্রদান করতে হবে।
নিম্নলিখিত চিত্রটি মূল পদক্ষেপগুলিকে চিত্রিত করে।
মূল পদক্ষেপগুলি নিম্নরূপ:
- শেষ-ব্যবহারকারী একটি ব্যক্তিগত অ্যাকাউন্ট তৈরি করে এবং ব্যক্তিগত ডেটা আপলোড করে।
- ডেটা ডাটা লেকে সংরক্ষণ করা হয় এবং এফএম যে ফর্ম্যাটটি আশা করে তা অনুসরণ করার জন্য প্রি-প্রসেস করা হয়।
- এটি একটি সূক্ষ্ম-টিউনিং ML পাইপলাইন ট্রিগার করে যা মডেলটিকে মডেল রেজিস্ট্রিতে যুক্ত করে,
- সেখান থেকে, হয় মডেলটিকে ন্যূনতম পরীক্ষার মাধ্যমে উৎপাদনে নিয়োজিত করা হয় অথবা মডেলটি HIL এবং ম্যানুয়াল অনুমোদনের গেটগুলির সাথে ব্যাপক পরীক্ষার জন্য চাপ দেয়।
- ফাইন-টিউনড মডেলটি শেষ ব্যবহারকারীদের জন্য উপলব্ধ করা হয়েছে।
যেহেতু এই অবকাঠামোটি নন-এন্টারপ্রাইজ গ্রাহকদের জন্য জটিল, তাই এডব্লিউএস এই ধরনের স্থাপত্য তৈরির প্রচেষ্টাকে অফলোড করতে এবং সূক্ষ্ম সুরযুক্ত এফএমগুলিকে উৎপাদনের কাছাকাছি নিয়ে আসার জন্য অ্যামাজন বেডরক প্রকাশ করেছে।
FMOps এবং LLMOps ব্যক্তিত্ব এবং প্রক্রিয়ার পার্থক্যকারী
পূর্ববর্তী ব্যবহারকারীর ধরণের যাত্রার (ভোক্তা, প্রযোজক এবং সূক্ষ্ম-টিউনার) উপর ভিত্তি করে, নির্দিষ্ট দক্ষতা সহ নতুন ব্যক্তিদের প্রয়োজন, যেমনটি নীচের চিত্রে চিত্রিত হয়েছে।
নতুন ব্যক্তিত্বগুলি নিম্নরূপ:
- ডেটা লেবেলার এবং সম্পাদক - এই ব্যবহারকারীরা ডেটা লেবেল করে, যেমন জোড়া, বা লেবেলবিহীন ডেটা প্রস্তুত করুন, যেমন বিনামূল্যের পাঠ্য, এবং উন্নত বিশ্লেষণ দল এবং ডেটা লেক পরিবেশ প্রসারিত করুন।
- ফাইন-টিউনার – এই ব্যবহারকারীদের এফএম সম্পর্কে গভীর জ্ঞান রয়েছে এবং তারা তাদের টিউন করতে জানে, ডেটা সায়েন্স টিমকে প্রসারিত করে যা ক্লাসিক ML-এ ফোকাস করবে।
- জেনারেটিভ এআই ডেভেলপার – FM নির্বাচন, চেইনিং প্রম্পট এবং অ্যাপ্লিকেশন এবং ফিল্টারিং ইনপুট এবং আউটপুট সম্পর্কে তাদের গভীর জ্ঞান রয়েছে। তারা একটি নতুন দলের অন্তর্গত - জেনারেটিভ এআই অ্যাপ্লিকেশন দল।
- প্রম্পট ইঞ্জিনিয়াররা - এই ব্যবহারকারীরা কনটেক্সট এবং পরীক্ষায় সমাধান মানিয়ে নিতে এবং প্রম্পট ক্যাটালগের প্রাথমিক সংস্করণ তৈরি করতে ইনপুট এবং আউটপুট প্রম্পট ডিজাইন করে। তাদের দলটি জেনারেটিভ এআই অ্যাপ্লিকেশন দল।
- প্রম্পট পরীক্ষক - তারা জেনারেটিভ AI সমাধান (ব্যাকএন্ড এবং ফ্রন্টএন্ড) স্কেলে পরীক্ষা করে এবং প্রম্পট ক্যাটালগ এবং মূল্যায়ন ডেটাসেট বাড়ানোর জন্য তাদের ফলাফলগুলি ফিড করে। তাদের দলটি জেনারেটিভ এআই অ্যাপ্লিকেশন দল।
- AppDev এবং DevOps - তারা জেনারেটিভ এআই অ্যাপ্লিকেশনের সামনের প্রান্ত (যেমন একটি ওয়েবসাইট) বিকাশ করে। তাদের দলটি জেনারেটিভ এআই অ্যাপ্লিকেশন দল।
- জেনারেটিভ এআই শেষ-ব্যবহারকারী - এই ব্যবহারকারীরা জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিকে ব্ল্যাক বক্স হিসাবে ব্যবহার করে, ডেটা ভাগ করে এবং আউটপুটের গুণমানকে রেট দেয়।
জেনারেটিভ এআই অন্তর্ভুক্ত করার জন্য MLOps প্রক্রিয়া মানচিত্রের বর্ধিত সংস্করণটি নিম্নলিখিত চিত্রের সাথে চিত্রিত করা যেতে পারে।
একটি নতুন অ্যাপ্লিকেশন স্তর হল সেই পরিবেশ যেখানে জেনারেটিভ AI ডেভেলপার, প্রম্পট ইঞ্জিনিয়ার এবং পরীক্ষক এবং AppDevs জেনারেটিভ AI অ্যাপ্লিকেশনগুলির ব্যাকএন্ড এবং ফ্রন্ট এন্ড তৈরি করে। জেনারেটিভ এআই এন্ড-ব্যবহারকারীরা ইন্টারনেটের (যেমন একটি ওয়েব UI) মাধ্যমে জেনারেটিভ এআই অ্যাপ্লিকেশন ফ্রন্ট এন্ডের সাথে ইন্টারঅ্যাক্ট করে। অন্যদিকে, ডেটা লেবেলার এবং সম্পাদকদের ডেটা লেক বা ডেটা মেশের ব্যাকএন্ড অ্যাক্সেস না করেই ডেটা প্রিপ্রসেস করতে হবে। অতএব, ডেটার সাথে সুরক্ষিতভাবে ইন্টারঅ্যাক্ট করার জন্য একটি সম্পাদক সহ একটি ওয়েব UI (ওয়েবসাইট) প্রয়োজনীয়। সেজমেকার গ্রাউন্ড ট্রুথ বাক্সের বাইরে এই কার্যকারিতা প্রদান করে।
উপসংহার
MLOps আমাদের দক্ষতার সাথে ML মডেল তৈরি করতে সাহায্য করতে পারে। যাইহোক, জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিকে কার্যকর করার জন্য, আপনার অতিরিক্ত দক্ষতা, প্রক্রিয়া এবং প্রযুক্তির প্রয়োজন, যা FMOps এবং LLMOps-এর দিকে পরিচালিত করে। এই পোস্টে, আমরা FMOps এবং LLMOps-এর মূল ধারণাগুলিকে সংজ্ঞায়িত করেছি এবং মানুষ, প্রক্রিয়া, প্রযুক্তি, FM মডেল নির্বাচন এবং মূল্যায়নের ক্ষেত্রে MLOps ক্ষমতার তুলনায় মূল পার্থক্য বর্ণনা করেছি। তদ্ব্যতীত, আমরা একটি জেনারেটিভ এআই বিকাশকারীর চিন্তা প্রক্রিয়া এবং একটি জেনারেটিভ এআই অ্যাপ্লিকেশনের বিকাশের জীবনচক্র চিত্রিত করেছি।
ভবিষ্যতে, আমরা যে ডোমেন নিয়ে আলোচনা করেছি তার প্রতি সমাধান প্রদানের উপর ফোকাস করব এবং FM মনিটরিং (যেমন বিষাক্ততা, পক্ষপাত এবং হ্যালুসিনেশন) এবং তৃতীয়-পক্ষ বা ব্যক্তিগত ডেটা উৎস স্থাপত্য নিদর্শনগুলিকে কীভাবে একীভূত করতে হয় সে সম্পর্কে আরও বিশদ প্রদান করব। পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG), FMOps/LLMOps-এ।
আরো জানতে, পড়ুন Amazon SageMaker এর সাথে উদ্যোগের জন্য MLOps ফাউন্ডেশন রোডম্যাপ এবং শেষ থেকে শেষ সমাধান চেষ্টা করুন Amazon SageMaker JumpStart প্রাক-প্রশিক্ষিত মডেলগুলির সাথে MLOps অনুশীলনগুলি বাস্তবায়ন করা.
আপনার যদি কোনও মন্তব্য বা প্রশ্ন থাকে তবে দয়া করে মন্তব্য বিভাগে রেখে দিন।
লেখক সম্পর্কে
ডঃ সোক্রতিস কার্তকিস অ্যামাজন ওয়েব পরিষেবাগুলির জন্য একজন সিনিয়র মেশিন লার্নিং এবং অপারেশন বিশেষজ্ঞ সমাধান স্থপতি৷ Sokratis এন্টারপ্রাইজ গ্রাহকদের AWS পরিষেবাগুলিকে কাজে লাগিয়ে এবং তাদের অপারেটিং মডেল, যেমন MLOps ফাউন্ডেশন, এবং সর্বোত্তম বিকাশের অনুশীলনগুলিকে কাজে লাগিয়ে রূপান্তর রোডম্যাপ গঠনের মাধ্যমে তাদের মেশিন লার্নিং (ML) সমাধানগুলিকে শিল্পায়ন করতে সক্ষম করার উপর দৃষ্টি নিবদ্ধ করে৷ তিনি জ্বালানি, খুচরা, স্বাস্থ্য, ফিনান্স/ব্যাংকিং, মোটরস্পোর্টস ইত্যাদি ক্ষেত্রে উদ্ভাবনী এন্ড-টু-এন্ড প্রোডাকশন-লেভেল এমএল এবং ইন্টারনেট অফ থিংস (IoT) সমাধান উদ্ভাবন, ডিজাইন, নেতৃত্ব এবং বাস্তবায়নে 15+ বছর অতিবাহিত করেছেন। সোক্রটিস তার অবসর সময় পরিবার এবং বন্ধুদের সাথে কাটাতে বা মোটরবাইক চালাতে পছন্দ করে।
হেইকো হটজ ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং, বৃহৎ ভাষার মডেল এবং জেনারেটিভ এআই-এর উপর বিশেষ ফোকাস সহ এআই ও মেশিন লার্নিং-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। এই ভূমিকার আগে, তিনি আমাজনের ইইউ গ্রাহক পরিষেবার ডেটা সায়েন্সের প্রধান ছিলেন। Heiko আমাদের গ্রাহকদের AWS-এ তাদের AI/ML যাত্রায় সফল হতে সাহায্য করে এবং বীমা, আর্থিক পরিষেবা, মিডিয়া এবং বিনোদন, স্বাস্থ্যসেবা, ইউটিলিটি এবং উত্পাদন সহ অনেক শিল্পে সংস্থার সাথে কাজ করেছে। তার অবসর সময়ে, হেইকো যতটা সম্ভব ভ্রমণ করে।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- ক্ষমতা
- সক্ষম
- সম্পর্কে
- উপরে
- বিমূর্ত
- প্রবেশ
- প্রবেশযোগ্য
- অ্যাক্সেস করা
- হিসাব
- অ্যাকাউন্টস
- সঠিকতা
- সঠিক
- সঠিক
- অর্জন করা
- স্টক
- কার্যকলাপ
- খাপ খাওয়ানো
- অভিযোজন
- যোগ
- যোগ
- যোগ
- অতিরিক্ত
- উপরন্তু
- সংযোজন
- যোগ করে
- প্রশাসন
- গ্রহণ
- অগ্রসর
- আফ্রিকা
- পর
- চুক্তি
- AI
- এআই এবং মেশিন লার্নিং
- এআই সহকারী
- এআই মডেল
- এআই পরিষেবা
- এআই ব্যবহারের ক্ষেত্রে
- এআই / এমএল
- লক্ষ্য
- সারিবদ্ধ
- সব
- অনুমতি
- অনুমতি
- বরাবর
- ইতিমধ্যে
- এছাড়াও
- যদিও
- সর্বদা
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- আমাজন সেজমেকার জাম্পস্টার্ট
- অ্যামাজন ওয়েব সার্ভিসেস
- মধ্যে
- পরিমাণ
- an
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- এবং
- এবং অবকাঠামো
- অন্য
- উত্তর
- উত্তর
- কোন
- API
- API গুলি
- অ্যাপ্লিকেশন
- আবেদন
- অ্যাপ্লিকেশন ডেভেলপমেন্ট
- অ্যাপ্লিকেশন
- প্রয়োগ করা
- অভিগমন
- পন্থা
- যথাযথ
- অনুমোদন
- আন্দাজ
- স্থাপত্যবিদ
- স্থাপত্য
- স্থাপত্য
- রয়েছি
- কাছাকাছি
- AS
- পরিমাপন
- সহায়ক
- At
- নিরীক্ষিত
- অডিটর
- উদ্দীপিত
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- উপস্থিতি
- সহজলভ্য
- গড়
- এড়াতে
- ডেস্কটপ AWS
- ব্যাক-এন্ড
- খারাপ
- ভারসাম্য
- ভিত্তি
- মৌলিক
- BE
- কারণ
- পরিণত
- হয়ে
- হয়েছে
- আগে
- হচ্ছে
- উচ্চতার চিহ্ন
- সুবিধা
- সর্বোত্তম
- উত্তম
- মধ্যে
- পক্ষপাত
- গোঁড়ামির
- বিলিয়ন
- কোটি কোটি
- কালো
- স্বভাবসিদ্ধ
- ধার করা
- উভয়
- বট
- বক্স
- বক্স
- শাখা
- ব্রেকিং
- সংক্ষেপে
- আনয়ন
- ভাঙা
- নির্মাণ করা
- ভবন
- নির্মিত
- ব্যবসায়
- কিন্তু
- by
- গণনা করা
- কল
- নামক
- কলিং
- CAN
- প্রার্থী
- প্রার্থী
- ক্ষমতা
- সামর্থ্য
- গ্রেপ্তার
- কেস
- মামলা
- তালিকা
- বিভাগ
- মধ্য
- কেন্দ্রীভূত
- কিছু
- চ্যালেঞ্জ
- চ্যালেঞ্জ
- চ্যালেঞ্জিং
- পরিবর্তন
- chatbots
- সস্তা
- চেক
- পছন্দ
- নির্বাচন
- সর্বোত্তম
- ঘনিষ্ঠভাবে
- কাছাকাছি
- বস্ত্র
- মেঘ
- কোড
- কোডিং
- সহযোগিতা করা
- সমাহার
- সমন্বয়
- মেশা
- আসা
- মন্তব্য
- ব্যবসায়িক
- বাণিজ্যিকভাবে
- সাধারণ
- তুলনা করা
- তুলনা
- সম্পূর্ণ
- পরিপূরণ
- জটিল
- জটিলতা
- সম্মতি
- অনুবর্তী
- গঠন
- ব্যাপক
- গণনা ক্ষমতা
- কম্পিউটার
- ঘনীভূত করা
- ধারণা
- ধারণা
- উদ্বেগ
- পরিবেশ
- আচার
- পরিচালিত
- সংযুক্ত
- সংযোগ
- অতএব
- বিবেচনা
- বিবেচ্য বিষয়
- বিবেচিত
- গ্রাস করা
- ভোক্তা
- কনজিউমার্স
- খরচ
- আধার
- ধারণ
- বিষয়বস্তু
- বিষয়বস্তু-সৃষ্টি
- প্রসঙ্গ
- অবিরত
- নিয়ন্ত্রণ
- কথ্য
- কথোপকথন
- কপিরাইট
- অনুরূপ
- মূল্য
- ব্যয়বহুল
- খরচ
- পারা
- দেশ
- আবরণ
- আবৃত
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- সৃষ্টি
- সংকটপূর্ণ
- কঠোর
- সাংস্কৃতিক
- বর্তমান
- প্রথা
- ক্রেতা
- গ্রাহক তথ্য
- গ্রাহক সেবা
- গ্রাহকদের
- উপাত্ত
- ডেটা লেক
- ডেটা পয়েন্ট
- ডেটা প্রস্তুতি
- তথ্য গোপনীয়তা
- তথ্য বিজ্ঞান
- ডেটাবেস
- ডেটাসেট
- বিকেন্দ্রীভূত
- সিদ্ধান্ত নিচ্ছে
- সিদ্ধান্ত
- নিবেদিত
- গভীর
- গভীর ডুব
- গভীর জ্ঞানার্জন
- সংজ্ঞায়িত
- সংজ্ঞা
- সংজ্ঞা
- সংজ্ঞা
- প্রদান করা
- উপত্যকা
- চাহিদা
- নির্ভর করে
- নির্ভর করে
- তা পেশ
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- বর্ণনা করা
- বর্ণিত
- বিবরণ
- নকশা
- পরিকল্পিত
- ফন্দিবাজ
- ইচ্ছা
- আকাঙ্ক্ষিত
- বিশদ
- বিস্তারিত
- নির্ধারণ
- নির্ণয়
- দেব
- বিকাশ
- উন্নত
- বিকাশকারী
- ডেভেলপারদের
- উন্নয়নশীল
- উন্নয়ন
- উন্নয়ন দল
- পার্থক্য
- বিভিন্ন
- ভেদ করা
- মাত্রা
- সরাসরি
- আলোচনা করা
- আলোচনা
- প্রদর্শিত
- দূরত্ব
- ডুব
- বিচিত্র
- do
- কাগজপত্র
- না
- ডোমেইন
- ডোমেইনের
- Dont
- নিচে
- ডাউনলোড
- ড্রাইভ
- কারণে
- প্রগতিশীল
- e
- প্রতি
- পূর্বে
- পূর্ব
- সহজ
- অর্থনৈতিক
- সম্পাদক
- কার্যকর
- দক্ষ
- দক্ষতার
- প্রচেষ্টা
- পারেন
- বিস্তারিত
- নির্বাচিত
- সক্ষম করা
- সক্রিয়
- শেষ
- সর্বশেষ সীমা
- শেষপ্রান্ত
- শক্তি
- প্রকৌশলী
- প্রকৌশল
- প্রকৌশলী
- ইংরেজি
- উন্নত করা
- নিশ্চিত করা
- নিশ্চিত
- উদ্যোগ
- উদ্যোগ
- বিনোদন
- পরিবেশ
- পরিবেশের
- সমানভাবে
- বিশেষত
- অপরিহার্য
- ইত্যাদি
- EU
- মূল্যায়ন
- মূল্যায়ন
- মূল্যায়ন
- এমন কি
- প্রতি
- উদাহরণ
- উদাহরণ
- চমত্কার
- উত্তেজিত
- ব্যায়াম
- বিদ্যমান
- বিদ্যমান
- বহিরাগত
- আশা
- ব্যয়বহুল
- অভিজ্ঞতা
- পরীক্ষা
- ল্যাপারোস্কোপিক পদ্ধতি
- বিশেষজ্ঞদের
- পরশ্রমজীবী
- প্রসারিত করা
- ব্যাপ্ত
- প্রসার
- ব্যাপক
- ব্যাপক অভিজ্ঞতা
- ব্যাপকভাবে
- নির্যাস
- f1
- মুখ
- গুণক
- কারণের
- ঘনিষ্ঠতা
- পরিবার
- এ পর্যন্ত
- দ্রুত
- বৈশিষ্ট্য
- প্রতিক্রিয়া
- প্রতিপালন
- ব্যক্তিত্ব
- ছাঁকনি
- ফিল্টারিং
- চূড়ান্ত
- পরিশেষে
- আর্থিক
- আর্থিক প্রতিবেদন
- আর্থিক খাত
- অর্থনৈতিক সেবা সমূহ
- প্রথম
- ফিট
- নমনীয়তা
- নমনীয়
- কেন্দ্রবিন্দু
- দৃষ্টি নিবদ্ধ করা
- গুরুত্ত্ব
- মনোযোগ
- অনুসরণ করা
- অনুসৃত
- অনুসরণ
- অনুসরণ
- জন্য
- ভোক্তাদের জন্য
- ফর্ম
- বিন্যাস
- ভিত
- চার
- বিনামূল্যে
- বন্ধুদের
- থেকে
- সদর
- সামনের অংশ
- সামনের অংশ
- সম্পূর্ণ
- কার্যকারিতা
- মৌলিক
- অধিকতর
- তদ্ব্যতীত
- ভবিষ্যৎ
- গেটস
- হিসাব করার নিয়ম
- সাধারণ
- সাধারন ক্ষেত্রে
- সাধারণত
- উত্পাদন করা
- উত্পন্ন
- উত্পন্ন
- উৎপাদিত
- প্রজন্ম
- সৃজক
- জেনারেটিভ এআই
- ভূরাজনৈতিক
- পাওয়া
- git
- প্রদত্ত
- দেয়
- বিশ্বব্যাপী
- বিশ্ব বাণিজ্য
- ভাল
- শাসন
- জিপিইউ
- স্থল
- ছিল
- হাত
- হারনেসিং
- আছে
- জমিদারি
- he
- মাথা
- স্বাস্থ্য
- স্বাস্থ্যসেবা
- সাহায্য
- সাহায্য
- এখানে
- উচ্চ
- উচ্চ গুনসম্পন্ন
- ঊর্ধ্বতন
- অত্যন্ত
- তার
- ঐতিহাসিক
- রাখা
- নিমন্ত্রণকর্তা
- হোস্ট
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- মানবীয়
- শত শত
- i
- আদর্শভাবে
- if
- প্রকাশ
- ভাবমূর্তি
- চিত্র
- কল্পিত
- প্রভাব
- বাস্তবায়ন
- বাস্তবায়ন
- প্রভাব
- গুরুত্ব
- গুরুত্বপূর্ণ
- উন্নতি
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- নিগমবদ্ধ
- বৃদ্ধি
- বর্ধিত
- ইঙ্গিত
- সূচক
- স্বতন্ত্র
- শিল্প
- প্রভাব
- প্রভাবিত
- পরিকাঠামো
- প্রারম্ভিক
- উদ্ভাবনী
- ইনপুট
- ইনপুট
- উদাহরণ
- পরিবর্তে
- নির্দেশাবলী
- বীমা
- সম্পূর্ণ
- অভিপ্রেত
- গর্ভনাটিকা
- আলাপচারিতার
- মিথষ্ক্রিয়া
- ইন্টারেক্টিভ
- ইন্টারফেস
- Internet
- ইন্টারনেট সংযোগ
- কিছু ইন্টারনেট
- মধ্যে
- প্রবর্তন করা
- বিনিয়োগ
- জড়িত
- ঘটিত
- IOT
- IT
- এর
- কাজ
- যাত্রা
- যাতায়াতের
- জুলাই
- মাত্র
- চাবি
- গুরুত্বপূর্ণ বিষয়
- রকম
- জানা
- জ্ঞান
- পরিচিত
- লেবেল
- লেবেলগুলি
- হ্রদ
- ভাষা
- বড়
- বৃহত্তর
- গত
- অদৃশ্যতা
- স্তর
- স্তর
- নেতৃত্ব
- বিশালাকার
- শিখতে
- শিক্ষা
- ত্যাগ
- ধার
- কম
- উচ্চতা
- উপজীব্য
- লাইব্রেরি
- লাইসেন্স
- লাইসেন্সকরণ
- জীবনচক্র
- মত
- পছন্দ
- সীমাবদ্ধতা
- LINK
- LLM
- বোঝা
- স্থানীয়
- অবস্থিত
- অবস্থান
- লণ্ডন
- দীর্ঘ
- আর
- নিম্ন
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- প্রধান
- বজায় রাখা
- সংখ্যাগুরু
- মেকিং
- পরিচালনাযোগ্য
- কার্যভার
- ম্যানুয়াল
- ম্যানুয়ালি
- উত্পাদন
- অনেক
- মানচিত্র
- বৃহদায়তন
- পরিপক্বতা
- সর্বাধিক
- মে..
- me
- অর্থ
- মানে
- পদ্ধতি
- মেকানিজম
- মিডিয়া
- ভূমধ্য
- উল্লিখিত
- মার্জ
- জাল
- মেটাডাটা
- পদ্ধতি
- প্রণালী বিজ্ঞান
- পদ্ধতি
- ছন্দোবিজ্ঞান
- মধ্যম
- মধ্যপ্রাচ্যে
- হতে পারে
- সর্বনিম্ন
- ML
- এমএলওএস
- মডেল
- মডেল
- মনিটর
- পর্যবেক্ষণ করা
- পর্যবেক্ষণ
- অধিক
- আরো দক্ষ
- সেতু
- অধিকাংশ ক্ষেত্রে
- মোটর স্পোর্টসের
- পদক্ষেপ
- সরানো হয়েছে
- আন্দোলন
- অনেক
- বহু
- সঙ্গীত
- অবশ্যই
- my
- নাম
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রকৃতি
- নেভিগেট করুন
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- চাহিদা
- নেতিবাচক
- নেটওয়ার্ক
- স্নায়বিক নেটওয়ার্ক
- নিরপেক্ষ
- না
- নতুন
- সদ্য
- পরবর্তী
- NLP
- না।
- সাধারণ
- উত্তর
- স্মরণীয়
- সংখ্যা
- মান্য করা
- of
- অর্পণ
- প্রদত্ত
- প্রায়ই
- on
- অনবোর্ডিং
- ONE
- ওগুলো
- কেবল
- খোলা
- ওপেন সোর্স
- অপারেটিং
- অপারেশনস
- অনুকূল
- পছন্দ
- অপশন সমূহ
- or
- সংগঠন
- সংগঠন
- অন্যান্য
- অন্যরা
- অন্যভাবে
- আমাদের
- বাইরে
- ফলাফল
- আউটপুট
- শেষ
- সামগ্রিক
- ওভারভিউ
- নিজের
- মালিক
- মালিকদের
- প্যাকেজ
- জোড়া
- পরামিতি
- নিদর্শন
- সম্প্রদায়
- প্রতি
- সম্পাদন করা
- কর্মক্ষমতা
- করণ
- সম্ভবত
- ব্যক্তি
- ব্যক্তিগত
- ব্যক্তিগতকৃত
- পরিপ্রেক্ষিত
- ফেজ
- দা
- টুকরা
- পাইপলাইন
- জায়গা
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- বিন্দু
- পয়েন্ট
- নীতি
- ধনাত্মক
- ভোগদখল করা
- সম্ভব
- পোস্ট
- পোস্ট
- সম্ভাব্য
- সম্ভাব্য
- ক্ষমতা
- ক্ষমতাশালী
- ব্যবহারিক
- চর্চা
- স্পষ্টতা
- ভবিষ্যদ্বাণী করা
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- প্রস্তুতি
- প্রস্তুত করা
- প্রস্তুত
- প্রস্তুতি
- উপস্থাপন
- আগে
- পূর্বে
- প্রধান
- প্রধানমন্ত্রী
- নীতিগুলো
- পূর্বে
- অগ্রাধিকার
- গোপনীয়তা
- ব্যক্তিগত
- সমস্যা
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- প্রযোজনা
- সৃজনকর্তা
- পণ্য
- উত্পাদনের
- প্রোগ্রামিং
- প্রকল্প
- উন্নীত করা
- প্রমাণ
- ধারণা প্রমাণ
- উত্থাপন করা
- মালিকানা
- প্রমাণ করা
- প্রদান
- প্রদত্ত
- প্রদানকারী
- প্রদানকারীর
- উপলব্ধ
- প্রদানের
- উদ্দেশ্য
- উদ্দেশ্য
- পাহাড় জমে
- ধাঁধা
- গুণ
- প্রশ্ন
- প্রশ্ন
- দ্রুত
- উত্থাপন
- পরিসর
- রেঞ্জিং
- দ্রুত
- হার
- বরং
- নির্ধারণ
- পড়া
- প্রকৃত সময়
- কারণ
- গ্রহণ করা
- সুপারিশ করা
- লাল
- হ্রাসপ্রাপ্ত
- পরিমার্জন
- সংক্রান্ত
- রেজিষ্ট্রিসমূহ
- রেজিস্ট্রি
- আইন
- সংশ্লিষ্ট
- মুক্ত
- প্রাসঙ্গিকতা
- প্রাসঙ্গিক
- বিশ্বাসযোগ্যতা
- দেহাবশেষ
- দূরবর্তী
- প্রতিস্থাপিত
- রিপোর্ট
- সংগ্রহস্থলের
- প্রতিনিধিত্ব
- প্রতিনিধি
- অনুরোধ
- অনুরোধ
- প্রয়োজনীয়
- আবশ্যকতা
- প্রয়োজন
- গবেষণা
- গবেষকরা
- Resources
- যথাক্রমে
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- দায়ী
- বিশ্রাম
- সীমাবদ্ধতা
- সীমাবদ্ধ
- ফল
- ফলাফল
- খুচরা
- পুনঃব্যবহারের
- এখানে ক্লিক করুন
- পর্যালোচনা
- অশ্বচালনা
- অধিকার
- রোডম্যাপ
- ভূমিকা
- ভূমিকা
- মোটামুটিভাবে
- বৃত্তাকার
- চালান
- দৌড়
- ঋষি নির্মাতা
- একই
- স্যান্ডবক্স
- স্কেল
- আরোহী
- দৃশ্যকল্প
- পরিস্থিতিতে
- বিজ্ঞান
- বিজ্ঞানীরা
- স্কোর
- আঁচড়ের দাগ
- স্ক্রিপ্ট
- সাগর
- অধ্যায়
- বিভাগে
- সেক্টর
- নিরাপদ
- নিরাপদে
- নিরাপত্তা
- সুরক্ষা নীতি
- দেখ
- সচেষ্ট
- নির্বাচিত
- নির্বাচন
- নির্বাচন
- পাঠানোর
- জ্যেষ্ঠ
- প্রেরিত
- অনুভূতি
- আলাদা
- ক্রম
- ক্রম
- পরিবেশন করা
- সেবা
- সেবা
- ভজনা
- সেট
- বিভিন্ন
- রুপায়ণ
- শেয়ার
- ভাগ
- জাহাজ
- সংক্ষিপ্ত
- উচিত
- প্রদর্শিত
- শো
- পাশ
- গুরুত্বপূর্ণ
- উল্লেখযোগ্যভাবে
- অনুরূপ
- সহজতর করা
- আয়তন
- দক্ষতা
- ছোট
- ক্ষুদ্রতর
- এসএমই
- So
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- উৎস
- সোর্স কোড
- সোর্স
- স্থান
- প্রশিক্ষণ
- বিশেষজ্ঞ
- বিশেষজ্ঞ
- নির্দিষ্ট
- বিশেষভাবে
- স্পীড
- ব্যয় করা
- অতিবাহিত
- পর্যায়
- ইন্টার্নশিপ
- অংশীদারদের
- মান
- প্রমিতকরণ
- শুরু
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- দোকান
- সঞ্চিত
- সংরক্ষণ
- গল্প
- শক্তি
- শক্তিশালী
- পরবর্তীকালে
- সফল
- এমন
- সুপারিশ
- উপযুক্ততা
- উপযুক্ত
- সংক্ষিপ্ত করা
- সংক্ষিপ্তসার
- সমর্থন
- সমর্থিত
- অনুমিত
- নিশ্চিত
- স্যুইফ্ট
- পদ্ধতি
- টেবিল
- গ্রহণ করা
- কার্য
- কাজ
- টীম
- দল
- কারিগরী
- প্রযুক্তি
- প্রযুক্তি
- প্রযুক্তিঃ
- শর্তাবলী
- পরীক্ষা
- প্রমাণিত
- পরীক্ষকগণ
- পরীক্ষামূলক
- চেয়ে
- যে
- সার্জারির
- ভবিষ্যৎ
- উৎস
- যুক্তরাজ্য
- বিশ্ব
- তাদের
- তাহাদিগকে
- নিজেদের
- তারপর
- সেখানে।
- অতএব
- এইগুলো
- তারা
- কিছু
- চিন্তা
- তৃতীয় পক্ষের
- এই
- সেগুলো
- যদিও?
- চিন্তা
- হাজার হাজার
- তিন
- সময়
- থেকে
- একসঙ্গে
- টোকেন
- টোকেন
- শীর্ষ
- টপিক
- প্রতি
- বাণিজ্য
- ঐতিহ্যগত
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- রুপান্তর
- রুপান্তর
- ভ্রমণ
- ভ্রমনের
- প্রবণতা
- ট্রিগার
- সত্য
- সত্য
- চেষ্টা
- দুই
- আদর্শ
- ধরনের
- সাধারণত
- ui
- Uk
- বোঝা
- বোধশক্তি
- একক
- ইউনিট
- আপডেট
- আপলোড
- us
- উপভোগ্য
- ব্যবহার
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- ইউটিলিটি
- ব্যবহার
- বিভিন্ন
- যাচাই
- সংস্করণ
- বনাম
- উল্লম্ব
- মাধ্যমে
- টেকসই
- ঠাহর করা
- vs
- প্রয়োজন
- ছিল
- we
- ওয়েব
- ওয়েব সার্ভিস
- ওয়েবসাইট
- আমরা একটি
- কি
- কখন
- যেহেতু
- কিনা
- যে
- যখন
- হু
- ব্যাপক
- প্রশস্ত পরিসর
- ইচ্ছা
- জানলা
- জানালা
- সঙ্গে
- মধ্যে
- ছাড়া
- শব্দ
- শব্দ
- হয়া যাই ?
- এক সাথে কাজ কর
- কাজ করছে
- কাজ
- কাজ
- বিশ্ব
- would
- বছর
- উত্পাদ
- আপনি
- আপনার
- zephyrnet