AWS | এ বৃহৎ ভাষার মডেল নিরীক্ষণের জন্য কৌশল এবং পন্থা আমাজন ওয়েব সার্ভিসেস

লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) প্রাকৃতিক ভাষা প্রক্রিয়াকরণের (এনএলপি) ক্ষেত্রে বিপ্লব ঘটিয়েছে, ভাষা অনুবাদ, পাঠ্য সংক্ষিপ্তকরণ এবং অনুভূতি বিশ্লেষণের মতো কাজগুলিকে উন্নত করেছে। যাইহোক, যেহেতু এই মডেলগুলি আকার এবং জটিলতায় বাড়তে থাকে, তাদের কর্মক্ষমতা এবং আচরণ পর্যবেক্ষণ করা ক্রমশ চ্যালেঞ্জিং হয়ে উঠেছে।

LLM-এর কর্মক্ষমতা এবং আচরণ পর্যবেক্ষণ করা তাদের নিরাপত্তা এবং কার্যকারিতা নিশ্চিত করার জন্য একটি গুরুত্বপূর্ণ কাজ। আমাদের প্রস্তাবিত আর্কিটেকচার অনলাইন LLM মনিটরিংয়ের জন্য একটি পরিমাপযোগ্য এবং কাস্টমাইজযোগ্য সমাধান প্রদান করে, টিমগুলিকে আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে এবং প্রয়োজনীয়তার সাথে আপনার মনিটরিং সমাধানটি তৈরি করতে সক্ষম করে। AWS পরিষেবাগুলি ব্যবহার করে, আমাদের আর্কিটেকচার LLM আচরণে রিয়েল-টাইম দৃশ্যমানতা প্রদান করে এবং টিমগুলিকে যেকোন সমস্যা বা অসঙ্গতিগুলি দ্রুত সনাক্ত করতে এবং সমাধান করতে সক্ষম করে।

এই পোস্টে, আমরা অনলাইন এলএলএম মনিটরিংয়ের জন্য কয়েকটি মেট্রিক্স এবং AWS পরিষেবাগুলি ব্যবহার করার জন্য তাদের নিজ নিজ আর্কিটেকচার প্রদর্শন করি যেমন অ্যামাজন ক্লাউডওয়াচ এবং এডাব্লুএস ল্যাম্বদা. এটি যা সম্ভব তার বাইরে একটি কাস্টমাইজযোগ্য সমাধান সরবরাহ করে মডেল মূল্যায়ন সঙ্গে চাকরি আমাজন বেডরক.

সমাধান ওভারভিউ

বিবেচনা করার প্রথম জিনিস হল যে বিভিন্ন মেট্রিক্সের জন্য বিভিন্ন গণনা বিবেচনার প্রয়োজন হয়। একটি মডুলার আর্কিটেকচার, যেখানে প্রতিটি মডিউল মডেল ইনফারেন্স ডেটা গ্রহণ করতে পারে এবং নিজস্ব মেট্রিক্স তৈরি করতে পারে, প্রয়োজনীয়।

আমরা পরামর্শ দিই যে প্রতিটি মডিউল এলএলএম-এ ইনকামিং ইনফারেন্স রিকোয়েস্ট নিতে, মেট্রিক কম্পিউট মডিউলে প্রম্পট এবং কমপ্লিশন (প্রতিক্রিয়া) জোড়া পাস করে। প্রতিটি মডিউল ইনপুট প্রম্পট এবং সমাপ্তির (প্রতিক্রিয়া) সাপেক্ষে নিজস্ব মেট্রিক্স গণনার জন্য দায়ী। এই মেট্রিকগুলি ক্লাউডওয়াচ-এ পাস করা হয়, যা সেগুলিকে একত্রিত করতে পারে এবং নির্দিষ্ট শর্তে বিজ্ঞপ্তি পাঠাতে ক্লাউডওয়াচ অ্যালার্মগুলির সাথে কাজ করতে পারে৷ নিচের চিত্রটি এই স্থাপত্যকে তুলে ধরে।

কর্মপ্রবাহে নিম্নলিখিত পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:

1. একজন ব্যবহারকারী একটি অ্যাপ্লিকেশন বা ইউজার ইন্টারফেসের অংশ হিসাবে অ্যামাজন বেডরকের কাছে একটি অনুরোধ করে৷
2. অ্যামাজন বেডরক অনুরোধ এবং সমাপ্তি (প্রতিক্রিয়া) সংরক্ষণ করে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এর কনফিগারেশন অনুযায়ী আমন্ত্রণ লগিং.
3. Amazon S3 এ সংরক্ষিত ফাইলটি একটি ইভেন্ট তৈরি করে ট্রিগার একটি ল্যাম্বডা ফাংশন। ফাংশন মডিউল আহ্বান করে.
4. মডিউল তাদের নিজ নিজ মেট্রিক্স পোস্ট ক্লাউডওয়াচ মেট্রিক্স.
5. এলার্ম অপ্রত্যাশিত মেট্রিক মান উন্নয়ন দলকে অবহিত করতে পারে।

এলএলএম মনিটরিং বাস্তবায়নের সময় বিবেচনা করার দ্বিতীয় বিষয় হল ট্র্যাক করার জন্য সঠিক মেট্রিক্স বেছে নেওয়া। যদিও অনেক সম্ভাব্য মেট্রিক রয়েছে যা আপনি LLM কর্মক্ষমতা নিরীক্ষণ করতে ব্যবহার করতে পারেন, আমরা এই পোস্টে বিস্তৃত কিছু ব্যাখ্যা করব।

নিম্নলিখিত বিভাগে, আমরা কিছু প্রাসঙ্গিক মডিউল মেট্রিক্স এবং তাদের নিজ নিজ মেট্রিক কম্পিউট মডিউল আর্কিটেকচার হাইলাইট করি।

প্রম্পট এবং সমাপ্তির মধ্যে শব্দার্থিক মিল (প্রতিক্রিয়া)

এলএলএম চালানোর সময়, আপনি প্রতিটি অনুরোধের জন্য প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) আটকাতে পারেন এবং এম্বেডিং মডেল ব্যবহার করে এম্বেডিং-এ রূপান্তর করতে পারেন। এমবেডিং হল উচ্চ-মাত্রিক ভেক্টর যা পাঠ্যের শব্দার্থিক অর্থকে উপস্থাপন করে। আমাজন টাইটান টাইটান এমবেডিং এর মাধ্যমে এই ধরনের মডেল প্রদান করে। এই দুটি ভেক্টরের মধ্যে কোসাইনের মতো দূরত্ব নিয়ে, আপনি প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) শব্দার্থগতভাবে কতটা একই রকম তা পরিমাপ করতে পারেন। তুমি ব্যবহার করতে পার SciPy or scikit-শিখতে ভেক্টরের মধ্যে কোসাইন দূরত্ব গণনা করতে। নিম্নলিখিত চিত্রটি এই মেট্রিক কম্পিউট মডিউলটির আর্কিটেকচারকে চিত্রিত করে।

এই কর্মপ্রবাহে নিম্নলিখিত মূল পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:

1. একটি Lambda ফাংশন এর মাধ্যমে একটি স্ট্রিম করা বার্তা গ্রহণ করে আমাজন কিনেসিস একটি প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) জোড়া রয়েছে।
2. ফাংশনটি প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) উভয়ের জন্য একটি এম্বেডিং পায় এবং দুটি ভেক্টরের মধ্যে কোসাইন দূরত্ব গণনা করে।
3. ফাংশনটি সেই তথ্য ক্লাউডওয়াচ মেট্রিক্সে পাঠায়।

অনুভূতি এবং বিষাক্ততা

মনিটরিং সেন্টিমেন্ট আপনাকে প্রতিক্রিয়াগুলির সামগ্রিক স্বন এবং মানসিক প্রভাব পরিমাপ করতে দেয়, যেখানে বিষাক্ততা বিশ্লেষণ এলএলএম আউটপুটগুলিতে আপত্তিকর, অসম্মানজনক বা ক্ষতিকারক ভাষার উপস্থিতির একটি গুরুত্বপূর্ণ পরিমাপ প্রদান করে। মডেলটি প্রত্যাশিতভাবে আচরণ করছে তা নিশ্চিত করার জন্য অনুভূতি বা বিষাক্ততার যেকোনো পরিবর্তন ঘনিষ্ঠভাবে পর্যবেক্ষণ করা উচিত। নিম্নলিখিত চিত্রটি মেট্রিক কম্পিউট মডিউলটি চিত্রিত করে।

কর্মপ্রবাহে নিম্নলিখিত পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:

1. একটি Lambda ফাংশন Amazon Kinesis এর মাধ্যমে একটি প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) জোড়া পায়।
2. AWS স্টেপ ফাংশন অর্কেস্ট্রেশনের মাধ্যমে, ফাংশন কল করে অ্যামাজন সমঝোতা সনাক্ত করতে অনুভূতি এবং বিষবিদ্যা.
3. ফাংশনটি ক্লাউডওয়াচ মেট্রিক্সে তথ্য সংরক্ষণ করে।

Amazon Comprehend এর সাথে অনুভূতি এবং বিষাক্ততা সনাক্তকরণ সম্পর্কে আরও তথ্যের জন্য, পড়ুন একটি শক্তিশালী পাঠ্য-ভিত্তিক বিষাক্ততা ভবিষ্যদ্বাণী তৈরি করুন এবং Amazon Comprehend টক্সিসিটি ডিটেকশন ব্যবহার করে ক্ষতিকারক কন্টেন্ট ফ্ল্যাগ করুন.

প্রত্যাখ্যানের অনুপাত

প্রত্যাখ্যান বৃদ্ধি, যেমন একটি LLM যখন তথ্যের অভাবের কারণে সমাপ্তি অস্বীকার করে, এর অর্থ হতে পারে যে হয় দূষিত ব্যবহারকারীরা LLM কে এমনভাবে ব্যবহার করার চেষ্টা করছেন যা এটিকে জেলব্রেক করার উদ্দেশ্যে তৈরি করা হয়েছে, অথবা ব্যবহারকারীদের প্রত্যাশা পূরণ হচ্ছে না এবং তারা কম মূল্যের প্রতিক্রিয়া পাচ্ছেন। এটি কত ঘন ঘন ঘটছে তা পরিমাপ করার একটি উপায় হল এলএলএম মডেল থেকে LLM-এর প্রকৃত প্রতিক্রিয়াগুলির সাথে ব্যবহৃত স্ট্যান্ডার্ড প্রত্যাখ্যানগুলির তুলনা করা। উদাহরণ স্বরূপ, নিচের কিছু অ্যানথ্রপিকের ক্লড v2 এলএলএম সাধারণ প্রত্যাখ্যান বাক্যাংশ রয়েছে:

“Unfortunately, I do not have enough context to provide a substantive response. However, I am an AI assistant created by Anthropic to be helpful, harmless, and honest.”

“I apologize, but I cannot recommend ways to…”

“I'm an AI assistant created by Anthropic to be helpful, harmless, and honest.”

প্রম্পটের একটি নির্দিষ্ট সেটে, এই প্রত্যাখ্যানগুলির বৃদ্ধি একটি সংকেত হতে পারে যে মডেলটি অত্যধিক সতর্ক বা সংবেদনশীল হয়ে উঠেছে। বিপরীত ক্ষেত্রেও মূল্যায়ন করা উচিত। এটি একটি সংকেত হতে পারে যে মডেলটি এখন বিষাক্ত বা ক্ষতিকারক কথোপকথনে জড়িত হওয়ার প্রবণতা।

মডেল অখণ্ডতা এবং মডেল প্রত্যাখ্যান অনুপাত সাহায্য করার জন্য, আমরা LLM থেকে পরিচিত প্রত্যাখ্যান বাক্যাংশের সেটের সাথে প্রতিক্রিয়ার তুলনা করতে পারি। এটি একটি প্রকৃত শ্রেণিবিন্যাসকারী হতে পারে যা ব্যাখ্যা করতে পারে কেন মডেল অনুরোধটি প্রত্যাখ্যান করেছে। আপনি পর্যবেক্ষণ করা মডেল থেকে প্রতিক্রিয়া এবং পরিচিত প্রত্যাখ্যান প্রতিক্রিয়াগুলির মধ্যে কোসাইন দূরত্ব নিতে পারেন। নিম্নলিখিত চিত্রটি এই মেট্রিক কম্পিউট মডিউলটি চিত্রিত করে।

কর্মপ্রবাহ নিম্নলিখিত পদক্ষেপ নিয়ে গঠিত:

1. একটি Lambda ফাংশন একটি প্রম্পট এবং সমাপ্তি (প্রতিক্রিয়া) পায় এবং অ্যামাজন টাইটান ব্যবহার করে প্রতিক্রিয়া থেকে একটি এমবেডিং পায়।
2. ফাংশনটি মেমরিতে ক্যাশ করা প্রতিক্রিয়া এবং বিদ্যমান প্রত্যাখ্যান প্রম্পটের মধ্যে কোসাইন বা ইউক্লিডিয়ান দূরত্ব গণনা করে।
3. ফাংশন ক্লাউডওয়াচ মেট্রিক্সে সেই গড় পাঠায়।

আরেকটি বিকল্প ব্যবহার করা হয় অস্পষ্ট মিল LLM আউটপুটের সাথে পরিচিত প্রত্যাখ্যানের তুলনা করার জন্য একটি সরল কিন্তু কম শক্তিশালী পদ্ধতির জন্য। পড়ুন পাইথন ডকুমেন্টেশন একটি উদাহরণ জন্য।

সারাংশ

এলএলএম-এর নির্ভরযোগ্য এবং বিশ্বাসযোগ্য ব্যবহার নিশ্চিত করার জন্য এলএলএম পর্যবেক্ষণযোগ্যতা একটি গুরুত্বপূর্ণ অনুশীলন। LLM-এর নির্ভুলতা এবং নির্ভরযোগ্যতা পর্যবেক্ষণ, বোঝা এবং নিশ্চিত করা আপনাকে এই AI মডেলগুলির সাথে সম্পর্কিত ঝুঁকিগুলি কমাতে সাহায্য করতে পারে। হ্যালুসিনেশন, খারাপ সমাপ্তি (প্রতিক্রিয়া) এবং প্রম্পট নিরীক্ষণ করে, আপনি নিশ্চিত করতে পারেন যে আপনার LLM ট্র্যাকে রয়েছে এবং আপনি এবং আপনার ব্যবহারকারীরা যে মান খুঁজছেন তা সরবরাহ করে। এই পোস্টে, আমরা উদাহরণ দেখানোর জন্য কয়েকটি মেট্রিক্স নিয়ে আলোচনা করেছি।

ভিত্তি মডেলের মূল্যায়ন সম্পর্কে আরও তথ্যের জন্য, পড়ুন ফাউন্ডেশন মডেলের মূল্যায়ন করতে সেজমেকার ক্ল্যারিফাই ব্যবহার করুন, এবং অতিরিক্ত ব্রাউজ করুন উদাহরণ নোটবুক আমাদের GitHub সংগ্রহস্থলে উপলব্ধ। আপনি স্কেলে এলএলএম মূল্যায়নগুলি কার্যকর করার উপায়গুলিও অন্বেষণ করতে পারেন অ্যামাজন সেজমেকার ক্ল্যারিফাই এবং এমএলওপিএস পরিষেবাগুলি ব্যবহার করে স্কেলে এলএলএম মূল্যায়নকে কার্যকর করুন. অবশেষে, আমরা উল্লেখ করার পরামর্শ দিই গুণমান এবং দায়িত্বের জন্য বড় ভাষার মডেল মূল্যায়ন করুন এলএলএম মূল্যায়ন সম্পর্কে আরও জানতে।

---

লেখক সম্পর্কে

ব্রুনো ক্লেইন AWS পেশাদার পরিষেবা বিশ্লেষণ অনুশীলন সহ একজন সিনিয়র মেশিন লার্নিং ইঞ্জিনিয়ার। তিনি গ্রাহকদের বড় ডেটা এবং বিশ্লেষণ সমাধান বাস্তবায়নে সহায়তা করেন। কাজের বাইরে, তিনি পরিবারের সাথে সময় কাটাতে, ভ্রমণ করতে এবং নতুন খাবার চেষ্টা করতে উপভোগ করেন।

রুশভ লোখান্ডে AWS প্রফেশনাল সার্ভিসেস অ্যানালিটিক্স প্র্যাকটিস সহ একজন সিনিয়র ডেটা এবং এমএল ইঞ্জিনিয়ার। তিনি গ্রাহকদের বিগ ডেটা, মেশিন লার্নিং এবং অ্যানালিটিক্স সলিউশন বাস্তবায়নে সাহায্য করেন। কাজের বাইরে, তিনি পরিবারের সাথে সময় কাটানো, পড়া, দৌড়ানো এবং গলফ খেলা উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/techniques-and-approaches-for-monitoring-large-language-models-on-aws/