Fiddler ব্যবহার করে আপনার Amazon SageMaker মডেলের জন্য এন্টারপ্রাইজ-গ্রেড মনিটরিং অর্জন করুন

এটি ফিডলার এআই-তে ড্যানি ব্রক, রাজীব গোবিন্দন এবং কৃষ্ণরাম কেনথাপাডির একটি অতিথি ব্লগ পোস্ট।

আপনার আমাজন সেজমেকার মডেলগুলি লাইভ। তারা প্রতিদিন লক্ষ লক্ষ অনুমান পরিচালনা করছে এবং আপনার কোম্পানির জন্য আরও ভাল ব্যবসায়িক ফলাফল চালাচ্ছে। তারা যেদিন চালু হয়েছিল ঠিক সেই দিনটিই ঠিক সেইভাবে পারফর্ম করছে।

এর, অপেক্ষা করুন। তারা কি? হতে পারে. হয়তো না.

এন্টারপ্রাইজ-শ্রেণী ছাড়া মডেল পর্যবেক্ষণ, আপনার মডেল নীরবতা ক্ষয় হতে পারে. আপনার মেশিন লার্নিং (ML) টিমগুলি কখনই জানবে না যে এই মডেলগুলি আসলে রাজস্ব উৎপাদনের অলৌকিক ঘটনা থেকে দায়বদ্ধতাগুলিকে ভুল সিদ্ধান্ত নেওয়ার জন্য পরিবর্তন করেছে যা আপনার কোম্পানির সময় এবং অর্থ ব্যয় করে।

মন খারাপ করবেন না। সমাধান আপনার মনের চেয়ে কাছাকাছি।

বেহালাবাদক, একটি এন্টারপ্রাইজ-শ্রেণীর মডেল পারফরম্যান্স ম্যানেজমেন্ট সমাধান AWS মার্কেটপ্লেস, ML টিমগুলিকে মডেলের সমস্যাগুলির একটি বিস্তৃত পরিসর পরিদর্শন এবং সমাধান করতে সহায়তা করার জন্য মডেল পর্যবেক্ষণ এবং ব্যাখ্যাযোগ্য AI অফার করে। মডেল মনিটরিং, মডেল ব্যাখ্যাযোগ্যতা, বিশ্লেষণ এবং পক্ষপাতিত্ব সনাক্তকরণের মাধ্যমে, ফিডলার আপনার কোম্পানিকে কাচের একটি সহজে ব্যবহারযোগ্য একক ফলক প্রদান করে যাতে আপনার মডেলগুলি তাদের মতো আচরণ করছে তা নিশ্চিত করতে। এবং যদি সেগুলি না হয়, ফিডলার এমন বৈশিষ্ট্যগুলিও সরবরাহ করে যা আপনাকে কার্যক্ষমতা ক্ষয়ের অন্তর্নিহিত মূল কারণগুলি খুঁজে পেতে আপনার মডেলগুলি পরিদর্শন করতে দেয়৷

এই পোস্ট দেখায় কিভাবে আপনার এমএলওএস টিম ডেটা সায়েন্টিস্টের উত্পাদনশীলতা উন্নত করতে পারে এবং কয়েকটি সহজ ধাপে ফিডলার মডেল পারফরম্যান্স ম্যানেজমেন্ট প্ল্যাটফর্মের সাথে সংহত করার মাধ্যমে সেজমেকারে মোতায়েন করা আপনার মডেলগুলির সমস্যা সনাক্ত করতে সময় কমাতে পারে।

সমাধান ওভারভিউ

নিম্নলিখিত রেফারেন্স আর্কিটেকচার একীকরণের প্রাথমিক পয়েন্টগুলিকে হাইলাইট করে। আপনার বিদ্যমান সেজমেকার এমএল ওয়ার্কফ্লোতে ফিডলার একটি "সাইডকার" হিসাবে বিদ্যমান।

এই পোস্টের বাকি অংশ আপনাকে ফিডলারের সাথে আপনার সেজমেকার মডেলকে একীভূত করার পদক্ষেপের মধ্য দিয়ে চলে মডেল পারফরম্যান্স ম্যানেজমেন্ট প্ল্যাটফর্ম:

1. আপনার মডেল ডেটা ক্যাপচার সক্ষম আছে তা নিশ্চিত করুন।
2. একটি ফিডলার ট্রায়াল পরিবেশ তৈরি করুন।
3. আপনার ফিডলার পরিবেশে আপনার মডেল সম্পর্কে তথ্য নিবন্ধন করুন।
4. তৈরি একটি এডাব্লুএস ল্যাম্বদা ফিডলারের কাছে সেজমেকারের অনুমান প্রকাশ করার ফাংশন।
5. আপনার ফিডলার ট্রায়াল পরিবেশে ফিডলারের পর্যবেক্ষণ ক্ষমতাগুলি অন্বেষণ করুন।

পূর্বশর্ত

এই পোস্টটি অনুমান করে যে আপনি SageMaker সেট আপ করেছেন এবং একটি মডেল এন্ডপয়েন্ট স্থাপন করেছেন। মডেল পরিবেশনের জন্য সেজমেকার কীভাবে কনফিগার করবেন তা শিখতে, পড়ুন অনুমানের জন্য মডেল স্থাপন করুন. কিছু উদাহরণ পাওয়া যায় গিটহুব রেপো.

আপনার মডেল ডেটা ক্যাপচার সক্ষম আছে তা নিশ্চিত করুন

SageMaker কনসোলে, আপনার মডেলের সার্ভিং এন্ডপয়েন্টে নেভিগেট করুন এবং নিশ্চিত করুন যে আপনি সক্ষম করেছেন তথ্য সংগ্রহ মধ্যে একটি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি। এটি আপনার মডেল প্রতিদিন যে অনুমান (অনুরোধ এবং প্রতিক্রিয়া) করে তা সঞ্চয় করে JSON লাইন ফাইল (.jsonl) Amazon S3 এ।

একটি ফিডলার ট্রায়াল পরিবেশ তৈরি করুন

থেকে fiddler.ai ওয়েবসাইট, আপনি একটি বিনামূল্যে ট্রায়াল অনুরোধ করতে পারেন. একটি দ্রুত ফর্ম পূরণ করার পরে, ফিডলার আপনার মডেল পারফরম্যান্স ম্যানেজমেন্টের প্রয়োজনীয়তার সুনির্দিষ্ট বিষয়গুলি বোঝার জন্য আপনার সাথে যোগাযোগ করবে এবং কয়েক ঘন্টার মধ্যে আপনার জন্য একটি পরীক্ষামূলক পরিবেশ তৈরি করবে। আপনি একটি উত্সর্গীকৃত পরিবেশের মত আশা করতে পারেন https://yourcompany.try.fiddler.ai.

আপনার ফিডলার পরিবেশে আপনার মডেল সম্পর্কে তথ্য নিবন্ধন করুন

আপনি ফিডলারে আপনার সেজমেকার হোস্ট করা মডেল থেকে ইভেন্টগুলি প্রকাশ করা শুরু করার আগে, আপনাকে আপনার ফিডলার ট্রায়াল পরিবেশের মধ্যে একটি প্রকল্প তৈরি করতে হবে এবং একটি ধাপের মাধ্যমে আপনার মডেল সম্পর্কে ফিডলারের বিশদ প্রদান করতে হবে মডেল নিবন্ধন. আপনি যদি ভিতর থেকে একটি পূর্ব কনফিগার করা নোটবুক ব্যবহার করতে চান অ্যামাজন সেজমেকার স্টুডিও নিম্নলিখিত কোড স্নিপেটগুলি অনুলিপি এবং পেস্ট করার পরিবর্তে, আপনি ফিডলার কুইকস্টার্ট নোটবুকটি উল্লেখ করতে পারেন GitHub. স্টুডিও একটি একক ওয়েব-ভিত্তিক ভিজ্যুয়াল ইন্টারফেস সরবরাহ করে যেখানে আপনি সমস্ত ML বিকাশের পদক্ষেপগুলি সম্পাদন করতে পারেন।

প্রথমত, আপনাকে অবশ্যই ইনস্টল করতে হবে ফিডলার পাইথন ক্লায়েন্ট আপনার সেজমেকার নোটবুকে এবং ফিডলার ক্লায়েন্টকে ইনস্ট্যান্টিয়েট করুন। আপনি পেতে পারেন AUTH_TOKEN থেকে সেটিংস আপনার ফিডলার ট্রায়াল পরিবেশে পৃষ্ঠা।

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

পরবর্তী, আপনার ফিডলার ট্রায়াল পরিবেশের মধ্যে একটি প্রকল্প তৈরি করুন:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

এখন আপনার প্রশিক্ষণ ডেটাসেট আপলোড করুন। নোটবুক ফিডলার চালানোর জন্য একটি নমুনা ডেটাসেটও প্রদান করে ব্যাখ্যাযোগ্যতা অ্যালগরিদম এবং মেট্রিক্স নিরীক্ষণের জন্য একটি বেসলাইন হিসাবে। ফিডলারে এই মডেলের স্কিমা তৈরি করতেও ডেটাসেট ব্যবহার করা হয়।

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

পরিশেষে, আপনি নিরীক্ষণ, মূল কারণ বিশ্লেষণ এবং ব্যাখ্যার জন্য ফিডলারের কাছে অনুমান প্রকাশ করা শুরু করার আগে, আপনাকে আপনার মডেল নিবন্ধন করতে হবে। আসুন প্রথমে একটি তৈরি করি model_info বস্তু যা আপনার মডেল সম্পর্কে মেটাডেটা ধারণ করে:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

তারপর আপনি আপনার নতুন ব্যবহার করে মডেল নিবন্ধন করতে পারেন model_info বস্তু:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

দারুণ! এখন আপনি মডেলের কর্মক্ষমতা পর্যবেক্ষণ করার জন্য ফিডলারের কাছে কিছু ইভেন্ট প্রকাশ করতে পারেন।

ফিডলারের কাছে সেজমেকারের অনুমান প্রকাশ করতে একটি ল্যাম্বডা ফাংশন তৈরি করুন

Lambda-এর সরল-টু-ডিপ্লোয় সার্ভারহীন আর্কিটেকচারের সাহায্যে, আপনি আপনার নতুন ব্যবস্থা করা ফিডলার ট্রায়াল পরিবেশে আপনার আগে সেট আপ করা S3 বাকেট থেকে আপনার অনুমানগুলি সরানোর জন্য প্রয়োজনীয় প্রক্রিয়াটি দ্রুত তৈরি করতে পারেন। এই Lambda ফাংশনটি আপনার মডেলের S3 বালতিতে যেকোন নতুন JSONL ইভেন্ট লগ ফাইল খোলার জন্য, JSONL বিষয়বস্তুকে ডেটাফ্রেমে পার্সিং এবং ফর্ম্যাট করার জন্য এবং তারপর আপনার ফিডলার ট্রায়াল পরিবেশে ইভেন্টগুলির সেই ডেটাফ্রেম প্রকাশ করার জন্য দায়ী৷ নিম্নলিখিত স্ক্রিনশট আমাদের ফাংশন কোড বিবরণ দেখায়.

Lambda ফাংশনটি আপনার S3 বালতিতে নতুন তৈরি করা ফাইলগুলিকে ট্রিগার করার জন্য কনফিগার করা দরকার। পরবর্তী অভিভাবকসংবঁধীয় একটি তৈরির মাধ্যমে আপনাকে গাইড করে অ্যামাজন ইভেন্টব্রিজ ট্রিগার যেটি যখনই অ্যামাজন S3 এ একটি ফাইল আপলোড করা হয় তখন ল্যাম্বডা ফাংশনকে আহ্বান করে। নিম্নলিখিত স্ক্রিনশটটি আমাদের ফাংশনের ট্রিগার কনফিগারেশন দেখায়। এটি নিশ্চিত করা সহজ করে তোলে যে যখনই আপনার মডেল নতুন অনুমান তৈরি করে, Amazon S3 তে সঞ্চিত সেই ইভেন্টগুলি ফিডলারে লোড করা হয় যাতে আপনার কোম্পানির প্রয়োজনীয় মডেল পর্যবেক্ষণযোগ্যতা চালাতে হয়।

এটিকে আরও সহজ করার জন্য, এই ল্যাম্বডা ফাংশনের কোডটি সর্বজনীনভাবে উপলব্ধ ফিডলারের ডকুমেন্টেশন সাইট. এই কোড উদাহরণটি বর্তমানে স্ট্রাকচার্ড ইনপুট সহ বাইনারি ক্লাসিফিকেশন মডেলের জন্য কাজ করে। আপনার যদি বিভিন্ন বৈশিষ্ট্য বা কাজের সাথে মডেলের ধরন থাকে, কোডে সামান্য পরিবর্তনের জন্য সহায়তার জন্য অনুগ্রহ করে ফিডলারের সাথে যোগাযোগ করুন।

Lambda ফাংশন ফিডলার পাইথন ক্লায়েন্টের উল্লেখ করতে হবে। ফিডলার একটি সর্বজনীনভাবে উপলব্ধ ল্যাম্বডা স্তর তৈরি করেছে যা আপনি নিশ্চিত করতে উল্লেখ করতে পারেন import fiddler as fdl পদক্ষেপ নির্বিঘ্নে কাজ করে। আপনি us-west-2 অঞ্চলে একটি ARN এর মাধ্যমে এই স্তরটি উল্লেখ করতে পারেন: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, নিম্নলিখিত স্ক্রিনশট হিসাবে দেখানো হয়েছে।

আপনাকে ল্যাম্বডা এনভায়রনমেন্ট ভেরিয়েবলগুলিও নির্দিষ্ট করতে হবে যাতে ল্যাম্বডা ফাংশন আপনার ফিডলার ট্রায়াল এনভায়রনমেন্টের সাথে কীভাবে সংযোগ করতে হয় এবং আপনার মডেল দ্বারা ক্যাপচার করা .jsonl ফাইলগুলির মধ্যে ইনপুট এবং আউটপুটগুলি কী রয়েছে তা জানে৷ নিম্নলিখিত স্ক্রিনশটটি প্রয়োজনীয় পরিবেশের ভেরিয়েবলগুলির একটি তালিকা দেখায়, যা চালু রয়েছে ফিডলারের ডকুমেন্টেশন সাইট. আপনার মডেল এবং ডেটাসেটের সাথে মেলে পরিবেশের ভেরিয়েবলের মান আপডেট করুন।

আপনার ফিডলার ট্রায়াল পরিবেশে ফিডলারের পর্যবেক্ষণ ক্ষমতাগুলি অন্বেষণ করুন

আপনি এটা করেছেন! আপনার বেসলাইন ডেটা, মডেল এবং ট্রাফিক সংযুক্ত করে, আপনি এখন ব্যাখ্যা করতে পারেন তথ্য প্রবাহ, বহিরাগত, মডেল পক্ষপাত, ডেটা সমস্যা, এবং কর্মক্ষমতা ব্লিপ, এবং অন্যদের সাথে ড্যাশবোর্ড শেয়ার করুন। দ্বারা আপনার যাত্রা সম্পূর্ণ করুন একটি ডেমো দেখছেন আপনি আপনার কোম্পানির সাথে পরিচয় করিয়ে দিয়েছেন মডেল কর্মক্ষমতা ব্যবস্থাপনা ক্ষমতা সম্পর্কে।

নীচের উদাহরণ স্ক্রিনশটগুলি মডেল অন্তর্দৃষ্টি যেমন ড্রিফ্ট, আউটলিয়ার সনাক্তকরণ, স্থানীয় পয়েন্ট ব্যাখ্যা এবং মডেল বিশ্লেষণের একটি আভাস প্রদান করে যা আপনার ফিডলার ট্রায়াল পরিবেশে পাওয়া যাবে।

উপসংহার

এই পোস্টটি এন্টারপ্রাইজ-ক্লাসের প্রয়োজনীয়তা তুলে ধরেছে মডেল পর্যবেক্ষণ এবং দেখিয়েছেন কিভাবে আপনি SageMaker-এ মোতায়েন করা আপনার মডেলগুলিকে এর সাথে সংহত করতে পারেন ফিডলার মডেল পারফরম্যান্স ম্যানেজমেন্ট প্ল্যাটফর্ম মাত্র কয়েক ধাপে। ফিডলার মডেল পর্যবেক্ষণ, ব্যাখ্যাযোগ্য এআই, পক্ষপাত সনাক্তকরণ এবং মূল কারণ বিশ্লেষণের জন্য কার্যকারিতা অফার করে এবং AWS মার্কেটপ্লেস. প্রদান করে আপনার এমএলওএস আপনার মডেলগুলি প্রত্যাশিতভাবে আচরণ করছে তা নিশ্চিত করতে এবং কর্মক্ষমতা হ্রাসের অন্তর্নিহিত মূল কারণগুলি সনাক্ত করতে একটি সহজে-ব্যবহারযোগ্য কাঁচের একক ফলক সহ দল, ফিডলার ডেটা বিজ্ঞানীর উত্পাদনশীলতা উন্নত করতে এবং সমস্যাগুলি সনাক্ত করতে এবং সমাধান করতে সময় কমাতে সহায়তা করতে পারে।

আপনি যদি ফিডলার সম্পর্কে আরও জানতে চান তাহলে অনুগ্রহ করে দেখুন fiddler.ai অথবা যদি আপনি একটি ব্যক্তিগতকৃত ডেমো এবং প্রযুক্তিগত আলোচনা ইমেল সেট আপ করতে পছন্দ করেন sales@fiddler.ai.

লেখক সম্পর্কে

ড্যানি ব্রক ফিডলার এআই-এর একজন সিনিয়র সলিউশন ইঞ্জিনিয়ার। ড্যানি বিশ্লেষণ এবং এমএল স্পেসে দীর্ঘ মেয়াদী, এন্ডেকা এবং ইনকোর্টার মতো স্টার্টআপগুলির জন্য প্রিসেল এবং পোস্ট-সেলস টিম চালাচ্ছেন। তিনি 2012 সালে তার নিজস্ব বড় ডেটা অ্যানালিটিক্স কনসালটিং কোম্পানি ব্রাঞ্চবার্ড প্রতিষ্ঠা করেন।

রাজীব গোবিন্দন ফিডলার এআই-এর একজন সিনিয়র সলিউশন ইঞ্জিনিয়ার। AppDynamics সহ বেশ কয়েকটি এন্টারপ্রাইজ কোম্পানিতে সেলস ইঞ্জিনিয়ারিং এবং সফটওয়্যার ডেভেলপমেন্টে রাজীবের ব্যাপক অভিজ্ঞতা রয়েছে।

কৃষ্ণরাম কেন্থপদী ফিডলার এআই এর প্রধান বিজ্ঞানী। পূর্বে, তিনি Amazon AWS AI-তে একজন প্রধান বিজ্ঞানী ছিলেন, যেখানে তিনি Amazon AI প্ল্যাটফর্মে ন্যায্যতা, ব্যাখ্যাযোগ্যতা, গোপনীয়তা এবং মডেল বোঝার উদ্যোগের নেতৃত্ব দিয়েছিলেন এবং তার আগে, তিনি LinkedIn AI এবং Microsoft Research এ ভূমিকা পালন করেছিলেন। কৃষ্ণরাম 2006 সালে স্ট্যানফোর্ড বিশ্ববিদ্যালয় থেকে কম্পিউটার সায়েন্সে পিএইচডি লাভ করেন।