Fiddler کا استعمال کرتے ہوئے اپنے Amazon SageMaker ماڈلز کے لیے انٹرپرائز گریڈ مانیٹرنگ حاصل کریں۔

یہ فیڈلر اے آئی میں ڈینی بروک، راجیو گووندن اور کرشنارام کینتھاپاڈی کی ایک مہمان بلاگ پوسٹ ہے۔

اور ایمیزون سیج میکر ماڈلز زندہ ہیں۔ وہ ہر روز لاکھوں قیاس آرائیاں کر رہے ہیں اور آپ کی کمپنی کے لیے بہتر کاروباری نتائج حاصل کر رہے ہیں۔ وہ بالکل اسی طرح پرفارم کر رہے ہیں جس دن انہیں لانچ کیا گیا تھا۔

ارے، انتظار کرو. کیا وہ؟ شاید. شاید نہیں.

انٹرپرائز کلاس کے بغیر ماڈل کی نگرانیہو سکتا ہے کہ آپ کے ماڈلز خاموشی میں زوال پذیر ہوں۔ آپ کی مشین لرننگ (ML) ٹیموں کو شاید کبھی معلوم نہ ہو کہ ان ماڈلز نے اصل میں آمدنی پیدا کرنے کے معجزات سے لے کر غلط فیصلے کرنے والی ذمہ داریوں کو تبدیل کر دیا ہے جس سے آپ کی کمپنی کا وقت اور پیسہ خرچ ہوتا ہے۔

پریشان نہ ہوں۔ حل آپ کے خیال سے زیادہ قریب ہے۔

فالڈرپر دستیاب ایک انٹرپرائز کلاس ماڈل پرفارمنس مینجمنٹ حل AWS مارکیٹ پلیٹ فارم، ماڈل کی نگرانی اور قابل وضاحت AI پیش کرتا ہے تاکہ ML ٹیموں کو ماڈل کے مسائل کی ایک جامع رینج کا معائنہ کرنے اور ان سے نمٹنے میں مدد ملے۔ ماڈل مانیٹرنگ، ماڈل کی وضاحت، تجزیات، اور تعصب کا پتہ لگانے کے ذریعے، Fiddler آپ کی کمپنی کو شیشے کا استعمال میں آسان واحد پین فراہم کرتا ہے تاکہ یہ یقینی بنایا جا سکے کہ آپ کے ماڈلز جیسا برتاؤ کرنا چاہیے۔ اور اگر وہ نہیں ہیں تو، Fiddler ایسی خصوصیات بھی فراہم کرتا ہے جو آپ کو کارکردگی کے زوال کی بنیادی وجوہات تلاش کرنے کے لیے اپنے ماڈلز کا معائنہ کرنے کی اجازت دیتا ہے۔

اس پوسٹ سے پتہ چلتا ہے کہ آپ کیسے ایم ایل اوپس ٹیم ڈیٹا سائنسدان کی پیداواری صلاحیت کو بہتر بنا سکتی ہے اور چند آسان مراحل میں Fiddler Model Performance Management Platform کے ساتھ ضم کر کے SageMaker میں تعینات آپ کے ماڈلز کے مسائل کا پتہ لگانے کے لیے وقت کم کر سکتی ہے۔

حل جائزہ

مندرجہ ذیل حوالہ آرکیٹیکچر انضمام کے بنیادی نکات کو نمایاں کرتا ہے۔ Fiddler آپ کے موجودہ SageMaker ML ورک فلو میں بطور "سائیڈ کار" موجود ہے۔

اس پوسٹ کا بقیہ حصہ آپ کو اپنے سیج میکر ماڈل کو فیڈلرز کے ساتھ مربوط کرنے کے مراحل سے گزرتا ہے۔ ماڈل پرفارمنس مینجمنٹ پلیٹ فارم:

1. یقینی بنائیں کہ آپ کے ماڈل میں ڈیٹا کیپچر فعال ہے۔
2. فڈلر ٹرائل ماحول بنائیں۔
3. اپنے فیڈلر ماحول میں اپنے ماڈل کے بارے میں معلومات رجسٹر کریں۔
4. بنائیں ایک او ڈبلیو ایس لامبڈا۔ فڈلر کو سیج میکر کے نتائج شائع کرنے کا فنکشن۔
5. اپنے Fiddler آزمائشی ماحول میں Fiddler کی نگرانی کی صلاحیتوں کو دریافت کریں۔

شرائط

یہ پوسٹ فرض کرتی ہے کہ آپ نے SageMaker قائم کیا ہے اور ایک ماڈل اینڈ پوائنٹ کو تعینات کیا ہے۔ ماڈل سرونگ کے لیے سیج میکر کو کنفیگر کرنے کا طریقہ سیکھنے کے لیے، دیکھیں اندازہ کے لیے ماڈلز تعینات کریں۔. کچھ مثالیں پر بھی دستیاب ہیں۔ GitHub repo.

یقینی بنائیں کہ آپ کے ماڈل میں ڈیٹا کیپچر فعال ہے۔

SageMaker کنسول پر، اپنے ماڈل کے سرونگ اینڈ پوائنٹ پر جائیں اور یقینی بنائیں کہ آپ نے فعال کر دیا ہے۔ ڈیٹا کیپچر میں ایک ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔ یہ آپ کے ماڈل کے ہر دن کے طور پر بنائے جانے والے نتائج (درخواستوں اور جوابات) کو اسٹور کرتا ہے۔ JSON لائنز فائلیں۔ (.jsonl) Amazon S3 میں۔

فڈلر ٹرائل ماحول بنائیں

سے fiddler.ai ویب سائٹ، آپ مفت ٹرائل کی درخواست کر سکتے ہیں۔ فوری فارم پُر کرنے کے بعد، Fiddler آپ کے ماڈل کی کارکردگی کے انتظام کی ضروریات کی تفصیلات کو سمجھنے کے لیے آپ سے رابطہ کرے گا اور چند گھنٹوں میں آپ کے لیے آزمائشی ماحول تیار ہو جائے گا۔ آپ جیسے سرشار ماحول کی توقع کر سکتے ہیں۔ https://yourcompany.try.fiddler.ai.

اپنے فیڈلر ماحول میں اپنے ماڈل کے بارے میں معلومات رجسٹر کریں۔

اس سے پہلے کہ آپ اپنے SageMaker کے میزبان ماڈل سے Fiddler میں ایونٹس کی اشاعت شروع کر سکیں، آپ کو اپنے Fiddler آزمائشی ماحول کے اندر ایک پروجیکٹ بنانا ہوگا اور ایک قدم کے ذریعے اپنے ماڈل کے بارے میں Fiddler کی تفصیلات فراہم کرنا ہوں گی۔ ماڈل رجسٹریشن. اگر آپ اندر سے پہلے سے ترتیب شدہ نوٹ بک استعمال کرنا چاہتے ہیں۔ ایمیزون سیج میکر اسٹوڈیو درج ذیل کوڈ کے ٹکڑوں کو کاپی اور پیسٹ کرنے کے بجائے، آپ فیڈلر کوئیک اسٹارٹ نوٹ بک کا حوالہ دے سکتے ہیں۔ GitHub کے. اسٹوڈیو ایک واحد ویب پر مبنی بصری انٹرفیس فراہم کرتا ہے جہاں آپ تمام ML ترقی کے مراحل کو انجام دے سکتے ہیں۔

سب سے پہلے، آپ کو انسٹال کرنا ہوگا Fiddler Python کلائنٹ اپنی سیج میکر نوٹ بک میں اور فیڈلر کلائنٹ کو فوری بنائیں۔ آپ حاصل کر سکتے ہیں AUTH_TOKEN سے ترتیبات آپ کے Fiddler آزمائشی ماحول میں صفحہ۔

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

اگلا، اپنے فڈلر ٹرائل ماحول میں ایک پروجیکٹ بنائیں:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

اب اپنا ٹریننگ ڈیٹاسیٹ اپ لوڈ کریں۔ نوٹ بک Fiddler's کو چلانے کے لیے ایک نمونہ ڈیٹا سیٹ بھی فراہم کرتی ہے۔ وضاحت الگورتھم اور مانیٹرنگ میٹرکس کے لیے ایک بنیادی لائن کے طور پر۔ ڈیٹاسیٹ کو Fiddler میں اس ماڈل کے لیے اسکیما بنانے کے لیے بھی استعمال کیا جاتا ہے۔

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

آخر میں، اس سے پہلے کہ آپ مانیٹرنگ، روٹ کاز کے تجزیہ اور وضاحت کے لیے فِڈلر کے لیے انفرنسز شائع کرنا شروع کر سکیں، آپ کو اپنے ماڈل کو رجسٹر کرنے کی ضرورت ہے۔ آئیے پہلے ایک بنائیں model_info آبجیکٹ جو آپ کے ماڈل کے بارے میں میٹا ڈیٹا پر مشتمل ہے:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

پھر آپ اپنا نیا استعمال کرکے ماڈل کو رجسٹر کرسکتے ہیں۔ model_info اعتراض:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

زبردست! اب آپ ماڈل کی کارکردگی کا مشاہدہ کرنے کے لیے Fiddler پر کچھ واقعات شائع کر سکتے ہیں۔

فڈلر کو سیج میکر کے نتائج شائع کرنے کے لیے لیمبڈا فنکشن بنائیں

لیمبڈا کے سادہ سے تعینات سرور لیس فن تعمیر کے ساتھ، آپ اپنے تخمینے کو S3 بالٹی سے اپنے نئے فراہم کردہ فیڈلر ٹرائل ماحول میں پہلے سے ترتیب دینے کے لیے ضروری میکانزم کو تیزی سے بنا سکتے ہیں۔ یہ Lambda فنکشن آپ کے ماڈل کی S3 بالٹی میں کسی بھی نئی JSONL ایونٹ لاگ فائلوں کو کھولنے، JSONL مواد کو ڈیٹا فریم میں پارس کرنے اور فارمیٹ کرنے، اور پھر آپ کے Fiddler آزمائشی ماحول میں واقعات کے اس ڈیٹا فریم کو شائع کرنے کے لیے ذمہ دار ہے۔ مندرجہ ذیل اسکرین شاٹ ہمارے فنکشن کے کوڈ کی تفصیلات دکھاتا ہے۔

Lambda فنکشن کو آپ کی S3 بالٹی میں نئی ​​تخلیق شدہ فائلوں کو ٹرگر کرنے کے لیے کنفیگر کرنے کی ضرورت ہے۔ مندرجہ ذیل سبق ایک بنانے میں آپ کی رہنمائی کرتا ہے۔ ایمیزون ایونٹ برج ٹرگر جو ایمیزون S3 پر جب بھی فائل اپ لوڈ کی جاتی ہے تو لیمبڈا فنکشن کو شروع کرتی ہے۔ درج ذیل اسکرین شاٹ ہمارے فنکشن کی ٹرگر کنفیگریشن کو ظاہر کرتا ہے۔ اس سے اس بات کو یقینی بنانا آسان ہو جاتا ہے کہ جب بھی آپ کا ماڈل نیا اندازہ لگاتا ہے، Amazon S3 میں ذخیرہ کردہ وہ ایونٹس کو Fiddler میں لوڈ کر دیا جاتا ہے تاکہ آپ کی کمپنی کی ضرورت کے مطابق ماڈل کا مشاہدہ کیا جا سکے۔

اسے مزید آسان بنانے کے لیے، اس لیمبڈا فنکشن کا کوڈ عوامی طور پر دستیاب ہے۔ فڈلر کی دستاویزات کی سائٹ. یہ کوڈ مثال فی الحال سٹرکچرڈ ان پٹ کے ساتھ بائنری درجہ بندی کے ماڈلز کے لیے کام کرتی ہے۔ اگر آپ کے پاس مختلف خصوصیات یا کاموں کے ساتھ ماڈل کی قسمیں ہیں، تو براہ کرم کوڈ میں معمولی تبدیلیوں میں مدد کے لیے Fiddler سے رابطہ کریں۔

Lambda فنکشن کو Fiddler Python کلائنٹ کا حوالہ دینے کی ضرورت ہے۔ فڈلر نے عوامی طور پر دستیاب لیمبڈا پرت بنائی ہے جس کا حوالہ آپ یقینی بنانے کے لیے دے سکتے ہیں۔ import fiddler as fdl قدم بغیر کسی رکاوٹ کے کام کرتا ہے۔ آپ us-west-2 ریجن میں ARN کے ذریعے اس پرت کا حوالہ دے سکتے ہیں: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1، جیسا کہ مندرجہ ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

آپ کو لیمبڈا ماحولیات کے متغیرات کی بھی وضاحت کرنے کی ضرورت ہے تاکہ لیمبڈا فنکشن کو معلوم ہو کہ آپ کے Fiddler آزمائشی ماحول سے کیسے جڑنا ہے، اور آپ کے ماڈل کے ذریعے کیپچر کی جانے والی .jsonl فائلوں میں ان پٹس اور آؤٹ پٹس کیا ہیں۔ مندرجہ ذیل اسکرین شاٹ مطلوبہ ماحولیاتی متغیرات کی فہرست دکھاتا ہے، جو آن بھی ہیں۔ فڈلر کی دستاویزات کی سائٹ. اپنے ماڈل اور ڈیٹاسیٹ سے ملنے کے لیے ماحولیاتی متغیرات کی قدروں کو اپ ڈیٹ کریں۔

اپنے Fiddler آزمائشی ماحول میں Fiddler کی نگرانی کی صلاحیتوں کو دریافت کریں۔

تم نے یہ کر لیا ہے! آپ کے بیس لائن ڈیٹا، ماڈل اور ٹریفک سے منسلک ہونے کے ساتھ، آپ اب وضاحت کر سکتے ہیں۔ ڈیٹا بہاؤباہر جانے والے ماڈل تعصب، ڈیٹا کے مسائل، اور کارکردگی کے بلپس، اور دوسروں کے ساتھ ڈیش بورڈز کا اشتراک کریں۔ تک اپنا سفر مکمل کریں۔ ایک ڈیمو دیکھ رہا ہے ماڈل پرفارمنس مینجمنٹ کی صلاحیتوں کے بارے میں جو آپ نے اپنی کمپنی میں متعارف کرائے ہیں۔

ذیل میں دیے گئے مثال کے اسکرین شاٹس ماڈل بصیرت کی ایک جھلک فراہم کرتے ہیں جیسے ڈرفٹ، آؤٹ لیئر ڈیٹیکشن، لوکل پوائنٹ کی وضاحت، اور ماڈل اینالیٹکس جو آپ کے فیڈلر ٹرائل ماحول میں ملیں گے۔

نتیجہ

اس پوسٹ نے انٹرپرائز کلاس کی ضرورت کو اجاگر کیا۔ ماڈل کی نگرانی اور دکھایا کہ آپ SageMaker میں تعینات اپنے ماڈلز کو کس طرح ضم کر سکتے ہیں۔ فڈلر ماڈل پرفارمنس مینجمنٹ پلیٹ فارم صرف چند قدموں میں. Fiddler ماڈل کی نگرانی، قابل وضاحت AI، تعصب کا پتہ لگانے، اور بنیادی وجہ کے تجزیہ کے لیے فعالیت پیش کرتا ہے، اور اس پر دستیاب ہے۔ AWS مارکیٹ پلیٹ فارم. فراہم کر کے آپ کی ایم ایل اوپس شیشے کے استعمال میں آسان سنگل پین کے ساتھ ٹیم یہ یقینی بنانے کے لیے کہ آپ کے ماڈلز توقع کے مطابق برتاؤ کر رہے ہیں اور کارکردگی میں کمی کی بنیادی وجوہات کی نشاندہی کرنے کے لیے، Fiddler ڈیٹا سائنسدان کی پیداواری صلاحیت کو بہتر بنانے اور مسائل کا پتہ لگانے اور حل کرنے کے لیے وقت کم کرنے میں مدد کر سکتا ہے۔

اگر آپ Fiddler کے بارے میں مزید جاننا چاہتے ہیں تو براہ کرم ملاحظہ کریں۔ fiddler.ai یا اگر آپ ذاتی نوعیت کا ڈیمو اور تکنیکی ڈسکشن ای میل ترتیب دینا پسند کریں گے۔ sales@fiddler.ai.

مصنفین کے بارے میں

ڈینی بروک Fiddler AI میں Sr Solutions انجینئر ہیں۔ ڈینی اینڈیکا اور انکورٹا جیسے اسٹارٹ اپس کے لیے پری سیلز اور پوسٹ سیلز ٹیمیں چلاتے ہوئے اینالیٹکس اور ایم ایل اسپیس میں طویل عرصے سے کام کر رہے ہیں۔ اس نے 2012 میں اپنی بڑی ڈیٹا اینالیٹکس کنسلٹنگ کمپنی برانچ برڈ کی بنیاد رکھی۔

راجیو گووندن Fiddler AI میں Sr Solutions انجینئر ہیں۔ راجیو کو کئی انٹرپرائز کمپنیوں بشمول AppDynamics میں سیلز انجینئرنگ اور سافٹ ویئر ڈیولپمنٹ کا وسیع تجربہ ہے۔

کرشنارام کینتھاپاڈی Fiddler AI کے چیف سائنٹسٹ ہیں۔ اس سے پہلے، وہ Amazon AWS AI میں پرنسپل سائنٹسٹ تھے، جہاں انہوں نے Amazon AI پلیٹ فارم میں انصاف پسندی، وضاحت کی اہلیت، رازداری، اور ماڈل کو سمجھنے کے اقدامات کی قیادت کی، اور اس سے پہلے، وہ LinkedIn AI اور Microsoft Research میں کردار ادا کر چکے ہیں۔ کرشنارام نے 2006 میں اسٹینفورڈ یونیورسٹی سے کمپیوٹر سائنس میں پی ایچ ڈی کی ڈگری حاصل کی۔