फ़िडलर का उपयोग करके अपने Amazon SageMaker मॉडल के लिए एंटरप्राइज़-ग्रेड मॉनिटरिंग प्राप्त करें

यह फिडलर एआई में डैनी ब्रॉक, राजीव गोविंदन और कृष्णराम केंथापदी द्वारा एक अतिथि ब्लॉग पोस्ट है।

आपका अमेज़न SageMaker मॉडल लाइव हैं। वे हर दिन लाखों अनुमानों को संभाल रहे हैं और आपकी कंपनी के लिए बेहतर व्यावसायिक परिणाम प्राप्त कर रहे हैं। वे ठीक उसी तरह का प्रदर्शन कर रहे हैं जिस दिन उन्हें लॉन्च किया गया था।

एर, रुको। क्या वो? शायद। शायद नहीं।

उद्यम-वर्ग के बिना मॉडल निगरानी, हो सकता है कि आपके मॉडल मौन में सड़ रहे हों। आपकी मशीन लर्निंग (एमएल) टीमों को शायद कभी पता न चले कि ये मॉडल वास्तव में राजस्व सृजन के चमत्कारों से लेकर गलत निर्णय लेने वाली देनदारियों में बदल गए हैं, जिसमें आपकी कंपनी का समय और पैसा खर्च होता है।

घबराओ मत। समाधान आपके विचार से अधिक निकट है।

सारंगी बजानेवाला, एक उद्यम-श्रेणी मॉडल प्रदर्शन प्रबंधन समाधान पर उपलब्ध है एडब्ल्यूएस बाज़ार, मॉडल निगरानी और समझाने योग्य AI प्रदान करता है जिससे ML टीमों को मॉडल मुद्दों की एक विस्तृत श्रृंखला का निरीक्षण और समाधान करने में मदद मिलती है। मॉडल मॉनिटरिंग, मॉडल एक्सप्लेनेबिलिटी, एनालिटिक्स और बायस डिटेक्शन के माध्यम से, फ़िडलर आपकी कंपनी को ग्लास का उपयोग में आसान सिंगल पेन प्रदान करता है ताकि यह सुनिश्चित हो सके कि आपके मॉडल वैसा ही व्यवहार कर रहे हैं जैसा उन्हें करना चाहिए। और यदि वे नहीं हैं, तो फ़िडलर ऐसी सुविधाएँ भी प्रदान करता है जो आपको प्रदर्शन क्षय के अंतर्निहित मूल कारणों को खोजने के लिए अपने मॉडल का निरीक्षण करने की अनुमति देती हैं।

यह पोस्ट दिखाता है कि कैसे आपका एमएलओपीएस टीम डेटा वैज्ञानिक उत्पादकता में सुधार कर सकती है और कुछ सरल चरणों में फ़िडलर मॉडल प्रदर्शन प्रबंधन प्लेटफ़ॉर्म के साथ एकीकृत करके सेजमेकर में तैनात आपके मॉडल के लिए मुद्दों का पता लगाने के लिए समय कम कर सकती है।

समाधान अवलोकन

निम्नलिखित संदर्भ वास्तुकला एकीकरण के प्राथमिक बिंदुओं पर प्रकाश डालता है। Fiddler आपके मौजूदा SageMaker ML वर्कफ़्लो में "साइडकार" के रूप में मौजूद है।

इस पोस्ट का शेष भाग आपको अपने सेजमेकर मॉडल को फ़िडलर के साथ एकीकृत करने के चरणों के बारे में बताता है मॉडल प्रदर्शन प्रबंधन मंच:

1. सुनिश्चित करें कि आपके मॉडल में डेटा कैप्चर सक्षम है।
2. एक फ़िडलर परीक्षण वातावरण बनाएँ।
3. अपने मॉडल के बारे में जानकारी को अपने फ़िडलर परिवेश में पंजीकृत करें।
4. एक बनाएं AWS लाम्बा फिडलर के लिए सेजमेकर के निष्कर्ष प्रकाशित करने के लिए कार्य करता है।
5. अपने फ़िडलर परीक्षण परिवेश में फ़िडलर की निगरानी क्षमताओं का अन्वेषण करें।

.. पूर्वापेक्षाएँ

यह पोस्ट मानता है कि आपने सेजमेकर स्थापित किया है और एक मॉडल एंडपॉइंट तैनात किया है। मॉडल सर्विंग के लिए सेजमेकर को कॉन्फ़िगर करने का तरीका जानने के लिए, देखें अनुमान के लिए मॉडल तैनात करें. कुछ उदाहरण पर भी उपलब्ध हैं गीथहब रेपो.

सुनिश्चित करें कि आपके मॉडल में डेटा कैप्चर सक्षम है

सेजमेकर कंसोल पर, अपने मॉडल के सर्विंग एंडपॉइंट पर नेविगेट करें और सुनिश्चित करें कि आपने सक्षम किया है डेटा कैप्चर एक में अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बाल्टी। यह उन अनुमानों (अनुरोधों और प्रतिक्रियाओं) को संग्रहीत करता है जो आपका मॉडल प्रत्येक दिन बनाता है JSON लाइन फ़ाइलें (.jsonl) अमेज़न S3 में।

फ़िडलर परीक्षण वातावरण बनाएँ

से फिडलर.एआई वेबसाइट, आप एक नि: शुल्क परीक्षण का अनुरोध कर सकते हैं। एक त्वरित फ़ॉर्म भरने के बाद, फ़िडलर आपके मॉडल प्रदर्शन प्रबंधन आवश्यकताओं की बारीकियों को समझने के लिए आपसे संपर्क करेगा और कुछ ही घंटों में आपके लिए एक परीक्षण वातावरण तैयार करेगा। आप जैसे समर्पित वातावरण की अपेक्षा कर सकते हैं https://yourcompany.try.fiddler.ai.

अपने मॉडल के बारे में जानकारी को अपने फ़िडलर परिवेश में पंजीकृत करें

इससे पहले कि आप अपने सेजमेकर द्वारा होस्ट किए गए मॉडल से फिडलर में घटनाओं को प्रकाशित करना शुरू कर सकें, आपको अपने फिडलर परीक्षण वातावरण में एक प्रोजेक्ट बनाना होगा और एक चरण के माध्यम से अपने मॉडल के बारे में फिडलर विवरण प्रदान करना होगा। मॉडल पंजीकरण. यदि आप भीतर से एक पूर्व-कॉन्फ़िगर नोटबुक का उपयोग करना चाहते हैं अमेज़ॅन सैजमेकर स्टूडियो निम्नलिखित कोड स्निपेट को कॉपी और पेस्ट करने के बजाय, आप फ़िडलर क्विकस्टार्ट नोटबुक का संदर्भ दे सकते हैं GitHub. स्टूडियो एकल वेब-आधारित विज़ुअल इंटरफ़ेस प्रदान करता है जहाँ आप सभी ML विकास चरणों को निष्पादित कर सकते हैं।

सबसे पहले, आपको स्थापित करना होगा फिडलर पायथन क्लाइंट अपने सेजमेकर नोटबुक में और फ़िडलर क्लाइंट को इंस्टेंट करें। आप प्राप्त कर सकते हैं AUTH_TOKEN से सेटिंग आपके फ़िडलर परीक्षण परिवेश में पृष्ठ।

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

इसके बाद, अपने फ़िडलर परीक्षण परिवेश में एक प्रोजेक्ट बनाएँ:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

अब अपना प्रशिक्षण डेटासेट अपलोड करें। फ़िडलर को चलाने के लिए नोटबुक एक नमूना डेटासेट भी प्रदान करता है व्याख्या करने योग्य एल्गोरिदम और मेट्रिक्स की निगरानी के लिए आधार रेखा के रूप में। फ़िडलर में इस मॉडल के लिए स्कीमा उत्पन्न करने के लिए डेटासेट का भी उपयोग किया जाता है।

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

अंत में, इससे पहले कि आप निगरानी, ​​​​मूल कारण विश्लेषण और स्पष्टीकरण के लिए फिडलर को निष्कर्ष प्रकाशित करना शुरू कर सकें, आपको अपना मॉडल पंजीकृत करने की आवश्यकता है। आइए पहले एक बनाएं model_info ऑब्जेक्ट जिसमें आपके मॉडल के बारे में मेटाडेटा है:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

फिर आप अपने नए का उपयोग करके मॉडल को पंजीकृत कर सकते हैं model_info वस्तु:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

महान! अब आप मॉडल के प्रदर्शन को देखने के लिए कुछ ईवेंट को फ़िडलर पर प्रकाशित कर सकते हैं।

फिडलर के लिए सेजमेकर निष्कर्ष प्रकाशित करने के लिए एक लैम्ब्डा फ़ंक्शन बनाएं

लैम्ब्डा के सरल-से-तैनाती सर्वर रहित आर्किटेक्चर के साथ, आप अपने अनुमानों को S3 बकेट से स्थानांतरित करने के लिए आवश्यक तंत्र का निर्माण कर सकते हैं जिसे आपने पहले अपने नए प्रावधानित फ़िडलर परीक्षण वातावरण में स्थापित किया था। यह लैम्ब्डा फ़ंक्शन आपके मॉडल की S3 बकेट में किसी भी नई JSONL ईवेंट लॉग फ़ाइल को खोलने, JSONL सामग्री को डेटाफ़्रेम में पार्स करने और स्वरूपित करने और फिर ईवेंट के उस डेटाफ़्रेम को आपके फ़िडलर परीक्षण परिवेश में प्रकाशित करने के लिए ज़िम्मेदार है। निम्न स्क्रीनशॉट हमारे फ़ंक्शन का कोड विवरण दिखाता है।

लैम्ब्डा फ़ंक्शन को आपके S3 बकेट में नई बनाई गई फ़ाइलों को ट्रिगर करने के लिए कॉन्फ़िगर करने की आवश्यकता है। निम्नलिखित ट्यूटोरियल an . बनाने के माध्यम से आपका मार्गदर्शन करता है अमेज़न EventBridge ट्रिगर जो लैम्ब्डा फ़ंक्शन को आमंत्रित करता है जब भी कोई फ़ाइल Amazon S3 पर अपलोड की जाती है। निम्न स्क्रीनशॉट हमारे फ़ंक्शन के ट्रिगर कॉन्फ़िगरेशन को दिखाता है। इससे यह सुनिश्चित करना आसान हो जाता है कि जब भी आपका मॉडल नए निष्कर्ष निकालता है, तो Amazon S3 में संग्रहीत उन ईवेंट को आपकी कंपनी के लिए आवश्यक मॉडल अवलोकन क्षमता को चलाने के लिए फ़िडलर में लोड किया जाता है।

इसे और सरल बनाने के लिए, इस लैम्ब्डा फ़ंक्शन के लिए कोड सार्वजनिक रूप से उपलब्ध है फ़िडलर की दस्तावेज़ीकरण साइट. यह कोड उदाहरण वर्तमान में संरचित इनपुट के साथ बाइनरी वर्गीकरण मॉडल के लिए काम करता है। यदि आपके पास अलग-अलग विशेषताओं या कार्यों के साथ मॉडल प्रकार हैं, तो कृपया कोड में मामूली बदलावों में सहायता के लिए फ़िडलर से संपर्क करें।

लैम्ब्डा फ़ंक्शन को फ़िडलर पायथन क्लाइंट के संदर्भ में बनाने की आवश्यकता है। फ़िडलर ने एक सार्वजनिक रूप से उपलब्ध लैम्ब्डा परत बनाई है जिसे आप यह सुनिश्चित करने के लिए संदर्भित कर सकते हैं कि import fiddler as fdl कदम निर्बाध रूप से काम करता है। आप इस परत को us-west-2 क्षेत्र में ARN के माध्यम से संदर्भित कर सकते हैं: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

आपको लैम्ब्डा पर्यावरण चर भी निर्दिष्ट करने की आवश्यकता है ताकि लैम्ब्डा फ़ंक्शन जानता है कि आपके फ़िडलर परीक्षण वातावरण से कैसे जुड़ना है, और आपके मॉडल द्वारा कैप्चर की जा रही .jsonl फ़ाइलों के भीतर इनपुट और आउटपुट क्या हैं। निम्न स्क्रीनशॉट आवश्यक पर्यावरण चर की एक सूची दिखाता है, जो भी चालू हैं फ़िडलर की दस्तावेज़ीकरण साइट. अपने मॉडल और डेटासेट से मेल खाने के लिए परिवेश चर के मानों को अपडेट करें।

अपने फ़िडलर परीक्षण परिवेश में फ़िडलर की निगरानी क्षमताओं का अन्वेषण करें

आपने कर लिया! अपने आधारभूत डेटा, मॉडल और ट्रैफ़िक से जुड़े होने के साथ, अब आप समझा सकते हैं डेटा बहाव, बाहरी, मॉडल पूर्वाग्रह, डेटा समस्याएं, और प्रदर्शन ब्लिप, और दूसरों के साथ डैशबोर्ड साझा करें। द्वारा अपनी यात्रा पूरी करें एक डेमो देखना मॉडल प्रदर्शन प्रबंधन क्षमताओं के बारे में आपने अपनी कंपनी को पेश किया है।

नीचे दिए गए उदाहरण स्क्रीनशॉट ड्रिफ्ट, आउटलेयर डिटेक्शन, स्थानीय बिंदु स्पष्टीकरण और मॉडल एनालिटिक्स जैसी मॉडल अंतर्दृष्टि की एक झलक प्रदान करते हैं जो आपके फ़िडलर परीक्षण वातावरण में पाए जाएंगे।

निष्कर्ष

इस पोस्ट ने एंटरप्राइज़-क्लास की आवश्यकता पर प्रकाश डाला मॉडल निगरानी और दिखाया कि आप सेजमेकर में तैनात अपने मॉडलों को कैसे एकीकृत कर सकते हैं फ़िडलर मॉडल प्रदर्शन प्रबंधन प्लेटफ़ॉर्म कुछ ही चरणों में। फिडलर मॉडल मॉनिटरिंग, समझाने योग्य एआई, पूर्वाग्रह का पता लगाने और मूल कारण विश्लेषण के लिए कार्यक्षमता प्रदान करता है, और पर उपलब्ध है एडब्ल्यूएस बाज़ार. अपना प्रदान करके एमएलओपीएस यह सुनिश्चित करने के लिए कि आपके मॉडल अपेक्षित व्यवहार कर रहे हैं और प्रदर्शन में गिरावट के अंतर्निहित मूल कारणों की पहचान करने के लिए, फ़िडलर डेटा वैज्ञानिक उत्पादकता में सुधार करने और मुद्दों का पता लगाने और हल करने के लिए समय कम करने में मदद कर सकता है।

यदि आप फिडलर के बारे में अधिक जानना चाहते हैं तो कृपया देखें फिडलर.एआई या यदि आप एक व्यक्तिगत डेमो और तकनीकी चर्चा ईमेल सेट करना पसंद करते हैं sales@fiddler.ai.

लेखक के बारे में

डैनी ब्रॉक फ़िडलर एआई में सीनियर सॉल्यूशंस इंजीनियर हैं। डैनी एनालिटिक्स और एमएल स्पेस में लंबे समय से कार्यरत हैं, एंडेका और इंकोर्टा जैसे स्टार्टअप्स के लिए प्री-सेल्स और पोस्ट-सेल्स टीम चला रहे हैं। उन्होंने 2012 में अपनी बड़ी डेटा एनालिटिक्स कंसल्टिंग कंपनी, ब्रांचबर्ड की स्थापना की।

राजीव गोविंदन फ़िडलर एआई में सीनियर सॉल्यूशंस इंजीनियर हैं। राजीव के पास AppDynamics सहित कई उद्यम कंपनियों में बिक्री इंजीनियरिंग और सॉफ्टवेयर विकास का व्यापक अनुभव है।

कृष्णराम केंथापदी फिडलर एआई के मुख्य वैज्ञानिक हैं। इससे पहले, वह अमेज़ॅन एडब्ल्यूएस एआई में एक प्रधान वैज्ञानिक थे, जहां उन्होंने अमेज़ॅन एआई प्लेटफॉर्म में निष्पक्षता, व्याख्यात्मकता, गोपनीयता और मॉडल समझ पहल का नेतृत्व किया, और इससे पहले, उन्होंने लिंक्डइन एआई और माइक्रोसॉफ्ट रिसर्च में भूमिकाएं निभाईं। कृष्णराम ने 2006 में स्टैनफोर्ड विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी प्राप्त की।