Amazon SageMaker फ़ीचर स्टोर और इसकी फ़ीचर-स्तरीय मेटाडेटा क्षमता का उपयोग करके अपने संगठन में फ़ीचर खोज और पुन: उपयोग को बढ़ावा दें

अमेज़न SageMaker फ़ीचर स्टोर डेटा वैज्ञानिकों और मशीन लर्निंग (एमएल) इंजीनियरों को प्रशिक्षण और भविष्यवाणी वर्कफ़्लो में उपयोग किए गए क्यूरेटेड डेटा को सुरक्षित रूप से संग्रहीत, खोज और साझा करने में मदद करता है। फ़ीचर स्टोर सुविधाओं और संबंधित मेटाडेटा के लिए एक केंद्रीकृत स्टोर है, जिससे विभिन्न परियोजनाओं या एमएल मॉडल पर काम कर रहे डेटा वैज्ञानिक टीमों द्वारा सुविधाओं को आसानी से खोजा और पुन: उपयोग किया जा सकता है।

फ़ीचर स्टोर के साथ, आप हमेशा फ़ीचर समूह स्तर पर मेटाडेटा जोड़ने में सक्षम होते हैं। डेटा वैज्ञानिक जो अपने मॉडलों के लिए मौजूदा सुविधाओं को खोजने और खोजने की क्षमता चाहते हैं, उनके पास अब कस्टम मेटाडेटा जोड़कर सुविधा स्तर पर जानकारी खोजने की क्षमता है। उदाहरण के लिए, जानकारी में सुविधा का विवरण, इसे अंतिम बार संशोधित करने की तिथि, इसका मूल डेटा स्रोत, कुछ मीट्रिक या संवेदनशीलता का स्तर शामिल हो सकता है।

निम्नलिखित आरेख फीचर समूहों, सुविधाओं और संबंधित मेटाडेटा के बीच आर्किटेक्चर संबंधों को दिखाता है। ध्यान दें कि डेटा वैज्ञानिक अब फीचर समूह स्तर और व्यक्तिगत फीचर स्तर दोनों पर विवरण और मेटाडेटा कैसे निर्दिष्ट कर सकते हैं।

इस पोस्ट में, हम बताते हैं कि कैसे डेटा वैज्ञानिक और एमएल इंजीनियर अपने संगठन में बेहतर फीचर पुन: उपयोग को बढ़ावा देने के लिए फीचर स्टोर की नई खोज और खोज क्षमताओं के साथ फीचर-स्तरीय मेटाडेटा का उपयोग कर सकते हैं। यह क्षमता डेटा वैज्ञानिकों को फीचर चयन प्रक्रिया में महत्वपूर्ण रूप से मदद कर सकती है और इसके परिणामस्वरूप, आपको उन विशेषताओं की पहचान करने में मदद मिलती है जो मॉडल की सटीकता में वृद्धि करती हैं।

उदाहरण

इस पोस्ट के प्रयोजनों के लिए, हम दो फीचर समूहों का उपयोग करते हैं, customer और loan.

RSI customer फीचर समूह में निम्नलिखित विशेषताएं हैं:

• उम्र - ग्राहक की आयु (संख्यात्मक)
• काम - नौकरी का प्रकार (एक-हॉट एन्कोडेड, जैसे admin or services)
• वैवाहिक - वैवाहिक स्थिति (एक-गर्म एन्कोडेड, जैसे married or single)
• शिक्षा - शिक्षा का स्तर (एक-गर्म एन्कोडेड, जैसे basic 4y or high school)

RSI loan फीचर समूह में निम्नलिखित विशेषताएं हैं:

• चूक - क्या क्रेडिट डिफॉल्ट है? (एक-गर्म एन्कोडेड: no or yes)
• आवासन - आवास ऋण है? (एक-गर्म एन्कोडेड: no or yes)
• ऋण - पर्सनल लोन है? (एक-गर्म एन्कोडेड: no or yes)
• कुल रकम - ऋण की कुल राशि (संख्यात्मक)

निम्न आंकड़ा उदाहरण फीचर समूह और फीचर मेटाडेटा दिखाता है।

विवरण जोड़ने और प्रत्येक सुविधा के लिए मेटाडेटा असाइन करने का उद्देश्य नए खोज मापदंडों को सक्षम करके खोज की गति को बढ़ाना है जिसके साथ एक डेटा वैज्ञानिक या एमएल इंजीनियर सुविधाओं का पता लगा सकते हैं। ये किसी विशेषता के बारे में विवरण दर्शा सकते हैं जैसे कि उसकी गणना, चाहे वह औसतन 6 महीने या 1 वर्ष से अधिक हो, मूल, निर्माता या स्वामी, सुविधा का क्या अर्थ है, और बहुत कुछ।

निम्नलिखित अनुभागों में, हम सुविधाओं को खोजने और खोजने और सुविधा-स्तरीय मेटाडेटा को कॉन्फ़िगर करने के लिए दो दृष्टिकोण प्रदान करते हैं: पहला उपयोग अमेज़ॅन सैजमेकर स्टूडियो सीधे, और दूसरा प्रोग्रामेटिक रूप से।

Studio में फ़ीचर की खोज

आप स्टूडियो का उपयोग करके आसानी से सुविधाओं को खोज और क्वेरी कर सकते हैं। नई उन्नत खोज और खोज क्षमताओं के साथ, आप कुछ वर्णों के सरल टाइप-फ़ॉरवर्ड का उपयोग करके तुरंत परिणाम प्राप्त कर सकते हैं।

निम्न स्क्रीनशॉट निम्नलिखित क्षमताओं को प्रदर्शित करता है:

• आप इन तक पहुंच सकते हैं फ़ीचर कैटलॉग टैब और फीचर समूहों में सुविधाओं का निरीक्षण करें। सुविधाओं को एक तालिका में प्रस्तुत किया जाता है जिसमें फीचर का नाम, प्रकार, विवरण, पैरामीटर, निर्माण की तारीख और संबद्ध फीचर समूह का नाम शामिल होता है।
• खोज परिणामों को तुरंत वापस करने के लिए आप सीधे टाइप-फ़ॉरवर्ड कार्यक्षमता का उपयोग कर सकते हैं।
• आपके पास विभिन्न प्रकार के फ़िल्टर विकल्पों का उपयोग करने की सुविधा है: All, Feature name, Descriptionया, Parameters। ध्यान दें कि All सभी सुविधाओं को वापस कर देगा जहां या तो Feature name, Descriptionया, Parameters खोज मानदंड से मेल खाते हैं।
• आप का उपयोग करके दिनांक सीमा निर्दिष्ट करके खोज को और कम कर सकते हैं Created from और Created to फ़ील्ड और निर्दिष्ट पैरामीटर का उपयोग कर Search parameter key और Search parameter value क्षेत्रों.

किसी सुविधा का चयन करने के बाद, आप उसके विवरण को सामने लाने के लिए उसका नाम चुन सकते हैं। जब आप चुनते हैं मेटाडेटा संपादित करें, आप एक विवरण और अधिकतम 25 कुंजी-मान पैरामीटर जोड़ सकते हैं, जैसा कि निम्न स्क्रीनशॉट में दिखाया गया है। इस दृश्य के भीतर, आप अंततः सुविधा का मेटाडेटा बना सकते हैं, देख सकते हैं, अपडेट कर सकते हैं और हटा सकते हैं। निम्न स्क्रीनशॉट दिखाता है कि इसके लिए फीचर मेटाडेटा को कैसे संपादित किया जाए total_amount.

जैसा कि पहले कहा गया है, किसी फीचर में की-वैल्यू पेयर जोड़ने से आपको अधिक आयाम मिलते हैं जिसके साथ आप उनकी दी गई विशेषताओं को खोज सकते हैं। हमारे उदाहरण के लिए, फीचर की उत्पत्ति प्रत्येक फीचर के मेटाडेटा में जोड़ दी गई है। जब आप खोज आइकन चुनते हैं और कुंजी-मान युग्म के साथ फ़िल्टर करते हैं origin: job, आप उन सभी सुविधाओं को देख सकते हैं जो इस आधार विशेषता से एक-हॉट-एन्कोडेड थीं।

कोड का उपयोग करके फ़ीचर खोज

आप फीचर जानकारी तक पहुंच और अपडेट भी कर सकते हैं AWS कमांड लाइन इंटरफ़ेस (AWS CLI) और SDK (Boto3) के बजाय सीधे एडब्ल्यूएस प्रबंधन कंसोल. यह आपको फ़ीचर स्टोर की फ़ीचर-स्तरीय खोज कार्यक्षमता को अपने स्वयं के कस्टम डेटा विज्ञान प्लेटफ़ॉर्म के साथ एकीकृत करने की अनुमति देता है। इस सेक्शन में, हम फीचर मेटाडेटा को अपडेट और सर्च करने के लिए Boto3 API एंडपॉइंट्स के साथ इंटरैक्ट करते हैं।

सुविधा खोज और खोज में सुधार शुरू करने के लिए, आप इसका उपयोग करके मेटाडेटा जोड़ सकते हैं update_feature_metadata एपीआई। इसके अलावा description और created_date फ़ील्ड, आप किसी दिए गए फीचर में अधिकतम 25 पैरामीटर (की-वैल्यू पेयर) जोड़ सकते हैं।

निम्नलिखित कोड पांच संभावित कुंजी-मान मापदंडों का एक उदाहरण है, जिन्हें इसमें जोड़ा गया है job_admin विशेषता। इस सुविधा के साथ बनाया गया था job_services और job_none, वन-हॉट-एन्कोडिंग द्वारा job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

बाद author, team, origin, sensitivity, तथा env में जोड़ा गया है job_admin सुविधा, डेटा वैज्ञानिक या एमएल इंजीनियर कॉल करके उन्हें पुनः प्राप्त कर सकते हैं describe_feature_metadata एपीआई। आप पर नेविगेट कर सकते हैं Parameters हमने पहले अपनी सुविधा में जोड़े गए मेटाडेटा की प्रतिक्रिया में ऑब्जेक्ट किया था। describe_feature_metadata एपीआई एंडपॉइंट आपको किसी दिए गए फीचर से संबंधित मेटाडेटा प्राप्त करके अधिक अंतर्दृष्टि प्राप्त करने की अनुमति देता है।

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

आप सेजमेकर का उपयोग करके सुविधाओं की खोज कर सकते हैं search एपीआई मेटाडेटा का उपयोग खोज पैरामीटर के रूप में करता है। निम्नलिखित कोड एक उदाहरण फ़ंक्शन है जो लेता है a search_string एक इनपुट के रूप में पैरामीटर और उन सभी सुविधाओं को लौटाता है जहां सुविधा का नाम, विवरण या पैरामीटर शर्त से मेल खाते हैं:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

निम्नलिखित कोड स्निपेट हमारे . का उपयोग करता है: search_features उन सभी सुविधाओं को पुनः प्राप्त करने के लिए कार्य करता है जिनके लिए फीचर नाम, विवरण, या पैरामीटर में शब्द शामिल है job:

search_results = search_features_using_string('mlops')
search_results

निम्नलिखित स्क्रीनशॉट में मिलान फीचर नामों की सूची के साथ-साथ उनके संबंधित मेटाडेटा शामिल हैं, जिसमें प्रत्येक सुविधा के निर्माण और अंतिम संशोधन के लिए टाइमस्टैम्प शामिल हैं। आप इस जानकारी का उपयोग अपने संगठन की विशेषताओं में खोज और दृश्यता को बेहतर बनाने के लिए कर सकते हैं।

निष्कर्ष

सेजमेकर फ़ीचर स्टोर संगठनों को व्यावसायिक इकाइयों और डेटा विज्ञान टीमों में एमएल विकास को बढ़ाने में मदद करने के लिए एक उद्देश्य-निर्मित सुविधा प्रबंधन समाधान प्रदान करता है। फीचर पुन: उपयोग और फीचर स्थिरता में सुधार फीचर स्टोर के प्राथमिक लाभ हैं। इस पोस्ट में, हमने बताया कि आप सुविधाओं की खोज और खोज को बेहतर बनाने के लिए फीचर-स्तरीय मेटाडेटा का उपयोग कैसे कर सकते हैं। इसमें विभिन्न उपयोग मामलों के आसपास मेटाडेटा बनाना और अतिरिक्त खोज पैरामीटर के रूप में इसका उपयोग करना शामिल था।

इसे आज़माएं, और हमें बताएं कि आप टिप्पणियों में क्या सोचते हैं। यदि आप फ़ीचर स्टोर में सहयोग करने और सुविधाओं को साझा करने के बारे में अधिक जानना चाहते हैं, तो देखें अमेज़ॅन SageMaker फ़ीचर स्टोर का उपयोग करके खातों और टीमों में फ़ीचर पुन: उपयोग को सक्षम करें.

लेखक के बारे में

अरनॉड लॉयर एडब्ल्यूएस में सार्वजनिक क्षेत्र की टीम में सीनियर पार्टनर सॉल्यूशंस आर्किटेक्ट हैं। वह भागीदारों और ग्राहकों को यह समझने में सक्षम बनाता है कि व्यावसायिक जरूरतों को समाधान में बदलने के लिए AWS तकनीकों का सर्वोत्तम उपयोग कैसे किया जाए। उन्हें सार्वजनिक क्षेत्र, ऊर्जा और उपभोक्ता वस्तुओं सहित उद्योगों की एक श्रृंखला में डिजिटल परिवर्तन परियोजनाओं को वितरित करने और तैयार करने का 16 से अधिक वर्षों का अनुभव है। आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग उनके कुछ शौक हैं। अरनौद के पास ML विशेषता प्रमाणन सहित 12 AWS प्रमाणपत्र हैं।

निकोलस बर्नियर एक एसोसिएट सॉल्यूशंस आर्किटेक्ट है, जो एडब्ल्यूएस में कनाडाई सार्वजनिक क्षेत्र की टीम का हिस्सा है। वह वर्तमान में डीप लर्निंग में एक शोध क्षेत्र के साथ मास्टर डिग्री कर रहा है और एमएल स्पेशलिटी सर्टिफिकेशन सहित पांच एडब्ल्यूएस प्रमाणन रखता है। निकोलस को ग्राहकों की व्यावसायिक चुनौतियों को तकनीकी समाधानों में बदलने के लिए उनके साथ काम करके AWS के बारे में उनके ज्ञान को गहरा करने में मदद करने का शौक है।

मार्क रॉय AWS के लिए एक प्रिंसिपल मशीन लर्निंग आर्किटेक्ट है, जो ग्राहकों को AI / ML समाधान तैयार करने और बनाने में मदद करता है। कंप्यूटर के विज़न, डीप लर्निंग और एंटरप्राइज़ में ML स्केलिंग में प्राथमिक रुचि के साथ, मार्क का काम एमएल उपयोग के मामलों की एक विस्तृत श्रृंखला को कवर करता है। उन्होंने बीमा, वित्तीय सेवाओं, मीडिया और मनोरंजन, स्वास्थ्य सेवा, उपयोगिताओं और विनिर्माण सहित कई उद्योगों में कंपनियों की मदद की है। मार्क में छह AWS प्रमाणपत्र हैं, जिनमें ML विशेषता प्रमाणन भी शामिल है। AWS में शामिल होने से पहले, मार्क 25 साल से अधिक के लिए एक वास्तुकार, डेवलपर और प्रौद्योगिकी नेता थे, जिसमें वित्तीय सेवाओं में 19 साल शामिल थे।

खुशबू श्रीवास्तव Amazon SageMaker के वरिष्ठ उत्पाद प्रबंधक हैं। उसे ऐसे उत्पाद बनाने में मज़ा आता है जो ग्राहकों के लिए मशीन लर्निंग वर्कफ़्लो को आसान बनाते हैं। अपने खाली समय में, वह वायलिन बजाना, योगाभ्यास करना और यात्रा करना पसंद करती हैं।