Amazon SageMaker ফিচার স্টোর এবং এর বৈশিষ্ট্য-স্তরের মেটাডেটা ক্ষমতা ব্যবহার করে আপনার প্রতিষ্ঠান জুড়ে বৈশিষ্ট্য আবিষ্কার এবং পুনঃব্যবহারের প্রচার করুন

আমাজন সেজমেকার ফিচার স্টোর ডেটা বিজ্ঞানী এবং মেশিন লার্নিং (ML) ইঞ্জিনিয়ারদের প্রশিক্ষণ এবং ভবিষ্যদ্বাণী ওয়ার্কফ্লোতে ব্যবহৃত কিউরেটেড ডেটা নিরাপদে সঞ্চয়, আবিষ্কার এবং শেয়ার করতে সহায়তা করে। ফিচার স্টোর হল বৈশিষ্ট্য এবং সংশ্লিষ্ট মেটাডেটার জন্য একটি কেন্দ্রীভূত স্টোর, যা বিভিন্ন প্রজেক্ট বা এমএল মডেলে কাজ করা ডেটা সায়েন্টিস্ট টিম দ্বারা বৈশিষ্ট্যগুলিকে সহজে আবিষ্কার ও পুনরায় ব্যবহার করার অনুমতি দেয়।

বৈশিষ্ট্য স্টোরের সাথে, আপনি সবসময় বৈশিষ্ট্য গ্রুপ স্তরে মেটাডেটা যোগ করতে সক্ষম হয়েছেন। ডেটা বিজ্ঞানী যারা তাদের মডেলগুলির জন্য বিদ্যমান বৈশিষ্ট্যগুলি অনুসন্ধান এবং আবিষ্কার করার ক্ষমতা চান তাদের এখন কাস্টম মেটাডেটা যোগ করে বৈশিষ্ট্য স্তরে তথ্য অনুসন্ধান করার ক্ষমতা রয়েছে৷ উদাহরণ স্বরূপ, তথ্যের মধ্যে বৈশিষ্ট্যটির বর্ণনা, এটি সর্বশেষ পরিবর্তনের তারিখ, এর মূল ডেটা উৎস, নির্দিষ্ট মেট্রিক্স বা সংবেদনশীলতার মাত্রা অন্তর্ভুক্ত থাকতে পারে।

নিম্নলিখিত চিত্রটি বৈশিষ্ট্য গোষ্ঠী, বৈশিষ্ট্য এবং সংশ্লিষ্ট মেটাডেটার মধ্যে আর্কিটেকচার সম্পর্ককে চিত্রিত করে। নোট করুন যে কীভাবে ডেটা বিজ্ঞানীরা এখন বৈশিষ্ট্য গ্রুপ স্তর এবং পৃথক বৈশিষ্ট্য স্তর উভয়েই বর্ণনা এবং মেটাডেটা নির্দিষ্ট করতে পারেন।

এই পোস্টে, আমরা ব্যাখ্যা করি যে কীভাবে ডেটা বিজ্ঞানী এবং এমএল ইঞ্জিনিয়াররা তাদের প্রতিষ্ঠান জুড়ে আরও ভাল বৈশিষ্ট্য পুনঃব্যবহারের প্রচার করতে ফিচার স্টোরের নতুন অনুসন্ধান এবং আবিষ্কারের ক্ষমতা সহ বৈশিষ্ট্য-স্তরের মেটাডেটা ব্যবহার করতে পারেন। এই ক্ষমতাটি বৈশিষ্ট্য নির্বাচন প্রক্রিয়ায় ডেটা বিজ্ঞানীদের উল্লেখযোগ্যভাবে সাহায্য করতে পারে এবং ফলস্বরূপ, আপনাকে বৈশিষ্ট্যগুলি সনাক্ত করতে সহায়তা করে যা মডেলের নির্ভুলতা বৃদ্ধি করে।

ব্যবহারের ক্ষেত্রে

এই পোস্টের উদ্দেশ্যে, আমরা দুটি বৈশিষ্ট্য গ্রুপ ব্যবহার করি, customer এবং loan.

সার্জারির customer বৈশিষ্ট্য গ্রুপ নিম্নলিখিত বৈশিষ্ট্য আছে:

• বয়স - গ্রাহকের বয়স (সংখ্যাসূচক)
• কাজ - কাজের ধরন (এক-হট এনকোডেড, যেমন admin or services)
• বৈবাহিক - বৈবাহিক অবস্থা (এক-হট এনকোডেড, যেমন married or single)
• শিক্ষা - শিক্ষার স্তর (এক-হট এনকোডেড, যেমন basic 4y or high school)

সার্জারির loan বৈশিষ্ট্য গ্রুপ নিম্নলিখিত বৈশিষ্ট্য আছে:

• ডিফল্ট - ক্রেডিট ডিফল্ট আছে? (এক-হট এনকোডেড: no or yes)
• হাউজিং - হাউজিং লোন আছে? (এক-হট এনকোডেড: no or yes)
• ঋণ - ব্যক্তিগত ঋণ আছে? (এক-হট এনকোডেড: no or yes)
• সর্বমোট পরিমাণ - মোট ঋণের পরিমাণ (সাংখ্যিক)

নিম্নলিখিত চিত্র উদাহরণ বৈশিষ্ট্য গ্রুপ এবং বৈশিষ্ট্য মেটাডেটা দেখায়.

প্রতিটি বৈশিষ্ট্যে একটি বিবরণ যোগ করা এবং মেটাডেটা বরাদ্দ করার উদ্দেশ্য হল নতুন অনুসন্ধান পরামিতিগুলি সক্ষম করে আবিষ্কারের গতি বাড়ানো যার সাথে একজন ডেটা বিজ্ঞানী বা এমএল ইঞ্জিনিয়ার বৈশিষ্ট্যগুলি অন্বেষণ করতে পারে৷ এটি একটি বৈশিষ্ট্য সম্পর্কে বিশদ প্রতিফলিত করতে পারে যেমন তার গণনা, এটি গড়ে 6 মাস বা 1 বছরের বেশি, উত্স, সৃষ্টিকর্তা বা মালিক, বৈশিষ্ট্যটির অর্থ কী এবং আরও অনেক কিছু।

নিম্নলিখিত বিভাগগুলিতে, আমরা বৈশিষ্ট্যগুলি অনুসন্ধান এবং আবিষ্কার করতে এবং বৈশিষ্ট্য-স্তরের মেটাডেটা কনফিগার করার জন্য দুটি পন্থা প্রদান করি: প্রথমটি ব্যবহার করে অ্যামাজন সেজমেকার স্টুডিও সরাসরি, এবং দ্বিতীয়টি প্রোগ্রামগতভাবে।

স্টুডিওতে বৈশিষ্ট্য আবিষ্কার

আপনি স্টুডিও ব্যবহার করে সহজেই অনুসন্ধান এবং অনুসন্ধান করতে পারেন। নতুন বর্ধিত অনুসন্ধান এবং আবিষ্কারের ক্ষমতা সহ, আপনি কিছু অক্ষরের আগে একটি সাধারণ টাইপ ব্যবহার করে অবিলম্বে ফলাফল পুনরুদ্ধার করতে পারেন।

নিম্নলিখিত স্ক্রিনশট নিম্নলিখিত ক্ষমতা প্রদর্শন করে:

• আপনি অ্যাক্সেস করতে পারেন বৈশিষ্ট্য ক্যাটালগ ট্যাব এবং বৈশিষ্ট্য গ্রুপ জুড়ে বৈশিষ্ট্য পর্যবেক্ষণ. বৈশিষ্ট্যগুলি একটি টেবিলে উপস্থাপিত হয় যাতে বৈশিষ্ট্যের নাম, প্রকার, বিবরণ, পরামিতি, সৃষ্টির তারিখ এবং সংশ্লিষ্ট বৈশিষ্ট্য গোষ্ঠীর নাম অন্তর্ভুক্ত থাকে।
• অবিলম্বে অনুসন্ধান ফলাফল ফেরত দিতে আপনি সরাসরি টাইপ-আগে কার্যকারিতা ব্যবহার করতে পারেন।
• আপনার কাছে বিভিন্ন ধরণের ফিল্টার বিকল্পগুলি ব্যবহার করার নমনীয়তা রয়েছে: All, Feature name, Description, বা Parameters। মনে রাখবেন যে All যেখানে হয় সব বৈশিষ্ট্য ফেরত দেবে Feature name, Description, বা Parameters অনুসন্ধানের মানদণ্ডের সাথে মেলে।
• আপনি ব্যবহার করে একটি তারিখ পরিসীমা নির্দিষ্ট করে অনুসন্ধানটি আরও সংকুচিত করতে পারেন৷ Created from এবং Created to ক্ষেত্র এবং ব্যবহার করে পরামিতি নির্দিষ্ট করা Search parameter key এবং Search parameter value ক্ষেত্র।

আপনি একটি বৈশিষ্ট্য নির্বাচন করার পরে, আপনি বৈশিষ্ট্যটির বিশদ বিবরণ আনতে তার নাম চয়ন করতে পারেন৷ আপনি যখন নির্বাচন করুন মেটাডেটা সম্পাদনা করুন, আপনি একটি বিবরণ এবং 25টি কী-মানের পরামিতি যোগ করতে পারেন, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে। এই দৃশ্যের মধ্যে, আপনি চূড়ান্তভাবে বৈশিষ্ট্যটির মেটাডেটা তৈরি করতে, দেখতে, আপডেট করতে এবং মুছতে পারেন৷ নিম্নলিখিত স্ক্রিনশটটি কীভাবে বৈশিষ্ট্য মেটাডেটা সম্পাদনা করতে হয় তা ব্যাখ্যা করে total_amount.

যেমন পূর্বে বলা হয়েছে, একটি বৈশিষ্ট্যে কী-মান জোড়া যোগ করা আপনাকে তাদের প্রদত্ত বৈশিষ্ট্যগুলি অনুসন্ধান করার জন্য আরও মাত্রা দেয়। আমাদের উদাহরণের জন্য, বৈশিষ্ট্যের উৎপত্তি প্রতিটি বৈশিষ্ট্যের মেটাডেটাতে যোগ করা হয়েছে। আপনি যখন অনুসন্ধান আইকন নির্বাচন করেন এবং কী-মানের জোড়া বরাবর ফিল্টার করেন origin: job, আপনি এই বেস অ্যাট্রিবিউট থেকে এক-হট-এনকোড করা সমস্ত বৈশিষ্ট্য দেখতে পারেন।

কোড ব্যবহার করে বৈশিষ্ট্য আবিষ্কার

আপনি এর মাধ্যমে বৈশিষ্ট্য তথ্য অ্যাক্সেস এবং আপডেট করতে পারেন এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) এবং SDK (Boto3) এর মাধ্যমে সরাসরি নয় এডাব্লুএস ম্যানেজমেন্ট কনসোল. এটি আপনাকে আপনার নিজস্ব কাস্টম ডেটা বিজ্ঞান প্ল্যাটফর্মগুলির সাথে বৈশিষ্ট্য স্টোরের বৈশিষ্ট্য-স্তরের অনুসন্ধান কার্যকারিতাকে একীভূত করতে দেয়৷ এই বিভাগে, আমরা বৈশিষ্ট্য মেটাডেটা আপডেট এবং অনুসন্ধান করতে Boto3 API এন্ডপয়েন্টের সাথে ইন্টারঅ্যাক্ট করি।

বৈশিষ্ট্য অনুসন্ধান এবং আবিষ্কারের উন্নতি শুরু করতে, আপনি ব্যবহার করে মেটাডেটা যোগ করতে পারেন update_feature_metadata API ছাড়াও description এবং created_date ক্ষেত্র, আপনি একটি প্রদত্ত বৈশিষ্ট্যে 25টি পরামিতি (কী-মান জোড়া) যোগ করতে পারেন।

নিম্নলিখিত কোডটি পাঁচটি সম্ভাব্য কী-মানের প্যারামিটারের একটি উদাহরণ যা যোগ করা হয়েছে job_admin বৈশিষ্ট্য এই বৈশিষ্ট্যটি সহ তৈরি করা হয়েছিল job_services এবং job_none, এক-হট-এনকোডিং দ্বারা job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

পর author, team, origin, sensitivity, এবং env যোগ করা হয়েছে job_admin ফিচার, ডেটা সায়েন্টিস্ট বা এমএল ইঞ্জিনিয়াররা কল করে তাদের উদ্ধার করতে পারেন describe_feature_metadata API আপনি নেভিগেট করতে পারেন Parameters আমরা পূর্বে আমাদের বৈশিষ্ট্য যোগ করা মেটাডেটা জন্য প্রতিক্রিয়া. দ্য describe_feature_metadata API এন্ডপয়েন্ট আপনাকে একটি প্রদত্ত বৈশিষ্ট্যের সাথে সম্পর্কিত মেটাডেটা পাওয়ার মাধ্যমে আরও বেশি অন্তর্দৃষ্টি পেতে দেয়।

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

আপনি SageMaker ব্যবহার করে বৈশিষ্ট্য অনুসন্ধান করতে পারেন search অনুসন্ধান পরামিতি হিসাবে মেটাডেটা ব্যবহার করে API। নিম্নলিখিত কোডটি একটি উদাহরণ ফাংশন যা একটি নেয় search_string একটি ইনপুট হিসাবে প্যারামিটার এবং সমস্ত বৈশিষ্ট্য প্রদান করে যেখানে বৈশিষ্ট্যের নাম, বিবরণ বা পরামিতি শর্তের সাথে মেলে:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

নিম্নলিখিত কোড স্নিপেট আমাদের ব্যবহার করে search_features সমস্ত বৈশিষ্ট্য পুনরুদ্ধার করার জন্য ফাংশন যার জন্য বৈশিষ্ট্যের নাম, বিবরণ বা প্যারামিটারে শব্দ রয়েছে job:

search_results = search_features_using_string('mlops')
search_results

নিম্নলিখিত স্ক্রিনশটটিতে বৈশিষ্ট্যের নামের তালিকা এবং সেইসাথে তাদের সংশ্লিষ্ট মেটাডেটা রয়েছে, যার মধ্যে প্রতিটি বৈশিষ্ট্যের সৃষ্টি এবং সর্বশেষ পরিবর্তনের জন্য টাইমস্ট্যাম্প রয়েছে। আপনি আপনার প্রতিষ্ঠানের বৈশিষ্ট্যগুলিতে আবিষ্কার এবং দৃশ্যমানতা উন্নত করতে এই তথ্য ব্যবহার করতে পারেন।

উপসংহার

সেজমেকার ফিচার স্টোর প্রতিষ্ঠানগুলিকে ব্যবসায়িক ইউনিট এবং ডেটা সায়েন্স টিম জুড়ে এমএল ডেভেলপমেন্ট স্কেল করতে সাহায্য করার জন্য একটি উদ্দেশ্য-নির্মিত বৈশিষ্ট্য পরিচালনার সমাধান প্রদান করে। বৈশিষ্ট্য পুনঃব্যবহার এবং বৈশিষ্ট্যের ধারাবাহিকতা উন্নত করা একটি বৈশিষ্ট্য স্টোরের প্রাথমিক সুবিধা। এই পোস্টে, আমরা ব্যাখ্যা করেছি কিভাবে আপনি বৈশিষ্ট্য-স্তরের মেটাডেটা ব্যবহার করতে পারেন অনুসন্ধান এবং বৈশিষ্ট্যগুলির আবিষ্কার উন্নত করতে। এর মধ্যে বিভিন্ন ব্যবহারের ক্ষেত্রে মেটাডেটা তৈরি করা এবং এটিকে অতিরিক্ত অনুসন্ধান পরামিতি হিসাবে ব্যবহার করা অন্তর্ভুক্ত।

এটি চেষ্টা করে দেখুন, এবং আপনি মন্তব্যে কি মনে করেন তা আমাদের জানান। আপনি যদি ফিচার স্টোরের মধ্যে সহযোগীতা এবং বৈশিষ্ট্যগুলি ভাগ করে নেওয়ার বিষয়ে আরও জানতে চান তবে দেখুন Amazon SageMaker ফিচার স্টোর ব্যবহার করে অ্যাকাউন্ট এবং দল জুড়ে বৈশিষ্ট্য পুনঃব্যবহার সক্ষম করুন.

লেখক সম্পর্কে

আর্নড লয়ার AWS-এ পাবলিক সেক্টর টিমের একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। তিনি অংশীদার এবং গ্রাহকদের ব্যবসার চাহিদাগুলিকে সমাধানে অনুবাদ করার জন্য AWS প্রযুক্তিগুলিকে কীভাবে সর্বোত্তম ব্যবহার করতে হয় তা বুঝতে সক্ষম করে৷ তিনি পাবলিক সেক্টর, জ্বালানি এবং ভোগ্যপণ্য সহ বিভিন্ন শিল্পে ডিজিটাল রূপান্তর প্রকল্পগুলি সরবরাহ এবং স্থাপত্যে 16 বছরেরও বেশি অভিজ্ঞতা নিয়ে এসেছেন। কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং তার কিছু আবেগ। Arnaud এর 12টি AWS সার্টিফিকেশন রয়েছে, যার মধ্যে ML স্পেশালিটি সার্টিফিকেশন রয়েছে।

নিকোলাস বার্নিয়ার একজন সহযোগী সমাধান আর্কিটেক্ট, AWS-এ কানাডিয়ান পাবলিক সেক্টর টিমের অংশ। তিনি বর্তমানে ডিপ লার্নিং-এ একটি গবেষণার ক্ষেত্রে স্নাতকোত্তর ডিগ্রি নিচ্ছেন এবং ML স্পেশালিটি সার্টিফিকেশন সহ পাঁচটি AWS সার্টিফিকেশন ধারণ করছেন। নিকোলাস গ্রাহকদের তাদের ব্যবসায়িক চ্যালেঞ্জগুলিকে প্রযুক্তিগত সমাধানগুলিতে অনুবাদ করার জন্য তাদের সাথে কাজ করার মাধ্যমে তাদের AWS সম্পর্কে তাদের জ্ঞানকে আরও গভীর করতে সহায়তা করার বিষয়ে উত্সাহী৷

মার্ক রায় AWS-এর একজন প্রিন্সিপাল মেশিন লার্নিং আর্কিটেক্ট, গ্রাহকদের AI/ML সমাধান ডিজাইন ও তৈরি করতে সাহায্য করে। মার্কের কাজ এমএল ব্যবহারের ক্ষেত্রের বিস্তৃত পরিসরকে কভার করে, যার মধ্যে প্রাথমিক আগ্রহ কম্পিউটার ভিশন, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং। তিনি বীমা, আর্থিক পরিষেবা, মিডিয়া এবং বিনোদন, স্বাস্থ্যসেবা, ইউটিলিটি এবং উত্পাদন সহ অনেক শিল্পে সংস্থাগুলিকে সহায়তা করেছেন। মার্কের ছয়টি AWS সার্টিফিকেশন রয়েছে, যার মধ্যে ML স্পেশালিটি সার্টিফিকেশন রয়েছে। AWS-এ যোগদানের আগে, মার্ক 25 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 19 বছরের আর্থিক পরিষেবা রয়েছে।

খুশবু শ্রীবাস্তব অ্যামাজন সেজমেকারের একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি গ্রাহকদের জন্য মেশিন লার্নিং ওয়ার্কফ্লো সহজ করে এমন পণ্য তৈরি করা উপভোগ করেন। তার অবসর সময়ে, তিনি বেহালা বাজানো, যোগব্যায়াম অনুশীলন এবং ভ্রমণ উপভোগ করেন।