ایمیزون سیج میکر فیچر اسٹور اور اس کی فیچر لیول میٹا ڈیٹا کی اہلیت کا استعمال کرتے ہوئے اپنی پوری تنظیم میں فیچر کی دریافت اور دوبارہ استعمال کو فروغ دیں۔

ایمیزون سیج میکر فیچر اسٹور ڈیٹا سائنسدانوں اور مشین لرننگ (ML) انجینئرز کو تربیت اور پیشین گوئی کے ورک فلو میں استعمال ہونے والے کیوریٹڈ ڈیٹا کو محفوظ طریقے سے اسٹور، دریافت اور شیئر کرنے میں مدد کرتا ہے۔ فیچر اسٹور فیچرز اور اس سے وابستہ میٹا ڈیٹا کے لیے ایک مرکزی اسٹور ہے، جو مختلف پروجیکٹس یا ایم ایل ماڈلز پر کام کرنے والی ڈیٹا سائنسدان ٹیموں کے ذریعے خصوصیات کو آسانی سے دریافت اور دوبارہ استعمال کرنے کی اجازت دیتا ہے۔

فیچر اسٹور کے ساتھ، آپ ہمیشہ فیچر گروپ لیول پر میٹا ڈیٹا شامل کرنے میں کامیاب رہے ہیں۔ ڈیٹا سائنسدان جو اپنے ماڈلز کے لیے موجودہ خصوصیات کو تلاش کرنے اور دریافت کرنے کی اہلیت چاہتے ہیں، اب وہ حسب ضرورت میٹا ڈیٹا شامل کر کے فیچر لیول پر معلومات کو تلاش کرنے کی صلاحیت رکھتے ہیں۔ مثال کے طور پر، معلومات میں فیچر کی تفصیل، آخری بار اس میں ترمیم کی گئی تاریخ، اس کے اصل ڈیٹا سورس، کچھ میٹرکس، یا حساسیت کی سطح شامل ہو سکتی ہے۔

مندرجہ ذیل خاکہ فیچر گروپس، فیچرز اور متعلقہ میٹا ڈیٹا کے درمیان فن تعمیر کے تعلقات کو واضح کرتا ہے۔ نوٹ کریں کہ ڈیٹا سائنسدان اب فیچر گروپ لیول اور انفرادی فیچر لیول دونوں پر تفصیل اور میٹا ڈیٹا کی وضاحت کیسے کر سکتے ہیں۔

اس پوسٹ میں، ہم وضاحت کرتے ہیں کہ ڈیٹا سائنسدان اور ML انجینئرز فیچر اسٹور کی نئی تلاش اور دریافت کی صلاحیتوں کے ساتھ فیچر لیول میٹا ڈیٹا کو کس طرح استعمال کر سکتے ہیں تاکہ ان کی تنظیم میں فیچر کے دوبارہ استعمال کو فروغ دیا جا سکے۔ یہ صلاحیت فیچر کے انتخاب کے عمل میں ڈیٹا سائنسدانوں کی نمایاں طور پر مدد کر سکتی ہے اور اس کے نتیجے میں، آپ کو ان خصوصیات کی شناخت کرنے میں مدد مل سکتی ہے جو ماڈل کی درستگی میں اضافہ کرتی ہیں۔

کیس استعمال کریں۔

اس پوسٹ کے مقاصد کے لیے، ہم دو فیچر گروپس استعمال کرتے ہیں، customer اور loan.

۔ customer فیچر گروپ میں درج ذیل خصوصیات ہیں:

• عمر - گاہک کی عمر (عددی)
• کام - ملازمت کی قسم (ایک گرم انکوڈڈ، جیسے admin or services)
• ازدواجی - ازدواجی حیثیت (ایک گرم انکوڈڈ، جیسے married or single)
• تعلیم - تعلیم کی سطح (ایک گرم انکوڈڈ، جیسے basic 4y or high school)

۔ loan فیچر گروپ میں درج ذیل خصوصیات ہیں:

• پہلے سے طے شدہ - کیا کریڈٹ ڈیفالٹ میں ہے؟ (ایک گرم انکوڈڈ: no or yes)
• ہاؤسنگ - کیا ہاؤسنگ لون ہے؟ (ایک گرم انکوڈڈ: no or yes)
• قرض - ذاتی قرض ہے؟ (ایک گرم انکوڈڈ: no or yes)
• کل رقم - قرضوں کی کل رقم (عددی)

مندرجہ ذیل اعداد و شمار فیچر گروپس اور فیچر میٹا ڈیٹا کو ظاہر کرتا ہے۔

تفصیل شامل کرنے اور ہر خصوصیت میں میٹا ڈیٹا تفویض کرنے کا مقصد نئے تلاش کے پیرامیٹرز کو فعال کر کے دریافت کی رفتار کو بڑھانا ہے جس کے ساتھ ڈیٹا سائنسدان یا ML انجینئر خصوصیات کو تلاش کر سکتے ہیں۔ یہ کسی خصوصیت کے بارے میں تفصیلات کی عکاسی کر سکتے ہیں جیسے کہ اس کا حساب، چاہے یہ اوسطاً 6 ماہ سے زیادہ ہو یا 1 سال، اصل، تخلیق کار یا مالک، خصوصیت کا کیا مطلب ہے، اور مزید۔

درج ذیل حصوں میں، ہم خصوصیات کو تلاش کرنے اور دریافت کرنے اور خصوصیت کی سطح کے میٹا ڈیٹا کو ترتیب دینے کے لیے دو طریقے فراہم کرتے ہیں: پہلا استعمال ایمیزون سیج میکر اسٹوڈیو براہ راست، اور دوسرا پروگرام کے لحاظ سے۔

اسٹوڈیو میں خصوصیت کی دریافت

آپ اسٹوڈیو کا استعمال کرتے ہوئے آسانی سے خصوصیات کو تلاش اور استفسار کر سکتے ہیں۔ نئی بہتر شدہ تلاش اور دریافت کی صلاحیتوں کے ساتھ، آپ چند حروف سے آگے ایک سادہ قسم کا استعمال کرتے ہوئے فوری طور پر نتائج حاصل کر سکتے ہیں۔

درج ذیل اسکرین شاٹ درج ذیل صلاحیتوں کو ظاہر کرتا ہے:

• آپ تک رسائی حاصل کر سکتے ہیں فیچر کیٹلاگ ٹیب کریں اور فیچر گروپس میں خصوصیات کا مشاہدہ کریں۔ خصوصیات کو ایک جدول میں پیش کیا گیا ہے جس میں فیچر کا نام، قسم، تفصیل، پیرامیٹرز، تخلیق کی تاریخ، اور متعلقہ فیچر گروپ کا نام شامل ہے۔
• آپ تلاش کے نتائج کو فوری طور پر واپس کرنے کے لیے ٹائپ-آگے کی فعالیت کو براہ راست استعمال کر سکتے ہیں۔
• آپ کے پاس مختلف قسم کے فلٹر کے اختیارات استعمال کرنے کی لچک ہے: All, Feature name, Description، یا Parameters. یاد رکھیں کہ All تمام خصوصیات کو واپس کر دے گا جہاں بھی Feature name, Description، یا Parameters تلاش کے معیار سے ملتے ہیں۔
• آپ کا استعمال کرتے ہوئے تاریخ کی حد کی وضاحت کر کے تلاش کو مزید کم کر سکتے ہیں۔ Created from اور Created to کا استعمال کرتے ہوئے فیلڈز اور پیرامیٹرز کی وضاحت کرنا Search parameter key اور Search parameter value کھیت.

ایک فیچر کو منتخب کرنے کے بعد، آپ اس فیچر کی تفصیلات سامنے لانے کے لیے اس کا نام منتخب کر سکتے ہیں۔ جب آپ انتخاب کرتے ہیں۔ میٹا ڈیٹا میں ترمیم کریں۔، آپ ایک تفصیل اور 25 کلیدی قدر کے پیرامیٹرز تک شامل کر سکتے ہیں، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔ اس منظر کے اندر، آپ بالآخر فیچر کا میٹا ڈیٹا بنا، دیکھ، اپ ڈیٹ اور حذف کر سکتے ہیں۔ مندرجہ ذیل اسکرین شاٹ واضح کرتا ہے کہ فیچر میٹا ڈیٹا میں ترمیم کیسے کی جائے۔ total_amount.

جیسا کہ پہلے کہا گیا، کسی خصوصیت میں کلیدی قدر کے جوڑے شامل کرنے سے آپ کو مزید جہتیں ملتی ہیں جن کے ساتھ ان کی دی گئی خصوصیات کو تلاش کرنا ہے۔ ہماری مثال کے طور پر، فیچر کی اصل کو ہر فیچر کے میٹا ڈیٹا میں شامل کر دیا گیا ہے۔ جب آپ سرچ آئیکن کا انتخاب کرتے ہیں اور کلیدی قدر کے جوڑے کے ساتھ فلٹر کرتے ہیں۔ origin: job، آپ ان تمام خصوصیات کو دیکھ سکتے ہیں جو اس بنیادی وصف سے ون ہاٹ انکوڈ تھیں۔

کوڈ کا استعمال کرتے ہوئے خصوصیت کی دریافت

آپ کے ذریعے فیچر کی معلومات تک رسائی اور اپ ڈیٹ بھی کر سکتے ہیں۔ AWS کمانڈ لائن انٹرفیس (AWS CLI) اور SDK (Boto3) کے بجائے براہ راست کے ذریعے AWS مینجمنٹ کنسول. یہ آپ کو فیچر اسٹور کی خصوصیت کی سطح کی تلاش کی فعالیت کو اپنے حسب ضرورت ڈیٹا سائنس پلیٹ فارمز کے ساتھ مربوط کرنے کی اجازت دیتا ہے۔ اس سیکشن میں، ہم خصوصیت کے میٹا ڈیٹا کو اپ ڈیٹ کرنے اور تلاش کرنے کے لیے Boto3 API کے اختتامی نقطوں کے ساتھ تعامل کرتے ہیں۔

خصوصیت کی تلاش اور دریافت کو بہتر بنانا شروع کرنے کے لیے، آپ کا استعمال کرتے ہوئے میٹا ڈیٹا شامل کر سکتے ہیں۔ update_feature_metadata API کے علاوہ description اور created_date فیلڈز، آپ کسی دی گئی خصوصیت میں 25 پیرامیٹرز (کلیدی قدر کے جوڑے) تک شامل کر سکتے ہیں۔

درج ذیل کوڈ پانچ ممکنہ کلیدی قدر کے پیرامیٹرز کی ایک مثال ہے جو کہ میں شامل کیے گئے ہیں۔ job_admin خصوصیت اس خصوصیت کے ساتھ ساتھ، پیدا کیا گیا تھا job_services اور job_none، ایک ہاٹ انکوڈنگ کے ذریعے job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

کے بعد author, team, origin, sensitivity، اور env میں شامل کیا گیا ہے۔ job_admin فیچر، ڈیٹا سائنسدان یا ایم ایل انجینئر ان کو کال کرکے بازیافت کرسکتے ہیں۔ describe_feature_metadata API آپ نیویگیٹ کر سکتے ہیں۔ Parameters میٹا ڈیٹا کے جواب میں اعتراض جو ہم نے پہلے اپنی خصوصیت میں شامل کیا تھا۔ دی describe_feature_metadata API کا اختتامی نقطہ آپ کو کسی خصوصیت سے متعلقہ میٹا ڈیٹا حاصل کرکے اس کی زیادہ بصیرت حاصل کرنے کی اجازت دیتا ہے۔

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

آپ سیج میکر کا استعمال کرکے خصوصیات تلاش کرسکتے ہیں۔ search تلاش کے پیرامیٹرز کے بطور میٹا ڈیٹا استعمال کرنے والا API۔ مندرجہ ذیل کوڈ ایک مثالی فنکشن ہے جو لیتا ہے a search_string پیرامیٹر بطور ان پٹ اور تمام خصوصیات کو لوٹاتا ہے جہاں خصوصیت کا نام، تفصیل، یا پیرامیٹرز شرط سے میل کھاتے ہیں:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

درج ذیل کوڈ کا ٹکڑا ہمارا استعمال کرتا ہے۔ search_features فنکشن ان تمام خصوصیات کو بازیافت کرنے کے لیے جن کے لیے یا تو فیچر کا نام، تفصیل، یا پیرامیٹرز میں لفظ شامل ہے۔ job:

search_results = search_features_using_string('mlops')
search_results

درج ذیل اسکرین شاٹ میں مماثل فیچر کے ناموں کی فہرست کے ساتھ ساتھ ان کے متعلقہ میٹا ڈیٹا بھی شامل ہے، بشمول ہر فیچر کی تخلیق اور آخری ترمیم کے لیے ٹائم اسٹیمپ۔ آپ اس معلومات کو اپنی تنظیم کی خصوصیات میں دریافت اور مرئیت کو بہتر بنانے کے لیے استعمال کر سکتے ہیں۔

نتیجہ

سیج میکر فیچر اسٹور کاروباری اکائیوں اور ڈیٹا سائنس ٹیموں میں ایم ایل ڈیولپمنٹ کو اسکیل کرنے میں تنظیموں کی مدد کے لیے ایک مقصد سے بنایا ہوا فیچر مینجمنٹ حل فراہم کرتا ہے۔ فیچر کا دوبارہ استعمال اور فیچر کی مستقل مزاجی کو بہتر بنانا فیچر اسٹور کے بنیادی فوائد ہیں۔ اس پوسٹ میں، ہم نے وضاحت کی ہے کہ آپ خصوصیات کی تلاش اور دریافت کو بہتر بنانے کے لیے فیچر لیول میٹا ڈیٹا کا استعمال کیسے کر سکتے ہیں۔ اس میں مختلف قسم کے استعمال کے معاملات میں میٹا ڈیٹا بنانا اور اسے اضافی تلاش کے پیرامیٹرز کے طور پر استعمال کرنا شامل ہے۔

اسے آزمائیں، اور ہمیں بتائیں کہ آپ تبصروں میں کیا سوچتے ہیں۔ اگر آپ فیچر اسٹور کے اندر اشتراک اور اشتراک کرنے کے بارے میں مزید جاننا چاہتے ہیں، تو رجوع کریں۔ ایمیزون سیج میکر فیچر اسٹور کا استعمال کرتے ہوئے اکاؤنٹس اور ٹیموں میں فیچر کے دوبارہ استعمال کو فعال کریں۔.

مصنفین کے بارے میں

ارناؤڈ لاؤر AWS میں پبلک سیکٹر ٹیم میں سینئر پارٹنر سلوشنز آرکیٹیکٹ ہیں۔ وہ شراکت داروں اور صارفین کو یہ سمجھنے کے قابل بناتا ہے کہ کاروباری ضروریات کو حل میں ترجمہ کرنے کے لیے AWS ٹیکنالوجیز کا بہترین استعمال کیسے کیا جائے۔ وہ پبلک سیکٹر، توانائی اور اشیائے صرف سمیت مختلف صنعتوں میں ڈیجیٹل تبدیلی کے منصوبوں کی فراہمی اور تعمیر میں 16 سال سے زیادہ کا تجربہ لاتا ہے۔ مصنوعی ذہانت اور مشین لرننگ ان کے جنون میں سے کچھ ہیں۔ Arnaud کے پاس 12 AWS سرٹیفیکیشنز ہیں، بشمول ML اسپیشلٹی سرٹیفیکیشن۔

نکولس برنیئر ایک ایسوسی ایٹ سلوشنز آرکیٹیکٹ ہے، AWS میں کینیڈین پبلک سیکٹر ٹیم کا حصہ ہے۔ وہ فی الحال ڈیپ لرننگ میں ریسرچ ایریا کے ساتھ ماسٹر ڈگری کر رہا ہے اور اس کے پاس پانچ AWS سرٹیفیکیشن ہیں، بشمول ML اسپیشلٹی سرٹیفیکیشن۔ نکولس اپنے کاروباری چیلنجوں کو تکنیکی حل میں ترجمہ کرنے کے لیے ان کے ساتھ کام کرکے AWS کے بارے میں اپنے علم کو گہرا کرنے میں مدد کرنے کے لیے پرجوش ہیں۔

مارک رائے AWS کے لیے ایک پرنسپل مشین لرننگ آرکیٹیکٹ ہے، جو صارفین کو AI/ML سلوشنز ڈیزائن کرنے اور بنانے میں مدد کرتا ہے۔ مارک کا کام ایم ایل کے استعمال کے کیسز کی ایک وسیع رینج کا احاطہ کرتا ہے، جس میں بنیادی دلچسپی کمپیوٹر ویژن، گہرائی سے سیکھنے، اور پورے انٹرپرائز میں ایم ایل کی پیمائش میں ہے۔ اس نے کئی صنعتوں میں کمپنیوں کی مدد کی ہے، بشمول انشورنس، مالیاتی خدمات، میڈیا اور تفریح، صحت کی دیکھ بھال، افادیت، اور مینوفیکچرنگ۔ مارک کے پاس چھ AWS سرٹیفیکیشنز ہیں، بشمول ML اسپیشلٹی سرٹیفیکیشن۔ AWS میں شامل ہونے سے پہلے، مارک 25 سال سے زائد عرصے تک ایک معمار، ڈویلپر، اور ٹیکنالوجی لیڈر تھے، بشمول مالیاتی خدمات میں 19 سال۔

خوشبو سریواستو ایمیزون سیج میکر کے سینئر پروڈکٹ مینیجر ہیں۔ وہ پروڈکٹس بنانے سے لطف اندوز ہوتی ہیں جو صارفین کے لیے مشین لرننگ کے کام کے بہاؤ کو آسان بناتی ہیں۔ اپنے فارغ وقت میں، وہ وائلن بجانے، یوگا کی مشق کرنے اور سفر کرنے سے لطف اندوز ہوتی ہے۔