با استفاده از فروشگاه ویژگی Amazon SageMaker و قابلیت ابرداده در سطح ویژگی، کشف و استفاده مجدد از ویژگی را در سراسر سازمان خود ترویج دهید.

فروشگاه ویژگی آمازون SageMaker به دانشمندان داده و مهندسان یادگیری ماشین (ML) کمک می‌کند تا داده‌های انتخاب‌شده مورد استفاده در جریان‌های کار آموزشی و پیش‌بینی را به‌طور امن ذخیره، کشف و به اشتراک بگذارند. Feature Store یک فروشگاه متمرکز برای ویژگی‌ها و ابرداده‌های مرتبط است که به تیم‌های دانشمند داده‌ای که روی پروژه‌های مختلف یا مدل‌های ML کار می‌کنند، به آسانی ویژگی‌ها را کشف کرده و دوباره استفاده می‌کند.

با Feature Store، شما همیشه قادر به اضافه کردن متادیتا در سطح گروه ویژگی بوده اید. دانشمندان داده‌ای که می‌خواهند قابلیت جستجو و کشف ویژگی‌های موجود برای مدل‌های خود را داشته باشند، اکنون می‌توانند با افزودن ابرداده سفارشی، اطلاعات را در سطح ویژگی جستجو کنند. به عنوان مثال، اطلاعات می تواند شامل شرح ویژگی، تاریخ آخرین تغییر، منبع داده اصلی، معیارهای خاص یا سطح حساسیت باشد.

نمودار زیر روابط معماری بین گروه‌های ویژگی، ویژگی‌ها و ابرداده مرتبط را نشان می‌دهد. توجه داشته باشید که چگونه دانشمندان داده اکنون می توانند توضیحات و ابرداده ها را هم در سطح گروه ویژگی و هم در سطح ویژگی های فردی مشخص کنند.

در این پست، توضیح می‌دهیم که چگونه دانشمندان داده و مهندسان ML می‌توانند از ابرداده‌های سطح ویژگی با قابلیت‌های جستجو و کشف جدید Feature Store برای ترویج استفاده مجدد از ویژگی‌ها در سراسر سازمان خود استفاده کنند. این قابلیت می تواند به طور قابل توجهی به دانشمندان داده در فرآیند انتخاب ویژگی کمک کند و در نتیجه به شما در شناسایی ویژگی هایی که منجر به افزایش دقت مدل می شود کمک کند.

مورد استفاده

برای اهداف این پست، ما از دو گروه ویژگی استفاده می کنیم. customer و loan.

La customer گروه ویژگی دارای ویژگی های زیر است:

• سن - سن مشتری (عددی)
• کار – نوع کار (کدگذاری شده تکی مانند admin or services)
• زناشویی - وضعیت تاهل (یک کدگذاری داغ، مانند married or single)
• تحصیلات – سطح تحصیلات (کدگذاری شده یکباره، مانند basic 4y or high school)

La loan گروه ویژگی دارای ویژگی های زیر است:

• به طور پیش فرض - آیا اعتبار پیش فرض است؟ (کدگذاری شده یک طرفه: no or yes)
• مسکن – وام مسکن دارد؟ (کدگذاری شده یک طرفه: no or yes)
• وام - وام شخصی دارد؟ (کدگذاری شده یک طرفه: no or yes)
• total_amount - مبلغ کل وام ها (عددی)

شکل زیر نمونه گروه های ویژگی و ابرداده ویژگی ها را نشان می دهد.

هدف از افزودن توضیحات و تخصیص ابرداده به هر ویژگی، افزایش سرعت کشف با فعال کردن پارامترهای جستجوی جدید است که در آن یک دانشمند داده یا مهندس ML می‌تواند ویژگی‌ها را کاوش کند. اینها می‌توانند جزئیاتی را درباره یک ویژگی مانند محاسبه آن، اعم از میانگین بالای 6 ماه یا 1 سال، مبدأ، سازنده یا مالک، معنای ویژگی و موارد دیگر منعکس کنند.

در بخش‌های بعدی، دو رویکرد برای جستجو و کشف ویژگی‌ها و پیکربندی فراداده‌های سطح ویژگی ارائه می‌کنیم: اولی با استفاده از Amazon SageMaker Studio مستقیم و دومی به صورت برنامه ای.

کشف ویژگی در استودیو

با استفاده از Studio به راحتی می توانید ویژگی ها را جستجو و جستجو کنید. با قابلیت های جدید جستجو و کشف پیشرفته، می توانید فوراً نتایج را با استفاده از یک تایپ ساده جلوتر از چند کاراکتر بازیابی کنید.

اسکرین شات زیر قابلیت های زیر را نشان می دهد:

• شما می توانید به کاتالوگ ویژگی ویژگی‌ها را در گروه‌های ویژگی مشاهده کنید. ویژگی ها در جدولی ارائه شده اند که شامل نام ویژگی، نوع، توضیحات، پارامترها، تاریخ ایجاد و نام گروه ویژگی مرتبط است.
• شما می توانید مستقیماً از عملکرد تایپ پیش رو برای بازگرداندن فوری نتایج جستجو استفاده کنید.
• شما این امکان را دارید که از انواع مختلف گزینه های فیلتر استفاده کنید: All, Feature name, Description، یا Parameters. توجه داشته باشید که All همه ویژگی‌ها را در جایی که یا در آن قرار می‌دهند برمی‌گرداند Feature name, Description، یا Parameters با معیارهای جستجو مطابقت دارد.
• می توانید با تعیین محدوده تاریخ با استفاده از عبارت، جستجو را محدودتر کنید Created from و Created to فیلدها و تعیین پارامترها با استفاده از Search parameter key و Search parameter value زمینه ها.

پس از انتخاب یک ویژگی، می‌توانید نام ویژگی را برای نمایش جزئیات آن انتخاب کنید. وقتی انتخاب می کنید ویرایش متادیتاهمانطور که در تصویر زیر نشان داده شده است، می توانید یک توضیحات و حداکثر 25 پارامتر کلید-مقدار اضافه کنید. در این نما، در نهایت می توانید متادیتای ویژگی را ایجاد، مشاهده، به روز رسانی و حذف کنید. اسکرین شات زیر نحوه ویرایش متادیتای ویژگی را نشان می دهد total_amount.

همانطور که قبلاً گفته شد، افزودن جفت‌های کلید-مقدار به یک ویژگی به شما ابعاد بیشتری می‌دهد تا ویژگی‌های داده شده آن‌ها را جستجو کنید. برای مثال ما، منشاء ویژگی به ابرداده هر ویژگی اضافه شده است. وقتی نماد جستجو را انتخاب می کنید و در امتداد جفت کلید-مقدار فیلتر می کنید origin: job، می‌توانید تمام ویژگی‌هایی را که به صورت یک‌هت کدگذاری شده‌اند از این ویژگی پایه مشاهده کنید.

کشف ویژگی با استفاده از کد

همچنین می‌توانید از طریق رابط خط فرمان AWS (AWS CLI) و SDK (Boto3) به جای مستقیم از طریق کنسول مدیریت AWS. این به شما امکان می دهد قابلیت جستجوی سطح ویژگی Feature Store را با پلتفرم های علمی داده سفارشی خود ادغام کنید. در این بخش، ما با نقاط پایانی Boto3 API برای به روز رسانی و جستجوی متادیتاهای ویژگی تعامل داریم.

برای شروع بهبود جستجو و اکتشاف ویژگی، می‌توانید با استفاده از متادیتا اضافه کنید update_feature_metadata API. علاوه بر description و created_date می توانید تا 25 پارامتر (جفت کلید-مقدار) را به یک ویژگی خاص اضافه کنید.

کد زیر نمونه ای از پنج پارامتر کلید-مقدار ممکن است که به آن اضافه شده است job_admin ویژگی. این ویژگی ایجاد شد، همراه با job_services و job_none، با یک کدگذاری داغ job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

پس از author, team, origin, sensitivityو env به اضافه شده اند job_admin این ویژگی، دانشمندان داده یا مهندسان ML می توانند با تماس با آن، آنها را بازیابی کنند describe_feature_metadata API. می توانید به مسیر بروید Parameters شی در پاسخ برای ابرداده ای که قبلاً به ویژگی خود اضافه کرده بودیم. را describe_feature_metadata نقطه پایانی API به شما این امکان را می‌دهد تا با دریافت ابرداده مربوط به یک ویژگی، بینش بیشتری نسبت به یک ویژگی خاص به دست آورید.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

با استفاده از SageMaker می توانید ویژگی ها را جستجو کنید search API با استفاده از فراداده به عنوان پارامترهای جستجو. کد زیر یک تابع مثال است که a را می گیرد search_string پارامتر به عنوان ورودی و همه ویژگی هایی را که نام، توضیحات یا پارامترهای ویژگی با شرایط مطابقت دارد، برمی گرداند:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

قطعه کد زیر از ما استفاده می کند search_features تابعی برای بازیابی همه ویژگی هایی که نام ویژگی، توضیحات یا پارامترهای آنها حاوی کلمه است job:

search_results = search_features_using_string('mlops')
search_results

اسکرین شات زیر شامل فهرستی از نام‌های ویژگی منطبق و همچنین فراداده مربوط به آن‌ها، از جمله مُهرهای زمانی برای ایجاد هر ویژگی و آخرین تغییر است. می‌توانید از این اطلاعات برای بهبود کشف و مشاهده ویژگی‌های سازمانتان استفاده کنید.

نتیجه

SageMaker Feature Store یک راه حل مدیریت ویژگی هدفمند ارائه می دهد تا به سازمان ها کمک کند توسعه ML را در واحدهای تجاری و تیم های علم داده مقیاس کنند. بهبود استفاده مجدد از ویژگی و سازگاری ویژگی ها از مزایای اصلی فروشگاه ویژگی هستند. در این پست توضیح دادیم که چگونه می توانید از فراداده های سطح ویژگی برای بهبود جستجو و کشف ویژگی ها استفاده کنید. این شامل ایجاد ابرداده پیرامون انواع موارد استفاده و استفاده از آن به عنوان پارامترهای جستجوی اضافی بود.

آن را امتحان کنید و نظر خود را در نظرات با ما در میان بگذارید. اگر می‌خواهید درباره همکاری و اشتراک‌گذاری ویژگی‌ها در فروشگاه ویژگی‌ها بیشتر بدانید، به آن مراجعه کنید استفاده مجدد از ویژگی را در حساب‌ها و تیم‌ها با استفاده از فروشگاه ویژگی Amazon SageMaker فعال کنید.

درباره نویسندگان

آرنو لوئر یک معمار راه حل های شریک ارشد در تیم بخش عمومی در AWS است. او شرکا و مشتریان را قادر می‌سازد تا درک کنند که چگونه می‌توانند از فناوری‌های AWS برای تبدیل نیازهای تجاری به راه‌حل استفاده کنند. او بیش از 16 سال تجربه در ارائه و معماری پروژه های تحول دیجیتال در طیف وسیعی از صنایع از جمله بخش عمومی، انرژی و کالاهای مصرفی دارد. هوش مصنوعی و یادگیری ماشینی از علایق اوست. Arnaud دارای 12 گواهینامه AWS از جمله گواهینامه تخصصی ML است.

نیکلاس برنیر یک معمار Associate Solutions، بخشی از تیم بخش عمومی کانادا در AWS است. او در حال حاضر در حال گذراندن مدرک کارشناسی ارشد با یک حوزه تحقیقاتی در یادگیری عمیق است و دارای پنج گواهینامه AWS از جمله گواهینامه تخصصی ML است. نیکلاس مشتاق کمک به مشتریان برای تعمیق دانش خود در مورد AWS از طریق همکاری با آنها برای تبدیل چالش های تجاری خود به راه حل های فنی است.

مارک روی یک معمار اصلی یادگیری ماشین برای AWS است که به مشتریان در طراحی و ساخت راه‌حل‌های AI/ML کمک می‌کند. کار مارک طیف گسترده‌ای از موارد استفاده از ML را پوشش می‌دهد، با علاقه اولیه به بینایی رایانه، یادگیری عمیق، و مقیاس‌بندی ML در سراسر سازمان. او به شرکت ها در بسیاری از صنایع از جمله بیمه، خدمات مالی، رسانه و سرگرمی، مراقبت های بهداشتی، آب و برق و تولید کمک کرده است. مارک دارای شش گواهینامه AWS از جمله گواهینامه تخصصی ML است. قبل از پیوستن به AWS، مارک به مدت بیش از 25 سال، از جمله 19 سال در خدمات مالی، معمار، توسعه دهنده و رهبر فناوری بود.

خوشبو سریواستاوا مدیر محصول ارشد آمازون SageMaker است. او از ساخت محصولاتی که گردش کار یادگیری ماشینی را برای مشتریان ساده می کند لذت می برد. او در اوقات فراغت از نواختن ویولن، تمرین یوگا و مسافرت لذت می برد.