Сприяйте виявленню та повторному використанню функцій у вашій організації за допомогою Amazon SageMaker Feature Store і його можливостей метаданих на рівні функцій

Магазин функцій Amazon SageMaker допомагає дослідникам обробки даних та інженерам з машинного навчання (ML) безпечно зберігати, виявляти та ділитися підібраними даними, які використовуються в робочих процесах навчання та прогнозування. Feature Store — це централізоване сховище для функцій і пов’язаних метаданих, що дозволяє легко виявляти та повторно використовувати функції групами спеціалістів із обробки даних, які працюють над різними проектами або моделями ML.

З Feature Store ви завжди можете додавати метадані на рівні групи функцій. Фахівці з обробки даних, які хочуть шукати та відкривати наявні функції для своїх моделей, тепер мають можливість шукати інформацію на рівні функцій, додаючи спеціальні метадані. Наприклад, інформація може містити опис функції, дату її останньої зміни, вихідне джерело даних, певні показники або рівень чутливості.

Наступна діаграма ілюструє зв’язки архітектури між групами функцій, функціями та пов’язаними метаданими. Зверніть увагу, як спеціалісти з обробки даних тепер можуть указувати описи та метадані як на рівні групи ознак, так і на рівні окремих функцій.

У цій публікації ми пояснюємо, як спеціалісти з обробки даних та інженери ML можуть використовувати метадані на рівні функцій із новими можливостями пошуку та виявлення Feature Store, щоб сприяти кращому повторному використанню функцій у своїй організації. Ця можливість може суттєво допомогти дослідникам даних у процесі вибору функцій і, як наслідок, допомогти вам визначити функції, які призводять до підвищення точності моделі.

Використовуйте футляр

Для цілей цієї публікації ми використовуємо дві групи функцій, customer та loan.

Команда customer група ознак має такі особливості:

• вік – Вік клієнта (цифри)
• робота – Тип завдання (одночасне кодування, наприклад admin or services)
• подружній – Сімейний стан (одноразове кодування, наприклад married or single)
• освіту – Рівень освіти (одногарячого кодування, напр basic 4y or high school)

Команда loan група ознак має такі особливості:

• дефолт – Має кредит непогашений? (одноразове кодування: no or yes)
• житло – Є кредит на житло? (одноразове кодування: no or yes)
• позику – Є особистий кредит? (одноразове кодування: no or yes)
• Загальна кількість – Загальна сума кредитів (числова)

На наступному малюнку показано приклад груп функцій і метаданих функцій.

Метою додавання опису та призначення метаданих кожній функції є збільшення швидкості виявлення шляхом увімкнення нових параметрів пошуку, за якими фахівець із обробки даних або інженер ML може досліджувати функції. Вони можуть відображати деталі функції, як-от її обчислення, середнє значення за 6 місяців чи 1 рік, походження, творця чи власника, значення функції тощо.

У наступних розділах ми пропонуємо два підходи до пошуку та виявлення функцій і налаштування метаданих на рівні функцій: перший використовує Студія Amazon SageMaker безпосередньо, а другий програмно.

Виявлення функцій у Studio

Ви можете легко шукати та запитувати функції за допомогою Studio. Завдяки новим покращеним можливостям пошуку та виявлення ви можете негайно отримати результати, використовуючи простий введення кількох символів вперед.

Наступний знімок екрана демонструє такі можливості:

• Ви можете отримати доступ до Каталог функцій і спостерігайте за функціями в групах функцій. Об’єкти представлені в таблиці, яка містить назву об’єкта, тип, опис, параметри, дату створення та назву пов’язаної групи об’єктів.
• Ви можете безпосередньо використовувати функцію попереднього введення, щоб негайно повернути результати пошуку.
• У вас є можливість використовувати різні типи параметрів фільтра: All, Feature name, Descriptionабо Parameters. Зверніть увагу на це All поверне всі функції, де будь-яка Feature name, Descriptionабо Parameters відповідати критеріям пошуку.
• Ви можете ще більше звузити пошук, вказавши діапазон дат за допомогою Created from та Created to полів і зазначення параметрів за допомогою Search parameter key та Search parameter value полів.

Після того, як ви вибрали функцію, ви можете вибрати назву функції, щоб відкрити її деталі. Коли ви обираєте Редагувати метадані, ви можете додати опис і до 25 параметрів ключ-значення, як показано на наступному знімку екрана. У цьому поданні ви можете створювати, переглядати, оновлювати та видаляти метадані функції. На наступному знімку екрана показано, як редагувати метадані функції для total_amount.

Як зазначалося раніше, додавання пар ключ-значення до функції дає вам більше вимірів, за якими можна шукати відповідні функції. У нашому прикладі походження функції було додано до метаданих кожної функції. Коли ви вибираєте піктограму пошуку та фільтруєте за парою ключ-значення origin: job, ви можете побачити всі функції, які були закодовані одним гарячим способом з цього базового атрибута.

Виявлення функцій за допомогою коду

Ви також можете отримати доступ і оновити інформацію про функції через Інтерфейс командного рядка AWS (AWS CLI) і SDK (Boto3), а не безпосередньо через Консоль управління AWS. Це дозволяє вам інтегрувати функції пошуку на рівні функції Feature Store із вашими власними платформами для обробки даних. У цьому розділі ми взаємодіємо з кінцевими точками API Boto3 для оновлення та пошуку метаданих функцій.

Щоб почати вдосконалювати пошук і виявлення функцій, ви можете додати метадані за допомогою update_feature_metadata API. На додаток до description та created_date Ви можете додати до 25 параметрів (пар ключ-значення) до певної функції.

Наведений нижче код є прикладом п’яти можливих параметрів ключ-значення, які було додано до job_admin функція. Ця функція була створена разом з job_services та job_none, одним гарячим кодуванням job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

після author, team, origin, sensitivity та env були додані до job_admin функції, спеціалісти з обробки даних або інженери ML можуть отримати їх, зателефонувавши до describe_feature_metadata API. Ви можете перейти до Parameters у відповіді на метадані, які ми раніше додали до нашої функції. The describe_feature_metadata Кінцева точка API дає змогу краще зрозуміти певну функцію, отримуючи пов’язані з нею метадані.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Ви можете шукати функції за допомогою SageMaker search API, що використовує метадані як параметри пошуку. Наступний код є прикладом функції, яка приймає a search_string параметр як вхід і повертає всі функції, де назва функції, опис або параметри відповідають умові:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

У наступному фрагменті коду використовується наш search_features функція для отримання всіх функцій, для яких назва функції, опис або параметри містять слово job:

search_results = search_features_using_string('mlops')
search_results

Наведений нижче знімок екрана містить список відповідних назв функцій, а також їхні відповідні метадані, включно з часовими мітками для створення та останньої зміни кожної функції. Ви можете використовувати цю інформацію для покращення виявлення та видимості функцій вашої організації.

Висновок

SageMaker Feature Store надає спеціальне рішення для керування функціями, яке допомагає організаціям масштабувати розробку машинного навчання в бізнес-підрозділах і групах обробки даних. Покращення повторного використання функцій і узгодженість функцій є основними перевагами сховища функцій. У цьому дописі ми пояснили, як ви можете використовувати метадані на рівні функції, щоб покращити пошук і виявлення функцій. Це включало створення метаданих для різноманітних випадків використання та використання їх як додаткових параметрів пошуку.

Спробуйте й повідомте нам свою думку в коментарях. Якщо ви хочете дізнатися більше про функції співпраці та спільного використання в магазині функцій, зверніться до Увімкніть повторне використання функцій в облікових записах і командах за допомогою Amazon SageMaker Feature Store.

Про авторів

Арно Лауер є старшим архітектором партнерських рішень у команді державного сектору в AWS. Він дає змогу партнерам і клієнтам зрозуміти, як найкраще використовувати технології AWS для перетворення потреб бізнесу в рішення. Він має більш ніж 16-річний досвід у розробці та розробці проектів цифрової трансформації в різних галузях, включаючи державний сектор, енергетику та споживчі товари. Штучний інтелект і машинне навчання є одними з його захоплень. Арно має 12 сертифікатів AWS, включаючи сертифікат спеціальності ML.

Ніколя Берньє є асоційованим архітектором рішень, частиною команди канадського державного сектору в AWS. Наразі він здобуває ступінь магістра в галузі глибокого навчання та має п’ять сертифікатів AWS, у тому числі спеціальність ML. Ніколас прагне допомогти клієнтам поглибити свої знання про AWS, працюючи з ними над перетворенням їхніх бізнес-завдач у технічні рішення.

Марк Рой є головним архітектором машинного навчання для AWS, який допомагає клієнтам розробляти та створювати рішення AI/ML. Робота Марка охоплює широкий спектр випадків використання машинного навчання, з головним інтересом до комп’ютерного бачення, глибокого навчання та масштабування ML у масштабах підприємства. Він допомагав компаніям у багатьох галузях, включаючи страхування, фінансові послуги, медіа та розваги, охорону здоров’я, комунальні послуги та виробництво. Марк має шість сертифікатів AWS, включаючи сертифікат спеціальності ML. До того, як приєднатися до AWS, Марк був архітектором, розробником і технологічним лідером понад 25 років, у тому числі 19 років у фінансових послугах.

Хушбу Шрівастава є старшим менеджером із продуктів Amazon SageMaker. Їй подобається створювати продукти, які спрощують робочі процеси машинного навчання для клієнтів. У вільний час вона любить грати на скрипці, займатися йогою та подорожувати.