Содействуйте обнаружению и повторному использованию функций в вашей организации с помощью Amazon SageMaker Feature Store и его возможностей метаданных на уровне функций.

Магазин функций Amazon SageMaker помогает специалистам по обработке и анализу данных и инженерам по машинному обучению (ML) безопасно хранить, обнаруживать и делиться тщательно отобранными данными, используемыми в рабочих процессах обучения и прогнозирования. Feature Store — это централизованное хранилище функций и связанных с ними метаданных, позволяющее командам специалистов по данным, работающим над разными проектами или моделями машинного обучения, легко обнаруживать и повторно использовать функции.

В Feature Store вы всегда можете добавлять метаданные на уровне группы функций. Исследователи данных, которые хотят иметь возможность искать и обнаруживать существующие функции для своих моделей, теперь могут искать информацию на уровне функций, добавляя пользовательские метаданные. Например, информация может включать описание функции, дату ее последнего изменения, исходный источник данных, определенные показатели или уровень конфиденциальности.

Следующая диаграмма иллюстрирует архитектурные отношения между группами функций, функциями и связанными метаданными. Обратите внимание, как специалисты по обработке и анализу данных теперь могут указывать описания и метаданные как на уровне групп объектов, так и на уровне отдельных объектов.

В этом посте мы объясним, как специалисты по данным и инженеры по машинному обучению могут использовать метаданные на уровне функций с новыми возможностями поиска и обнаружения в Feature Store, чтобы способствовать более эффективному повторному использованию функций в своей организации. Эта возможность может значительно помочь специалистам по обработке и анализу данных в процессе выбора функций и, как следствие, помочь вам определить функции, которые приводят к повышению точности модели.

Примеры использования

Для целей этого поста мы используем две группы функций: customer и loan.

Ассоциация customer Группа функций имеет следующие функции:

• возраст – Возраст клиента (числовой)
• работа – Тип задания (горячее кодирование, например admin or services)
• брачный – Семейное положение (горячее кодирование, например married or single)
• образование – Уровень образования (горячее кодирование, например basic 4y or high school)

Ассоциация loan Группа функций имеет следующие функции:

• по умолчанию – Есть кредит в дефолте? (горячее кодирование: no or yes)
• жилье – Жилищный кредит? (горячее кодирование: no or yes)
• варианты – Есть личный кредит? (горячее кодирование: no or yes)
• Общая сумма – Общая сумма кредитов (числовая)

На следующем рисунке показаны примеры групп функций и метаданных функций.

Целью добавления описания и назначения метаданных для каждой функции является увеличение скорости обнаружения за счет включения новых параметров поиска, по которым специалист по данным или инженер по машинному обучению может исследовать функции. Они могут отражать подробности о функции, такие как ее расчет, среднее значение за 6 месяцев или 1 год, происхождение, создатель или владелец, значение функции и многое другое.

В следующих разделах мы предлагаем два подхода к поиску и обнаружению функций и настройке метаданных на уровне функций: первый с использованием Студия Amazon SageMaker напрямую, а второй программно.

Обнаружение функций в Studio

Вы можете легко искать и запрашивать функции с помощью Studio. Благодаря новым расширенным возможностям поиска и обнаружения вы можете немедленно получать результаты, просто вводя несколько символов вперед.

На следующем снимке экрана показаны следующие возможности:

• Вы можете получить доступ к Каталог функций вкладку и наблюдайте за функциями в группах функций. Функции представлены в таблице, которая включает имя функции, тип, описание, параметры, дату создания и имя связанной группы функций.
• Вы можете напрямую использовать функцию опережающего ввода для немедленного возврата результатов поиска.
• У вас есть возможность использовать различные типы параметров фильтра: All, Feature name, Descriptionили Parameters, Обратите внимание, что All вернет все функции, где либо Feature name, Descriptionили Parameters соответствовать критериям поиска.
• Вы можете еще больше сузить область поиска, указав диапазон дат с помощью Created from и Created to поля и задание параметров с помощью Search parameter key и Search parameter value полей.

После того, как вы выбрали функцию, вы можете выбрать имя функции, чтобы отобразить сведения о ней. Когда вы выбираете Изменить метаданные, вы можете добавить описание и до 25 параметров "ключ-значение", как показано на следующем снимке экрана. В этом представлении вы можете создавать, просматривать, обновлять и удалять метаданные объекта. На следующем снимке экрана показано, как редактировать метаданные объекта для total_amount.

Как указывалось ранее, добавление пар ключ-значение к функции дает вам больше параметров для поиска заданных функций. В нашем примере источник объекта был добавлен к метаданным каждого объекта. Когда вы выбираете значок поиска и фильтруете по паре ключ-значение origin: job, вы можете увидеть все функции, которые были закодированы одним горячим кодом из этого базового атрибута.

Обнаружение функций с помощью кода

Вы также можете получить доступ к информации об объектах и ​​обновить ее через Интерфейс командной строки AWS (AWS CLI) и SDK (Boto3), а не напрямую через Консоль управления AWS. Это позволяет интегрировать функцию поиска Feature Store на уровне функций с вашими собственными платформами обработки данных. В этом разделе мы взаимодействуем с конечными точками API Boto3 для обновления и поиска метаданных функций.

Чтобы улучшить поиск и обнаружение функций, вы можете добавить метаданные с помощью update_feature_metadata API. В добавок к description и created_date поля, вы можете добавить до 25 параметров (пар ключ-значение) к данной функции.

Следующий код является примером пяти возможных параметров «ключ-значение», которые были добавлены в job_admin особенность. Эта функция была создана вместе с job_services и job_none, одним горячим кодированием job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

После author, team, origin, sensitivityкачества env были добавлены к job_admin функцию, специалисты по данным или инженеры по машинному обучению могут получить их, вызвав describe_feature_metadata API. Вы можете перейти к Parameters объект в ответе на метаданные, которые мы ранее добавили в нашу функцию. describe_feature_metadata Конечная точка API позволяет лучше понять данную функцию, получая связанные с ней метаданные.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Вы можете искать функции с помощью SageMaker search API, использующий метаданные в качестве параметров поиска. Следующий код является примером функции, которая принимает search_string параметр в качестве входных данных и возвращает все функции, в которых имя, описание или параметры функции соответствуют условию:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

В следующем фрагменте кода используется наш search_features функция для получения всех функций, для которых имя функции, описание или параметры содержат слово job:

search_results = search_features_using_string('mlops')
search_results

Следующий снимок экрана содержит список совпадающих имен функций, а также соответствующие им метаданные, включая метки времени создания и последней модификации каждой функции. Вы можете использовать эту информацию, чтобы улучшить обнаружение и наглядность функций вашей организации.

Заключение

SageMaker Feature Store — это специально созданное решение для управления функциями, которое помогает организациям масштабировать разработку машинного обучения между бизнес-подразделениями и группами специалистов по обработке и анализу данных. Улучшение повторного использования функций и согласованности функций — основные преимущества хранилища функций. В этом посте мы объяснили, как вы можете использовать метаданные на уровне функций для улучшения поиска и обнаружения функций. Это включало создание метаданных для различных вариантов использования и использование их в качестве дополнительных параметров поиска.

Попробуйте и дайте нам знать, что вы думаете в комментариях. Если вы хотите узнать больше о совместной работе и обмене функциями в Feature Store, см. Включение повторного использования функций в разных учетных записях и командах с помощью Amazon SageMaker Feature Store.

Об авторах

Арно Лауэр является старшим архитектором партнерских решений в команде государственного сектора в AWS. Он помогает партнерам и клиентам понять, как лучше всего использовать технологии AWS для преобразования потребностей бизнеса в решения. Он обладает более чем 16-летним опытом реализации и разработки проектов цифровой трансформации в различных отраслях, включая государственный сектор, энергетику и потребительские товары. Искусственный интеллект и машинное обучение — некоторые из его увлечений. Арно имеет 12 сертификатов AWS, включая сертификат ML Specialty Certification.

Николя Бернье является младшим архитектором решений, частью команды канадского государственного сектора в AWS. В настоящее время он получает степень магистра в области исследований в области глубокого обучения и имеет пять сертификатов AWS, включая сертификат по специальностям машинного обучения. Николас увлечен тем, что помогает клиентам углублять свои знания об AWS, работая с ними над воплощением их бизнес-задач в технические решения.

Марк Рой является главным архитектором машинного обучения для AWS, помогая клиентам разрабатывать и создавать решения AI / ML. Работа Марка охватывает широкий спектр сценариев использования машинного обучения, в первую очередь интересующихся компьютерным зрением, глубоким обучением и масштабированием машинного обучения на предприятии. Он помог компаниям во многих отраслях, включая страхование, финансовые услуги, средства массовой информации и развлечения, здравоохранение, коммунальные услуги и производство. Марк имеет шесть сертификатов AWS, включая сертификат ML Specialty Certification. До прихода в AWS Марк более 25 лет был архитектором, разработчиком и лидером в области технологий, в том числе 19 лет в сфере финансовых услуг.

Хушбу Шривастава является старшим менеджером по продуктам Amazon SageMaker. Ей нравится создавать продукты, которые упрощают рабочие процессы машинного обучения для клиентов. В свободное время она любит играть на скрипке, заниматься йогой и путешествовать.