Promueva el descubrimiento y la reutilización de funciones en toda su organización utilizando Amazon SageMaker Feature Store y su capacidad de metadatos a nivel de funciones

Tienda de funciones de Amazon SageMaker ayuda a los científicos de datos y a los ingenieros de aprendizaje automático (ML) a almacenar, descubrir y compartir de forma segura los datos seleccionados que se utilizan en los flujos de trabajo de entrenamiento y predicción. Feature Store es un almacén centralizado de funciones y metadatos asociados, lo que permite que los equipos de científicos de datos que trabajan en diferentes proyectos o modelos de ML las descubran y reutilicen fácilmente.

Con Feature Store, siempre ha podido agregar metadatos a nivel de grupo de funciones. Los científicos de datos que desean tener la capacidad de buscar y descubrir características existentes para sus modelos ahora tienen la capacidad de buscar información en el nivel de características agregando metadatos personalizados. Por ejemplo, la información puede incluir una descripción de la característica, la fecha en que se modificó por última vez, su fuente de datos original, ciertas métricas o el nivel de confidencialidad.

El siguiente diagrama ilustra las relaciones de arquitectura entre grupos de características, características y metadatos asociados. Observe cómo los científicos de datos ahora pueden especificar descripciones y metadatos tanto a nivel de grupo de características como a nivel de característica individual.

En esta publicación, explicamos cómo los científicos de datos y los ingenieros de ML pueden usar metadatos a nivel de funciones con las nuevas capacidades de búsqueda y descubrimiento de Feature Store para promover una mejor reutilización de funciones en su organización. Esta capacidad puede ayudar significativamente a los científicos de datos en el proceso de selección de características y, como resultado, ayudarlo a identificar características que conducen a una mayor precisión del modelo.

Caso de uso

A los efectos de esta publicación, utilizamos dos grupos de características, customer y loan.

El customer grupo de características tiene las siguientes características:

• edad – Edad del cliente (numérico)
• trabajo – Tipo de trabajo (codificado en caliente, como admin or services)
• marital – Estado civil (codificado one-hot, como married or single)
• educación – Nivel de educación (codificado one-hot, como basic 4y or high school)

El loan grupo de características tiene las siguientes características:

• tu préstamo estudiantil – ¿Tiene el crédito en mora? (codificado en caliente: no or yes)
• viviendas – ¿Tiene préstamo de vivienda? (codificado en caliente: no or yes)
• préstamo – ¿Tiene préstamo personal? (codificado en caliente: no or yes)
• cantidad total – Importe total de los préstamos (numérico)

La siguiente figura muestra ejemplos de grupos de características y metadatos de características.

El propósito de agregar una descripción y asignar metadatos a cada función es aumentar la velocidad de descubrimiento al habilitar nuevos parámetros de búsqueda a lo largo de los cuales un científico de datos o un ingeniero de ML pueden explorar funciones. Estos pueden reflejar detalles sobre una función, como su cálculo, si es un promedio de 6 meses o 1 año, origen, creador o propietario, qué significa la función y más.

En las siguientes secciones, proporcionamos dos enfoques para buscar y descubrir funciones y configurar metadatos a nivel de funciones: el primero usando Estudio Amazon SageMaker directamente, y el segundo programáticamente.

Descubrimiento de funciones en Studio

Puede buscar y consultar funciones fácilmente con Studio. Con las nuevas capacidades mejoradas de búsqueda y descubrimiento, puede recuperar resultados inmediatamente con solo escribir unos pocos caracteres.

La siguiente captura de pantalla demuestra las siguientes capacidades:

• Puede acceder al Catálogo de funciones pestaña y observe las características en los grupos de características. Las funciones se presentan en una tabla que incluye el nombre de la función, el tipo, la descripción, los parámetros, la fecha de creación y el nombre del grupo de funciones asociado.
• Puede usar directamente la función de escritura anticipada para obtener resultados de búsqueda de inmediato.
• Tiene la flexibilidad de usar diferentes tipos de opciones de filtro: All, Feature name, Descriptiono Parameters. Tenga en cuenta que All devolverá todas las características donde ya sea Feature name, Descriptiono Parameters coincida con los criterios de búsqueda.
• Puede restringir aún más la búsqueda especificando un rango de fechas usando el Created from y Created to campos y especificando parámetros usando el Search parameter key y Search parameter value campos.

Después de haber seleccionado una función, puede elegir el nombre de la función para que aparezcan sus detalles. cuando eliges Editar metadatos, puede agregar una descripción y hasta 25 parámetros clave-valor, como se muestra en la siguiente captura de pantalla. Dentro de esta vista, en última instancia, puede crear, ver, actualizar y eliminar los metadatos de la entidad. La siguiente captura de pantalla ilustra cómo editar metadatos de entidades para total_amount.

Como se indicó anteriormente, agregar pares clave-valor a una característica le brinda más dimensiones a lo largo de las cuales buscar sus características dadas. Para nuestro ejemplo, el origen de la función se agregó a los metadatos de cada función. Cuando elige el ícono de búsqueda y filtra a lo largo del par clave-valor origin: job, puede ver todas las funciones que se codificaron en caliente a partir de este atributo base.

Descubrimiento de características usando código

También puede acceder y actualizar la información de funciones a través de la Interfaz de línea de comandos de AWS (AWS CLI) y SDK (Boto3) en lugar de directamente a través de la Consola de administración de AWS. Esto le permite integrar la funcionalidad de búsqueda a nivel de función de Feature Store con sus propias plataformas de ciencia de datos personalizadas. En esta sección, interactuamos con los extremos de la API de Boto3 para actualizar y buscar metadatos de funciones.

Para comenzar a mejorar la búsqueda y el descubrimiento de características, puede agregar metadatos usando el update_feature_metadata API. Además de description y created_date campos, puede agregar hasta 25 parámetros (pares clave-valor) a una característica determinada.

El siguiente código es un ejemplo de cinco posibles parámetros clave-valor que se han agregado al job_admin rasgo. Esta característica fue creada, junto con job_services y job_none, mediante una codificación en caliente job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Después author, team, origin, sensitivityy env se han agregado a la job_admin característica, los científicos de datos o los ingenieros de ML pueden recuperarlos llamando al describe_feature_metadata API. Puede navegar a la Parameters objeto en la respuesta de los metadatos que agregamos previamente a nuestra función. los describe_feature_metadata El punto de conexión de la API le permite obtener una mayor comprensión de una función dada al obtener sus metadatos asociados.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Puede buscar funciones mediante SageMaker search API que utiliza metadatos como parámetros de búsqueda. El siguiente código es una función de ejemplo que toma un search_string parámetro como entrada y devuelve todas las funciones donde el nombre, la descripción o los parámetros de la función coinciden con la condición:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

El siguiente fragmento de código utiliza nuestro search_features función para recuperar todas las funciones para las que el nombre de la función, la descripción o los parámetros contienen la palabra job:

search_results = search_features_using_string('mlops')
search_results

La siguiente captura de pantalla contiene la lista de nombres de funciones coincidentes, así como sus metadatos correspondientes, incluidas las marcas de tiempo para la creación y la última modificación de cada función. Puede utilizar esta información para mejorar el descubrimiento y la visibilidad de las características de su organización.

Conclusión

SageMaker Feature Store proporciona una solución de administración de funciones especialmente diseñada para ayudar a las organizaciones a escalar el desarrollo de ML en unidades comerciales y equipos de ciencia de datos. Mejorar la reutilización de características y la consistencia de características son los principales beneficios de una tienda de características. En esta publicación, explicamos cómo puede usar metadatos a nivel de función para mejorar la búsqueda y el descubrimiento de funciones. Esto incluyó la creación de metadatos en torno a una variedad de casos de uso y su uso como parámetros de búsqueda adicionales.

Pruébelo y háganos saber lo que piensa en los comentarios. Si desea obtener más información sobre las funciones de colaboración y uso compartido dentro de Feature Store, consulte Habilite la reutilización de funciones en todas las cuentas y equipos mediante Amazon SageMaker Feature Store.

Sobre los autores

Arnaud Lauer es Arquitecto Senior de Soluciones de Socios en el equipo del Sector Público en AWS. Permite a los socios y clientes comprender la mejor manera de utilizar las tecnologías de AWS para traducir las necesidades comerciales en soluciones. Aporta más de 16 años de experiencia en la entrega y la arquitectura de proyectos de transformación digital en una variedad de industrias, incluido el sector público, la energía y los bienes de consumo. La inteligencia artificial y el aprendizaje automático son algunas de sus pasiones. Arnaud posee 12 certificaciones de AWS, incluida la Certificación de especialidad de ML.

Nicolás Bernier es Arquitecto de Soluciones Asociado, parte del equipo del Sector Público Canadiense en AWS. Actualmente está realizando una maestría con área de investigación en Deep Learning y posee cinco certificaciones de AWS, incluida la Certificación de Especialidad ML. A Nicolás le apasiona ayudar a los clientes a profundizar su conocimiento de AWS trabajando con ellos para traducir sus desafíos comerciales en soluciones técnicas.

marca roy es un arquitecto principal de aprendizaje automático para AWS, que ayuda a los clientes a diseñar y desarrollar soluciones de IA / ML. El trabajo de Mark cubre una amplia gama de casos de uso de ML, con un interés principal en la visión por computadora, el aprendizaje profundo y la ampliación de ML en toda la empresa. Ha ayudado a empresas en muchas industrias, incluidas las de seguros, servicios financieros, medios y entretenimiento, atención médica, servicios públicos y fabricación. Mark tiene seis certificaciones de AWS, incluida la Certificación de especialidad ML. Antes de unirse a AWS, Mark fue arquitecto, desarrollador y líder tecnológico durante más de 25 años, incluidos 19 años en servicios financieros.

Khushboo Srivastava es gerente sénior de productos de Amazon SageMaker. Le gusta crear productos que simplifiquen los flujos de trabajo de aprendizaje automático para los clientes. En su tiempo libre, le gusta tocar el violín, practicar yoga y viajar.