Favorisez la découverte et la réutilisation des fonctionnalités dans votre organisation à l'aide d'Amazon SageMaker Feature Store et de sa capacité de métadonnées au niveau des fonctionnalités

Magasin de fonctionnalités Amazon SageMaker aide les scientifiques des données et les ingénieurs en apprentissage automatique (ML) à stocker, découvrir et partager en toute sécurité les données conservées utilisées dans les flux de travail de formation et de prédiction. Feature Store est un magasin centralisé pour les fonctionnalités et les métadonnées associées, permettant aux fonctionnalités d'être facilement découvertes et réutilisées par les équipes de data scientists travaillant sur différents projets ou modèles ML.

Avec Feature Store, vous avez toujours été en mesure d'ajouter des métadonnées au niveau du groupe de fonctionnalités. Les scientifiques des données qui souhaitent pouvoir rechercher et découvrir des fonctionnalités existantes pour leurs modèles ont désormais la possibilité de rechercher des informations au niveau des fonctionnalités en ajoutant des métadonnées personnalisées. Par exemple, les informations peuvent inclure une description de la fonctionnalité, la date de sa dernière modification, sa source de données d'origine, certaines métriques ou le niveau de sensibilité.

Le diagramme suivant illustre les relations d'architecture entre les groupes de fonctionnalités, les fonctionnalités et les métadonnées associées. Notez comment les scientifiques des données peuvent désormais spécifier des descriptions et des métadonnées à la fois au niveau du groupe de fonctionnalités et au niveau de la fonctionnalité individuelle.

Dans cet article, nous expliquons comment les scientifiques des données et les ingénieurs ML peuvent utiliser les métadonnées au niveau des fonctionnalités avec les nouvelles fonctionnalités de recherche et de découverte de Feature Store pour promouvoir une meilleure réutilisation des fonctionnalités dans leur organisation. Cette fonctionnalité peut considérablement aider les scientifiques des données dans le processus de sélection des fonctionnalités et, par conséquent, vous aider à identifier les fonctionnalités qui conduisent à une précision accrue du modèle.

Cas d'utilisation

Pour les besoins de cet article, nous utilisons deux groupes de fonctionnalités, customer ainsi que loan.

La customer groupe de fonctionnalités possède les fonctionnalités suivantes :

• âge – Âge du client (numérique)
• JOB – Type de travail (codé à chaud, tel que admin or services)
• matrimonial – État matrimonial (encodé à chaud, tel que married or single)
• l'éducation – Niveau d'éducation (encodé à chaud, tel que basic 4y or high school)

La loan groupe de fonctionnalités possède les fonctionnalités suivantes :

• défaut – A un crédit en défaut ? (encodé à chaud : no or yes)
• logement – A un prêt immobilier ? (encodé à chaud : no or yes)
• prêt – A un prêt personnel ? (encodé à chaud : no or yes)
• montant total – Montant total des prêts (numérique)

La figure suivante montre des exemples de groupes de fonctionnalités et de métadonnées de fonctionnalités.

Le but de l'ajout d'une description et de l'attribution de métadonnées à chaque fonctionnalité est d'augmenter la vitesse de découverte en activant de nouveaux paramètres de recherche avec lesquels un scientifique des données ou un ingénieur ML peut explorer les fonctionnalités. Ceux-ci peuvent refléter des détails sur une fonctionnalité tels que son calcul, qu'il s'agisse d'une moyenne sur 6 mois ou 1 an, l'origine, le créateur ou le propriétaire, la signification de la fonctionnalité, etc.

Dans les sections suivantes, nous fournissons deux approches pour rechercher et découvrir des fonctionnalités et configurer les métadonnées au niveau des fonctionnalités : la première utilisant Amazon SageMakerStudio directement, et le second par programmation.

Découverte de fonctionnalités dans Studio

Vous pouvez facilement rechercher et interroger des fonctionnalités à l'aide de Studio. Grâce aux nouvelles capacités de recherche et de découverte améliorées, vous pouvez récupérer immédiatement les résultats en utilisant une simple saisie anticipée de quelques caractères.

La capture d'écran suivante illustre les fonctionnalités suivantes :

• Vous pouvez accéder à la Catalogue de fonctionnalités tabulez et observez les fonctionnalités dans les groupes de fonctionnalités. Les fonctions sont présentées dans un tableau qui inclut le nom de la fonction, le type, la description, les paramètres, la date de création et le nom du groupe de fonctions associé.
• Vous pouvez utiliser directement la fonctionnalité de saisie anticipée pour renvoyer immédiatement les résultats de la recherche.
• Vous avez la possibilité d'utiliser différents types d'options de filtre : All, Feature name, Descriptionou Parameters. Noter que All renverra toutes les fonctionnalités où soit Feature name, Descriptionou Parameters correspondent aux critères de recherche.
• Vous pouvez affiner davantage la recherche en spécifiant une plage de dates à l'aide de la Created from ainsi que Created to champs et en spécifiant les paramètres à l'aide de la Search parameter key ainsi que Search parameter value champs.

Après avoir sélectionné une fonctionnalité, vous pouvez choisir le nom de la fonctionnalité pour afficher ses détails. Lorsque vous choisissez Modifier les métadonnées, vous pouvez ajouter une description et jusqu'à 25 paramètres de valeur-clé, comme illustré dans la capture d'écran suivante. Dans cette vue, vous pouvez finalement créer, afficher, mettre à jour et supprimer les métadonnées de l'entité. La capture d'écran suivante montre comment modifier les métadonnées des fonctionnalités pour total_amount.

Comme indiqué précédemment, l'ajout de paires clé-valeur à une fonctionnalité vous donne plus de dimensions pour rechercher leurs fonctionnalités données. Pour notre exemple, l'origine de la fonctionnalité a été ajoutée aux métadonnées de chaque fonctionnalité. Lorsque vous choisissez l'icône de recherche et que vous filtrez le long de la paire clé-valeur origin: job, vous pouvez voir toutes les fonctionnalités qui ont été encodées à chaud à partir de cet attribut de base.

Découverte de fonctionnalités à l'aide de code

Vous pouvez également accéder aux informations sur les fonctionnalités et les mettre à jour via le Interface de ligne de commande AWS (AWS CLI) et SDK (Boto3) plutôt que directement via le Console de gestion AWS. Cela vous permet d'intégrer la fonctionnalité de recherche au niveau des fonctionnalités de Feature Store avec vos propres plateformes de science des données personnalisées. Dans cette section, nous interagissons avec les points de terminaison de l'API Boto3 pour mettre à jour et rechercher les métadonnées des fonctionnalités.

Pour commencer à améliorer la recherche et la découverte d'entités, vous pouvez ajouter des métadonnées à l'aide de la update_feature_metadata API. En plus de description ainsi que created_date champs, vous pouvez ajouter jusqu'à 25 paramètres (paires clé-valeur) à une caractéristique donnée.

Le code suivant est un exemple de cinq paramètres de valeur-clé possibles qui ont été ajoutés au job_admin caractéristique. Cette fonctionnalité a été créée, avec job_services ainsi que job_none, par encodage à chaud job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Après author, team, origin, sensitivityet env ont été ajoutés au job_admin fonctionnalité, les data scientists ou les ingénieurs ML peuvent les récupérer en appelant le describe_feature_metadata API. Vous pouvez naviguer vers le Parameters objet dans la réponse pour les métadonnées que nous avons précédemment ajoutées à notre fonctionnalité. La describe_feature_metadata Le point de terminaison de l'API vous permet d'obtenir un meilleur aperçu d'une fonctionnalité donnée en obtenant ses métadonnées associées.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Vous pouvez rechercher des fonctionnalités à l'aide de SageMaker search API utilisant des métadonnées comme paramètres de recherche. Le code suivant est un exemple de fonction qui prend une search_string comme entrée et renvoie toutes les entités dont le nom, la description ou les paramètres correspondent à la condition :

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

L'extrait de code suivant utilise notre search_features fonction pour récupérer toutes les fonctionnalités pour lesquelles le nom de la fonctionnalité, la description ou les paramètres contiennent le mot job:

search_results = search_features_using_string('mlops')
search_results

La capture d'écran suivante contient la liste des noms de fonctionnalités correspondants ainsi que leurs métadonnées correspondantes, y compris les horodatages pour la création et la dernière modification de chaque fonctionnalité. Vous pouvez utiliser ces informations pour améliorer la découverte et la visibilité des fonctionnalités de votre organisation.

Conclusion

SageMaker Feature Store fournit une solution de gestion des fonctionnalités spécialement conçue pour aider les organisations à faire évoluer le développement ML entre les unités commerciales et les équipes de science des données. L'amélioration de la réutilisation et de la cohérence des fonctionnalités sont les principaux avantages d'un magasin de fonctionnalités. Dans cet article, nous avons expliqué comment vous pouvez utiliser les métadonnées au niveau des fonctionnalités pour améliorer la recherche et la découverte de fonctionnalités. Cela comprenait la création de métadonnées autour d'une variété de cas d'utilisation et leur utilisation comme paramètres de recherche supplémentaires.

Essayez-le et dites-nous ce que vous en pensez dans les commentaires. Si vous souhaitez en savoir plus sur la collaboration et le partage des fonctionnalités dans Feature Store, reportez-vous à Activer la réutilisation des fonctionnalités entre les comptes et les équipes à l'aide d'Amazon SageMaker Feature Store.

À propos des auteurs

Arnaud Lauer est Senior Partner Solutions Architect dans l'équipe du secteur public chez AWS. Il permet aux partenaires et aux clients de comprendre comment utiliser au mieux les technologies AWS pour traduire les besoins de l'entreprise en solutions. Il apporte plus de 16 ans d'expérience dans la réalisation et l'architecture de projets de transformation numérique dans divers secteurs, notamment le secteur public, l'énergie et les biens de consommation. L'intelligence artificielle et l'apprentissage automatique font partie de ses passions. Arnaud détient 12 certifications AWS, dont la certification de spécialité ML.

Nicolas Bernier est un architecte de solutions associé, qui fait partie de l'équipe du secteur public canadien chez AWS. Il poursuit actuellement une maîtrise avec un domaine de recherche en apprentissage profond et détient cinq certifications AWS, dont la certification de spécialité ML. Nicolas est passionné d'aider les clients à approfondir leurs connaissances d'AWS en travaillant avec eux pour traduire leurs défis commerciaux en solutions techniques.

Marc Roy est un architecte principal d'apprentissage automatique pour AWS, aidant les clients à concevoir et à créer des solutions AI / ML. Le travail de Mark couvre un large éventail de cas d'utilisation du ML, avec un intérêt principal pour la vision par ordinateur, l'apprentissage en profondeur et la mise à l'échelle du ML dans l'entreprise. Il a aidé des entreprises dans de nombreux secteurs, notamment l'assurance, les services financiers, les médias et le divertissement, la santé, les services publics et la fabrication. Mark détient six certifications AWS, dont la certification ML Specialty. Avant de rejoindre AWS, Mark a été architecte, développeur et leader technologique pendant plus de 25 ans, dont 19 ans dans les services financiers.

Khushboo Srivastava est chef de produit senior pour Amazon SageMaker. Elle aime créer des produits qui simplifient les flux de travail d'apprentissage automatique pour les clients. Dans ses temps libres, elle aime jouer du violon, pratiquer le yoga et voyager.