Magasin de fonctionnalités Amazon SageMaker aide les scientifiques des données et les ingénieurs en apprentissage automatique (ML) à stocker, découvrir et partager en toute sécurité les données conservées utilisées dans les flux de travail de formation et de prédiction. Feature Store est un magasin centralisé pour les fonctionnalités et les métadonnées associées, permettant aux fonctionnalités d'être facilement découvertes et réutilisées par les équipes de data scientists travaillant sur différents projets ou modèles ML.
Avec Feature Store, vous avez toujours été en mesure d'ajouter des métadonnées au niveau du groupe de fonctionnalités. Les scientifiques des données qui souhaitent pouvoir rechercher et découvrir des fonctionnalités existantes pour leurs modèles ont désormais la possibilité de rechercher des informations au niveau des fonctionnalités en ajoutant des métadonnées personnalisées. Par exemple, les informations peuvent inclure une description de la fonctionnalité, la date de sa dernière modification, sa source de données d'origine, certaines métriques ou le niveau de sensibilité.
Le diagramme suivant illustre les relations d'architecture entre les groupes de fonctionnalités, les fonctionnalités et les métadonnées associées. Notez comment les scientifiques des données peuvent désormais spécifier des descriptions et des métadonnées à la fois au niveau du groupe de fonctionnalités et au niveau de la fonctionnalité individuelle.
Dans cet article, nous expliquons comment les scientifiques des données et les ingénieurs ML peuvent utiliser les métadonnées au niveau des fonctionnalités avec les nouvelles fonctionnalités de recherche et de découverte de Feature Store pour promouvoir une meilleure réutilisation des fonctionnalités dans leur organisation. Cette fonctionnalité peut considérablement aider les scientifiques des données dans le processus de sélection des fonctionnalités et, par conséquent, vous aider à identifier les fonctionnalités qui conduisent à une précision accrue du modèle.
Cas d'utilisation
Pour les besoins de cet article, nous utilisons deux groupes de fonctionnalités, customer
ainsi que le loan
.
La customer
groupe de fonctionnalités possède les fonctionnalités suivantes :
- âge – Âge du client (numérique)
- JOB – Type de travail (codé à chaud, tel que
admin
orservices
) - matrimonial – État matrimonial (encodé à chaud, tel que
married
orsingle
) - l'éducation – Niveau d'éducation (encodé à chaud, tel que
basic 4y
orhigh school
)
La loan
groupe de fonctionnalités possède les fonctionnalités suivantes :
- défaut – A un crédit en défaut ? (encodé à chaud :
no
oryes
) - logement – A un prêt immobilier ? (encodé à chaud :
no
oryes
) - prêt – A un prêt personnel ? (encodé à chaud :
no
oryes
) - montant total – Montant total des prêts (numérique)
La figure suivante montre des exemples de groupes de fonctionnalités et de métadonnées de fonctionnalités.
Le but de l'ajout d'une description et de l'attribution de métadonnées à chaque fonctionnalité est d'augmenter la vitesse de découverte en activant de nouveaux paramètres de recherche avec lesquels un scientifique des données ou un ingénieur ML peut explorer les fonctionnalités. Ceux-ci peuvent refléter des détails sur une fonctionnalité tels que son calcul, qu'il s'agisse d'une moyenne sur 6 mois ou 1 an, l'origine, le créateur ou le propriétaire, la signification de la fonctionnalité, etc.
Dans les sections suivantes, nous fournissons deux approches pour rechercher et découvrir des fonctionnalités et configurer les métadonnées au niveau des fonctionnalités : la première utilisant Amazon SageMakerStudio directement, et le second par programmation.
Découverte de fonctionnalités dans Studio
Vous pouvez facilement rechercher et interroger des fonctionnalités à l'aide de Studio. Grâce aux nouvelles capacités de recherche et de découverte améliorées, vous pouvez récupérer immédiatement les résultats en utilisant une simple saisie anticipée de quelques caractères.
La capture d'écran suivante illustre les fonctionnalités suivantes :
- Vous pouvez accéder à la Catalogue de fonctionnalités tabulez et observez les fonctionnalités dans les groupes de fonctionnalités. Les fonctions sont présentées dans un tableau qui inclut le nom de la fonction, le type, la description, les paramètres, la date de création et le nom du groupe de fonctions associé.
- Vous pouvez utiliser directement la fonctionnalité de saisie anticipée pour renvoyer immédiatement les résultats de la recherche.
- Vous avez la possibilité d'utiliser différents types d'options de filtre :
All
,Feature name
,Description
ouParameters
. Noter queAll
renverra toutes les fonctionnalités où soitFeature name
,Description
ouParameters
correspondent aux critères de recherche. - Vous pouvez affiner davantage la recherche en spécifiant une plage de dates à l'aide de la
Created from
ainsi que leCreated to
champs et en spécifiant les paramètres à l'aide de laSearch parameter key
ainsi que leSearch parameter value
champs.
Après avoir sélectionné une fonctionnalité, vous pouvez choisir le nom de la fonctionnalité pour afficher ses détails. Lorsque vous choisissez Modifier les métadonnées, vous pouvez ajouter une description et jusqu'à 25 paramètres de valeur-clé, comme illustré dans la capture d'écran suivante. Dans cette vue, vous pouvez finalement créer, afficher, mettre à jour et supprimer les métadonnées de l'entité. La capture d'écran suivante montre comment modifier les métadonnées des fonctionnalités pour total_amount
.
Comme indiqué précédemment, l'ajout de paires clé-valeur à une fonctionnalité vous donne plus de dimensions pour rechercher leurs fonctionnalités données. Pour notre exemple, l'origine de la fonctionnalité a été ajoutée aux métadonnées de chaque fonctionnalité. Lorsque vous choisissez l'icône de recherche et que vous filtrez le long de la paire clé-valeur origin: job
, vous pouvez voir toutes les fonctionnalités qui ont été encodées à chaud à partir de cet attribut de base.
Découverte de fonctionnalités à l'aide de code
Vous pouvez également accéder aux informations sur les fonctionnalités et les mettre à jour via le Interface de ligne de commande AWS (AWS CLI) et SDK (Boto3) plutôt que directement via le Console de gestion AWS. Cela vous permet d'intégrer la fonctionnalité de recherche au niveau des fonctionnalités de Feature Store avec vos propres plateformes de science des données personnalisées. Dans cette section, nous interagissons avec les points de terminaison de l'API Boto3 pour mettre à jour et rechercher les métadonnées des fonctionnalités.
Pour commencer à améliorer la recherche et la découverte d'entités, vous pouvez ajouter des métadonnées à l'aide de la update_feature_metadata
API. En plus de description
ainsi que le created_date
champs, vous pouvez ajouter jusqu'à 25 paramètres (paires clé-valeur) à une caractéristique donnée.
Le code suivant est un exemple de cinq paramètres de valeur-clé possibles qui ont été ajoutés au job_admin
caractéristique. Cette fonctionnalité a été créée, avec job_services
ainsi que le job_none
, par encodage à chaud job
.
Après author
, team
, origin
, sensitivity
et une env
ont été ajoutés au job_admin
fonctionnalité, les data scientists ou les ingénieurs ML peuvent les récupérer en appelant le describe_feature_metadata
API. Vous pouvez naviguer vers le Parameters
objet dans la réponse pour les métadonnées que nous avons précédemment ajoutées à notre fonctionnalité. La describe_feature_metadata
Le point de terminaison de l'API vous permet d'obtenir un meilleur aperçu d'une fonctionnalité donnée en obtenant ses métadonnées associées.
Vous pouvez rechercher des fonctionnalités à l'aide de SageMaker search
API utilisant des métadonnées comme paramètres de recherche. Le code suivant est un exemple de fonction qui prend une search_string
comme entrée et renvoie toutes les entités dont le nom, la description ou les paramètres correspondent à la condition :
L'extrait de code suivant utilise notre search_features
fonction pour récupérer toutes les fonctionnalités pour lesquelles le nom de la fonctionnalité, la description ou les paramètres contiennent le mot job
:
La capture d'écran suivante contient la liste des noms de fonctionnalités correspondants ainsi que leurs métadonnées correspondantes, y compris les horodatages pour la création et la dernière modification de chaque fonctionnalité. Vous pouvez utiliser ces informations pour améliorer la découverte et la visibilité des fonctionnalités de votre organisation.
Conclusion
SageMaker Feature Store fournit une solution de gestion des fonctionnalités spécialement conçue pour aider les organisations à faire évoluer le développement ML entre les unités commerciales et les équipes de science des données. L'amélioration de la réutilisation et de la cohérence des fonctionnalités sont les principaux avantages d'un magasin de fonctionnalités. Dans cet article, nous avons expliqué comment vous pouvez utiliser les métadonnées au niveau des fonctionnalités pour améliorer la recherche et la découverte de fonctionnalités. Cela comprenait la création de métadonnées autour d'une variété de cas d'utilisation et leur utilisation comme paramètres de recherche supplémentaires.
Essayez-le et dites-nous ce que vous en pensez dans les commentaires. Si vous souhaitez en savoir plus sur la collaboration et le partage des fonctionnalités dans Feature Store, reportez-vous à Activer la réutilisation des fonctionnalités entre les comptes et les équipes à l'aide d'Amazon SageMaker Feature Store.
À propos des auteurs
Arnaud Lauer est Senior Partner Solutions Architect dans l'équipe du secteur public chez AWS. Il permet aux partenaires et aux clients de comprendre comment utiliser au mieux les technologies AWS pour traduire les besoins de l'entreprise en solutions. Il apporte plus de 16 ans d'expérience dans la réalisation et l'architecture de projets de transformation numérique dans divers secteurs, notamment le secteur public, l'énergie et les biens de consommation. L'intelligence artificielle et l'apprentissage automatique font partie de ses passions. Arnaud détient 12 certifications AWS, dont la certification de spécialité ML.
Nicolas Bernier est un architecte de solutions associé, qui fait partie de l'équipe du secteur public canadien chez AWS. Il poursuit actuellement une maîtrise avec un domaine de recherche en apprentissage profond et détient cinq certifications AWS, dont la certification de spécialité ML. Nicolas est passionné d'aider les clients à approfondir leurs connaissances d'AWS en travaillant avec eux pour traduire leurs défis commerciaux en solutions techniques.
Marc Roy est un architecte principal d'apprentissage automatique pour AWS, aidant les clients à concevoir et à créer des solutions AI / ML. Le travail de Mark couvre un large éventail de cas d'utilisation du ML, avec un intérêt principal pour la vision par ordinateur, l'apprentissage en profondeur et la mise à l'échelle du ML dans l'entreprise. Il a aidé des entreprises dans de nombreux secteurs, notamment l'assurance, les services financiers, les médias et le divertissement, la santé, les services publics et la fabrication. Mark détient six certifications AWS, dont la certification ML Specialty. Avant de rejoindre AWS, Mark a été architecte, développeur et leader technologique pendant plus de 25 ans, dont 19 ans dans les services financiers.
Khushboo Srivastava est chef de produit senior pour Amazon SageMaker. Elle aime créer des produits qui simplifient les flux de travail d'apprentissage automatique pour les clients. Dans ses temps libres, elle aime jouer du violon, pratiquer le yoga et voyager.
- AI
- art de l'IA
- générateur d'art ai
- robot IA
- Amazon Sage Maker
- intelligence artificielle
- certification en intelligence artificielle
- intelligence artificielle en banque
- robot d'intelligence artificielle
- robots d'intelligence artificielle
- logiciel d'intelligence artificielle
- Apprentissage automatique AWS
- blockchain
- conférence blockchain ai
- cognitif
- intelligence artificielle conversationnelle
- crypto conférence ai
- de dall
- l'apprentissage en profondeur
- google ai
- machine learning
- Platon
- platon ai
- Intelligence des données Platon
- Jeu de Platon
- PlatonDonnées
- jeu de platogamie
- échelle ai
- syntaxe
- zéphyrnet