Promoot het ontdekken en hergebruiken van functies in uw hele organisatie met behulp van Amazon SageMaker Feature Store en de metadatafunctie op functieniveau

Amazon SageMaker Feature Store helpt datawetenschappers en machine learning-engineers (ML) om beheerde gegevens die worden gebruikt in trainings- en voorspellingsworkflows veilig op te slaan, te ontdekken en te delen. Feature Store is een gecentraliseerde winkel voor functies en bijbehorende metadata, waardoor functies gemakkelijk kunnen worden ontdekt en hergebruikt door datawetenschappers die aan verschillende projecten of ML-modellen werken.

Met Feature Store heb je altijd metadata kunnen toevoegen op featuregroepniveau. Gegevenswetenschappers die de mogelijkheid willen hebben om bestaande functies voor hun modellen te doorzoeken en te ontdekken, kunnen nu naar informatie op functieniveau zoeken door aangepaste metadata toe te voegen. De informatie kan bijvoorbeeld een beschrijving van de functie bevatten, de datum waarop deze voor het laatst is gewijzigd, de oorspronkelijke gegevensbron, bepaalde statistieken of het gevoeligheidsniveau.

Het volgende diagram illustreert de architectuurrelaties tussen functiegroepen, functies en bijbehorende metagegevens. Merk op hoe datawetenschappers nu beschrijvingen en metadata kunnen specificeren op zowel het functiegroepniveau als het individuele functieniveau.

In dit bericht leggen we uit hoe datawetenschappers en ML-engineers metadata op functieniveau kunnen gebruiken met de nieuwe zoek- en ontdekkingsmogelijkheden van Feature Store om het hergebruik van functies in hun hele organisatie te bevorderen. Deze mogelijkheid kan datawetenschappers aanzienlijk helpen bij het selectieproces van functies en, als resultaat, u helpen bij het identificeren van functies die leiden tot een grotere modelnauwkeurigheid.

Gebruik geval

Voor de doeleinden van dit bericht gebruiken we twee functiegroepen, customer en loan.

De customer functiegroep heeft de volgende kenmerken:

• leeftijd – Leeftijd van de klant (numeriek)
• baan – Type taak (one-hot gecodeerd, zoals admin or services)
• huwelijks- – Burgerlijke staat (one-hot gecodeerd, zoals married or single)
• onderwijs – Opleidingsniveau (one-hot gecodeerd, zoals basic 4y or high school)

De loan functiegroep heeft de volgende kenmerken:

• verzuim – Heeft krediet in gebreke? (one-hot gecodeerd: no or yes)
• behuizing – Heeft een woonlening? (one-hot gecodeerd: no or yes)
• lening – Heeft een persoonlijke lening? (one-hot gecodeerd: no or yes)
• totaalbedrag – Totaal bedrag aan leningen (numeriek)

De volgende afbeelding toont voorbeeldfunctiegroepen en functiemetagegevens.

Het doel van het toevoegen van een beschrijving en het toewijzen van metadata aan elke functie is om de ontdekkingssnelheid te verhogen door nieuwe zoekparameters in te schakelen waarmee een datawetenschapper of ML-engineer functies kan verkennen. Deze kunnen details over een functie weergeven, zoals de berekening, of het nu gaat om een ​​gemiddelde over 6 maanden of 1 jaar, herkomst, maker of eigenaar, wat de functie betekent en meer.

In de volgende secties bieden we twee benaderingen voor het zoeken en ontdekken van functies en het configureren van metadata op functieniveau: de eerste met Amazon SageMaker Studio direct, en de tweede programmatisch.

Functies ontdekken in Studio

Met Studio kunt u eenvoudig functies zoeken en opvragen. Met de nieuwe verbeterde zoek- en ontdekkingsmogelijkheden kunt u onmiddellijk resultaten ophalen door een paar tekens vooruit te typen.

De volgende schermafbeelding demonstreert de volgende mogelijkheden:

• U heeft toegang tot de Functiecatalogus tabblad en observeer functies in functiegroepen. De functies worden weergegeven in een tabel met de functienaam, het type, de beschrijving, de parameters, de aanmaakdatum en de naam van de bijbehorende functiegroep.
• U kunt de type-ahead-functionaliteit direct gebruiken om zoekresultaten onmiddellijk te retourneren.
• U heeft de flexibiliteit om verschillende soorten filteropties te gebruiken: All, Feature name, Descriptionof Parameters. Merk op dat All zal alle functies retourneren waar ofwel Feature name, Descriptionof Parameters overeenkomen met de zoekcriteria.
• U kunt de zoekopdracht verder verfijnen door een datumbereik op te geven met behulp van de Created from en Created to velden en specificeren van parameters met behulp van de Search parameter key en Search parameter value te worden.

Nadat u een functie hebt geselecteerd, kunt u de naam van de functie kiezen om de details ervan weer te geven. Wanneer u kiest Bewerk metagegevens, kunt u een beschrijving en maximaal 25 sleutelwaardeparameters toevoegen, zoals weergegeven in de volgende schermafbeelding. Binnen deze weergave kunt u uiteindelijk de metagegevens van de functie maken, bekijken, bijwerken en verwijderen. De volgende schermafbeelding illustreert hoe u metagegevens van functies kunt bewerken voor: total_amount.

Zoals eerder vermeld, geeft het toevoegen van sleutel-waardeparen aan een functie u meer dimensies waarlangs u kunt zoeken naar hun bepaalde kenmerken. Voor ons voorbeeld is de oorsprong van de functie toegevoegd aan de metadata van elke functie. Wanneer u het zoekpictogram kiest en filtert op het sleutel/waarde-paar origin: job, kunt u alle functies zien die one-hot-encoded waren vanaf dit basiskenmerk.

Functie-ontdekking met behulp van code

U kunt ook toegang krijgen tot functie-informatie en deze bijwerken via de AWS-opdrachtregelinterface (AWS CLI) en SDK (Boto3) in plaats van rechtstreeks via de AWS-beheerconsole. Hierdoor kunt u de zoekfunctionaliteit op functieniveau van Feature Store integreren met uw eigen aangepaste datawetenschapsplatforms. In deze sectie werken we samen met de Boto3 API-eindpunten om metadata van functies bij te werken en te doorzoeken.

Om het zoeken en ontdekken van functies te verbeteren, kunt u metadata toevoegen met behulp van de update_feature_metadata API. Naast de description en created_date velden kunt u maximaal 25 parameters (sleutel-waarde-paren) toevoegen aan een bepaalde functie.

De volgende code is een voorbeeld van vijf mogelijke sleutel-waardeparameters die zijn toegevoegd aan de job_admin voorzien zijn van. Deze functie is gemaakt, samen met: job_services en job_none, door één-hot-codering job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Na author, team, origin, sensitivity en env zijn toegevoegd aan de job_admin kunnen datawetenschappers of ML-engineers ze ophalen door de describe_feature_metadata API. U kunt navigeren naar de Parameters object in de reactie voor de metadata die we eerder aan onze functie hebben toegevoegd. De describe_feature_metadata Met API-eindpunt kunt u meer inzicht krijgen in een bepaalde functie door de bijbehorende metagegevens te verkrijgen.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

U kunt naar functies zoeken met behulp van de SageMaker search API met metadata als zoekparameters. De volgende code is een voorbeeldfunctie waarvoor a search_string parameter als invoer en retourneert alle objecten waarvan de naam, beschrijving of parameters van de functie overeenkomen met de voorwaarde:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Het volgende codefragment gebruikt onze search_features functie om alle functies op te halen waarvoor ofwel de functienaam, beschrijving of parameters het woord bevatten job:

search_results = search_features_using_string('mlops')
search_results

De volgende schermafbeelding bevat de lijst met overeenkomende functienamen en de bijbehorende metadata, inclusief tijdstempels voor de creatie en laatste wijziging van elke functie. U kunt deze informatie gebruiken om de detectie en zichtbaarheid van de functies van uw organisatie te verbeteren.

Conclusie

SageMaker Feature Store biedt een speciaal gebouwde oplossing voor functiebeheer om organisaties te helpen bij het schalen van ML-ontwikkeling over bedrijfseenheden en datawetenschapsteams. Het verbeteren van het hergebruik van functies en de consistentie van functies zijn de belangrijkste voordelen van een functiearchief. In dit bericht hebben we uitgelegd hoe u metadata op functieniveau kunt gebruiken om het zoeken en ontdekken van functies te verbeteren. Dit omvatte het creëren van metadata rond verschillende gebruiksscenario's en het gebruiken ervan als aanvullende zoekparameters.

Probeer het eens en laat ons weten wat je ervan vindt in de reacties. Als u meer wilt weten over het samenwerken en delen van functies binnen Feature Store, raadpleeg dan: Schakel het hergebruik van functies in verschillende accounts en teams in met Amazon SageMaker Feature Store.

Over de auteurs

Arnaud Lauer is Senior Partner Solutions Architect in het Public Sector-team van AWS. Hij stelt partners en klanten in staat te begrijpen hoe AWS-technologieën het beste kunnen worden gebruikt om zakelijke behoeften in oplossingen te vertalen. Hij heeft meer dan 16 jaar ervaring in het leveren en ontwerpen van digitale transformatieprojecten in een groot aantal sectoren, waaronder de publieke sector, energie en consumptiegoederen. Kunstmatige intelligentie en machine learning zijn enkele van zijn passies. Arnaud heeft 12 AWS-certificeringen, waaronder de ML Specialty-certificering.

Nicolaas Bernier is een Associate Solutions Architect, onderdeel van het Canadian Public Sector-team bij AWS. Hij volgt momenteel een masteropleiding met een onderzoeksgebied in Deep Learning en heeft vijf AWS-certificeringen, waaronder de ML Specialty-certificering. Nicolas is gepassioneerd om klanten te helpen hun kennis van AWS te verdiepen door met hen samen te werken om hun zakelijke uitdagingen te vertalen in technische oplossingen.

Marc Roy is een Principal Machine Learning Architect voor AWS en helpt klanten bij het ontwerpen en bouwen van AI / ML-oplossingen. Marks werk omvat een breed scala aan ML-use-cases, met een primaire interesse in computervisie, deep learning en het schalen van ML binnen de onderneming. Hij heeft bedrijven in vele sectoren geholpen, waaronder verzekeringen, financiële dienstverlening, media en entertainment, gezondheidszorg, nutsbedrijven en productie. Mark heeft zes AWS-certificeringen, waaronder de ML Specialty-certificering. Voordat hij bij AWS kwam, was Mark meer dan 25 jaar architect, ontwikkelaar en technologieleider, waaronder 19 jaar in financiële dienstverlening.

Khushboo Srivastava is een Senior Product Manager voor Amazon SageMaker. Ze bouwt graag producten die machine learning-workflows voor klanten vereenvoudigen. In haar vrije tijd speelt ze graag viool, beoefent ze yoga en reist ze graag.