Promuovi la scoperta e il riutilizzo delle funzionalità nella tua organizzazione utilizzando Amazon SageMaker Feature Store e la sua funzionalità di metadati a livello di funzionalità

Negozio di funzionalità Amazon SageMaker aiuta i data scientist e gli ingegneri di machine learning (ML) ad archiviare, scoprire e condividere in modo sicuro i dati selezionati utilizzati nei flussi di lavoro di formazione e previsione. Feature Store è un archivio centralizzato per funzionalità e metadati associati, che consente di scoprire e riutilizzare facilmente le funzionalità da parte dei team di data scientist che lavorano su diversi progetti o modelli ML.

Con Feature Store, sei sempre stato in grado di aggiungere metadati a livello di gruppo di funzionalità. I data scientist che desiderano la possibilità di cercare e scoprire funzionalità esistenti per i loro modelli ora hanno la possibilità di cercare informazioni a livello di funzionalità aggiungendo metadati personalizzati. Ad esempio, le informazioni possono includere una descrizione della funzione, la data dell'ultima modifica, l'origine dati originale, determinate metriche o il livello di sensibilità.

Il diagramma seguente illustra le relazioni dell'architettura tra gruppi di funzionalità, funzionalità e metadati associati. Nota come i data scientist possono ora specificare descrizioni e metadati sia a livello di gruppo di funzionalità che a livello di singola funzionalità.

In questo post, spieghiamo come i data scientist e gli ingegneri ML possono utilizzare i metadati a livello di funzionalità con le nuove funzionalità di ricerca e individuazione di Feature Store per promuovere un migliore riutilizzo delle funzionalità all'interno dell'organizzazione. Questa funzionalità può aiutare in modo significativo i data scientist nel processo di selezione delle funzionalità e, di conseguenza, aiutare a identificare le funzionalità che portano a una maggiore precisione del modello.

Caso d'uso

Ai fini di questo post, utilizziamo due gruppi di funzionalità, customer ed loan.

I customer gruppo di funzioni ha le seguenti caratteristiche:

• – Età del cliente (numerica)
• lavoro – Tipo di lavoro (codificato one-hot, ad es admin or services)
• coniugale – Stato civile (codificato one-hot, come married or single)
• continua – Livello di istruzione (codificato one-hot, come basic 4y or high school)

I loan gruppo di funzioni ha le seguenti caratteristiche:

• difetto – Il credito è inadempiente? (codificato one-hot: no or yes)
• alloggiamento – Ha un mutuo per la casa? (codificato one-hot: no or yes)
• prestito – Ha prestito personale? (codificato one-hot: no or yes)
• importo totale – Importo totale dei prestiti (numerico)

La figura seguente mostra gruppi di funzionalità di esempio e metadati di funzionalità.

Lo scopo dell'aggiunta di una descrizione e dell'assegnazione di metadati a ciascuna funzionalità è aumentare la velocità di individuazione abilitando nuovi parametri di ricerca lungo i quali un data scientist o un ingegnere ML può esplorare le funzionalità. Questi possono riflettere i dettagli su una funzionalità come il suo calcolo, che si tratti di una media su 6 mesi o 1 anno, origine, creatore o proprietario, cosa significa la funzionalità e altro ancora.

Nelle sezioni seguenti vengono forniti due approcci per cercare e scoprire funzionalità e configurare i metadati a livello di funzionalità: il primo utilizzo Amazon Sage Maker Studio direttamente e il secondo a livello di codice.

Scoperta delle funzionalità in Studio

Puoi cercare e interrogare facilmente le funzioni utilizzando Studio. Con le nuove funzionalità avanzate di ricerca e individuazione, puoi recuperare immediatamente i risultati utilizzando un semplice battistrada di pochi caratteri.

La schermata seguente mostra le seguenti capacità:

• È possibile accedere a Catalogo delle caratteristiche scheda e osservare le funzionalità nei gruppi di funzionalità. Le funzionalità sono presentate in una tabella che include il nome della funzionalità, il tipo, la descrizione, i parametri, la data di creazione e il nome del gruppo di funzionalità associato.
• Puoi utilizzare direttamente la funzionalità di digitazione preliminare per restituire immediatamente i risultati della ricerca.
• Hai la flessibilità di utilizzare diversi tipi di opzioni di filtro: All, Feature name, Description, o Parameters. Nota che All restituirà tutte le funzionalità in cui sia Feature name, Description, o Parameters corrispondere ai criteri di ricerca.
• Puoi restringere ulteriormente la ricerca specificando un intervallo di date utilizzando il Created from ed Created to campi e specificando i parametri utilizzando il Search parameter key ed Search parameter value campi.

Dopo aver selezionato una funzione, puoi scegliere il nome della funzione per visualizzarne i dettagli. Quando scegli Modifica metadati, puoi aggiungere una descrizione e fino a 25 parametri chiave-valore, come mostrato nella schermata seguente. All'interno di questa vista, puoi infine creare, visualizzare, aggiornare ed eliminare i metadati della funzione. La schermata seguente illustra come modificare i metadati delle funzionalità per total_amount.

Come affermato in precedenza, l'aggiunta di coppie chiave-valore a una funzione offre più dimensioni lungo le quali cercare le caratteristiche date. Per il nostro esempio, l'origine della funzionalità è stata aggiunta ai metadati di ogni funzionalità. Quando scegli l'icona di ricerca e filtra lungo la coppia chiave-valore origin: job, puoi vedere tutte le funzionalità che sono state codificate a caldo da questo attributo di base.

Scoperta delle funzionalità tramite codice

È inoltre possibile accedere e aggiornare le informazioni sulle funzioni tramite il Interfaccia della riga di comando di AWS (AWS CLI) e SDK (Boto3) anziché direttamente tramite il Console di gestione AWS. Ciò ti consente di integrare la funzionalità di ricerca a livello di funzionalità di Feature Store con le tue piattaforme di data science personalizzate. In questa sezione, interagiamo con gli endpoint dell'API Boto3 per aggiornare e cercare i metadati delle funzionalità.

Per iniziare a migliorare la ricerca e l'individuazione delle funzionalità, puoi aggiungere metadati utilizzando il update_feature_metadata API. In aggiunta a description ed created_date campi, puoi aggiungere fino a 25 parametri (coppie chiave-valore) a una determinata funzione.

Il codice seguente è un esempio di cinque possibili parametri chiave-valore che sono stati aggiunti a job_admin caratteristica. Questa funzione è stata creata, insieme a job_services ed job_none, mediante una codifica a caldo job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Dopo shavasana, sedersi in silenzio; saluti; author, team, origin, sensitivitye env sono stati aggiunti a job_admin funzionalità, data scientist o ingegneri ML possono recuperarli chiamando il describe_feature_metadata API. Puoi navigare su Parameters oggetto nella risposta per i metadati che abbiamo precedentemente aggiunto alla nostra funzione. Il describe_feature_metadata L'endpoint API ti consente di ottenere maggiori informazioni su una determinata funzionalità ottenendo i metadati associati.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

È possibile cercare le funzioni utilizzando SageMaker search API che utilizza i metadati come parametri di ricerca. Il codice seguente è una funzione di esempio che accetta a search_string parametro come input e restituisce tutte le funzioni in cui il nome, la descrizione o i parametri della funzione corrispondono alla condizione:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Il seguente frammento di codice utilizza il nostro search_features funzione per recuperare tutte le funzioni per le quali il nome, la descrizione o i parametri della funzione contengono la parola job:

search_results = search_features_using_string('mlops')
search_results

La schermata seguente contiene l'elenco dei nomi delle funzionalità corrispondenti, nonché i relativi metadati, inclusi i timestamp per la creazione di ciascuna funzionalità e l'ultima modifica. Puoi utilizzare queste informazioni per migliorare la scoperta e la visibilità delle funzionalità della tua organizzazione.

Conclusione

SageMaker Feature Store fornisce una soluzione di gestione delle funzionalità appositamente progettata per aiutare le organizzazioni a scalare lo sviluppo di ML tra business unit e team di data science. Il miglioramento del riutilizzo delle funzionalità e della coerenza delle funzionalità sono i vantaggi principali di un negozio di funzionalità. In questo post, abbiamo spiegato come utilizzare i metadati a livello di funzionalità per migliorare la ricerca e la scoperta delle funzionalità. Ciò includeva la creazione di metadati relativi a una varietà di casi d'uso e l'utilizzo come parametri di ricerca aggiuntivi.

Fai un tentativo e facci sapere cosa ne pensi nei commenti. Se vuoi saperne di più sulla collaborazione e la condivisione delle funzioni all'interno di Feature Store, fai riferimento a Abilita il riutilizzo delle funzionalità tra account e team utilizzando Amazon SageMaker Feature Store.

Circa gli autori

Arnaud Lauer è un Senior Partner Solutions Architect nel team del settore pubblico di AWS. Consente a partner e clienti di capire come utilizzare al meglio le tecnologie AWS per tradurre le esigenze aziendali in soluzioni. Vanta oltre 16 anni di esperienza nella realizzazione e nell'architettura di progetti di trasformazione digitale in una vasta gamma di settori, tra cui il settore pubblico, l'energia e i beni di consumo. Intelligenza artificiale e machine learning sono alcune delle sue passioni. Arnaud possiede 12 certificazioni AWS, inclusa la ML Specialty Certification.

Nicola Bernier è un Associate Solutions Architect, parte del team canadese del settore pubblico presso AWS. Attualmente sta conducendo un master con un'area di ricerca in Deep Learning e detiene cinque certificazioni AWS, inclusa la ML Specialty Certification. Nicolas è appassionato di aiutare i clienti ad approfondire la loro conoscenza di AWS, lavorando con loro per tradurre le loro sfide aziendali in soluzioni tecniche.

Marco Roy è un Principal Machine Learning Architect per AWS, che aiuta i clienti a progettare e realizzare soluzioni AI / ML. Il lavoro di Mark copre un'ampia gamma di casi d'uso del ML, con un interesse primario per la visione artificiale, il deep learning e la scalabilità del ML in tutta l'azienda. Ha aiutato aziende in molti settori, tra cui assicurazioni, servizi finanziari, media e intrattenimento, sanità, servizi pubblici e produzione. Mark detiene sei certificazioni AWS, inclusa la certificazione di specialità ML. Prima di entrare in AWS, Mark è stato architetto, sviluppatore e leader tecnologico per oltre 25 anni, di cui 19 nei servizi finanziari.

Khushbu Srivastava è Senior Product Manager per Amazon SageMaker. Le piace creare prodotti che semplificano i flussi di lavoro di apprendimento automatico per i clienti. Nel tempo libero le piace suonare il violino, praticare yoga e viaggiare.