Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrer gesamten Organisation mit dem Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene

Amazon SageMaker Feature Store hilft Data Scientists und Machine Learning (ML)-Ingenieuren, kuratierte Daten, die in Trainings- und Vorhersage-Workflows verwendet werden, sicher zu speichern, zu entdecken und zu teilen. Feature Store ist ein zentraler Speicher für Features und zugehörige Metadaten, der es ermöglicht, Features einfach zu entdecken und von Data Scientist-Teams wiederzuverwenden, die an verschiedenen Projekten oder ML-Modellen arbeiten.

Mit Feature Store konnten Sie schon immer Metadaten auf Featuregruppenebene hinzufügen. Data Scientists, die vorhandene Features für ihre Modelle suchen und entdecken möchten, haben jetzt die Möglichkeit, auf Featureebene nach Informationen zu suchen, indem sie benutzerdefinierte Metadaten hinzufügen. Die Informationen können beispielsweise eine Beschreibung der Funktion, das Datum der letzten Änderung, ihre ursprüngliche Datenquelle, bestimmte Metriken oder die Sensibilitätsstufe enthalten.

Das folgende Diagramm veranschaulicht die Architekturbeziehungen zwischen Featuregruppen, Features und zugehörigen Metadaten. Beachten Sie, dass Data Scientists jetzt Beschreibungen und Metadaten sowohl auf der Ebene der Featuregruppe als auch auf der Ebene der einzelnen Features angeben können.

In diesem Beitrag erläutern wir, wie Data Scientists und ML-Ingenieure Metadaten auf Funktionsebene mit den neuen Such- und Erkennungsfunktionen von Feature Store verwenden können, um eine bessere Wiederverwendung von Funktionen in ihrer gesamten Organisation zu fördern. Diese Funktion kann Data Scientists beim Merkmalsauswahlprozess erheblich helfen und Ihnen dadurch helfen, Merkmale zu identifizieren, die zu einer erhöhten Modellgenauigkeit führen.

Anwendungsfall

Für die Zwecke dieses Beitrags verwenden wir zwei Funktionsgruppen, customer und loan.

Das customer Die Funktionsgruppe hat die folgenden Funktionen:

  • Alter – Alter des Kunden (numerisch)
  • Job – Auftragsart (one-hot encoded, wie z admin or services)
  • ehelich – Familienstand (One-Hot-codiert, wie z married or single)
  • Ausbildung – Bildungsgrad (one-hot codiert, wie z basic 4y or high school)

Das loan Die Funktionsgruppe hat die folgenden Funktionen:

  • Standard – Kredit in Verzug? (One-Hot-codiert: no or yes)
  • Gehäuse – Hat Wohnungsbaudarlehen? (One-Hot-codiert: no or yes)
  • Darlehen – Hat ein Privatdarlehen? (One-Hot-codiert: no or yes)
  • Gesamtmenge – Gesamtbetrag der Kredite (numerisch)

Die folgende Abbildung zeigt beispielhafte Funktionsgruppen und Funktionsmetadaten.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Der Zweck des Hinzufügens einer Beschreibung und der Zuweisung von Metadaten zu jedem Feature besteht darin, die Entdeckungsgeschwindigkeit zu erhöhen, indem neue Suchparameter aktiviert werden, anhand derer ein Data Scientist oder ML-Ingenieur Features erkunden kann. Diese können Details zu einem Feature widerspiegeln, wie z. B. seine Berechnung, ob es sich um einen Durchschnitt über 6 Monate oder 1 Jahr handelt, Herkunft, Ersteller oder Eigentümer, was das Feature bedeutet und mehr.

In den folgenden Abschnitten stellen wir zwei Ansätze zum Suchen und Entdecken von Funktionen und zum Konfigurieren von Metadaten auf Funktionsebene vor: der erste mit Amazon SageMaker-Studio direkt und die zweite programmatisch.

Funktionserkennung in Studio

Mit Studio können Sie Funktionen ganz einfach suchen und abfragen. Mit den neuen erweiterten Such- und Erkennungsfunktionen können Sie Ergebnisse sofort abrufen, indem Sie einfach ein paar Zeichen voranstellen.

Der folgende Screenshot zeigt die folgenden Funktionen:

  • Sie können auf die Funktionskatalog Registerkarte und beobachten Sie Features über Featuregruppen hinweg. Die Features werden in einer Tabelle dargestellt, die Feature-Name, Typ, Beschreibung, Parameter, Erstellungsdatum und den Namen der zugehörigen Feature-Gruppe enthält.
  • Sie können die Schnelleingabefunktion direkt verwenden, um Suchergebnisse sofort zurückzugeben.
  • Sie haben die Flexibilität, verschiedene Arten von Filteroptionen zu verwenden: All, Feature name, Description, oder Parameters. Beachten Sie, dass All gibt alle Features zurück, wo entweder Feature name, Description, oder Parameters den Suchkriterien entsprechen.
  • Sie können die Suche weiter eingrenzen, indem Sie mithilfe von einen Datumsbereich angeben Created from und Created to Felder und Angabe von Parametern mit der Search parameter key und Search parameter value Felder.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Nachdem Sie eine Funktion ausgewählt haben, können Sie den Namen der Funktion auswählen, um ihre Details anzuzeigen. Wenn Sie wählen Metadaten bearbeiten, können Sie eine Beschreibung und bis zu 25 Schlüsselwertparameter hinzufügen, wie im folgenden Screenshot gezeigt. In dieser Ansicht können Sie schließlich die Metadaten der Funktion erstellen, anzeigen, aktualisieren und löschen. Der folgende Screenshot veranschaulicht, wie Feature-Metadaten für bearbeitet werden total_amount.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Wie bereits erwähnt, erhalten Sie durch das Hinzufügen von Schlüssel-Wert-Paaren zu einem Feature mehr Dimensionen, entlang derer Sie nach den jeweiligen Features suchen können. In unserem Beispiel wurde der Ursprung des Features zu den Metadaten jedes Features hinzugefügt. Wenn Sie das Suchsymbol auswählen und nach dem Schlüssel-Wert-Paar filtern origin: job, können Sie alle Features sehen, die von diesem Basisattribut One-Hot-codiert wurden.

Funktionserkennung mithilfe von Code

Sie können auch über das auf Funktionsinformationen zugreifen und diese aktualisieren AWS-Befehlszeilenschnittstelle (AWS CLI) und SDK (Boto3) und nicht direkt über die AWS-Managementkonsole. Auf diese Weise können Sie die Suchfunktion auf Funktionsebene von Feature Store in Ihre eigenen benutzerdefinierten Data-Science-Plattformen integrieren. In diesem Abschnitt interagieren wir mit den Boto3-API-Endpunkten, um Feature-Metadaten zu aktualisieren und zu durchsuchen.

Um mit der Verbesserung der Feature-Suche und -Erkennung zu beginnen, können Sie mithilfe von Metadaten hinzufügen update_feature_metadata API. In Ergänzung zu description und created_date Felder können Sie einem bestimmten Feature bis zu 25 Parameter (Schlüssel-Wert-Paare) hinzufügen.

Der folgende Code ist ein Beispiel für fünf mögliche Schlüsselwertparameter, die der hinzugefügt wurden job_admin Besonderheit. Diese Funktion wurde zusammen mit erstellt job_services und job_none, durch One-Hot-Codierung job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Nach der author, team, origin, sensitivity und env wurden dem hinzugefügt job_admin Feature können Data Scientists oder ML-Ingenieure sie abrufen, indem sie die aufrufen describe_feature_metadata API. Sie können zu navigieren Parameters Objekt in der Antwort für die Metadaten, die wir zuvor zu unserer Funktion hinzugefügt haben. Das describe_feature_metadata Der API-Endpunkt ermöglicht es Ihnen, einen besseren Einblick in eine bestimmte Funktion zu erhalten, indem Sie die zugehörigen Metadaten abrufen.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Sie können mithilfe von SageMaker nach Features suchen search API, die Metadaten als Suchparameter verwendet. Der folgende Code ist eine Beispielfunktion, die a akzeptiert search_string Parameter als Eingabe und gibt alle Features zurück, bei denen der Name, die Beschreibung oder die Parameter des Features mit der Bedingung übereinstimmen:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Das folgende Code-Snippet verwendet unsere search_features -Funktion, um alle Features abzurufen, für die entweder der Feature-Name, die Beschreibung oder die Parameter das Wort enthalten job:

search_results = search_features_using_string('mlops')
search_results

Der folgende Screenshot enthält die Liste der übereinstimmenden Funktionsnamen sowie die entsprechenden Metadaten, einschließlich Zeitstempel für die Erstellung und letzte Änderung der einzelnen Funktionen. Sie können diese Informationen verwenden, um die Erkennung und Sichtbarkeit der Funktionen Ihrer Organisation zu verbessern.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Zusammenfassung

SageMaker Feature Store bietet eine speziell entwickelte Feature-Management-Lösung, mit der Unternehmen die ML-Entwicklung über Geschäftsbereiche und Data-Science-Teams hinweg skalieren können. Die Verbesserung der Wiederverwendung von Funktionen und der Funktionskonsistenz sind die Hauptvorteile eines Funktionsspeichers. In diesem Beitrag haben wir erklärt, wie Sie Metadaten auf Funktionsebene verwenden können, um die Suche und Erkennung von Funktionen zu verbessern. Dazu gehörte das Erstellen von Metadaten für eine Vielzahl von Anwendungsfällen und deren Verwendung als zusätzliche Suchparameter.

Probieren Sie es aus und teilen Sie uns Ihre Meinung in den Kommentaren mit. Wenn Sie mehr über die Funktionen zum Zusammenarbeiten und Teilen im Feature Store erfahren möchten, lesen Sie unter Aktivieren Sie die Wiederverwendung von Funktionen für Konten und Teams mithilfe des Amazon SageMaker Feature Store.


Über die Autoren

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai. Arnaud Lauer ist Senior Partner Solutions Architect im Public Sector-Team bei AWS. Er ermöglicht Partnern und Kunden zu verstehen, wie AWS-Technologien am besten genutzt werden können, um Geschäftsanforderungen in Lösungen umzusetzen. Er bringt mehr als 16 Jahre Erfahrung in der Bereitstellung und Gestaltung von Projekten zur digitalen Transformation in einer Reihe von Branchen mit, darunter der öffentliche Sektor, Energie und Konsumgüter. Künstliche Intelligenz und maschinelles Lernen gehören zu seinen Leidenschaften. Arnaud besitzt 12 AWS-Zertifizierungen, einschließlich der ML Specialty Certification.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.Nikolaus Bernier ist Associate Solutions Architect, Teil des kanadischen Teams für den öffentlichen Sektor bei AWS. Er führt derzeit einen Master-Abschluss mit einem Forschungsgebiet in Deep Learning durch und besitzt fünf AWS-Zertifizierungen, darunter die ML Specialty Certification. Nicolas ist leidenschaftlich daran interessiert, Kunden dabei zu helfen, ihr Wissen über AWS zu vertiefen, indem er mit ihnen zusammenarbeitet, um ihre geschäftlichen Herausforderungen in technische Lösungen umzusetzen.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.Markus Roy ist Principal Principal Machine Learning Architect für AWS und unterstützt Kunden beim Entwerfen und Erstellen von AI / ML-Lösungen. Marks Arbeit deckt eine breite Palette von ML-Anwendungsfällen ab, mit einem Hauptinteresse an Computer Vision, Deep Learning und der Skalierung von ML im gesamten Unternehmen. Er hat Unternehmen in vielen Branchen unterstützt, darunter Versicherungen, Finanzdienstleistungen, Medien und Unterhaltung, Gesundheitswesen, Versorgungsunternehmen und Fertigung. Mark verfügt über sechs AWS-Zertifizierungen, darunter die ML Specialty Certification. Bevor er zu AWS kam, war Mark über 25 Jahre lang Architekt, Entwickler und Technologieführer, davon 19 Jahre im Bereich Finanzdienstleistungen.

Fördern Sie die Erkennung und Wiederverwendung von Funktionen in Ihrem Unternehmen mit Amazon SageMaker Feature Store und seiner Metadatenfunktion auf Funktionsebene PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.Khushboo Srivastava ist Senior Product Manager für Amazon SageMaker. Sie entwickelt gerne Produkte, die Machine-Learning-Workflows für Kunden vereinfachen. In ihrer Freizeit spielt sie gerne Geige, praktiziert Yoga und reist.

Zeitstempel:

Mehr von AWS Maschinelles Lernen