Promuj odkrywanie i ponowne wykorzystywanie funkcji w całej organizacji za pomocą sklepu Amazon SageMaker Feature Store i jego funkcji metadanych na poziomie funkcji

Sklep funkcji Amazon SageMaker pomaga analitykom danych i inżynierom uczenia maszynowego (ML) w bezpiecznym przechowywaniu, wykrywaniu i udostępnianiu wyselekcjonowanych danych wykorzystywanych w przepływach pracy szkolenia i prognozowania. Magazyn funkcji to scentralizowany magazyn funkcji i powiązanych z nimi metadanych, który umożliwia łatwe odnajdywanie funkcji i ponowne ich wykorzystywanie przez zespoły naukowców zajmujących się danymi pracującymi nad różnymi projektami lub modelami ML.

Dzięki usłudze Feature Store zawsze można było dodawać metadane na poziomie grupy obiektów. Analitycy danych, którzy chcą mieć możliwość wyszukiwania i odkrywania istniejących funkcji swoich modeli, mają teraz możliwość wyszukiwania informacji na poziomie funkcji, dodając niestandardowe metadane. Na przykład informacje mogą zawierać opis funkcji, datę jej ostatniej modyfikacji, oryginalne źródło danych, określone metryki lub poziom wrażliwości.

Poniższy diagram ilustruje relacje architektury między grupami funkcji, funkcjami i powiązanymi metadanymi. Zwróć uwagę, jak analitycy danych mogą teraz określać opisy i metadane zarówno na poziomie grupy funkcji, jak i na poziomie poszczególnych funkcji.

W tym poście wyjaśniamy, w jaki sposób analitycy danych i inżynierowie ML mogą korzystać z metadanych na poziomie funkcji z nowymi funkcjami wyszukiwania i odnajdowania funkcji Feature Store, aby promować lepsze ponowne wykorzystanie funkcji w całej organizacji. Ta funkcja może znacząco pomóc analitykom danych w procesie wyboru cech, a w rezultacie pomóc w identyfikacji cech, które prowadzą do zwiększenia dokładności modelu.

Przypadek użycia

Na potrzeby tego postu używamy dwóch grup funkcji, customer i loan.

Połączenia customer grupa funkcji ma następujące cechy:

• wiek – Wiek klienta (liczba)
• praca – Rodzaj pracy (kodowanie na gorąco, takie jak admin or services)
• małżeński – Stan cywilny (zakodowany na gorąco, taki jak married or single)
• Edukacja – Poziom wykształcenia (zakodowany na gorąco, taki jak basic 4y or high school)

Połączenia loan grupa funkcji ma następujące cechy:

• domyślnym – Czy kredyt jest w spłacie? (kodowane na gorąco: no or yes)
• obudowa – Czy kredyt mieszkaniowy? (kodowane na gorąco: no or yes)
• pożyczka – Posiada pożyczkę osobistą? (kodowane na gorąco: no or yes)
• suma_kwoty – Całkowita kwota pożyczek (liczba)

Poniższy rysunek przedstawia przykładowe grupy elementów i metadane elementów.

Celem dodania opisu i przypisania metadanych do każdej funkcji jest zwiększenie szybkości odnajdywania poprzez włączenie nowych parametrów wyszukiwania, dzięki którym naukowiec zajmujący się danymi lub inżynier ML może eksplorować funkcje. Mogą one odzwierciedlać szczegóły dotyczące funkcji, takie jak jej obliczenia, czy jest to średnia z 6 miesięcy czy 1 roku, pochodzenie, twórca lub właściciel, znaczenie funkcji i inne.

W poniższych sekcjach przedstawiamy dwa podejścia do wyszukiwania i odkrywania funkcji oraz konfigurowania metadanych na poziomie funkcji: pierwsze użycie Studio Amazon SageMaker bezpośrednio, a drugi programowo.

Odkrywanie funkcji w Studio

Za pomocą Studio możesz łatwo wyszukiwać i zadawać zapytania. Dzięki nowym ulepszonym funkcjom wyszukiwania i odnajdowania możesz natychmiast pobrać wyniki, wpisując kilka znaków z wyprzedzeniem.

Poniższy zrzut ekranu przedstawia następujące możliwości:

• Możesz uzyskać dostęp do Katalog funkcji zakładka i obserwuj funkcje w różnych grupach elementów. Funkcje są prezentowane w tabeli, która zawiera nazwę funkcji, typ, opis, parametry, datę utworzenia i nazwę powiązanej grupy funkcji.
• Możesz bezpośrednio użyć funkcji pisania z wyprzedzeniem, aby natychmiast zwrócić wyniki wyszukiwania.
• Masz swobodę korzystania z różnych typów opcji filtrowania: All, Feature name, Descriptionlub Parameters, Należy pamiętać, że All zwróci wszystkie funkcje, w których albo Feature name, Descriptionlub Parameters spełniają kryteria wyszukiwania.
• Możesz zawęzić wyszukiwanie, określając zakres dat za pomocą przycisku Created from i Created to pola i określenie parametrów za pomocą Search parameter key i Search parameter value pola.

Po wybraniu funkcji możesz wybrać nazwę funkcji, aby wyświetlić jej szczegóły. Kiedy wybierzesz Edytuj metadane, możesz dodać opis i maksymalnie 25 parametrów klucz-wartość, jak pokazano na poniższym zrzucie ekranu. W tym widoku możesz ostatecznie tworzyć, wyświetlać, aktualizować i usuwać metadane obiektu. Poniższy zrzut ekranu ilustruje, jak edytować metadane funkcji dla total_amount.

Jak wspomniano wcześniej, dodanie par klucz-wartość do funkcji zapewnia więcej wymiarów, wzdłuż których można wyszukiwać dane funkcje. W naszym przykładzie pochodzenie funkcji zostało dodane do metadanych każdej funkcji. Po wybraniu ikony wyszukiwania i filtrowaniu według pary klucz-wartość origin: job, możesz zobaczyć wszystkie funkcje, które zostały zakodowane w trybie one-hot z tego atrybutu podstawowego.

Wykrywanie funkcji za pomocą kodu

Możesz również uzyskać dostęp do informacji o funkcjach i aktualizować je za pomocą Interfejs wiersza poleceń AWS (AWS CLI) i SDK (Boto3), a nie bezpośrednio przez Konsola zarządzania AWS. Pozwala to na zintegrowanie funkcji wyszukiwania na poziomie funkcji w Feature Store z własnymi niestandardowymi platformami do nauki danych. W tej sekcji wchodzimy w interakcję z punktami końcowymi Boto3 API w celu aktualizacji i wyszukiwania metadanych funkcji.

Aby rozpocząć ulepszanie wyszukiwania i odkrywania funkcji, możesz dodać metadane za pomocą update_feature_metadata API. Dodatkowo description i created_date pola, możesz dodać do 25 parametrów (par klucz-wartość) do danej funkcji.

Poniższy kod to przykład pięciu możliwych parametrów klucz-wartość, które zostały dodane do kodu job_admin funkcja. Ta funkcja została utworzona wraz z job_services i job_none, przez jednokrotne kodowanie na gorąco job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Po author, team, origin, sensitivity, env zostały dodane do job_admin funkcja, analitycy danych lub inżynierowie ML mogą je pobrać, dzwoniąc pod numer describe_feature_metadata API. Możesz przejść do Parameters obiektu w odpowiedzi na metadane, które wcześniej dodaliśmy do naszej funkcji. The describe_feature_metadata Punkt końcowy interfejsu API pozwala uzyskać lepszy wgląd w daną funkcję, pobierając powiązane z nią metadane.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Możesz wyszukiwać funkcje za pomocą SageMaker search API wykorzystujące metadane jako parametry wyszukiwania. Poniższy kod jest przykładową funkcją, która przyjmuje search_string parametr jako dane wejściowe i zwraca wszystkie funkcje, których nazwa, opis lub parametry odpowiadają warunkom:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Poniższy fragment kodu używa naszego search_features funkcja do pobierania wszystkich cech, dla których nazwa cechy, opis lub parametry zawierają słowo job:

search_results = search_features_using_string('mlops')
search_results

Poniższy zrzut ekranu zawiera listę pasujących nazw funkcji oraz odpowiadające im metadane, w tym sygnatury czasowe tworzenia i ostatniej modyfikacji każdej funkcji. Możesz użyć tych informacji, aby poprawić odnajdywanie i widoczność funkcji organizacji.

Wnioski

SageMaker Feature Store zapewnia specjalnie zaprojektowane rozwiązanie do zarządzania funkcjami, które pomaga organizacjom w skalowaniu rozwoju ML w jednostkach biznesowych i zespołach zajmujących się analizą danych. Ulepszenie ponownego wykorzystania funkcji i spójności funkcji to główne zalety sklepu z funkcjami. W tym poście wyjaśniliśmy, jak używać metadanych na poziomie funkcji, aby usprawnić wyszukiwanie i odkrywanie funkcji. Obejmowało to tworzenie metadanych wokół różnych przypadków użycia i używanie ich jako dodatkowych parametrów wyszukiwania.

Spróbuj i daj nam znać, co myślisz w komentarzach. Jeśli chcesz dowiedzieć się więcej o współpracy i udostępnianiu funkcji w sklepie z funkcjami, zapoznaj się z Włącz ponowne wykorzystanie funkcji na kontach i zespołach za pomocą Amazon SageMaker Feature Store.

O autorach

Arnauda Lauera jest Senior Partner Solutions Architect w zespole sektora publicznego w AWS. Umożliwia partnerom i klientom zrozumienie, jak najlepiej wykorzystać technologie AWS do przełożenia potrzeb biznesowych na rozwiązania. Ma ponad 16-letnie doświadczenie w dostarczaniu i projektowaniu projektów transformacji cyfrowej w wielu branżach, w tym w sektorze publicznym, energetyce i dobrach konsumpcyjnych. Sztuczna inteligencja i uczenie maszynowe to tylko niektóre z jego pasji. Arnaud posiada 12 certyfikatów AWS, w tym ML Specialty Certification.

Mikołaj Bernier jest architektem Associate Solutions, częścią zespołu kanadyjskiego sektora publicznego w AWS. Obecnie prowadzi studia magisterskie z obszaru badawczego Deep Learning i posiada pięć certyfikatów AWS, w tym ML Specialty Certification. Nicolas z pasją pomaga klientom pogłębiać wiedzę na temat AWS, współpracując z nimi w celu przełożenia wyzwań biznesowych na rozwiązania techniczne.

Marka Roya jest głównym architektem uczenia maszynowego dla AWS, pomagając klientom projektować i budować rozwiązania AI / ML. Praca Marka obejmuje szeroki zakres przypadków użycia ML, z głównym zainteresowaniem widzeniem komputerowym, głębokim uczeniem się i skalowaniem ML w całym przedsiębiorstwie. Pomagał firmom z wielu branż, w tym ubezpieczeń, usług finansowych, mediów i rozrywki, opieki zdrowotnej, usług komunalnych i produkcji. Mark posiada sześć certyfikatów AWS, w tym ML Specialty Certification. Przed dołączeniem do AWS Mark był architektem, programistą i liderem technologicznym przez ponad 25 lat, w tym 19 lat w usługach finansowych.

Khushboo Srivastava jest starszym menedżerem produktu w Amazon SageMaker. Lubi tworzyć produkty, które upraszczają procesy uczenia maszynowego dla klientów. W wolnym czasie lubi grać na skrzypcach, ćwiczyć jogę i podróżować.