Spodbujajte odkrivanje in ponovno uporabo funkcij v vaši organizaciji s storitvijo Amazon SageMaker Feature Store in njeno zmogljivostjo metapodatkov na ravni funkcij

Trgovina s funkcijami Amazon SageMaker pomaga podatkovnim znanstvenikom in inženirjem strojnega učenja (ML) pri varnem shranjevanju, odkrivanju in skupni rabi izbranih podatkov, ki se uporabljajo pri usposabljanju in delovnih tokovih napovedi. Feature Store je centralizirana trgovina za funkcije in povezane metapodatke, ki omogoča, da skupine podatkovnih znanstvenikov, ki delajo na različnih projektih ali modelih ML, preprosto odkrijejo in ponovno uporabijo funkcije.

S trgovino funkcij ste vedno lahko dodajali metapodatke na ravni skupine funkcij. Podatkovni znanstveniki, ki želijo možnost iskanja in odkrivanja obstoječih funkcij za svoje modele, imajo zdaj možnost iskanja informacij na ravni lastnosti z dodajanjem metapodatkov po meri. Informacije lahko na primer vključujejo opis funkcije, datum, ko je bila nazadnje spremenjena, izvirni vir podatkov, določene meritve ali stopnjo občutljivosti.

Naslednji diagram ponazarja razmerja arhitekture med skupinami funkcij, funkcijami in povezanimi metapodatki. Upoštevajte, kako lahko podatkovni znanstveniki zdaj določijo opise in metapodatke tako na ravni skupine funkcij kot na ravni posamezne funkcije.

V tej objavi pojasnjujemo, kako lahko podatkovni znanstveniki in inženirji ML uporabljajo metapodatke na ravni funkcij z novimi zmožnostmi iskanja in odkrivanja Feature Store za spodbujanje boljše ponovne uporabe funkcij v svoji organizaciji. Ta zmožnost lahko znatno pomaga podatkovnim znanstvenikom pri postopku izbire funkcij in vam posledično pomaga prepoznati funkcije, ki vodijo k večji natančnosti modela.

Uporaba primera

Za namene te objave uporabljamo dve skupini funkcij, customer in loan.

O customer skupina funkcij ima naslednje lastnosti:

• starost – Starost stranke (številčno)
• delo – Vrsta opravila (enkratno kodirano, npr admin or services)
• zakonski – Zakonski stan (en-hot kodiran, kot npr married or single)
• Izobraževanje – Stopnja izobrazbe (en-hot kodirana, kot npr basic 4y or high school)

O loan skupina funkcij ima naslednje lastnosti:

• privzeto – Ali ima kredit v zamudi? (enovroče kodirano: no or yes)
• Ohišje – Ima stanovanjsko posojilo? (enovroče kodirano: no or yes)
• posojila – Ima osebno posojilo? (enovroče kodirano: no or yes)
• skupni znesek – Skupni znesek posojil (številčno)

Naslednja slika prikazuje primer skupin funkcij in metapodatkov funkcij.

Namen dodajanja opisa in dodeljevanja metapodatkov vsaki funkciji je povečati hitrost odkrivanja z omogočanjem novih iskalnih parametrov, po katerih lahko podatkovni znanstvenik ali inženir ML raziskuje funkcije. Ti lahko odražajo podrobnosti o funkciji, kot je njen izračun, ali gre za povprečje v 6 mesecih ali 1 letu, izvor, ustvarjalec ali lastnik, kaj funkcija pomeni in drugo.

V naslednjih razdelkih ponujamo dva pristopa za iskanje in odkrivanje funkcij ter konfiguracijo metapodatkov na ravni funkcij: prvi z uporabo Amazon SageMaker Studio neposredno, drugo pa programsko.

Odkrivanje funkcij v Studiu

S programom Studio lahko enostavno iščete in iščete funkcije. Z novimi izboljšanimi zmožnostmi iskanja in odkrivanja lahko takoj pridobite rezultate s preprostim vnašanjem nekaj znakov naprej.

Naslednji posnetek zaslona prikazuje naslednje zmožnosti:

• Do nje lahko dostopate Katalog funkcij in opazujte funkcije v skupinah funkcij. Funkcije so predstavljene v tabeli, ki vključuje ime funkcije, vrsto, opis, parametre, datum izdelave in ime povezane skupine funkcij.
• Funkcijo vnaprejšnjega vnašanja lahko uporabite neposredno, da takoj vrnete rezultate iskanja.
• Imate prilagodljivost pri uporabi različnih vrst možnosti filtrov: All, Feature name, Descriptionali Parameters. Upoštevajte, da All bo vrnil vse funkcije, kjer bodisi Feature name, Descriptionali Parameters ustreza iskalnim kriterijem.
• Iskanje lahko dodatno zožite tako, da določite časovno obdobje z uporabo Created from in Created to polja in določanje parametrov z uporabo Search parameter key in Search parameter value Polja.

Ko izberete funkcijo, lahko izberete ime funkcije, da prikažete podrobnosti. Ko izberete Uredi metapodatke, lahko dodate opis in do 25 parametrov ključ-vrednost, kot je prikazano na naslednjem posnetku zaslona. Znotraj tega pogleda lahko končno ustvarite, si ogledate, posodobite in izbrišete metapodatke funkcije. Naslednji posnetek zaslona prikazuje, kako urediti metapodatke funkcije za total_amount.

Kot je bilo že omenjeno, dodajanje parov ključ-vrednost funkciji daje več razsežnosti, po katerih lahko iščete njihove dane funkcije. V našem primeru je bil izvor elementa dodan metapodatkom vsakega elementa. Ko izberete ikono za iskanje in filtrirate po paru ključ-vrednost origin: job, si lahko ogledate vse funkcije, ki so bile enkratno kodirane iz tega osnovnega atributa.

Odkrivanje funkcij z uporabo kode

Do informacij o funkcijah lahko dostopate in jih posodabljate prek Vmesnik ukazne vrstice AWS (AWS CLI) in SDK (Boto3) namesto neposredno prek Konzola za upravljanje AWS. To vam omogoča integracijo funkcionalnosti iskanja na ravni funkcij storitve Feature Store z lastnimi platformami podatkovne znanosti po meri. V tem razdelku sodelujemo s končnimi točkami API-ja Boto3 za posodobitev in iskanje po metapodatkih funkcij.

Če želite začeti izboljševati iskanje in odkrivanje funkcij, lahko dodate metapodatke z uporabo update_feature_metadata API. Poleg tega description in created_date polja, lahko dani funkciji dodate do 25 parametrov (parov ključ-vrednost).

Naslednja koda je primer petih možnih parametrov ključ-vrednost, ki so bili dodani v job_admin funkcija. Ta funkcija je bila ustvarjena skupaj z job_services in job_none, z one-hot-encoding job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

po author, team, origin, sensitivityin env so bili dodani v job_admin funkcijo, podatkovni znanstveniki ali inženirji ML jih lahko pridobijo tako, da pokličejo describe_feature_metadata API. Lahko se pomaknete do Parameters objekt v odgovoru za metapodatke, ki smo jih predhodno dodali naši funkciji. The describe_feature_metadata Končna točka API vam omogoča boljši vpogled v dano funkcijo, tako da pridobite z njo povezane metapodatke.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Funkcije lahko iščete s programom SageMaker search API, ki uporablja metapodatke kot iskalne parametre. Naslednja koda je primer funkcije, ki sprejme a search_string parameter kot vhod in vrne vse funkcije, kjer se ime, opis ali parametri funkcije ujemajo s pogojem:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Naslednji delček kode uporablja naše search_features funkcijo za pridobitev vseh funkcij, za katere bodisi ime funkcije, opis ali parametri vsebujejo besedo job:

search_results = search_features_using_string('mlops')
search_results

Naslednji posnetek zaslona vsebuje seznam ujemajočih se imen funkcij in njihove ustrezne metapodatke, vključno s časovnimi žigi za ustvarjanje in zadnjo spremembo vsake funkcije. Te informacije lahko uporabite za izboljšanje odkrivanja in vpogleda v funkcije vaše organizacije.

zaključek

SageMaker Feature Store ponuja namensko zasnovano rešitev za upravljanje funkcij, ki pomaga organizacijam razširiti razvoj ML v poslovnih enotah in skupinah za podatkovno znanost. Izboljšanje ponovne uporabe funkcij in doslednost funkcij sta glavni prednosti shrambe funkcij. V tej objavi smo pojasnili, kako lahko uporabite metapodatke na ravni funkcij za izboljšanje iskanja in odkrivanja funkcij. To je vključevalo ustvarjanje metapodatkov za različne primere uporabe in njihovo uporabo kot dodatnih iskalnih parametrov.

Poskusite in nam v komentarjih sporočite, kaj mislite. Če želite izvedeti več o funkcijah sodelovanja in skupne rabe v trgovini s funkcijami, glejte Omogočite ponovno uporabo funkcij v računih in skupinah, ki uporabljajo Amazon SageMaker Feature Store.

O avtorjih

Arnaud Lauer je višji arhitekt partnerskih rešitev v skupini za javni sektor pri AWS. Partnerjem in strankam omogoča, da razumejo, kako najbolje uporabiti tehnologije AWS za pretvorbo poslovnih potreb v rešitve. Prinaša več kot 16 let izkušenj pri izvajanju in oblikovanju projektov digitalne transformacije v različnih panogah, vključno z javnim sektorjem, energetiko in potrošniškim blagom. Umetna inteligenca in strojno učenje sta nekaj njegovih strasti. Arnaud ima 12 certifikatov AWS, vključno s certifikatom ML Specialty.

Nicolas Bernier je pridruženi arhitekt rešitev, del ekipe za kanadski javni sektor pri AWS. Trenutno izvaja magistrski študij na raziskovalnem področju globokega učenja in ima pet certifikatov AWS, vključno s certifikatom ML Specialty. Nicolas strastno pomaga strankam poglobiti njihovo znanje o AWS, tako da sodeluje z njimi pri prevajanju njihovih poslovnih izzivov v tehnične rešitve.

Mark Roy je glavni arhitekt strojnega učenja za AWS, ki strankam pomaga pri oblikovanju in izdelavi rešitev AI / ML. Markovo delo zajema široko paleto primerov uporabe ML, predvsem pa računalniški vid, poglobljeno učenje in razširjanje ML v celotnem podjetju. Pomagal je podjetjem v številnih panogah, vključno z zavarovalništvom, finančnimi storitvami, mediji in zabavo, zdravstvom, komunalnimi storitvami in proizvodnjo. Mark ima šest certifikatov AWS, vključno s certifikatom ML Specialty. Preden se je Mark pridružil AWS, je bil več kot 25 let arhitekt, razvijalec in vodja tehnologije, vključno z 19 leti v finančnih storitvah.

Khushboo Srivastava je višji produktni vodja za Amazon SageMaker. Uživa v gradnji izdelkov, ki strankam poenostavljajo delovne tokove strojnega učenja. V prostem času uživa v igranju violine, vadbi joge in potovanjih.