Reklaamige funktsioonide avastamist ja taaskasutamist kogu oma organisatsioonis, kasutades Amazon SageMakeri funktsioonide poodi ja selle funktsioonitaseme metaandmete võimalust

Amazon SageMakeri funktsioonipood aitab andmeteadlastel ja masinõppe (ML) inseneridel turvaliselt salvestada, avastada ja jagada koolituse ja prognoosimise töövoogudes kasutatavaid kureeritud andmeid. Funktsioonide pood on funktsioonide ja nendega seotud metaandmete tsentraliseeritud pood, mis võimaldab funktsioone hõlpsasti avastada ja taaskasutada erinevate projektide või ML-mudelite kallal töötavatel andmeteadlaste tiimidel.

Funktsioonide poe abil olete alati saanud lisada metaandmeid funktsioonirühma tasemel. Andmeteadlastel, kes soovivad oma mudelite jaoks olemasolevaid funktsioone otsida ja avastada, on nüüd võimalus otsida teavet funktsioonide tasemel, lisades kohandatud metaandmeid. Näiteks võib teave sisaldada funktsiooni kirjeldust, selle viimati muutmise kuupäeva, algset andmeallikat, teatud mõõdikuid või tundlikkuse taset.

Järgmine diagramm illustreerib arhitektuuri seoseid funktsioonirühmade, funktsioonide ja seotud metaandmete vahel. Pange tähele, kuidas andmeteadlased saavad nüüd määrata kirjeldusi ja metaandmeid nii funktsioonirühma kui ka üksikute funktsioonide tasemel.

Selles postituses selgitame, kuidas andmeteadlased ja ML-insenerid saavad funktsioonitaseme metaandmeid funktsioonide poe uute otsingu- ja avastamisvõimalustega kasutada, et edendada funktsioonide paremat taaskasutamist kogu oma organisatsioonis. See võimalus võib andmeteadlasi funktsioonide valikuprotsessis märkimisväärselt aidata ja selle tulemusena aidata teil tuvastada funktsioone, mis suurendavad mudeli täpsust.

Kasutusjuhtum

Selle postituse jaoks kasutame kahte funktsioonirühma, customer ja loan.

. customer funktsioonirühmal on järgmised funktsioonid:

• vanus - Kliendi vanus (numbriline)
• töö – Töö tüüp (ükskuum kodeeritud, nt admin or services)
• abielu- – Perekonnaseis (üks-hot kodeeritud, nt married or single)
• haridus – Haridustase (ükskuum kodeeritud, nt basic 4y or high school)

. loan funktsioonirühmal on järgmised funktsioonid:

• vaikimisi – Kas krediit on maksejõuetuses? (ükskuum kodeeritud: no or yes)
• elamispind - Kas teil on eluasemelaen? (ükskuum kodeeritud: no or yes)
• laen - Kas teil on isiklikku laenu? (ükskuum kodeeritud: no or yes)
• kogu summa – laenude kogusumma (numbriline)

Järgmisel joonisel on näidatud funktsioonirühmade ja funktsioonide metaandmed.

Kirjelduse lisamise ja igale funktsioonile metaandmete määramise eesmärk on suurendada avastamise kiirust, lubades uued otsinguparameetrid, mille kaudu andmeteadlane või ML-insener saab funktsioone uurida. Need võivad kajastada üksikasju funktsiooni kohta, nagu selle arvutus, kas see on 6 kuu või 1 aasta keskmine, päritolu, looja või omanik, funktsiooni tähendus ja palju muud.

Järgmistes jaotistes pakume kahte lähenemisviisi funktsioonide otsimiseks ja avastamiseks ning funktsioonitaseme metaandmete konfigureerimiseks: esimene Amazon SageMaker Studio otse ja teine ​​programmiliselt.

Funktsioonide avastamine Studios

Studio abil saate funktsioone hõlpsalt otsida ja päringuid teha. Tänu uutele täiustatud otsingu- ja avastamisvõimalustele saate tulemusi kohe hankida, kasutades lihtsat trükkimist mõne tähemärgiga ette.

Järgmine ekraanipilt näitab järgmisi võimalusi.

• Saate pääseb juurde Funktsioonide kataloog vahekaarti ja jälgige funktsioonirühmade funktsioone. Funktsioonid on esitatud tabelis, mis sisaldab funktsiooni nime, tüüpi, kirjeldust, parameetreid, loomise kuupäeva ja seotud funktsioonirühma nime.
• Otsingutulemuste viivitamatuks tagastamiseks saate otse kasutada ette kirjutamise funktsiooni.
• Saate paindlikult kasutada erinevat tüüpi filtrivalikuid. All, Feature name, Descriptionvõi Parameters. Pange tähele, et All tagastab kõik funktsioonid, kus kumbki Feature name, Descriptionvõi Parameters vastavad otsingukriteeriumitele.
• Saate otsingut veelgi kitsendada, määrates kuupäevavahemiku, kasutades nuppu Created from ja Created to väljad ja parameetrite määramine kasutades Search parameter key ja Search parameter value valdkondades.

Pärast funktsiooni valimist saate valida selle nime, et kuvada selle üksikasjad. Kui valite Redigeeri metaandmeid, saate lisada kirjelduse ja kuni 25 võtmeväärtuse parameetrit, nagu on näidatud järgmisel ekraanipildil. Selles vaates saate lõpuks funktsiooni metaandmeid luua, vaadata, värskendada ja kustutada. Järgmine ekraanipilt illustreerib, kuidas redigeerida funktsiooni metaandmeid total_amount.

Nagu eelnevalt öeldud, annab võtme-väärtuste paaride lisamine funktsioonile rohkem dimensioone, mille järgi nende antud funktsioone otsida. Meie näite puhul on funktsiooni päritolu lisatud iga funktsiooni metaandmetele. Kui valite otsinguikooni ja filtreerite võtme-väärtuse paari järgi origin: job, näete kõiki funktsioone, mis olid selle põhiatribuudiga ühekordselt kodeeritud.

Funktsioonide avastamine koodi abil

Funktsiooniteabele pääsete juurde ja seda saate värskendada ka veebisaidi kaudu AWS-i käsurea liides (AWS CLI) ja SDK (Boto3) asemel otse läbi AWS-i juhtimiskonsool. See võimaldab teil integreerida funktsioonide poe funktsioonitaseme otsingufunktsioonid oma kohandatud andmeteaduse platvormidega. Selles jaotises suhtleme funktsioonide metaandmete värskendamiseks ja otsimiseks Boto3 API lõpp-punktidega.

Funktsioonide otsingu ja leidmise täiustamise alustamiseks saate metaandmeid lisada, kasutades update_feature_metadata API. Lisaks description ja created_date väljadele, saate antud funktsioonile lisada kuni 25 parameetrit (võtme-väärtuse paari).

Järgmine kood on näide viiest võimalikust võtmeväärtuse parameetrist, mis on lisatud job_admin tunnusjoon. See funktsioon loodi koos job_services ja job_none, ühe kuuma kodeeringuga job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

pärast author, team, origin, sensitivityja env on lisatud job_admin funktsiooni, saavad andmeteadlased või ML-i insenerid need hankida, helistades numbrile describe_feature_metadata API. Saate navigeerida aadressile Parameters objekti vastuses metaandmetele, mille me varem oma funktsioonile lisasime. The describe_feature_metadata API lõpp-punkt võimaldab teil saada parema ülevaate antud funktsioonist, hankides sellega seotud metaandmed.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Funktsioone saate otsida SageMakeri abil search API, mis kasutab otsinguparameetritena metaandmeid. Järgmine kood on näidisfunktsioon, mis võtab a search_string parameeter sisendiks ja tagastab kõik funktsioonid, mille nimi, kirjeldus või parameetrid vastavad tingimusele:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Järgmine koodilõik kasutab meie search_features funktsiooni, et hankida kõik funktsioonid, mille nimi, kirjeldus või parameetrid sisaldavad seda sõna job:

search_results = search_features_using_string('mlops')
search_results

Järgmine ekraanipilt sisaldab sobivate funktsioonide nimede loendit ja nende vastavaid metaandmeid, sealhulgas iga funktsiooni loomise ja viimase muudatuse ajatempleid. Saate seda teavet kasutada oma organisatsiooni funktsioonide leidmise ja nähtavuse parandamiseks.

Järeldus

SageMaker Feature Store pakub spetsiaalselt loodud funktsioonide haldamise lahendust, mis aitab organisatsioonidel ML-i arendamist äriüksustes ja andmeteaduse meeskondades skaleerida. Funktsioonide taaskasutamise ja funktsioonide järjepidevuse parandamine on funktsioonide poe peamised eelised. Selles postituses selgitasime, kuidas saate funktsioonitaseme metaandmeid kasutada otsingu ja funktsioonide leidmise parandamiseks. See hõlmas metaandmete loomist mitmesuguste kasutusjuhtude kohta ja nende kasutamist täiendavate otsinguparameetritena.

Proovige järele ja andke meile kommentaarides teada, mida arvate. Kui soovite lisateavet funktsioonide poes koostöö tegemise ja funktsioonide jagamise kohta, vaadake jaotist Lubage funktsioonide taaskasutamine kontodel ja meeskondades, kasutades Amazon SageMaker Feature Store.

Autoritest

Arnaud Lauer on AWS-i avaliku sektori meeskonna vanempartnerlahenduste arhitekt. Ta võimaldab partneritel ja klientidel mõista, kuidas AWS-i tehnoloogiaid kõige paremini kasutada, et muuta ärivajadused lahendusteks. Ta toob endaga kaasa enam kui 16-aastase kogemuse digitaalsete transformatsiooniprojektide elluviimisel ja kavandamisel erinevates tööstusharudes, sealhulgas avalikus sektoris, energeetikas ja tarbekaupades. Tehisintellekt ja masinõpe on mõned tema kired. Arnaud omab 12 AWS sertifikaati, sealhulgas ML Specialty Certification.

Nicolas Bernier on lahenduste assotsieerunud arhitekt, osa AWS-i Kanada avaliku sektori meeskonnast. Praegu omandab ta magistrikraadi süvaõppe uurimisvaldkonnas ja tal on viis AWS-i sertifikaati, sealhulgas ML-i erialasertifikaat. Nicolas soovib kirglikult aidata klientidel oma teadmisi AWS-ist süvendada, tehes nendega koostööd, et muuta nende äriprobleemid tehnilisteks lahendusteks.

Mark Roy on AWS-i peamine masinõppearhitekt, kes aitab klientidel AI/ML-lahendusi kavandada ja luua. Marki töö hõlmab laia valikut ML-i kasutusjuhtumeid, mille peamine huvi on arvutinägemine, sügav õpe ja ML-i skaleerimine kogu ettevõttes. Ta on aidanud ettevõtteid paljudes tööstusharudes, sealhulgas kindlustus, finantsteenused, meedia ja meelelahutus, tervishoid, kommunaalteenused ja tootmine. Markil on kuus AWS-i sertifikaati, sealhulgas ML Specialty Certification. Enne AWS-iga liitumist oli Mark arhitekt, arendaja ja tehnoloogiajuht üle 25 aasta, sealhulgas 19 aastat finantsteenuste valdkonnas.

Khushboo Srivastava on Amazon SageMakeri vanemtootejuht. Talle meeldib luua tooteid, mis lihtsustavad klientide jaoks masinõppe töövooge. Vabal ajal meeldib talle viiulit mängida, joogat harjutada ja reisida.