Edistä ominaisuuksien löytämistä ja uudelleenkäyttöä organisaatiossasi käyttämällä Amazon SageMaker Feature Storea ja sen ominaisuustason metatietoominaisuuksia

Amazon SageMaker -ominaisuuskauppa auttaa datatieteilijöitä ja koneoppimisen (ML) insinöörejä turvallisesti tallentamaan, löytämään ja jakamaan koulutus- ja ennakointityönkuluissa käytettävää kuratoitua dataa. Feature Store on ominaisuuksien ja niihin liittyvien metatietojen keskitetty varasto, jonka avulla eri projekteissa tai ML-malleissa työskentelevät datatutkijaryhmät voivat helposti löytää ja käyttää ominaisuuksia.

Feature Storen avulla olet aina voinut lisätä metatietoja ominaisuusryhmätasolla. Datatieteilijät, jotka haluavat mahdollisuuden etsiä ja löytää olemassa olevia ominaisuuksia malleilleen, voivat nyt etsiä tietoa ominaisuustasolta lisäämällä mukautettuja metatietoja. Tiedot voivat sisältää esimerkiksi ominaisuuden kuvauksen, päivämäärän, jolloin sitä viimeksi muokattiin, sen alkuperäinen tietolähde, tiettyjä mittareita tai herkkyystaso.

Seuraava kaavio havainnollistaa ominaisuusryhmien, ominaisuuksien ja niihin liittyvien metatietojen välisiä arkkitehtuurisuhteita. Huomaa, kuinka datatutkijat voivat nyt määrittää kuvauksia ja metatietoja sekä ominaisuusryhmätasolla että yksittäisten ominaisuuksien tasolla.

Tässä viestissä selitämme, kuinka datatieteilijät ja ML-insinöörit voivat käyttää ominaisuustason metatietoja Feature Storen uusien haku- ja etsintäominaisuuksien kanssa edistääkseen ominaisuuksien uudelleenkäyttöä organisaatiossaan. Tämä ominaisuus voi merkittävästi auttaa datatieteilijöitä ominaisuuksien valintaprosessissa ja sen seurauksena auttaa sinua tunnistamaan ominaisuuksia, jotka lisäävät mallin tarkkuutta.

Käytä tapausta

Käytämme tätä viestiä varten kahta ominaisuusryhmää, customer ja loan.

- customer ominaisuusryhmässä on seuraavat ominaisuudet:

• ikä – Asiakkaan ikä (numeerinen)
• Työpaikka – Työn tyyppi (one-hot-koodattu, esim admin or services)
• avio- – Siviilisääty (on-hot-koodattu, esim married or single)
• koulutus – Koulutustaso (one-hot-koodattu, esim basic 4y or high school)

- loan ominaisuusryhmässä on seuraavat ominaisuudet:

• oletusarvo – Onko luottoa maksamatta? (one-hot-koodattu: no or yes)
• kotelo – Onko asuntolainaa? (one-hot-koodattu: no or yes)
• lainata – Onko sinulla henkilökohtaista lainaa? (one-hot-koodattu: no or yes)
• kokonaismäärä – Lainojen kokonaismäärä (numeerinen)

Seuraavassa kuvassa on esimerkkiominaisuusryhmistä ja ominaisuuksien metatiedot.

Kuvauksen lisäämisen ja metatietojen määrittämisen jokaiselle ominaisuudelle tarkoituksena on nopeuttaa löytämistä ottamalla käyttöön uusia hakuparametreja, joiden avulla datatieteilijä tai ML-insinööri voi tutkia ominaisuuksia. Nämä voivat kuvastaa ominaisuuden yksityiskohtia, kuten sen laskelmia, onko kyseessä 6 kuukauden tai 1 vuoden keskiarvo, alkuperä, luoja tai omistaja, ominaisuuden merkitys ja paljon muuta.

Seuraavissa osioissa tarjoamme kaksi tapaa etsiä ja löytää ominaisuuksia sekä määrittää ominaisuustason metatietoja: ensimmäinen Amazon SageMaker Studio suoraan ja toinen ohjelmallisesti.

Ominaisuuden löytäminen Studiossa

Voit helposti etsiä ja tehdä hakuja ominaisuuksista Studion avulla. Uusien parannettujen haku- ja etsintäominaisuuksien avulla voit hakea tulokset välittömästi käyttämällä yksinkertaista muutaman merkin kirjoittamista.

Seuraava kuvakaappaus osoittaa seuraavat ominaisuudet:

• Voit käyttää Ominaisuusluettelo välilehteä ja tarkkaile ominaisuuksia eri ominaisuusryhmissä. Ominaisuudet esitetään taulukossa, joka sisältää ominaisuuden nimen, tyypin, kuvauksen, parametrit, luontipäivämäärän ja siihen liittyvän ominaisuusryhmän nimen.
• Voit suoraan käyttää kirjoittamistoimintoa palauttaaksesi hakutulokset välittömästi.
• Voit joustavasti käyttää erilaisia ​​suodatinvaihtoehtoja: All, Feature name, Descriptiontai Parameters. Ota huomioon, että All palauttaa kaikki ominaisuudet minne tahansa Feature name, Descriptiontai Parameters vastaa hakuehtoja.
• Voit tarkentaa hakua lisää määrittämällä ajanjakson käyttämällä Created from ja Created to kentät ja parametrien määrittäminen käyttämällä Search parameter key ja Search parameter value kentät.

Kun olet valinnut ominaisuuden, voit valita ominaisuuden nimen tuodaksesi sen tiedot näkyviin. Kun valitset Muokkaa metatietoja, voit lisätä kuvauksen ja enintään 25 avainarvoparametria seuraavan kuvakaappauksen mukaisesti. Tässä näkymässä voit viime kädessä luoda, tarkastella, päivittää ja poistaa ominaisuuden metatietoja. Seuraava kuvakaappaus havainnollistaa, kuinka voit muokata ominaisuuden metatietoja total_amount.

Kuten aiemmin todettiin, avain-arvo-parien lisääminen ominaisuuteen antaa sinulle enemmän ulottuvuuksia, joiden perusteella voit etsiä niiden annettuja ominaisuuksia. Esimerkissämme ominaisuuden alkuperä on lisätty jokaisen ominaisuuden metatietoihin. Kun valitset hakukuvakkeen ja suodatat avain-arvo-parin mukaan origin: job, näet kaikki ominaisuudet, jotka oli koodattu tämän perusattribuutin perusteella.

Ominaisuuden etsiminen koodin avulla

Voit myös käyttää ja päivittää ominaisuustietoja -palvelun kautta AWS-komentoriviliitäntä (AWS CLI) ja SDK (Boto3) eikä suoraan AWS-hallintakonsoli. Tämän avulla voit integroida Feature Storen ominaisuustason hakutoiminnot omiin mukautettuihin datatieteen alustoihisi. Tässä osiossa olemme vuorovaikutuksessa Boto3 API -päätepisteiden kanssa ominaisuuksien metatietojen päivittämiseksi ja hakemiseksi.

Voit aloittaa ominaisuuksien haun ja löytämisen parantamisen lisäämällä metatietoja käyttämällä update_feature_metadata API. Lisäksi description ja created_date kenttiin, voit lisätä enintään 25 parametria (avainarvo-paria) tiettyyn ominaisuuteen.

Seuraava koodi on esimerkki viidestä mahdollisesta avainarvoparametrista, jotka on lisätty job_admin ominaisuus. Tämä ominaisuus luotiin yhdessä job_services ja job_none, one-hot-koodauksella job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Jälkeen author, team, origin, sensitivityja env on lisätty job_admin ominaisuus, datatieteilijät tai ML-insinöörit voivat hakea ne soittamalla numeroon describe_feature_metadata API. Voit navigoida kohteeseen Parameters -objekti vastauksessa metatietoihin, jotka olemme aiemmin lisänneet ominaisuuteen. The describe_feature_metadata API-päätepisteen avulla voit saada paremman käsityksen tietystä ominaisuudesta hankkimalla siihen liittyvät metatiedot.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Voit etsiä ominaisuuksia SageMakerin avulla search API käyttää metatietoja hakuparametreina. Seuraava koodi on esimerkkifunktio, joka ottaa a search_string parametri syötteenä ja palauttaa kaikki ominaisuudet, joissa ominaisuuden nimi, kuvaus tai parametrit vastaavat ehtoa:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Seuraava koodinpätkä käyttää meidän search_features toiminto noutaa kaikki ominaisuudet, joiden joko ominaisuuden nimi, kuvaus tai parametrit sisältävät sanan job:

search_results = search_features_using_string('mlops')
search_results

Seuraava kuvakaappaus sisältää luettelon vastaavista ominaisuuksien nimistä sekä niitä vastaavat metatiedot, mukaan lukien kunkin ominaisuuden luomisen ja viimeisimmän muokkauksen aikaleimat. Voit käyttää näitä tietoja parantaaksesi organisaatiosi ominaisuuksien löytämistä ja näkyvyyttä.

Yhteenveto

SageMaker Feature Store tarjoaa tarkoitukseen rakennetun ominaisuuksien hallintaratkaisun, joka auttaa organisaatioita skaalaamaan ML-kehitystä liiketoimintayksiköiden ja tietotieteiden ryhmien välillä. Ominaisuuden uudelleenkäytön ja ominaisuuksien johdonmukaisuuden parantaminen ovat ominaisuussäilön ensisijaisia ​​etuja. Tässä viestissä selitimme, kuinka voit käyttää ominaisuustason metatietoja parantaaksesi hakua ja ominaisuuksien löytämistä. Tähän sisältyi metatietojen luominen useisiin käyttötapauksiin ja niiden käyttäminen lisähakuparametreina.

Kokeile ja kerro meille mielipiteesi kommenteissa. Jos haluat lisätietoja yhteistyö- ja jakamisominaisuuksista Feature Storessa, katso Ota ominaisuuden uudelleenkäyttö käyttöön kaikilla tileillä ja tiimeillä Amazon SageMaker Feature Storesta.

Tietoja kirjoittajista

Arnaud Lauer on Senior Partner Solutions -arkkitehti AWS:n julkisen sektorin tiimissä. Hän auttaa kumppaneita ja asiakkaita ymmärtämään, kuinka AWS-teknologioita voidaan parhaiten käyttää liiketoiminnan tarpeiden muuttamiseksi ratkaisuiksi. Hänellä on yli 16 vuoden kokemus digitaalisten muutosprojektien toimittamisesta ja suunnittelusta useilla toimialoilla, mukaan lukien julkinen sektori, energia ja kulutushyödykkeet. Tekoäly ja koneoppiminen ovat hänen intohimojaan. Arnaudilla on 12 AWS-sertifikaattia, mukaan lukien ML Specialty Certification.

Nicolas Bernier on Associate Solutions Architect, osa AWS:n Kanadan julkisen sektorin tiimiä. Hän suorittaa parhaillaan maisterintutkintoa Deep Learningin tutkimusalueella ja hänellä on viisi AWS-sertifikaattia, mukaan lukien ML Specialty Certification. Nicolas haluaa intohimoisesti auttaa asiakkaita syventämään AWS-tietoaan tekemällä yhteistyötä heidän kanssaan muuttaakseen liiketoimintahaasteet teknisiksi ratkaisuiksi.

Mark Roy on AWS: n johtava koneoppimisarkkitehti, joka auttaa asiakkaita suunnittelemaan ja rakentamaan tekoälyn / ML-ratkaisuja. Markin työ kattaa laajan valikoiman ML-käyttötapauksia, ja ensisijainen kiinnostus tietokoneiden näkemiseen, syvälliseen oppimiseen ja ML: n laajentamiseen koko yrityksessä. Hän on auttanut yrityksiä monilla aloilla, mukaan lukien vakuutukset, rahoituspalvelut, media ja viihde, terveydenhuolto, yleishyödylliset palvelut ja valmistus. Markilla on kuusi AWS-sertifikaattia, mukaan lukien ML Specialty -sertifikaatti. Ennen AWS: ään tuloaan Mark oli arkkitehti, kehittäjä ja teknologiajohtaja yli 25 vuotta, joista 19 vuotta rahoituspalveluissa.

Khushboo Srivastava on Amazon SageMakerin vanhempi tuotepäällikkö. Hän nauttii sellaisten tuotteiden rakentamisesta, jotka yksinkertaistavat asiakkaiden koneoppimisen työnkulkuja. Vapaa-ajallaan hän harrastaa viulunsoittoa, joogaa ja matkustamista.