Támogassa a funkciók felfedezését és újrafelhasználását szervezetében az Amazon SageMaker Feature Store és szolgáltatásszintű metaadat-képességének segítségével

Amazon SageMaker Feature Store segít az adattudósoknak és a gépi tanulási (ML) mérnököknek biztonságosan tárolni, felfedezni és megosztani a képzési és előrejelzési munkafolyamatokhoz felhasznált válogatott adatokat. A Feature Store a funkciók és a kapcsolódó metaadatok központosított tárolója, amely lehetővé teszi a funkciók könnyű felfedezését és újrafelhasználását a különböző projekteken vagy ML modelleken dolgozó adattudós csapatok számára.

A Feature Store segítségével mindig hozzáadhat metaadatokat a szolgáltatáscsoport szintjén. Azok az adattudósok, akik szeretnének keresni és felfedezni modelljeik meglévő funkcióit, mostantól egyéni metaadatok hozzáadásával funkciószinten is kereshetnek információkat. Az információ tartalmazhatja például a funkció leírását, az utolsó módosítás dátumát, az eredeti adatforrást, bizonyos mutatókat vagy az érzékenységi szintet.

A következő diagram bemutatja a szolgáltatáscsoportok, szolgáltatások és a kapcsolódó metaadatok közötti architektúra kapcsolatokat. Vegye figyelembe, hogy az adatkutatók mostantól leírásokat és metaadatokat adhatnak meg mind a jellemzőcsoportok, mind az egyedi jellemzők szintjén.

Ebben a bejegyzésben elmagyarázzuk, hogy az adattudósok és az ML-mérnökök hogyan használhatják a funkciószintű metaadatokat a Feature Store új keresési és felfedezési képességeivel, hogy elősegítsék a funkciók jobb újrafelhasználását szervezetükben. Ez a képesség jelentősen segítheti az adattudósokat a jellemzők kiválasztásának folyamatában, és ennek eredményeként segít azonosítani azokat a jellemzőket, amelyek a modell pontosabbá tételéhez vezetnek.

Használási eset

Ebben a bejegyzésben két funkciócsoportot használunk, customer és a loan.

A customer A funkciócsoport a következő tulajdonságokkal rendelkezik:

• kor - Az ügyfél életkora (numerikus)
• munka – A feladat típusa (egyszeres kódolású, pl admin or services)
• házastársi – Családi állapot (egyszeres kódolású, pl married or single)
• szabott oktatás – Képzettségi szint (egy-hot kódolású, pl basic 4y or high school)

A loan A funkciócsoport a következő tulajdonságokkal rendelkezik:

• alapértelmezett – Késedelmes hitele van? (egyszeres kódolású: no or yes)
• ház - Van lakáshitel? (egyszeres kódolású: no or yes)
• hitel - Van személyi kölcsön? (egyszeres kódolású: no or yes)
• teljes összeg – A kölcsönök teljes összege (numerikus)

A következő ábra a jellemzőcsoportokra és a funkciók metaadataira mutat példákat.

A leírás hozzáadásának és az egyes funkciókhoz metaadatok hozzárendelésének célja a felfedezés sebességének növelése azáltal, hogy új keresési paramétereket tesz lehetővé, amelyek mentén egy adattudós vagy ML-mérnök felfedezheti a funkciókat. Ezek tükrözhetik a funkció részleteit, például annak kiszámítását, akár 6 hónap, akár 1 év átlagát, származást, alkotót vagy tulajdonost, a funkció jelentését stb.

A következő szakaszokban két megközelítést kínálunk a szolgáltatások kereséséhez és felfedezéséhez, valamint a szolgáltatásszintű metaadatok konfigurálásához: az első Amazon SageMaker Studio közvetlenül, a második pedig programozottan.

Funkciók felfedezése a Stúdióban

A Studio használatával egyszerűen kereshet és lekérdezhet funkciókat. Az új, továbbfejlesztett keresési és felderítési lehetőségekkel azonnal lekérheti az eredményeket egy egyszerű, néhány karakteres gépeléssel.

Az alábbi képernyőkép a következő képességeket mutatja be:

• Hozzáférhet a Funkciókatalógus lapon, és figyelje meg a funkciókat a szolgáltatáscsoportok között. A szolgáltatások egy táblázatban jelennek meg, amely tartalmazza a jellemző nevét, típusát, leírását, paramétereit, a létrehozás dátumát és a kapcsolódó szolgáltatáscsoport nevét.
• Közvetlenül használhatja az előre gépelés funkciót a keresési eredmények azonnali visszaadásához.
• Rugalmasan használhatja a különböző típusú szűrőbeállításokat: All, Feature name, Descriptionvagy Parameters. Vegye figyelembe, hogy All visszaadja az összes funkciót, ahol vagy Feature name, Descriptionvagy Parameters megfelelnek a keresési feltételeknek.
• Tovább szűkítheti a keresést a dátumtartomány megadásával a Created from és a Created to mezők és paraméterek megadása a segítségével Search parameter key és a Search parameter value területeken.

Miután kiválasztott egy tereptárgyat, kiválaszthatja a funkció nevét a részletek megjelenítéséhez. Amikor választasz A metaadatok szerkesztése, hozzáadhat egy leírást és legfeljebb 25 kulcsérték-paramétert, amint az a következő képernyőképen látható. Ebben a nézetben végső soron létrehozhatja, megtekintheti, frissítheti és törölheti a funkció metaadatait. A következő képernyőkép bemutatja, hogyan szerkesztheti a szolgáltatás metaadatait total_amount.

Amint azt korábban említettük, kulcs-érték párok hozzáadása egy funkcióhoz több dimenziót biztosít, amelyek mentén keresheti az adott jellemzőket. Példánkban a tereptárgy eredete minden funkció metaadatához hozzáadásra került. Amikor kiválasztja a keresés ikont, és a kulcs-érték pár mentén szűr origin: job, láthatja az összes olyan szolgáltatást, amely egy gyors kódolású volt ebből az alapattribútumból.

Funkciók felfedezése kód segítségével

A szolgáltatással kapcsolatos információkat a következőn keresztül is elérheti és frissítheti AWS parancssori interfész (AWS CLI) és SDK (Boto3) helyett közvetlenül a AWS felügyeleti konzol. Ez lehetővé teszi a Feature Store szolgáltatásszintű keresési funkcióinak integrálását saját egyéni adattudományi platformjaival. Ebben a részben a Boto3 API végpontjaival foglalkozunk a funkciók metaadatainak frissítése és keresése érdekében.

A funkciók keresésének és felfedezésének javításához hozzáadhat metaadatokat a update_feature_metadata API. Amellett, hogy a description és a created_date mezőkben legfeljebb 25 paramétert (kulcs-érték pár) adhat hozzá egy adott szolgáltatáshoz.

A következő kód egy példa öt lehetséges kulcsérték-paraméterre, amelyek hozzáadásra kerültek a job_admin funkció. Ez a funkció a következővel együtt jött létre job_services és a job_none, one-hot-kódolással job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Után author, team, origin, sensitivityés env hozzáadták a job_admin funkciót, az adattudósok vagy az ML mérnökök lekérhetik őket a szám hívásával describe_feature_metadata API. Navigálhat a Parameters objektumot a szolgáltatásunkhoz korábban hozzáadott metaadatokra adott válaszban. Az describe_feature_metadata API-végpont lehetővé teszi, hogy nagyobb betekintést nyerjen egy adott szolgáltatásba a kapcsolódó metaadatok lekérésével.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

A SageMaker segítségével kereshet funkciókat search API metaadatokat használ keresési paraméterként. A következő kód egy példafüggvény, amely a search_string paramétert bemenetként, és visszaadja az összes olyan jellemzőt, ahol a jellemző neve, leírása vagy paraméterei megfelelnek a feltételnek:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

A következő kódrészlet a mi search_features függvény az összes olyan jellemző lekéréséhez, amelyekhez a jellemző neve, leírása vagy paraméterei tartalmazzák a szót job:

search_results = search_features_using_string('mlops')
search_results

A következő képernyőkép az egyező funkciónevek listáját, valamint a hozzájuk tartozó metaadatokat tartalmazza, beleértve az egyes funkciók létrehozásának és utolsó módosításának időbélyegeit. Ezeket az információkat felhasználhatja szervezete funkcióinak felfedezésének és láthatóságának javítására.

Következtetés

A SageMaker Feature Store egy erre a célra kialakított szolgáltatáskezelési megoldást kínál, amely segít a szervezeteknek az ML-fejlesztések skálázásában az üzleti egységek és az adattudományi csapatok között. A funkciók újrafelhasználásának és a szolgáltatások konzisztenciájának javítása a szolgáltatástároló elsődleges előnyei. Ebben a bejegyzésben elmagyaráztuk, hogyan használhatja a funkciószintű metaadatokat a keresés és a funkciók felfedezésének javítására. Ez magában foglalta a metaadatok létrehozását különféle használati esetek körül, és további keresési paraméterekként való felhasználását.

Próbáld ki, és kommentben oszd meg velünk, mit gondolsz. Ha többet szeretne megtudni a Feature Store-on belüli együttműködési és megosztási funkciókról, tekintse meg a következőt Engedélyezze a funkciók újrafelhasználását fiókok és csapatok között az Amazon SageMaker Feature Store segítségével.

A szerzőkről

Arnaud Lauer az AWS közszféra csapatának vezető partner megoldási építésze. Lehetővé teszi a partnerek és az ügyfelek számára, hogy megértsék, hogyan használhatják a legjobban az AWS-technológiákat az üzleti igények megoldásokká alakítására. Több mint 16 éves tapasztalattal rendelkezik a digitális átalakítási projektek megvalósításában és tervezésében számos iparágban, beleértve a közszférát, az energiát és a fogyasztási cikkeket. Szenvedélyei közé tartozik a mesterséges intelligencia és a gépi tanulás. Arnaud 12 AWS minősítéssel rendelkezik, beleértve az ML Specialty Certificationt is.

Nicolas Bernier az AWS kanadai közszféra csapatának tagja, a Solutions Architect munkatársa. Jelenleg mesterképzést folytat a mélytanulás kutatási területével, és öt AWS-tanúsítvánnyal rendelkezik, köztük az ML Specialty Certification-vel. Nicolas szenvedélyesen támogatja ügyfeleit az AWS-rel kapcsolatos ismereteik elmélyítésében azáltal, hogy velük együttműködve üzleti kihívásaikat műszaki megoldásokká alakítja át.

Mark Roy az AWS fő gépi tanulási építésze, aki segít az ügyfeleknek AI/ML megoldások tervezésében és kivitelezésében. Mark munkája az ML felhasználási esetek széles skáláját fedi le, elsősorban a számítógépes látás, a mély tanulás és az ML méretezése a vállalaton belül. Számos iparágban segített cégeknek, beleértve a biztosítást, a pénzügyi szolgáltatásokat, a médiát és a szórakoztatást, az egészségügyet, a közműveket és a gyártást. Mark hat AWS-tanúsítvánnyal rendelkezik, köztük az ML Specialty Certification-vel. Mielőtt csatlakozott az AWS-hez, Mark építész, fejlesztő és technológiai vezető volt több mint 25 éven át, ebből 19 évig pénzügyi szolgáltatásokkal foglalkozott.

Khushboo Srivastava az Amazon SageMaker vezető termékmenedzsere. Szeret olyan termékeket építeni, amelyek leegyszerűsítik a gépi tanulási munkafolyamatokat az ügyfelek számára. Szabadidejében szívesen hegedül, jógázik és utazik.