Amazon SageMaker Feature Store segít az adattudósoknak és a gépi tanulási (ML) mérnököknek biztonságosan tárolni, felfedezni és megosztani a képzési és előrejelzési munkafolyamatokhoz felhasznált válogatott adatokat. A Feature Store a funkciók és a kapcsolódó metaadatok központosított tárolója, amely lehetővé teszi a funkciók könnyű felfedezését és újrafelhasználását a különböző projekteken vagy ML modelleken dolgozó adattudós csapatok számára.
A Feature Store segítségével mindig hozzáadhat metaadatokat a szolgáltatáscsoport szintjén. Azok az adattudósok, akik szeretnének keresni és felfedezni modelljeik meglévő funkcióit, mostantól egyéni metaadatok hozzáadásával funkciószinten is kereshetnek információkat. Az információ tartalmazhatja például a funkció leírását, az utolsó módosítás dátumát, az eredeti adatforrást, bizonyos mutatókat vagy az érzékenységi szintet.
A következő diagram bemutatja a szolgáltatáscsoportok, szolgáltatások és a kapcsolódó metaadatok közötti architektúra kapcsolatokat. Vegye figyelembe, hogy az adatkutatók mostantól leírásokat és metaadatokat adhatnak meg mind a jellemzőcsoportok, mind az egyedi jellemzők szintjén.
Ebben a bejegyzésben elmagyarázzuk, hogy az adattudósok és az ML-mérnökök hogyan használhatják a funkciószintű metaadatokat a Feature Store új keresési és felfedezési képességeivel, hogy elősegítsék a funkciók jobb újrafelhasználását szervezetükben. Ez a képesség jelentősen segítheti az adattudósokat a jellemzők kiválasztásának folyamatában, és ennek eredményeként segít azonosítani azokat a jellemzőket, amelyek a modell pontosabbá tételéhez vezetnek.
Használási eset
Ebben a bejegyzésben két funkciócsoportot használunk, customer
és a loan
.
A customer
A funkciócsoport a következő tulajdonságokkal rendelkezik:
- kor - Az ügyfél életkora (numerikus)
- munka – A feladat típusa (egyszeres kódolású, pl
admin
orservices
) - házastársi – Családi állapot (egyszeres kódolású, pl
married
orsingle
) - szabott oktatás – Képzettségi szint (egy-hot kódolású, pl
basic 4y
orhigh school
)
A loan
A funkciócsoport a következő tulajdonságokkal rendelkezik:
- alapértelmezett – Késedelmes hitele van? (egyszeres kódolású:
no
oryes
) - ház - Van lakáshitel? (egyszeres kódolású:
no
oryes
) - hitel - Van személyi kölcsön? (egyszeres kódolású:
no
oryes
) - teljes összeg – A kölcsönök teljes összege (numerikus)
A következő ábra a jellemzőcsoportokra és a funkciók metaadataira mutat példákat.
A leírás hozzáadásának és az egyes funkciókhoz metaadatok hozzárendelésének célja a felfedezés sebességének növelése azáltal, hogy új keresési paramétereket tesz lehetővé, amelyek mentén egy adattudós vagy ML-mérnök felfedezheti a funkciókat. Ezek tükrözhetik a funkció részleteit, például annak kiszámítását, akár 6 hónap, akár 1 év átlagát, származást, alkotót vagy tulajdonost, a funkció jelentését stb.
A következő szakaszokban két megközelítést kínálunk a szolgáltatások kereséséhez és felfedezéséhez, valamint a szolgáltatásszintű metaadatok konfigurálásához: az első Amazon SageMaker Studio közvetlenül, a második pedig programozottan.
Funkciók felfedezése a Stúdióban
A Studio használatával egyszerűen kereshet és lekérdezhet funkciókat. Az új, továbbfejlesztett keresési és felderítési lehetőségekkel azonnal lekérheti az eredményeket egy egyszerű, néhány karakteres gépeléssel.
Az alábbi képernyőkép a következő képességeket mutatja be:
- Hozzáférhet a Funkciókatalógus lapon, és figyelje meg a funkciókat a szolgáltatáscsoportok között. A szolgáltatások egy táblázatban jelennek meg, amely tartalmazza a jellemző nevét, típusát, leírását, paramétereit, a létrehozás dátumát és a kapcsolódó szolgáltatáscsoport nevét.
- Közvetlenül használhatja az előre gépelés funkciót a keresési eredmények azonnali visszaadásához.
- Rugalmasan használhatja a különböző típusú szűrőbeállításokat:
All
,Feature name
,Description
vagyParameters
. Vegye figyelembe, hogyAll
visszaadja az összes funkciót, ahol vagyFeature name
,Description
vagyParameters
megfelelnek a keresési feltételeknek. - Tovább szűkítheti a keresést a dátumtartomány megadásával a
Created from
és aCreated to
mezők és paraméterek megadása a segítségévelSearch parameter key
és aSearch parameter value
területeken.
Miután kiválasztott egy tereptárgyat, kiválaszthatja a funkció nevét a részletek megjelenítéséhez. Amikor választasz A metaadatok szerkesztése, hozzáadhat egy leírást és legfeljebb 25 kulcsérték-paramétert, amint az a következő képernyőképen látható. Ebben a nézetben végső soron létrehozhatja, megtekintheti, frissítheti és törölheti a funkció metaadatait. A következő képernyőkép bemutatja, hogyan szerkesztheti a szolgáltatás metaadatait total_amount
.
Amint azt korábban említettük, kulcs-érték párok hozzáadása egy funkcióhoz több dimenziót biztosít, amelyek mentén keresheti az adott jellemzőket. Példánkban a tereptárgy eredete minden funkció metaadatához hozzáadásra került. Amikor kiválasztja a keresés ikont, és a kulcs-érték pár mentén szűr origin: job
, láthatja az összes olyan szolgáltatást, amely egy gyors kódolású volt ebből az alapattribútumból.
Funkciók felfedezése kód segítségével
A szolgáltatással kapcsolatos információkat a következőn keresztül is elérheti és frissítheti AWS parancssori interfész (AWS CLI) és SDK (Boto3) helyett közvetlenül a AWS felügyeleti konzol. Ez lehetővé teszi a Feature Store szolgáltatásszintű keresési funkcióinak integrálását saját egyéni adattudományi platformjaival. Ebben a részben a Boto3 API végpontjaival foglalkozunk a funkciók metaadatainak frissítése és keresése érdekében.
A funkciók keresésének és felfedezésének javításához hozzáadhat metaadatokat a update_feature_metadata
API. Amellett, hogy a description
és a created_date
mezőkben legfeljebb 25 paramétert (kulcs-érték pár) adhat hozzá egy adott szolgáltatáshoz.
A következő kód egy példa öt lehetséges kulcsérték-paraméterre, amelyek hozzáadásra kerültek a job_admin
funkció. Ez a funkció a következővel együtt jött létre job_services
és a job_none
, one-hot-kódolással job
.
Után author
, team
, origin
, sensitivity
és env
hozzáadták a job_admin
funkciót, az adattudósok vagy az ML mérnökök lekérhetik őket a szám hívásával describe_feature_metadata
API. Navigálhat a Parameters
objektumot a szolgáltatásunkhoz korábban hozzáadott metaadatokra adott válaszban. Az describe_feature_metadata
API-végpont lehetővé teszi, hogy nagyobb betekintést nyerjen egy adott szolgáltatásba a kapcsolódó metaadatok lekérésével.
A SageMaker segítségével kereshet funkciókat search
API metaadatokat használ keresési paraméterként. A következő kód egy példafüggvény, amely a search_string
paramétert bemenetként, és visszaadja az összes olyan jellemzőt, ahol a jellemző neve, leírása vagy paraméterei megfelelnek a feltételnek:
A következő kódrészlet a mi search_features
függvény az összes olyan jellemző lekéréséhez, amelyekhez a jellemző neve, leírása vagy paraméterei tartalmazzák a szót job
:
A következő képernyőkép az egyező funkciónevek listáját, valamint a hozzájuk tartozó metaadatokat tartalmazza, beleértve az egyes funkciók létrehozásának és utolsó módosításának időbélyegeit. Ezeket az információkat felhasználhatja szervezete funkcióinak felfedezésének és láthatóságának javítására.
Következtetés
A SageMaker Feature Store egy erre a célra kialakított szolgáltatáskezelési megoldást kínál, amely segít a szervezeteknek az ML-fejlesztések skálázásában az üzleti egységek és az adattudományi csapatok között. A funkciók újrafelhasználásának és a szolgáltatások konzisztenciájának javítása a szolgáltatástároló elsődleges előnyei. Ebben a bejegyzésben elmagyaráztuk, hogyan használhatja a funkciószintű metaadatokat a keresés és a funkciók felfedezésének javítására. Ez magában foglalta a metaadatok létrehozását különféle használati esetek körül, és további keresési paraméterekként való felhasználását.
Próbáld ki, és kommentben oszd meg velünk, mit gondolsz. Ha többet szeretne megtudni a Feature Store-on belüli együttműködési és megosztási funkciókról, tekintse meg a következőt Engedélyezze a funkciók újrafelhasználását fiókok és csapatok között az Amazon SageMaker Feature Store segítségével.
A szerzőkről
Arnaud Lauer az AWS közszféra csapatának vezető partner megoldási építésze. Lehetővé teszi a partnerek és az ügyfelek számára, hogy megértsék, hogyan használhatják a legjobban az AWS-technológiákat az üzleti igények megoldásokká alakítására. Több mint 16 éves tapasztalattal rendelkezik a digitális átalakítási projektek megvalósításában és tervezésében számos iparágban, beleértve a közszférát, az energiát és a fogyasztási cikkeket. Szenvedélyei közé tartozik a mesterséges intelligencia és a gépi tanulás. Arnaud 12 AWS minősítéssel rendelkezik, beleértve az ML Specialty Certificationt is.
Nicolas Bernier az AWS kanadai közszféra csapatának tagja, a Solutions Architect munkatársa. Jelenleg mesterképzést folytat a mélytanulás kutatási területével, és öt AWS-tanúsítvánnyal rendelkezik, köztük az ML Specialty Certification-vel. Nicolas szenvedélyesen támogatja ügyfeleit az AWS-rel kapcsolatos ismereteik elmélyítésében azáltal, hogy velük együttműködve üzleti kihívásaikat műszaki megoldásokká alakítja át.
Mark Roy az AWS fő gépi tanulási építésze, aki segít az ügyfeleknek AI/ML megoldások tervezésében és kivitelezésében. Mark munkája az ML felhasználási esetek széles skáláját fedi le, elsősorban a számítógépes látás, a mély tanulás és az ML méretezése a vállalaton belül. Számos iparágban segített cégeknek, beleértve a biztosítást, a pénzügyi szolgáltatásokat, a médiát és a szórakoztatást, az egészségügyet, a közműveket és a gyártást. Mark hat AWS-tanúsítvánnyal rendelkezik, köztük az ML Specialty Certification-vel. Mielőtt csatlakozott az AWS-hez, Mark építész, fejlesztő és technológiai vezető volt több mint 25 éven át, ebből 19 évig pénzügyi szolgáltatásokkal foglalkozott.
Khushboo Srivastava az Amazon SageMaker vezető termékmenedzsere. Szeret olyan termékeket építeni, amelyek leegyszerűsítik a gépi tanulási munkafolyamatokat az ügyfelek számára. Szabadidejében szívesen hegedül, jógázik és utazik.
- AI
- ai művészet
- ai art generátor
- van egy robotod
- Amazon SageMaker
- mesterséges intelligencia
- mesterséges intelligencia tanúsítás
- mesterséges intelligencia a bankszektorban
- mesterséges intelligencia robot
- mesterséges intelligencia robotok
- mesterséges intelligencia szoftver
- AWS gépi tanulás
- blockchain
- blokklánc konferencia ai
- coingenius
- társalgási mesterséges intelligencia
- kriptokonferencia ai
- dall's
- mély tanulás
- google azt
- gépi tanulás
- Plató
- plato ai
- Platón adatintelligencia
- Platón játék
- PlatoData
- platogaming
- skála ai
- szintaxis
- zephyrnet