Létrehozhat szolgáltatástárolókat, amelyek központi tárházat biztosítanak a gépi tanulási (ML) funkciók számára, amelyek megoszthatók a szervezet adattudományi csoportjaival képzés, kötegelt pontozás és valós idejű következtetés céljából. Az adattudományi csapatok újra felhasználhatják a központi adattárban tárolt szolgáltatásokat, így elkerülhető, hogy a különböző projektekhez újratervezzék a funkciófolyamatokat, és ennek eredményeként kiküszöbölhető az átdolgozás és a párhuzamosság.
A biztonsági és megfelelőségi igények kielégítése érdekében szükség lehet ezekhez a megosztott ML-szolgáltatásokhoz való hozzáférés részletes szabályozására. Ezek az igények gyakran túlmutatnak a tábla- és oszlopszintű hozzáférés-vezérlésen, hanem az egyedi sorszintű hozzáférés-vezérlésen is. Például megengedheti, hogy a fiókképviselők csak a saját fiókjukat lássák az értékesítési táblázat sorait, és elrejtse az érzékeny adatok, például a hitelkártyaszámok előtagját. A funkciók tárolási adatainak védelméhez és az egyén szerepkörén alapuló hozzáférés biztosításához aprólékos hozzáférés-szabályozásra van szükség. Ez különösen fontos az olyan iparágakban működő ügyfelek és érdekelt felek számára, amelyeknek ellenőrizniük kell a szolgáltatások adataihoz való hozzáférést, és biztosítaniuk kell a megfelelő szintű biztonságot.
Ebben a bejegyzésben áttekintést adunk arról, hogyan valósíthatunk meg részletes hozzáférés-szabályozást a funkciócsoportokhoz és az offline szolgáltatástárolóban tárolt szolgáltatásokhoz. Amazon SageMaker Feature Store és a AWS-tó formáció. Ha még most ismerkedik a Feature Store szolgáltatással, érdemes erre hivatkozni Az Amazon SageMaker Feature Store legfontosabb képességeinek megismerése további háttérért, mielőtt belevágna a bejegyzés további részébe. Ne feledje, hogy az online szolgáltatásáruházhoz használhatja AWS Identity and Access Management (IAM) házirendek olyan feltételekkel, amelyek korlátozzák a felhasználói hozzáférést a szolgáltatáscsoportokhoz.
Megoldás áttekintése
A következő architektúra a Lake Formation segítségével valósítja meg a sor-, oszlop- vagy cellaszintű hozzáférést, hogy korlátozza, hogy a szolgáltatáscsoporton belül mely jellemzőcsoportokhoz vagy szolgáltatásokhoz férhessen hozzá egy adattudós. Amazon SageMaker Studio. Bár arra összpontosítunk, hogy korlátozzuk a hozzáférést a Studio-ban dolgozó felhasználókra, ugyanez a megközelítés érvényes azokra a felhasználókra is, akik olyan szolgáltatások használatával érik el az offline szolgáltatástárolót Amazon Athéné.
A Feature Store egy erre a célra kifejlesztett megoldás az ML-funkciók kezelésére, amely segít az adattudományi csapatoknak az ML-funkciók újrafelhasználásában a csapatok és modellek között, alacsony késleltetésű skálájú modell-előrejelzések szolgáltatásában, valamint az új modellek gyorsabb és hatékonyabb betanításában és üzembe helyezésében.
A Lake Formation egy teljesen felügyelt szolgáltatás, amely segít az adattók létrehozásában, biztonságossá tételében és kezelésében, valamint hozzáférés-szabályozást biztosít az adattóban. A Lake Formation a következő biztonsági szinteket támogatja:
- Sorszintű engedélyek – Az adatmegfelelőség és az irányítási irányelvek alapján korlátozza a hozzáférést bizonyos sorokhoz
- Oszlopszintű engedélyek – Adatszűrők alapján korlátozza a hozzáférést bizonyos oszlopokhoz
- Cellaszintű engedélyek - Egyesíti a sor- és oszlopszintű vezérlőket azáltal, hogy lehetővé teszi az adatbázistáblák meghatározott soraihoz és oszlopaihoz való hozzáférést
A Lake Formation központosított auditálást és megfelelőségi jelentést is biztosít azáltal, hogy azonosítja, mely megbízók milyen adatokhoz, mikor és milyen szolgáltatásokon keresztül fértek hozzá.
A Feature Store és a Lake Formation kombinálásával az ML funkciókhoz való részletes hozzáférést valósíthatja meg meglévő offline szolgáltatástárában.
Ebben a bejegyzésben olyan használati esetekre adunk megközelítést, amelyekben szolgáltatáscsoportokat hozott létre a Feature Store-ban, és hozzáférést kell biztosítania az adattudományi csoportjainak a funkciók felfedezéséhez és a projektjeikhez való modellek létrehozásához. Magas szinten a Lake Formation adminisztrátora meghatároz és létrehoz egy engedélymodellt a Lake Formationben, és hozzárendeli azt az egyes Studio-felhasználókhoz vagy felhasználói csoportokhoz.
Végigvezetjük a következő lépéseken:
- Regisztrálja az offline szolgáltatásboltot a Lake Formationben.
- Hozzon létre Lake Formation adatszűrőket a finomszemcsés hozzáférés-szabályozáshoz.
- Engedélyek megadása jellemzőcsoportokhoz (táblázatokhoz) és szolgáltatásokhoz (oszlopokhoz).
Előfeltételek
A megoldás megvalósításához létre kell hoznia egy Lake Formation rendszergazdai felhasználót az IAM-ben, és be kell jelentkeznie adminisztrátori felhasználóként. Az utasításokat lásd Hozzon létre egy Data Lake-rendszergazdát.
Kezdjük a tesztadatok beállításával szintetikus élelmiszerbolt-rendelések felhasználásával szintetikusan generált vásárlói listákból a több Python könyvtár. A következő modult követve kipróbálhatja saját maga is GitHub. A notebook vásárlónként 1-10 rendelést generál, minden rendelésben megvásárolt termékeket. Ezután használhatja a következőket jegyzetfüzet a három jellemzőcsoport létrehozásához a szolgáltatástárban lévő ügyfelek, termékek és rendelések adatkészletei számára. A funkciócsoportok létrehozása előtt győződjön meg arról, hogy a Studio-környezet be van állítva az AWS-fiókjában. Az utasításokat lásd Bekapcsolva az Amazon SageMaker domainbe.
A cél annak bemutatása, hogyan használható a Feature Store a szolgáltatások tárolására, illetve a Lake Formation segítségével szabályozható ezekhez a szolgáltatásokhoz való hozzáférés. A következő képernyőkép a definícióját mutatja be orders
funkciócsoport a Studio konzol használatával.
A Feature Store egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) tárolót a fiókjában offline adatok tárolására. Használhat lekérdezőmotorokat, például az Athena-t az Amazon S3 offline adattárával szemben a képzési adatkészletek kinyerésére vagy a szolgáltatásadatok elemzésére, és egyetlen lekérdezésben több szolgáltatáscsoporthoz is csatlakozhat. A Feature Store automatikusan elkészíti a AWS ragasztó Adatkatalógus szolgáltatáscsoportokhoz a szolgáltatáscsoport létrehozása során, amely lehetővé teszi, hogy ezt a katalógust használja az offline áruházból származó adatok eléréséhez és lekérdezéséhez az Athena vagy nyílt forráskódú eszközök, például Gyors.
Regisztrálja az offline szolgáltatásboltot a Lake Formationben
Ahhoz, hogy elkezdhesse használni a Lake Formation engedélyeket a meglévő Feature Store adatbázisaival és tábláival, vissza kell vonnia a Super engedélyt a IAMAllowedPrincipals
csoport az adatbázisban és a kapcsolódó jellemzőcsoport-táblázatok a Lake Formationben.
- Jelentkezzen be a AWS felügyeleti konzol mint a Lake Formation adminisztrátora.
- A navigációs ablakban a Adatkatalógus, választ Adatbázisok.
- Válassza ki az adatbázist
sagemaker_featurestore
, amely az offline szolgáltatástárolóhoz társított adatbázis.
Mivel a Feature Store automatikusan létrehoz egy AWS ragasztóadat-katalógust a szolgáltatáscsoportok létrehozásakor, az offline szolgáltatástároló adatbázisként látható a Lake Formationben.
- A Hozzászólások menüben válasszon szerkesztése.
- A Adatbázis szerkesztése oldalon, ha azt szeretné, hogy a Lake Formation engedélyei az újonnan létrehozott szolgáltatáscsoportoknál is működjenek, és ne kelljen visszavonni a
IAMAllowedPrincipals
minden tábla esetén törölje a kijelölést Csak IAM hozzáférés-vezérlést használjon az adatbázisban lévő új táblákhoz, majd válassza ki Megtakarítás. - A Adatbázisok lapon válassza ki a
sagemaker_featurestore
adatbázisban. - A Hozzászólások menüben válasszon Engedélyek megtekintése.
- Válassza ki a
IAMAllowedPrincipals
csoportosítsd és válassz Színvétés.
Hasonlóképpen el kell végeznie ezeket a lépéseket minden olyan szolgáltatáscsoport-táblázat esetében, amely az offline szolgáltatástárolóhoz van társítva.
- A navigációs ablakban a Adatkatalógus, választ Asztalok.
- Válasszon táblázatot a szolgáltatáscsoport nevével.
- A Hozzászólások menüben válasszon Engedélyek megtekintése.
- Válassza ki a
IAMAllowedPrincipals
csoportosítsd és válassz Színvétés.
Az offline szolgáltatástároló Lake Formation engedélymodellre való átváltásához be kell kapcsolnia a Lake Formation engedélyeket az offline szolgáltatástároló Amazon S3 helyéhez. Ehhez regisztrálnia kell az Amazon S3 helyét.
- A navigációs ablakban a Regisztráció és betöltés, választ Data tó helyei.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Regisztrálja a helyet.
- Válassza ki az offline szolgáltatásbolt helyét az Amazon S3-ban a Amazon S3 elérési út.
A helyszín a S3Uri
amely a funkciócsoport offline áruház konfigurációjában volt megadva, és megtalálható a DescribeFeatureGroup
API-k ResolvedOutputS3Uri
mező.
- Válassza ki az alapértelmezettet
AWSServiceRoleForLakeFormationDataAccess
IAM szerepet és válasszon Regisztrálja a helyet.
Lake Formation integrálódik AWS kulcskezelési szolgáltatás (AWS KMS); ez a megközelítés olyan Amazon S3 helyekkel is működik, amelyeket AWS felügyelt kulccsal vagy az ügyfél által kezelt kulcs javasolt megközelítésével titkosítottak. További olvasnivalókért lásd Titkosított Amazon S3 hely regisztrálása.
Hozzon létre Lake Formation adatszűrőket a finomszemcsés hozzáférés-szabályozáshoz
Létrehozással megvalósíthatja a sor- és cellaszintű biztonságot adatszűrők. Adatszűrőt akkor választhat ki, amikor megadja a SELECT Lake Formation engedélyt a táblákra. Ebben az esetben ezt a képességet arra használjuk, hogy olyan szűrőket valósítsunk meg, amelyek korlátozzák a hozzáférést a szolgáltatáscsoportokhoz és a szolgáltatáscsoporton belüli meghatározott funkciókhoz.
Használja a következő ábrát az adatszűrők működésének magyarázatára. Az ábrán két jellemzőcsoport látható: customers
és a orders
. Sorszintű adatszűrő kerül alkalmazásra a customers
jellemzőcsoport, ami csak olyan rekordokat eredményez, ahol feature1 = ‘12’
visszaküldésre kerül. Hasonlóképpen, a rendelések szolgáltatáscsoporthoz való hozzáférés egy cellaszintű adatszűrő használatával korlátozva van, és csak azokra a jellemzőrekordokra van korlátozva, ahol feature2 = ‘22
', valamint az 1. jellemző kizárása az eredményül kapott adatkészletből.
Új adatszűrő létrehozásához a Lake Formation konzol navigációs ablaktáblájában, a Adatkatalógus, választ Adatszűrők majd válassza ki Hozzon létre új szűrőt.
Amikor kiválasztja Hozzáférés az összes oszlophoz és adjon meg egy sorszűrő kifejezést, akkor csak sorszintű biztonságot (sorszűrést) hoz létre. Ebben a példában olyan szűrőt hozunk létre, amely az adattudós hozzáférését csak a ben található rekordokra korlátozza orders
jellemzőcsoport a jellemző értéke alapján customer_id ='C7782'
.
Ha bizonyos oszlopokat vesz fel vagy zár ki, és egy sorszűrő kifejezést is megad, akkor cellaszintű biztonságot (cellaszűrést) hoz létre. Ebben a példában egy szűrőt hozunk létre, amely korlátozza az adattudós hozzáférését egy szolgáltatáscsoport bizonyos funkcióira (ezt kizárjuk sex
és a is_married
) és a rekordok egy részhalmaza a customers
jellemző csoport a jellemző értéke alapján (customer_id ='C3126'
).
A következő képernyőképen a létrehozott adatszűrők láthatók.
Adjon engedélyt a jellemzőcsoportoknak (táblázatoknak) és a szolgáltatásoknak (oszlopoknak).
Ebben a szakaszban részletes hozzáférés-vezérlést és a Lake Formationben meghatározott engedélyeket ad meg egy SageMaker-felhasználónak, ha az adatszűrőt a szolgáltatáscsoportokat eredetileg létrehozó felhasználóhoz társított SageMaker végrehajtási szerepkörhöz rendeli. A SageMaker végrehajtási szerepkör a program részeként jön létre A SageMaker Studio tartomány beállítása és alapértelmezés szerint ezzel kezdődik AmazonSageMaker-ExecutionRole-*
. Engedélyeket kell adnia ennek a szerepkörnek a Lake Formation API-kon (GetDataAccess
, StartQueryPlanning
, GetQueryState
, GetWorkUnits
és GetWorkUnitResults
) és AWS Glue API-k (GetTables
és a GetDatabases
) az IAM-ban, hogy hozzáférhessen az adatokhoz.
Hozza létre a következő házirendet az IAM-ben, nevezze el a házirendet LakeFormationDataAccess
, és csatolja a SageMaker végrehajtási szerepkörhöz. Csatolnia kell továbbá a AmazonAthenaFullAccess
Az Athéné elérésére vonatkozó szabályzat.
Ezután hozzáférést kell adnia a Feature Store adatbázishoz és az adott szolgáltatáscsoport-táblázathoz a SageMaker végrehajtási szerepkör számára, és hozzá kell rendelnie a korábban létrehozott adatszűrők egyikét. Adatjogosultságok megadásához a Lake Formation belsejében, a navigációs ablakban, a alatt Engedélyek, választ Data Lake engedélyek, majd válassza ki Grant. A következő képernyőkép bemutatja, hogyan adhat engedélyeket adatszűrővel a SageMaker végrehajtási szerepkör sorszintű eléréséhez.
Hasonlóképpen engedélyeket adhat a SageMaker végrehajtási szerepkör cellaszintű eléréséhez létrehozott adatszűrővel.
Feature Store hozzáférés tesztelése
Ebben a szakaszban ellenőrizheti a Lake Formation programban beállított hozzáférés-vezérlőket egy Studio notebook használatával. Ez a megvalósítás a Feature Store Python SDK és az Athena az adatok lekérdezéséhez a Lake Formationben regisztrált offline szolgáltatástárolóból.
Először tesztelje a sorszintű hozzáférést egy Athena-lekérdezés létrehozásával a szolgáltatáscsoporthoz orders
a következő kóddal. A table_name
az AWS ragasztótábla, amelyet a Feature Store automatikusan generál.
A rendelésekből származó összes rekordot lekérdezi a következő lekérdezési karakterlánc használatával:
Csak rögzíti customer_id = ‘C7782’
a Lake Formationben létrehozott adatszűrők szerint adják vissza.
Másodszor, tesztelheti a cellaszintű hozzáférést egy Athena-lekérdezés létrehozásával a szolgáltatáscsoporthoz customers
a következő kóddal. A table_name
az AWS ragasztótábla, amelyet a Feature Store automatikusan generál.
A rendelésekből származó összes rekordot lekérdezi a következő lekérdezési karakterlánc használatával:
Csak rögzíti customer_id ='C3126'
a Lake Formationben létrehozott adatszűrők szerint adják vissza. Ezen kívül a funkciók sex
és a is_married
nem láthatók.
Ezzel a megközelítéssel részletes engedély-hozzáférési vezérlést valósíthat meg egy offline szolgáltatástárolóban. A Lake Formation engedélymodell segítségével a szervezetben betöltött szerepük alapján korlátozhatja a hozzáférést bizonyos jellemzőcsoportokhoz vagy egy jellemzőcsoporton belüli egyes funkciókhoz.
A teljes kódpélda felfedezéséhez és a saját fiókjában való kipróbálásához tekintse meg a GitHub repo.
Következtetés
A SageMaker Feature Store egy erre a célra kialakított szolgáltatáskezelési megoldást kínál, amely segít a szervezeteknek az ML-fejlesztések skálázásában az üzleti egységek és az adattudományi csapatok között. Ebben a bejegyzésben elmagyaráztuk, hogyan használhatja a Lake Formation-t az offline szolgáltatástároló finomszemcsés hozzáférés-vezérlésének megvalósításához. Próbáld ki, és kommentben oszd meg velünk, mit gondolsz.
A szerzőkről
Arnaud Lauer az AWS közszféra csapatának vezető partner megoldási építésze. Lehetővé teszi a partnerek és az ügyfelek számára, hogy megértsék, hogyan használhatják a legjobban az AWS-technológiákat az üzleti igények megoldásokká alakítására. Több mint 16 éves tapasztalattal rendelkezik a digitális átalakítási projektek megvalósításában és tervezésében számos iparágban, beleértve a közszférát, az energiát és a fogyasztási cikkeket. Szenvedélyei közé tartozik a mesterséges intelligencia és a gépi tanulás. Arnaud 12 AWS minősítéssel rendelkezik, beleértve az ML Specialty Certificationt is.
Ioan Catana az AWS mesterséges intelligencia és gépi tanulási megoldások szakértője. Segít az ügyfeleknek ML megoldásaik fejlesztésében és méretezésében az AWS Cloudban. Ioan több mint 20 éves tapasztalattal rendelkezik, főleg a szoftverarchitektúra tervezésében és a felhőtervezésben.
Swagat Kulkarni az AWS vezető megoldástervezője és az AI/ML rajongó. Szenvedélyesen törekszik az ügyfelek valós problémáinak megoldására a felhőalapú szolgáltatásokkal és a gépi tanulással. A Swagat több mint 15 éves tapasztalattal rendelkezik számos digitális átalakítási kezdeményezés megvalósításában az ügyfelek számára több területen, beleértve a kiskereskedelmet, az utazást, a vendéglátást és az egészségügyet. A munkán kívül Swagat szeret utazni, olvasni és meditálni.
Charu Sareen az Amazon SageMaker Feature Store idősebb termékmenedzsere. Az AWS előtt a SaaS-szolgáltatások növekedési és bevételszerzési stratégiáját vezette a VMware-nél. Az adatok és a gépi tanulás rajongója, és több mint egy évtizedes tapasztalattal rendelkezik a termékmenedzsment, az adattervezés és a fejlett analitika területén. Az indiai National Institute of Technology-n szerzett informatikai alapképzést, a Michigan Egyetemen, a Ross School of Businessen pedig MBA fokozatot szerzett.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/control-access-to-amazon-sagemaker-feature-store-offline-using-aws-lake-formation/
- '
- "
- 100
- 15 év
- 20 év
- 9
- Rólunk
- hozzáférés
- Fiók
- át
- Akció
- mellett
- További
- admin
- fejlett
- Minden termék
- lehetővé téve
- Bár
- amazon
- analitika
- API-k
- alkalmazható
- megközelítés
- építészet
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia és gépi tanulás
- könyvvizsgálat
- AWS
- háttér
- hogy
- BEST
- határ
- épít
- épít
- üzleti
- képességek
- esetek
- központosított
- Tanúsítvány
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- felhő
- kód
- Hozzászólások
- teljesítés
- Configuration
- Konzol
- fogyasztó
- ellenőrzés
- készítette
- teremt
- létrehozása
- teremtés
- hitel
- hitelkártya
- Ügyfelek
- dátum
- adat-tudomány
- adattudós
- adatbázis
- adatbázisok
- évtized
- átadó
- telepíteni
- Design
- Fejleszt
- Fejlesztés
- különböző
- digitális
- digitális átalakítás
- domain
- domainek
- hatás
- energia
- Mérnöki
- Környezet
- létrehozni
- példa
- végrehajtás
- tapasztalat
- kutatás
- feltárása
- Funkció
- Jellemzők
- Ábra
- Szűrők
- Összpontosít
- következő
- talált
- további
- cél
- áruk
- kormányzás
- Csoport
- Növekedés
- egészségügyi
- segít
- segít
- Magas
- tart
- Hogyan
- How To
- HTTPS
- azonosító
- Identitás
- végre
- végrehajtás
- fontos
- tartalmaz
- Beleértve
- India
- egyéni
- iparágak
- információ
- információs technológia
- Intelligencia
- IT
- csatlakozik
- Kulcs
- vezető
- tanulás
- szint
- könyvtár
- listák
- elhelyezkedés
- helyszínek
- gép
- gépi tanulás
- sikerült
- vezetés
- Kezelési megoldás
- menedzser
- maszk
- Michigan
- ML
- modell
- modellek
- több
- többszörös
- nemzeti
- Navigáció
- jegyzetfüzet
- számok
- Nem elérhető
- online
- érdekében
- rendelés
- szervezet
- szervezetek
- saját
- partner
- partnerek
- szenvedélyes
- Politikák
- politika
- Tippek
- problémák
- Termékek
- termékmenedzsment
- Termékek
- projektek
- védelme
- ad
- biztosít
- nyilvános
- vásárolt
- gyorsan
- hatótávolság
- Olvasás
- real-time
- nyilvántartások
- Regisztráció
- nyilvántartott
- raktár
- kötelező
- forrás
- REST
- kiskereskedelem
- értékesítés
- Skála
- Iskola
- Tudomány
- Tudós
- szektor
- biztonság
- biztonság
- szolgáltatás
- Szolgáltatások
- készlet
- beállítás
- megosztott
- Hasonlóképpen
- Egyszerű
- szoftver
- megoldások
- Megoldások
- néhány
- kifejezetten
- kezdet
- kezdődik
- nyilatkozat
- tárolás
- tárolni
- árnyékolók
- Stratégia
- stúdió
- Támogatja
- kapcsoló
- csapat
- Technologies
- Technológia
- teszt
- Keresztül
- szerszámok
- Képzések
- Átalakítás
- utazás
- megért
- egyetemi
- us
- használ
- Felhasználók
- érték
- látható
- vmware
- Mit
- WHO
- belül
- Munka
- dolgozó
- művek
- év