ML környezetek biztosítása és kezelése az Amazon SageMaker Canvas segítségével az AWS CDK és az AWS szolgáltatáskatalógus használatával

A gépi tanulás (ML) elterjedése a felhasználási esetek széles körében minden iparágban elterjedtté válik. Ez azonban meghaladja azoknak az ML-gyakorlóknak a számának növekedését, akik hagyományosan felelősek ezeknek a technikai megoldásoknak az üzleti eredmények megvalósítása érdekében történő megvalósításáért.

Napjaink vállalataiban szükség van a gépi tanulásra, amelyet az ML alapját képező, nem ML-gyakorló szakemberek is használhatnak, akik jártasak az adatokban. Ennek megvalósítása érdekében az ML értékét a vállalat egészében realizálják kód nélküli ML platformokon. Ezek a platformok lehetővé teszik a különböző személyek, például az üzleti elemzők számára, hogy egyetlen kódsor megírása nélkül használják az ML-t, és gyors, egyszerű és intuitív megoldásokat kínáljanak az üzleti problémákra. Amazon SageMaker Canvas egy vizuális point-and-click szolgáltatás, amely lehetővé teszi az üzleti elemzők számára, hogy az ML segítségével üzleti problémákat oldjanak meg azáltal, hogy önmagukban pontos előrejelzéseket generálnak – anélkül, hogy bármilyen ML-tapasztalatot igényelnének, vagy egyetlen kódsort kellene írniuk. A Canvas egy egyszerűen használható, intuitív kezelőfelülettel bővítette az ML vállalati alkalmazását, amely segít a vállalkozásoknak a megoldások gyors megvalósításában.

Bár a Canvas lehetővé tette az ML demokratizálását, az ML-környezetek biztonságos módon történő létrehozása és telepítése továbbra is kihívást jelent. Ez általában a központi informatikai csapatok felelőssége a legtöbb nagyvállalatnál. Ebben a bejegyzésben megvitatjuk, hogy az IT-csapatok hogyan adminisztrálhatnak, biztosíthatnak és kezelhetnek biztonságos ML-környezeteket Amazon SageMaker Canvas, AWS Cloud Development Kit (AWS CDK) és AWS szolgáltatáskatalógus. A bejegyzés lépésről lépésre bemutatja az IT-adminisztrátorok számára, hogy ezt gyorsan és nagy mértékben elérjék.

Az AWS CDK és az AWS szolgáltatáskatalógus áttekintése

Az AWS CDK egy nyílt forráskódú szoftverfejlesztési keretrendszer a felhőalkalmazás-erőforrások meghatározásához. A programozási nyelvek ismertségét és kifejezőerejét használja az alkalmazások modellezéséhez, miközben az erőforrásokat biztonságosan és megismételhetően biztosítja.

Az AWS szolgáltatáskatalógus segítségével központilag kezelheti a telepített IT-szolgáltatásokat, alkalmazásokat, erőforrásokat és metaadatokat. Az AWS szolgáltatáskatalógussal létrehozhat, megoszthat, rendszerezhet és irányíthat felhő-erőforrásokat az infrastruktúrával kódsablonként (IaC), és lehetővé teszi a gyors és egyszerű kiépítést.

Megoldás áttekintése

Három lépésben engedélyezzük az ML környezetek kiépítését a Canvas használatával:

1. Először is megosztjuk, hogyan kezelheti a Canvas jóváhagyott használatához szükséges erőforrás-portfóliót az AWS szolgáltatáskatalógus használatával.
2. Ezután üzembe helyezünk egy példa AWS szolgáltatáskatalógus-portfóliót a Canvas számára az AWS CDK használatával.
3. Végül bemutatjuk, hogyan hozhat létre Canvas-környezeteket igény szerint perceken belül.

Előfeltételek

Az ML-környezetek Canvas, AWS CDK és AWS szolgáltatáskatalógus használatával történő kiépítéséhez a következőket kell tennie:

1. Hozzáférhet ahhoz az AWS-fiókhoz, ahol a szolgáltatáskatalógus-portfólió telepítésre kerül. Győződjön meg arról, hogy rendelkezik az AWS CDK-verem fiókjában való üzembe helyezéséhez szükséges hitelesítő adatokkal és engedélyekkel. Az AWS CDK Workshop egy hasznos forrás, amelyre hivatkozhat, ha támogatásra van szüksége.
2. Javasoljuk, hogy kövessen bizonyos bevált gyakorlatokat, amelyeket a következő forrásokban részletezett koncepciók emelnek ki:
3. Clone ezt a GitHub-tárat a környezetedbe.

Jóváhagyott ML környezetek biztosítása az Amazon SageMaker Canvas segítségével az AWS szolgáltatáskatalógus használatával

A szabályozott iparágakban és a legtöbb nagyvállalatban be kell tartania az IT-csapatok által az ML-környezetek biztosításához és kezeléséhez előírt követelményeket. Ezek magukban foglalhatják a biztonságos, privát hálózatot, az adattitkosítást, a csak engedélyezett és hitelesített felhasználókat engedélyező vezérlőket, mint pl AWS Identity and Access Management (IAM) az olyan megoldásokhoz való hozzáféréshez, mint a Canvas, valamint a szigorú naplózás és ellenőrzés ellenőrzési célból.

Informatikai rendszergazdaként az AWS szolgáltatáskatalógus segítségével biztonságos, reprodukálható ML-környezeteket hozhat létre és rendszerezhet termékportfólióba a SageMaker Canvas segítségével. Ezt a korábban említett követelmények teljesítése érdekében beágyazott IaC-vezérlők segítségével kezelik, és igény szerint perceken belül kiépíthetők. Azt is megőrizheti, hogy ki férhet hozzá ehhez a portfólióhoz a termékek bevezetéséhez.

A következő diagram ezt az architektúrát szemlélteti.

Példafolyamat

Ebben a részben egy példát mutatunk be egy AWS szolgáltatáskatalógus-portfólióra a SageMaker Canvas segítségével. A portfólió a Canvas környezet különböző aspektusaiból áll, amelyek a szolgáltatáskatalógus portfólió részét képezik:

• Studio domain – A Canvas egy olyan alkalmazás, amelyen belül fut Studio domainek. A tartomány egy Amazon elasztikus fájlrendszer (Amazon EFS) kötet, a jogosult felhasználók listája, valamint számos biztonsági, alkalmazási, házirendi és Amazon Virtual Private Cloud (VPC) konfigurációk. Egy AWS-fiók régiónként egy domainhez van kapcsolva.
• Amazon S3 vödör – A Studio tartomány létrehozása után egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör van kiépítve a Canvas számára, hogy lehetővé tegye adatkészletek importálását helyi fájlokból, más néven helyi fájlfeltöltés. Ez a csoport az ügyfél fiókjában van, és egyszer van hozzárendelve.
• Canvas felhasználó – A SageMaker Canvas egy olyan alkalmazás, amelyben felhasználói profilokat adhat hozzá a Studio tartományon belül minden Canvas-felhasználóhoz, akik folytathatják az adatkészletek importálását, az ML-modellek létrehozását és betanítását kódírás nélkül, és előrejelzéseket futtathatnak a modellen.
• A Canvas-munkamenetek ütemezett leállítása – A Canvas felhasználói kijelentkezhetnek a Canvas felületről, ha végeztek a feladataikkal. Alternatív megoldásként a rendszergazdák leállíthatják a Canvas-munkameneteket tól AWS felügyeleti konzol a Canvas-munkamenetek kezelésének részeként. Az AWS szolgáltatáskatalógus portfóliójának ezen részében egy AWS Lambda funkció létrehozása és kiépítése a Canvas-munkamenetek meghatározott ütemezett időközönkénti automatikus leállításához. Ez segít a nyitott munkamenetek kezelésében, és használaton kívüli leállításukban.

Ez a példafolyamat megtalálható a GitHub tárház gyors tájékozódáshoz.

Telepítse a folyamatot az AWS CDK-val

Ebben a szakaszban a korábban ismertetett folyamatot helyezzük üzembe az AWS CDK használatával. A telepítés után verziókövetést is végezhet, és kezelheti a portfóliót.

A portfóliókészlet itt található app.py és a termék halmozott a products/ mappát. Megismételheti az IAM-szerepeket, AWS kulcskezelési szolgáltatás (AWS KMS) kulcsokat és a VPC beállítást a studio_constructs/ mappát. A verem fiókjában történő telepítése előtt szerkesztheti a következő sorokat app.py és portfólió hozzáférést biztosít az Ön által választott IAM szerepkörhöz.

Kezelheti a portfólióhoz való hozzáférést az érintett IAM-felhasználók, csoportok és szerepkörök számára. Lát Hozzáférés biztosítása a felhasználóknak fül alatt találsz.

Helyezze be a portfóliót a fiókjába

Most már futtathatja a következő parancsokat az AWS CDK telepítéséhez, és megbizonyosodhat arról, hogy rendelkezik-e a megfelelő függőségekkel a portfólió üzembe helyezéséhez:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Futtassa a következő parancsokat a portfólió fiókjában való üzembe helyezéséhez:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Az első két parancs a fiókazonosítót és az aktuális régiót kapja meg a AWS parancssori interfész (AWS CLI) a számítógépén. Ezt követve, cdk bootstrap és a cdk deploy helyi eszközöket épít, és néhány percen belül üzembe helyezi a veremet.

A portfólió most megtalálható az AWS szolgáltatáskatalógusban, amint az a következő képernyőképen látható.

Igény szerinti kiépítés

A portfólión belüli termékek igény szerint gyorsan és egyszerűen bevezethetők a Provisioning menüt az AWS szolgáltatáskatalógus konzolon. Egy tipikus folyamat először a Studio tartomány és a Canvas automatikus leállításának elindítása, mivel ez általában egyszeri művelet. Ezután hozzáadhat Canvas-felhasználókat a tartományhoz. A tartományazonosító és az ARN felhasználói IAM-szerep a mentésre kerül AWS rendszermenedzser és automatikusan feltöltődnek a felhasználói paraméterekkel, ahogy az a következő képernyőképen látható.

Használhat költségfelosztási címkéket is, amelyek minden felhasználóhoz vannak csatolva. Például, UserCostCenter egy mintacímke, amelyhez hozzáadhatja az egyes felhasználók nevét.

Főbb szempontok az ML környezetek Canvas használatával történő irányításához

Most, hogy a Canvasra összpontosító AWS szolgáltatáskatalógus-portfóliót kiépítettük és üzembe helyeztük, szeretnénk néhány szempontot kiemelni a tartományra és a felhasználói profilra összpontosító Canvas-alapú ML környezetek szabályozására vonatkozóan.

A következő szempontok a Studio domainnel kapcsolatban:

• A Canvas hálózatkezelése a Studio tartomány szintjén történik, ahol a tartomány egy privát VPC-alhálózaton van telepítve a biztonságos kapcsolat érdekében. Lát Az Amazon SageMaker Studio csatlakozásának biztosítása privát VPC segítségével és tudjon meg többet!
• Az alapértelmezett IAM-végrehajtási szerepkör a tartomány szintjén van meghatározva. Ez az alapértelmezett szerepkör a tartomány összes Canvas-felhasználójához van hozzárendelve.
• A titkosítás az AWS KMS használatával történik a tartományban lévő EFS-kötet titkosításával. További vezérlőkhöz megadhatja saját felügyelt kulcsát, más néven ügyfél által kezelt kulcsot (CMK). Lát Nyugalomban lévő adatok védelme titkosítással és tudjon meg többet!
• Fájlok feltöltése a helyi lemezről úgy érhető el, hogy a Canvas által használt S3 tárolóhoz csatol egy több eredetű erőforrás-megosztási (CORS) házirendet. Lát Adjon engedélyt a felhasználóknak a helyi fájlok feltöltésére és tudjon meg többet!

A felhasználói profillal kapcsolatos megfontolások a következők:

• A Studio hitelesítése egyszeri bejelentkezésen (SSO) és IAM-en keresztül is elvégezhető. Ha már rendelkezik identitásszolgáltatóval, amely egyesíti a felhasználókat a konzolhoz való hozzáféréshez, az IAM segítségével minden egyesített identitáshoz rendelhet Studio felhasználói profilt. Lásd a részt A házirend hozzárendelése a Studio felhasználóihoz in Az Amazon SageMaker Studio konfigurálása csapatok és csoportok számára teljes erőforrás-izolációval és tudjon meg többet!
• Minden felhasználói profilhoz hozzárendelhet IAM-végrehajtási szerepkört. A Studio használata során a felhasználó felveszi a felhasználói profiljához hozzárendelt szerepet, amely felülírja az alapértelmezett végrehajtási szerepet. Ezt egy csapaton belüli finomszemcsés hozzáférés-vezérléshez használhatja.
• Az attribútum-alapú hozzáférés-vezérléssel (ABAC) elérheti az elkülönítést, hogy a felhasználók csak a csapatuk erőforrásaihoz férhessenek hozzá. Lát Az Amazon SageMaker Studio konfigurálása csapatok és csoportok számára teljes erőforrás-izolációval és tudjon meg többet!
• A költségfelosztási címkék felhasználói profilokra történő alkalmazásával finomszemcsés költségkövetést végezhet.

Tisztítsuk meg

A fenti AWS CDK-verem által létrehozott erőforrások megtisztításához lépjen át az AWS CloudFormation veremek oldalára, és törölje a Canvas-veremeket. Futni is lehet cdk destroy a repository mappából, hogy ugyanezt tegye.

Következtetés

Ebben a bejegyzésben megosztottuk, hogyan hozhat létre gyorsan és egyszerűen ML-környezeteket a Canvas segítségével az AWS szolgáltatáskatalógus és az AWS CDK használatával. Megbeszéltük, hogyan hozhat létre portfóliót az AWS szolgáltatáskatalógusban, hogyan állíthatja elő a portfóliót, és telepítheti a fiókjában. Az informatikai rendszergazdák ezzel a módszerrel telepíthetik és kezelhetik a felhasználókat, a munkameneteket és a kapcsolódó költségeket a Canvas kiépítése közben.

Tudjon meg többet a Canvasról a Termékoldal és a Fejlesztői útmutató. További olvasáshoz megtudhatja, hogyan kell lehetővé teszi az üzleti elemzők számára a SageMaker Canvas elérését az AWS SSO használatával a konzol nélkül. Azt is megtanulhatod, hogyan Az üzleti elemzők és adatkutatók gyorsabban tudnak együttműködni a Canvas és a Studio használatával.

A szerzőkről

Davide Gallitelli az EMEA régióban az AI/ML speciális megoldások építésze. Székhelye Brüsszelben van, és szorosan együttműködik az ügyfelekkel a Benelux államokban. Egészen kicsi kora óta fejlesztő, 7 évesen kezdett el kódolni. Az AI/ML-t az egyetemen kezdte tanulni, és azóta beleszeretett.

Sofian Hamiti az AWS AI/ML-specialista megoldástervezője. Segíti az ügyfeleket a különböző iparágakban, hogy felgyorsítsák az AI/ML-útjukat azáltal, hogy segít nekik a végpontok közötti gépi tanulási megoldások kidolgozásában és üzemeltetésében.

Shyam Srinivasan az AWS AI/ML csapatának fő termékmenedzsere, az Amazon SageMaker Canvas termékmenedzsmentjének vezetője. Shyam törődik azzal, hogy a technológia révén jobb hellyé tegye a világot, és szenvedélyesen törődik azzal, hogy az AI és az ML miként lehet katalizátor ezen az úton.

Avi Patel szoftvermérnökként dolgozik az Amazon SageMaker Canvas csapatánál. A háttere teljes stack-ből áll, frontend fókusz mellett. Szabadidejében szívesen részt vesz nyílt forráskódú projektekben a kriptográfiai térben, és új DeFi protokollokat ismer meg.

Jared Heywood az AWS vezető üzletfejlesztési menedzsere. Globális AI/ML-szakértő, aki a kód nélküli gépi tanulásban segíti az ügyfeleket. Az elmúlt 5 évben az AutoML területen dolgozott, és olyan termékeket dobott piacra az Amazonnál, mint az Amazon SageMaker JumpStart és az Amazon SageMaker Canvas.