Külön üzletágak vagy csapatok több Amazon SageMaker domainnel

Amazon SageMaker Studio egy teljesen integrált fejlesztői környezet (IDE) a gépi tanuláshoz (ML), amely lehetővé teszi az adattudósok és fejlesztők számára az ML munkafolyamat minden lépésének elvégzését, az adatok előkészítésétől a modellek felépítéséig, betanításáig, hangolásáig és telepítéséig.

A SageMaker Studio eléréséhez Amazon SageMaker Canvas, vagy más Amazon ML környezetek mint RStudio az Amazon SageMakeren, először létre kell hoznia egy SageMaker tartományt. A SageMaker tartomány tartalmaz egy társított Amazon elasztikus fájlrendszer (Amazon EFS) kötet; a jogosult felhasználók listája; és számos biztonsági, alkalmazási, házirendi és Amazon Virtual Private Cloud (Amazon VPC) konfigurációk.

Az adminisztrátorok mostantól több SageMaker-domaint is létrehozhatnak, hogy egyetlen AWS-fiókon belül elkülönítsék a különböző üzletágakat vagy csapatokat. Ez logikai elválasztást hoz létre a felhasználók, a fájltárolók és a konfigurációs beállítások között a szervezet különböző csoportjai számára. Példaként említhető, hogy szervezete el kívánja különíteni pénzügyi üzletágát a fenntarthatósági kutatási részlegtől, amint az a következő többtartományos konzolon látható.

Több SageMaker tartomány létrehozása lehetővé teszi a tartományszintű konfigurációk részletes beállítását is, mint pl VPC konfigurációk annak érdekében, hogy egyes csoportok kutatása számára nyilvános internet-hozzáférést tegyenek lehetővé, miközben az üzleti egységek számára nagyobb korlátozással érvényesítik, hogy a forgalom meghatározott VPC-n keresztül menjen.

Automatizált címkézés

A felhasználók, a fájltárolás és a tartománykonfiguráció szétválasztása mellett a rendszergazdák a tartományukon belül létrehozott SageMaker-erőforrásokat is elkülöníthetik. Alapértelmezés szerint a SageMaker automatikusan megcímkézi az új SageMaker-erőforrásokat, például a képzési feladatokat, a feldolgozási feladatokat, a kísérleteket, a folyamatokat és a modell-nyilvántartási bejegyzéseket. sagemaker:domain-arn. A SageMaker az erőforrást a sagemaker:user-profile-arn or sagemaker:space-arn hogy az erőforrás létrehozását még részletesebb szinten jelöljük ki.

Költségallokáció

Az adminisztrátorok automatizált címkézés segítségével egyszerűen nyomon követhetik az üzletágukkal, csapataikkal, egyéni felhasználókkal vagy egyéni üzleti problémákkal kapcsolatos költségeket olyan eszközök használatával, mint pl. AWS költségvetések és a AWS Cost Explorer. Példaként egy rendszergazda csatolhat a költségelosztási címke az sagemaker:domain-arn címke.

Ez lehetővé teszi számukra, hogy a Cost Explorer segítségével megjelenítsék a notebook kiadásait egy adott tartományban.

Domain szintű erőforrás-elszigetelés

Az adminisztrátorok csatolhatják AWS Identity and Access Management (IAM) házirendek, amelyek biztosítják, hogy egy domain felhasználója csak a megfelelő tartományból származó SageMaker-erőforrásokat tudjon létrehozni és megnyitni. A következő kód egy példa egy ilyen szabályzatra:

{
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Sid": "CreateRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Create*",
                "SageMaker:Update*"
            ],
            "Resource": "*",
            "Condition":
            {
                "ForAllValues:StringEquals":
                {
                    "aws:TagKeys":
                    [
                        "sagemaker:domain-arn"
                    ]
                }
            }
        },
        {
            "Sid": "ResourceAccessRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Update*",
                "SageMaker:Delete*",
                "SageMaker:Describe*"
            ],
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "aws:ResourceTag/sagemaker:domain-arn": "arn:aws:sagemaker:::domain/"
                }
            }
        }
    ]
}

További információkért lásd: Több domain áttekintése.

Meglévő erőforrások háttérkitöltése domain címkékkel

A többdomaines képesség elindítása óta az új erőforrások automatikusan meg vannak címkézve aws:ResourceTag/sagemaker:domain-arn. Ha azonban frissíteni szeretné a meglévő erőforrásokat az erőforrások elkülönítésének megkönnyítése érdekében, az adminisztrációk használhatják a add-tag SageMaker API hívás egy szkriptben. Az alábbi példa bemutatja, hogyan lehet az összes meglévő kísérletet címkézni egy domainhez:

domain_arn=arn:aws:sagemaker:::domain/
experiments=`aws --region $REGION 
sagemaker list-experiments`
for row in $(echo "${experiments}" | jq -r '.ExperimentSummaries[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }

    exp_name=$(_jq '.ExperimentName')
    exp_arn=$(_jq '.ExperimentArn')

    echo "Tagging resource name: $exp_name and arn: $exp_arn with "sagemaker:domain-arn=$domain_arn""
    echo `aws sagemaker 
        add-tags 
        --resource-arn $exp_arn 
        --tags "Key=sagemaker:domain-arn,Value=$domain_arn" 
        --region $REGION`
    echo "Tagging done for: $exp_name"
    sleep 1
done

A következő kódmintával ellenőrizheti, hogy az egyes erőforrások megfelelően meg lettek-e címkézve:

aws sagemaker 
list-tags 
--resource-arn  
--region  

Megoldás áttekintése

Ebben a részben bemutatjuk, hogyan állíthat be több SageMaker tartományt saját AWS-fiókjában. Használhatja a AWS parancssori interfész (AWS CLI) vagy a SageMaker konzol. Hivatkozni Bekapcsolva az Amazon SageMaker domainbe a domain létrehozásával kapcsolatos legfrissebb utasításokért.

Hozzon létre egy tartományt az AWS parancssori felület használatával

Nincsenek szükséges API-módosítások az előzőhöz képest aws sagemaker create-domain CLI hívás, de most már van támogatás --default-space-settings ha megosztott tereket kíván használni a SageMaker Stúdióban. További információkért lásd megosztott terek az Amazon SageMaker Studio-ban.

Hozzon létre egy új tartományt a megadott konfigurációkkal a segítségével aws sagemaker create-domain, majd készen áll a felhasználókkal való feltöltésre.

Hozzon létre egy tartományt a SageMaker konzol segítségével

A frissített SageMaker konzolon a tartományait az új opcióval adminisztrálhatja SageMaker domainek a navigációs ablaktáblában.

Itt megnyílik a meglévő domain megnyitásának lehetősége, vagy a grafikus felület segítségével új domain létrehozása.

Következtetés

A több SageMaker tartomány használata rugalmasságot biztosít a szervezeti igények kielégítéséhez. Akár el kell különítenie a felhasználókat és üzleti csoportjaikat, akár külön tartományokat szeretne futtatni a konfigurációs különbségek miatt, azt javasoljuk, hogy egyetlen AWS-fiókon belül több SageMaker-domaint is felállítson!

A szerzőkről

Sean Morgan az AWS AI/ML megoldások építésze. Tapasztalattal rendelkezik a félvezetők és az akadémiai kutatás területén, és tapasztalatait arra használja fel, hogy segítse ügyfeleit céljaik elérésében az AWS-ben. Szabadidejében Sean aktív nyílt forráskódú közreműködő/karbantartó, és a TensorFlow-kiegészítők speciális érdeklődési csoportjának vezetője.

Arkaprava De az AWS vezető szoftvermérnöke. Több mint 7 éve dolgozik az Amazonnál, és jelenleg az Amazon SageMaker Studio IDE tapasztalatának javításán dolgozik. Megtalálhatod rajta LinkedIn.

Kunal Jha az AWS vezető termékmenedzsere. Arra összpontosít, hogy az Amazon SageMaker Studio-t az ML fejlesztési lépéseihez választott IDE-ként építse fel. Szabadidejében Kunal szeret síelni és felfedezni a Csendes-óceán északnyugati részét. Megtalálhatod rajta LinkedIn.

Han Zhang az Amazon Web Services vezető szoftvermérnöke. Az Amazon SageMaker Notebooks és az Amazon SageMaker Studio indítócsapatának tagja, és arra összpontosít, hogy biztonságos gépi tanulási környezetet építsen az ügyfelek számára. Szabadidejében szeret túrázni és síelni a Csendes-óceán északnyugati részén.