Vállalati szintű költségelosztás beállítása ML környezetekhez és munkaterhelésekhez az Amazon SageMaker erőforrás-címkézésével

Miközben a vállalkozások és az IT-vezetők a gépi tanulás (ML) bevezetésének felgyorsítására törekednek, egyre nagyobb szükség van arra, hogy megértsék az ML-környezet kiadásait és költségelosztását, hogy megfeleljenek a vállalati követelményeknek. Megfelelő költségkezelés és irányítás nélkül az ML-költése meglepetéseket okozhat a havi AWS-számlájában. Amazon SageMaker egy teljesen felügyelt ML platform a felhőben, amely eszközökkel és erőforrásokkal látja el vállalati ügyfeleinket a költségelosztási intézkedések megállapításához, valamint a részletes költségek és a csapatok, üzleti egységek, termékek és egyebek általi használat javításához.

Ebben a bejegyzésben tippeket és bevált gyakorlatokat osztunk meg a SageMaker környezet és a munkaterhelés költségelosztásával kapcsolatban. Szinte az összes AWS-szolgáltatásban, beleértve a SageMaker-t is, a címkék alkalmazása az erőforrásokra a költségek követésének szokásos módja. Ezek a címkék segíthetnek nyomon követni, jelenteni és nyomon követni ML-költéseit olyan kész megoldásokon keresztül, mint például AWS Cost Explorer és a AWS költségvetések, valamint a származó adatokra épített egyedi megoldások AWS költség- és használati jelentések (CUR-ok).

Költségallokációs címkézés

Az AWS költségelosztása három lépésből áll:

1. csatolása költségelosztási címkék az erőforrásaihoz.
2. Aktiválja a címkéket a Költségallokációs címkék Az AWS Számlázási konzol része.
3. A címkék segítségével nyomon követheti és szűrheti a költségelosztási jelentéseket.

Miután létrehozta és csatolta a címkéket az erőforrásokhoz, azok megjelennek az AWS számlázási konzolján Költségallokációs címkék szakasz Felhasználó által meghatározott költségelosztási címkék. Akár 24 óráig is eltarthat, amíg a címkék megjelennek a létrehozásuk után. Ezután aktiválnia kell ezeket a címkéket az AWS számára, hogy elkezdhesse nyomon követni őket az erőforrásaihoz. A címkék aktiválása után általában körülbelül 24–48 óra kell ahhoz, hogy a címkék megjelenjenek a Cost Explorerben. A címkék működésének ellenőrzésének legegyszerűbb módja, ha megkeresi az új címkét a Cost Explorer címkeszűrőjében. Ha ott van, akkor készen áll a címkék használatára a költségelosztási jelentésekhez. Ezután kiválaszthatja, hogy az eredményeket címkekulcsok szerint csoportosítsa, vagy szűrje a címkeértékek szerint, ahogy az a következő képernyőképen látható.

Egy dolgot érdemes megjegyezni: ha használod AWS szervezetek és összekapcsolt AWS-fiókokkal, a címkék csak az elsődleges fizető fiókban aktiválhatók. Opcionálisan aktiválhat olyan CUR-kat is az AWS-fiókokhoz, amelyek lehetővé teszik a költségelosztási jelentéseket CSV-fájlként, az aktív címkék szerint csoportosítva a használati és költségeket. Ez lehetővé teszi a költségek részletesebb nyomon követését, és megkönnyíti a saját egyéni jelentéskészítési megoldások beállítását.

Címkézés a SageMakerben

Magas szinten a SageMaker erőforrások címkézése két csoportba sorolható:

• A SageMaker notebook környezet címkézése is Amazon SageMaker Studio tartományok és tartományfelhasználók, vagy a SageMaker notebook példányok
• A SageMaker által kezelt feladatok (címkézés, feldolgozás, betanítás, hiperparaméter-hangolás, kötegelt átalakítás stb.) és erőforrások (például modellek, munkacsoportok, végpont-konfigurációk és végpontok) címkézése

Ebben a bejegyzésben ezekkel részletesebben foglalkozunk, és néhány megoldást kínálunk arra vonatkozóan, hogyan lehet az irányítási ellenőrzést alkalmazni a jó címkézési higiénia biztosítása érdekében.

SageMaker Studio domainek és felhasználók címkézése

A Studio egy webalapú, integrált fejlesztői környezet (IDE) az ML-hez, amely lehetővé teszi az ML modellek építését, betanítását, hibakeresését, üzembe helyezését és figyelését. Gyorsan elindíthatja a Studio notebookokat, és dinamikusan fel- vagy letárcsázhatja a mögöttes számítási erőforrásokat anélkül, hogy megszakítaná munkáját.

A dinamikus erőforrások automatikus címkézéséhez címkéket kell hozzárendelnie a SageMaker-tartományhoz és a tartományfelhasználókhoz, akik hozzáféréssel rendelkeznek ezekhez az erőforrásokhoz. Ezeket a címkéket a címke paraméterében adhatja meg domain létrehozása or felhasználói profil létrehozása a profil vagy a domain létrehozása során, vagy később hozzáadhatja őket a add-tags API. A Studio automatikusan másolja és hozzárendeli ezeket a címkéket a tartományban vagy az adott felhasználók által létrehozott Studio-jegyzetfüzetekhez. A SageMaker tartományokhoz címkéket is hozzáadhat a tartománybeállítások szerkesztésével a Studio vezérlőpultján.

Az alábbiakban egy példa látható arra, hogyan rendelhet hozzá címkéket a profilhoz a létrehozás során.

aws sagemaker create-user-profile --domain-id  --user-profile-name data-scientist-full --tags Key=studiouserid,Value= --user-settings ExecutionRole=arn:aws:iam:::role/SageMakerStudioExecutionRole_datascientist-full

Meglévő domainek és felhasználók címkézéséhez használja a add-tags API. A címkéket ezután minden új jegyzetfüzetre alkalmazza. Ahhoz, hogy ezeket a címkéket alkalmazni lehessen meglévő jegyzetfüzeteire, újra kell indítania az adott felhasználói profilhoz tartozó Studio alkalmazást (Kernel Gateway és Jupyter Server). Ez nem okoz veszteséget a notebook adataiban. Lásd erre Kapcsolja ki és frissítse a SageMaker Studio és a Studio alkalmazásokat megtudhatja, hogyan törölheti és indíthatja újra a Studio-alkalmazásokat.

SageMaker notebook példányok címkézése

Egy SageMaker jegyzetfüzet-példány esetén a címkézés magára a példányra vonatkozik. A címkék minden, ugyanabban a példányban futó erőforráshoz hozzá vannak rendelve. A címkéket programozottan is megadhatja a címkék paraméterével létrehozás-jegyzetfüzet-példány API-t, vagy adja hozzá őket a SageMaker konzolon keresztül a példány létrehozása során. A címkék segítségével bármikor hozzáadhat vagy frissíthet add-tags API-n vagy a SageMaker konzolon keresztül.

Vegye figyelembe, hogy ez nem tartalmazza a SageMaker által felügyelt feladatokat és erőforrásokat, például a képzési és feldolgozási feladatokat, mivel azok a szolgáltatási környezetben, nem pedig a példányon vannak. A következő részben részletesebben áttekintjük, hogyan alkalmazhatunk címkézést ezekhez az erőforrásokhoz.

A SageMaker által kezelt feladatok és erőforrások címkézése

A SageMaker által kezelt feladatok és erőforrások esetében a címkézést alkalmazni kell a tags attribútum minden API-kérelem részeként. An SKLearnProcessor példát a következő kód szemlélteti. További példákat találhat a címkék hozzárendelésére más SageMaker által felügyelt feladatokhoz és erőforrásokhoz a webhelyen GitHub repo.

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import SKLearnProcessor

processing_tags = [{' Key':"cost-center','Value':'TF2WorkflowProcessing'}]
sklearn_processorl = SKLearnProcessor(framework_version='0.23-1' ,
									 role=get_execution_role(),
									 instance_type='ml.m5.xlarge',
									 instance_count=2,
									 tags=processing_tags)

SageMaker csővezetékek címkézése

A SageMaker folyamatok esetében az egyes lépések helyett a teljes folyamatot egészként címkézheti meg. A SageMaker folyamat automatikusan továbbítja a címkéket minden folyamatlépéshez. Továbbra is lehetősége van további, külön címkék hozzáadására az egyes lépésekhez, ha szükséges. A Studio felhasználói felületén a folyamatcímkék a metaadatok részben jelennek meg.

Ha címkéket szeretne alkalmazni egy folyamatban, használja a SageMaker Python SDK-t:

pipeline_tags = [ {'Key': 'pipeline-type', 'Value': 'TF2WorkflowPipeline'}]
pipeline.upsert(role_arn=role, tags=pipeline_tags)
execution = pipeline.start()

A címkézés kényszerítése IAM-irányelvek segítségével

Bár a címkézés hatékony mechanizmus a felhőkezelési és irányítási stratégiák megvalósításához, a megfelelő címkézési viselkedés betartatása kihívást jelenthet, ha csak a végfelhasználókra bízza. Hogyan akadályozhatja meg az ML-erőforrás létrehozását, ha egy adott címke hiányzik, hogyan biztosíthatja a megfelelő címkék alkalmazását, és hogyan akadályozhatja meg, hogy a felhasználók töröljék a meglévő címkéket?

Ezt a segítségével érheti el AWS Identity and Access Management (IAM) irányelvei. A következő kód egy olyan házirend példája, amely megakadályozza a SageMaker műveleteket, mint pl CreateDomain or CreateNotebookInstance ha a kérés nem tartalmazza a környezeti kulcsot és a listaértékek egyikét. Az ForAllValues módosító a aws:TagKeys feltétel kulcs azt jelzi, hogy csak a kulcs environment megengedett a kérelemben. Ez megakadályozza, hogy a felhasználók más kulcsokat használhassanak, például véletlenül Environment helyett environment.

"sagemaker:CreateTrainingJob"
      ],
      "{
      "Sid": "SageMakerEnforceEnvtOnCreate",
      "Action": [
        "sagemaker:CreateDomain",
        "sagemaker:CreateEndpoint",
        "sagemaker:CreateNotebookInstance",
        Effect": "Allow",
      "Resource": "*",
  "Condition": {
            "StringEquals": {
                "aws:RequestTag/environment": [
                    "dev","staging","production"
                ]
            },
            "ForAllValues:StringEquals": {"aws:TagKeys": "environment"}
        }
      }

Címkeszabályzat és a szolgáltatás-ellenőrzési szabályzatok (SCP) is jó módja lehet az ML-erőforrások létrehozásának és címkézésének szabványosításának. A szervezeti szintű címkézést érvényesítő és érvényesítő címkézési stratégia megvalósításával kapcsolatos további információkért lásd: 3. költségelosztási blogsorozat: Az AWS-erőforráscímkék érvényesítése és érvényesítése.

Költségallokációs jelentés

A címkéket a Cost Explorer nézeteinek szűrésével tekintheti meg, és megtekintheti a havi költségfelosztási jelentés, vagy a CUR vizsgálatával.

Címkék megjelenítése a Cost Explorerben

A Cost Explorer egy olyan eszköz, amely lehetővé teszi a költségek és a használat megtekintését és elemzését. Felhasználását és költségeit a fő grafikon segítségével fedezheti fel: a Cost Explorer költség- és használati jelentéseket. A Cost Explorer használatáról szóló gyors videóért tekintse meg Hogyan használhatom a Cost Explorert költéseim és felhasználásaim elemzésére?

A Cost Explorer segítségével címkék alapján szűrheti az AWS-költségek megtekintését. Csoportosít lehetővé teszi számunkra, hogy kiszűrjük az eredményeket olyan címkekulcsok alapján, mint pl Environment, Deploymentvagy Cost Center. A címkeszűrő segít kiválasztani a kívánt értéket, függetlenül a kulcstól. A példák közé tartozik Production és a Staging. Ne feledje, hogy az erőforrásokat a címkék hozzáadása és aktiválása után kell futtatnia; ellenkező esetben a Cost Explorer nem rendelkezik használati adatokkal, és a címke értéke nem jelenik meg szűrőként vagy csoportosításként.

A következő képernyőkép egy példa a szűrésre az összes érték alapján BusinessUnit címke.

Címkék vizsgálata a CUR-ban

A Költség- és használati jelentés tartalmazza az elérhető költség- és használati adatok legátfogóbb készletét. A jelentés sorokat tartalmaz az AWS-termékek, a használati típusok és az AWS-fiókja által használt műveletek minden egyedi kombinációjához. Testreszabhatja a CUR-t, hogy az információkat óránként vagy naponként összesítse. A költségfelosztási jelentés beállításának egyik módja a havi költségfelosztási jelentés. Beállíthatja a havi költségfelosztási jelentés amely felsorolja a fiók AWS-használatát termékkategória és a kapcsolódó fiók felhasználója szerint. A jelentés ugyanazokat a sorokat tartalmazza, mint a részletes számlázási jelentés és további oszlopok a címkekulcsokhoz. Beállíthatja és letöltheti a jelentést az alábbi lépések végrehajtásával Havi költségfelosztási jelentés.

A következő képernyőkép azt mutatja, hogyan jelennek meg a felhasználó által meghatározott címkekulcsok a CUR-ban. A felhasználó által megadott címkekulcsok előtaggal rendelkeznek user, Mint például a user:Department és a user:CostCenter. Az AWS által generált címkekulcsok előtaggal rendelkeznek aws.

Vizualizálja a CUR-t az Amazon Athena és az Amazon QuickSight segítségével

Amazon Athéné egy interaktív lekérdező szolgáltatás, amely megkönnyíti az Amazon S3 adatainak elemzését szabványos SQL használatával. Az Athena szerver nélküli, így nincs kezelhető infrastruktúra, és csak a futtatott lekérdezésekért kell fizetni. Az Athena CUR-okkal való integrálásához lásd: Költség- és használati jelentések lekérdezése az Amazon Athena használatával. Ezután egyéni lekérdezéseket készíthet a CUR adatok lekérdezéséhez szabványos SQL használatával. A következő képernyőkép egy példa egy olyan lekérdezésre, amely kiszűri az összes olyan erőforrást, amelynek értéke TF2WorkflowTraining cost-center címke.

select * from {$table_name} where resource_tags_user_cost-center= 'TF2WorkflowTraining'

A következő példában megpróbáljuk kitalálni, hogy mely erőforrásokból hiányoznak az értékek a cost-center címke.

SELECT
 bill_payer_account_id, line_item_usage_account_id, DATE_FORMAT((line_item_usage_start_date), '%Y-%m-%d') AS day_line_item_usage_start_date, line_item_resource_id, line_item_usage_type, resource_tags_user_cost-center
FROM
{$table_name} 
WHERE
 resource_tags_user_cost-center IS NULL
AND line_item_product_code = 'AmazonSageMaker'

További információk és példalekérdezések találhatók a AWS CUR lekérdezési könyvtár.

A CUR adatokat is betáplálhatja Amazon QuickSight, ahol tetszés szerint szeletelheti és felkockázhatja jelentéskészítési vagy megjelenítési célból. A CUR-adatok QuickSight-ba való bevitelére vonatkozó utasításokért lásd: Hogyan tölthetem be és jeleníthetem meg az AWS költség- és használati jelentést (CUR) az Amazon QuickSightban?.

Költségvetés figyelése címkék segítségével

Az AWS Budgets kiváló módja annak, hogy korai figyelmeztetést adjon, ha váratlanul megugrik a kiadás. Létrehozhat egyéni költségkereteket, amelyek figyelmeztetik, ha az ML-költségek és -használat meghaladják (vagy az előrejelzések szerint meghaladják) a felhasználó által meghatározott küszöbértékeket. Az AWS-költségkeretek segítségével nyomon követheti a teljes havi ML-költségeket, vagy szűrheti a költségkereteket az adott használati dimenziókhoz kapcsolódó költségek nyomon követése érdekében. Például beállíthatja a költségvetés hatókörét úgy, hogy a SageMaker erőforrásköltségeket tartalmazza a következőként cost-center: ML-Marketing, ahogy az a következő képernyőképen látható. További dimenziókért és az AWS-költségkeretek beállítására vonatkozó részletes útmutatásért lásd: itt.

A költségvetési figyelmeztetések, értesítést küldhet, ha a költségvetési korlátot túllépi (vagy hamarosan túllépi). Ezeket a figyelmeztetéseket egy Amazon Simple Notification Service (Amazon SNS) téma. An AWS Lambda Az SNS-témára feliratkozó funkció ezután meghívásra kerül, és bármilyen programozottan megvalósítható művelet elvégezhető.

Az AWS Budgets lehetővé teszi a konfigurálást is költségvetési intézkedések, amelyek olyan lépések, amelyeket megtehet egy költségvetési küszöb (tényleges vagy előrejelzett összegek) túllépése esetén. Ez az ellenőrzési szint lehetővé teszi, hogy csökkentse fiókjában a nem szándékos túlköltekezést. Fiókjában beállíthat konkrét válaszokat a költségekre és a felhasználásra, amelyeket a rendszer automatikusan vagy egy munkafolyamat-jóváhagyási folyamaton keresztül alkalmaz egy költségvetési cél túllépése esetén. Ez egy igazán hatékony megoldás annak biztosítására, hogy ML-költése összhangban legyen a vállalkozás céljaival. Kiválaszthatja, hogy milyen típusú műveletet hajtson végre. Például egy költségvetési küszöb átlépése esetén bizonyos IAM-felhasználókat helyezhet át az adminisztrátori engedélyekről írásvédettre. A Szervezeteket használó ügyfelek esetében a műveleteket a teljes szervezeti egységre alkalmazhatja, ha adminisztrátorról írásvédettre helyezi át őket. Ha további részleteket szeretne megtudni arról, hogyan kezelheti a költségeket költségvetési műveletekkel, lásd: A költségtúllépések kezelése többfiókos AWS-környezetben – 1. rész.

Beállíthat egy jelentést is, amellyel napi, heti vagy havi ütemben nyomon követheti meglévő költségkerete teljesítményét, és ezt a jelentést akár 50 e-mail címre is elküldheti. Val vel Az AWS költségvetési jelentései, a SageMakerrel kapcsolatos összes költségkeretet egyetlen jelentésben egyesítheti. Ez a funkció lehetővé teszi a SageMaker lábnyomának egyetlen helyről történő nyomon követését, amint az a következő képernyőképen látható. Választhatja, hogy napi, heti vagy havi ütemben kapja meg ezeket a jelentéseket (én ezt választottam Heti ebben a példában), és válassza ki a hét azon napját, amikor meg szeretné kapni őket.

Ez a funkció hasznos annak érdekében, hogy az érdekelt felek naprakészen tartsák a SageMaker költségeit és használatát, és segítsenek nekik látni, ha a kiadások nem a várt módon alakulnak.

A konfiguráció beállítása után a következőhöz hasonló e-mailt kell kapnia.

Következtetés

Ebben a bejegyzésben bemutattuk, hogyan állíthat be költségelosztási címkézést a SageMaker számára, és tippeket osztunk meg a SageMaker-környezet és munkaterhelések címkézésének bevált módszereivel kapcsolatban. Ezt követően megvitattuk a különböző jelentéskészítési lehetőségeket, például a Cost Explorert és a CUR-t, hogy segítsünk javítani az ML-költés láthatóságát. Végül bemutattuk az AWS-költségvetéseket és a költségvetési összefoglaló jelentést, amelyek segítségével nyomon követheti szervezete ML-költését.

A költségelosztási címkék alkalmazásával és aktiválásával kapcsolatos további információkért lásd: Felhasználó által meghatározott költségelosztási címkék.

A szerzőkről

Sean Morgan az AWS AI/ML megoldások építésze. Tapasztalattal rendelkezik a félvezetők és az akadémiai kutatás területén, és tapasztalatait arra használja fel, hogy segítse ügyfeleit céljaik elérésében az AWS-ben. Szabadidejében Sean aktív nyílt forráskódú közreműködő és karbantartó, valamint a TensorFlow Add-ons speciális érdeklődési csoportjának vezetője.

Brent Rabowsky az AWS-nél az adattudományra összpontosít, és szakértelmét felhasználva segíti az AWS-ügyfeleket saját adattudományi projektjeikben.

Nilesh Shetty Senior Technical Account Managerként dolgozik az AWS-nél, ahol segít a vállalati támogatást nyújtó ügyfeleknek az AWS-en végzett felhőalapú műveleteik egyszerűsítésében. Szenvedélye a gépi tanulás, és tapasztalata van tanácsadóként, építészként és fejlesztőként. A munkán kívül szívesen hallgat zenét és sportot néz.

James Wu az AWS vezető AI/ML specialista megoldástervezője. segít az ügyfeleknek AI/ML megoldások tervezésében és kivitelezésében. James munkája az ML felhasználási esetek széles skáláját fedi le, elsősorban a számítógépes látás, a mély tanulás és az ML méretezése a vállalaton belül. Mielőtt csatlakozott az AWS-hez, James több mint 10 évig építész, fejlesztő és technológiai vezető volt, ebből 6 évig mérnöki és 4 évig marketing és reklámiparban dolgozott.