A gépi tanulási (ML) modellek nem működnek elszigetelten. Ahhoz, hogy értéket adhassanak, integrálniuk kell a meglévő termelési rendszerekbe és infrastruktúrába, ami szükségessé teszi a teljes ML életciklus figyelembevételét a tervezés és a fejlesztés során. Az MLOp-ként ismert ML-műveletek az ML-modellek egyszerűsítésére, automatizálására és figyelésére összpontosítanak életciklusuk során. Egy robusztus MLOps-folyamat felépítése többfunkciós együttműködést igényel. Az adattudósoknak, az ML-mérnököknek, az informatikai személyzetnek és a DevOps-csapatoknak együtt kell működniük a modellek operatívvá tételében a kutatástól a telepítésig és karbantartásig. A megfelelő folyamatokkal és eszközökkel az MLOps lehetővé teszi a szervezetek számára, hogy csapataikban megbízhatóan és hatékonyan alkalmazzák az ML-t.
Bár a folyamatos integráció és a folyamatos szállítás (CI/CD) csővezetékek követelményei egyediek lehetnek, és tükrözik az egyes szervezetek igényeit, az MLOps gyakorlatok csapatok közötti skálázása leegyszerűsíthető irányított hangszerelések és eszközök használatával, amelyek felgyorsíthatják a fejlesztési folyamatot, és eltávolítják a differenciálatlan nehéz emelést. .
Amazon SageMaker MLOps egy olyan szolgáltatáscsomag, amely magában foglalja Amazon SageMaker projektek (CI/CD), Amazon SageMaker csővezetékek és a Amazon SageMaker Model Registry.
SageMaker csővezetékek lehetővé teszi az ML munkafolyamatok egyszerű létrehozását és kezelését, miközben tárolási és újrafelhasználási lehetőségeket is kínál a munkafolyamat lépéseihez. A SageMaker Model Registry központosítja a modellkövetést, leegyszerűsíti a modell telepítését. SageMaker projektek bevezeti a CI/CD gyakorlatokat az ML-be, beleértve a környezeti paritást, a verziókezelést, a tesztelést és az automatizálást. Ez lehetővé teszi a CI/CD gyors létrehozását az ML környezetben, megkönnyítve a hatékony méretezhetőséget az egész vállalaton belül.
A beépített projekt sablonok által biztosított Amazon SageMaker magában foglalja az integrációt néhány harmadik féltől származó eszközzel, mint például a Jenkins a hangszereléshez és a GitHub a forrásvezérléshez, és több olyan AWS natív CI/CD eszközt is használ, mint pl. AWS CodeCommit, AWS CodePipelineés AWS CodeBuild. Sok esetben azonban az ügyfelek szeretnék integrálni a SageMaker Pipelines-eket más meglévő CI/CD-eszközökkel, és ezért egyéni projektsablonokat szeretnének létrehozni.
Ebben a bejegyzésben egy lépésről lépésre történő megvalósítást mutatunk be a következők eléréséhez:
- Hozzon létre egy egyéni SageMaker MLOps projektsablont, amely integrálható a GitHub és a GitHub Actions szolgáltatással
- Tegye elérhetővé egyéni projektsablonjait itt Amazon SageMaker Studio adattudományi csapata számára egy kattintásos kiépítéssel
Megoldás áttekintése
Ebben a bejegyzésben a következő architektúrát készítjük el. Létrehozunk egy automatizált modellépítési folyamatot, amely magában foglalja az adatok előkészítésének, a modell betanításának, a modellértékelésnek és a betanított modellnek a SageMaker Model Registry-ben történő regisztrálásának lépéseit. Az eredményül kapott betanított ML-modellt ezután a SageMaker Model Registry-ből kézi jóváhagyással üzembe helyezi az átmeneti és éles környezetekben.
Nézzük meg ennek az architektúrának az elemeit, hogy megértsük a teljes konfigurációt.
GitHub és GitHub Actions
A GitHub egy webalapú platform, amely verziókezelést és forráskódkezelést biztosít a Git használatával. Lehetővé teszi a csapatok számára a szoftverfejlesztési projektekben való együttműködést, a változások nyomon követését és a kódtárak kezelését. A GitHub központosított helyként szolgál az ML-kódbázis tárolására, verziójára és kezelésére. Ez biztosítja, hogy az ML-kód alapja és folyamatai verziószámmal, dokumentálva és a csapattagok számára hozzáférhetők legyenek.
GitHub-műveletek egy hatékony automatizálási eszköz a GitHub ökoszisztémán belül. Lehetővé teszi egyéni munkafolyamatok létrehozását, amelyek automatizálják a szoftverfejlesztési életciklus-folyamatokat, például a kód felépítését, tesztelését és telepítését. Létrehozhat eseményvezérelt munkafolyamatokat, amelyeket adott események indítanak el, például amikor a kódot leküldik egy tárhelyre vagy lekérési kérelmet hoznak létre. Az MLOps implementálásakor a GitHub Actions segítségével automatizálhatja az ML folyamat különböző szakaszait, például:
- Adatellenőrzés és előfeldolgozás
- Modellképzés és -értékelés
- Modell bevezetése és felügyelete
- CI/CD ML modellekhez
A GitHub Actions segítségével egyszerűsítheti az ML-munkafolyamatokat, és gondoskodhat arról, hogy modelljeit következetesen építsék, teszteljék és telepítsék, ami hatékonyabb és megbízhatóbb ML-telepítést eredményez.
A következő szakaszokban az architektúra részeként használt egyes összetevők előfeltételeinek beállításával kezdjük:
- AWS felhőképződés - AWS felhőképződés kezdeményezi a modell üzembe helyezését és létrehozza a SageMaker végpontokat, miután a modell üzembe helyezési folyamatot aktiválták a betanított modell jóváhagyásával.
- AWS CodeStar csatlakozás - Mi használjuk AWS CodeStar hogy kapcsolatot létesítsen a GitHub-tárral, és kódtárolási integrációként használja az AWS-erőforrásokkal, például a SageMaker Studio-val.
- Amazon EventBridge - Amazon EventBridge nyomon követi a modellnyilvántartás összes módosítását. Ezenkívül fenntart egy szabályt, amely felszólítja a Lambda függvényt a modellfolyamat telepítésére, amikor a modellcsomag verziójának állapota megváltozik
PendingManualApproval
nak nekApproved
a modellnyilvántartáson belül. - AWS Lambda – Használunk egy AWS Lambda függvény a modell üzembe helyezési munkafolyamatának elindításához a GitHub Actions szolgáltatásban, miután új modellt regisztráltak a modellnyilvántartásban.
- Amazon SageMaker – A következő SageMaker összetevőket konfiguráljuk:
- Csővezeték – Ez az összetevő egy irányított aciklikus gráfból (DAG) áll, amely segít felépíteni az automatizált ML munkafolyamatot az adat-előkészítés, a modell betanítás és a modellértékelés szakaszaihoz. A modell-nyilvántartás nyilvántartást vezet a modellverziókról, a hozzájuk tartozó melléktermékekről, a származásról és a metaadatokról. Létrejön egy modellcsomag-csoport, amely az összes kapcsolódó modellverziót tartalmazza. A modell-nyilvántartás felelős a modellverzió jóváhagyási állapotának kezeléséért is a későbbi telepítéshez.
- Endpoint – Ez az összetevő két valós idejű HTTPS-végpontot állít be következtetésekhez. A hosting konfiguráció beállítható például kötegelt transzformációhoz vagy aszinkron következtetéshez. Az állomásoztatási végpont akkor jön létre, amikor a modell üzembe helyezési folyamata aktiválódik a betanított modellnek a SageMaker modellnyilvántartásból való jóváhagyásával. Ezt a végpontot a telepített modell érvényesítésére használják, biztosítva, hogy olyan előrejelzéseket adjon, amelyek megfelelnek a pontossági szabványainknak. Amikor a modell készen áll az éles üzembe helyezésre, a GitHub-műveletek munkafolyamatának manuális jóváhagyási szakasza üzembe helyez egy éles végpontot.
- Lerakat-kód – Ezzel egy Git-tárat hoz létre erőforrásként a SageMaker-fiókjában. A SageMaker-projekt létrehozása során megadott GitHub-kódtárból származó meglévő adatok felhasználásával a SageMakerben a projekt elindításakor társítás jön létre ugyanazzal a tárral. Ez lényegében kapcsolatot hoz létre a SageMaker GitHub-tárházával, lehetővé téve az interaktív műveleteket (pull/push) a tárolóval.
- Modell nyilvántartás – Ez figyeli a modell különböző verzióit és a megfelelő műtermékeket, beleértve a származást és a metaadatokat. A gyűjtemény a modell csomagcsoport létrejön, a modell házhoz kapcsolódó változatai. Ezenkívül a modell-nyilvántartás felügyeli a modellverzió jóváhagyási állapotát, biztosítva a későbbi telepítésre való készenlétet.
- AWS Secrets Manager – A GitHub személyes hozzáférési tokenjének biztonságos megőrzéséhez titkot kell létrehozni AWS Secrets Manager és elhelyezheti benne a hozzáférési tokenjét.
- AWS szolgáltatáskatalógus – Használjuk a AWS szolgáltatáskatalógus a SageMaker projektek megvalósításához, amelyek olyan összetevőket tartalmaznak, mint a SageMaker kódtár, Lambda funkció, EventBridge szabály, artefact S3 vödör stb., amelyek mindegyike a CloudFormation segítségével valósítható meg. Ez lehetővé teszi a szervezet számára, hogy ismételten használjon projektsablonokat, projekteket rendeljen hozzá minden felhasználóhoz, és egyszerűsítse a műveleteket.
- Amazon S3 – Használunk egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör a csővezeték által előállított modelltermékek megtartásához.
Előfeltételek
A következő előfeltételekkel kell rendelkeznie:
A megoldás megvalósítása előtt további beállítási lépéseket is el kell végeznie.
Állítson be egy AWS CodeStar kapcsolatot
Ha még nem rendelkezik AWS CodeStar-kapcsolattal GitHub-fiókjával, tekintse meg a következőt Hozzon létre kapcsolatot a GitHubhoz létrehozásához szükséges utasításokért. Az AWS CodeStar kapcsolat ARN így fog kinézni:
Ebben a példában aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
a kapcsolat egyedi azonosítója. Ezt az azonosítót használjuk, amikor a példában később létrehozzuk a SageMaker projektünket.
Állítson be titkos hozzáférési kulcsokat a GitHub-tokenhez
A GitHub személyes hozzáférési token biztonságos tárolásához létre kell hoznia egy titkot a Secrets Managerben. Ha nem rendelkezik személyes hozzáférési tokennel a GitHubhoz, tekintse meg a következőt Személyes hozzáférési tokenek kezelése létrehozásához szükséges utasításokért.
Létrehozhat klasszikus vagy finomszemcsés hozzáférési tokent. Ügyeljen azonban arra, hogy a token hozzáférjen a lerakat tartalmához és műveleteihez (munkafolyamatok, futtatások és melléktermékek).
Hajtsa végre a következő lépéseket a token Titkokkezelőben való tárolásához:
- A Secrets Manager konzolon válassza a lehetőséget Tárolj el egy új titkot.
- választ Más típusú titok mert Válassza ki a titkos típust.
- Adjon nevet a titkának a Kulcs mezőbe, és adja hozzá személyes hozzáférési tokenjét a megfelelőhöz Érték mező.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő, adja meg a titok nevét, és válassza ki Következő újra.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a bolt hogy megmentse a titkát.
Ha GitHub személyes hozzáférési jogkivonatát a Secrets Managerben tárolja, biztonságosan hozzáférhet hozzá az MLOps folyamaton belül, miközben gondoskodik a titkosságáról.
Hozzon létre egy IAM-felhasználót a GitHub Actions számára
Ha engedélyezni szeretné, hogy a GitHub Actions SageMaker-végpontokat telepítsen az Ön AWS-környezetében, létre kell hoznia egy AWS Identity and Access Management (IAM) felhasználót, és adja meg a szükséges engedélyeket. Az utasításokat lásd IAM-felhasználó létrehozása az AWS-fiókjában. Használja a iam/GithubActionsMLOpsExecutionPolicy.json
fájl (amelyet a kódminta), hogy elegendő engedélyt adjon a felhasználónak a végpontok telepítéséhez.
Miután létrehozta az IAM-felhasználót, hozzáférési kulcsot generál. Ezt a kulcsot, amely egy hozzáférési kulcs azonosítójából és egy titkos hozzáférési kulcsból áll, a következő lépésben fogja használni a GitHub-titkok konfigurálásakor.
Állítsa be GitHub-fiókját
A következő lépések a GitHub-fiók előkészítéséhez a példa futtatásához.
Klónozza a GitHub adattárat
Ebben a példában újra felhasználhat egy meglévő GitHub-tárat. Azonban egyszerűbb, ha új tárat hoz létre. Ez a tároló fogja tartalmazni az összes forráskódot mind a SageMaker-folyamat felépítéséhez, mind a telepítésekhez.
Másolja a kezdőkód-könyvtár tartalmát a GitHub-tárhely gyökérkönyvtárába. Például a .github
könyvtárnak a GitHub-tárhely gyökérkönyvtárában kell lennie.
Hozzon létre egy GitHub-titkot, amely tartalmazza az IAM felhasználói hozzáférési kulcsát
Ebben a lépésben eltároljuk az újonnan létrehozott felhasználó hozzáférési kulcsának adatait GitHub titok.
- A GitHub webhelyen keresse meg a tárhelyet, és válassza ki beállítások.
- A biztonság részben válassza ki a lehetőséget Titkok és változók És válasszon Hozzászólások.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Új adattár titka.
- A Név, belép
AWS_ACCESS_KEY_ID
- A Titkos, adja meg a korábban létrehozott IAM-felhasználóhoz társított hozzáférési kulcs azonosítóját.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Adja hozzá a Titkot.
- Ismételje meg ugyanezt az eljárást
AWS_SECRET_ACCESS_KEY
Konfigurálja a GitHub-környezeteket
Ha kézi jóváhagyási lépést szeretne létrehozni a telepítési folyamatainkban, akkor a GitHub környezet. Hajtsa végre a következő lépéseket:
- Navigáljon a beállítások, környezetek menüt a GitHub-tárolóban, és hozzon létre egy új, éles környezetet.
- A Környezetvédelmi szabályokválassza Szükséges lektorok.
- Adja hozzá a kívánt GitHub-felhasználóneveket értékelőként. Ebben a példában kiválaszthatja saját felhasználónevét.
Vegye figyelembe, hogy a környezeti funkció bizonyos típusú GitHub-csomagokban nem érhető el. További információkért lásd: Környezetek használata a telepítéshez.
Telepítse a Lambda funkciót
A következő lépésekben tömörítjük lambda_function.py
.zip fájlba, amely aztán feltöltődik egy S3 tárolóba.
Az ehhez tartozó kódminta az alábbiakban található GitHub repo. Pontosabban: lambda_function.py
található, a lambda_functions/lambda_github_workflow_trigger könyvtárban.
Javasoljuk, hogy hozzon létre egy elágazást a kódmintából, és klónozza azt. Ez megadja a szabadságot, hogy módosítsa a kódot, és kísérletezzen a minta különböző aspektusaival.
- Miután megszerezte a kód másolatát, keresse meg a megfelelő könyvtárat, és használja a
zip
parancsot a tömörítéshezlambda_function.py
. A Windows- és a MacOS-felhasználók natív fájlkezelő rendszerüket, a File Explorert vagy a Findert is használhatják .zip fájl létrehozására.
- Töltse fel a
lambda-github-workflow-trigger.zip
egy S3-as vödörhöz.
Ezt a tárolót később a szolgáltatáskatalógus fogja elérni. Bármely tárolót kiválaszthatja, amelyhez hozzáfér, feltéve, hogy a szolgáltatáskatalógus képes adatokat lekérni onnan a következő lépésekben.
Ettől a lépéstől kezdve szükségünk van az AWS CLI v2 telepítésére és konfigurálására. Alternatív megoldás az AWS CloudShell használata, amelyhez minden szükséges eszköz előre telepítve van, így nincs szükség további konfigurációkra.
- A fájl S3 tárolóba való feltöltéséhez használja a következő parancsot:
Most készítünk egy Lambda réteget a kapcsolódó függőségek számára lambda_function
most töltöttük fel.
- Állítson be egy Python virtuális környezetet, és telepítse a függőségeket:
- A következő parancsokkal hozza létre a .zip fájlt:
- A réteg közzététele az AWS-ben:
A közzétett réteggel az összes Lambda-függvény hivatkozhat rá, hogy megfeleljen a függőségeinek. A lambda rétegek részletesebb megértéséhez lásd: Lambda rétegekkel való munka.
Hozzon létre egyéni projektsablont a SageMakerben
A fenti lépések elvégzése után rendelkezésünkre áll az összes CI/CD folyamaterőforrás és összetevő. Ezután bemutatjuk, hogyan tehetjük ezeket az erőforrásokat egyéni projektként elérhetővé a SageMaker Studio-ban egy kattintással elérhető telepítéssel.
Amint azt korábban tárgyaltuk, ha a SageMaker által biztosított sablonok nem felelnek meg az Ön igényeinek (például összetettebb hangszerelést szeretne végezni a CodePipeline-ben több szakaszból, egyéni jóváhagyási lépésekből, vagy integrálni szeretne egy harmadik féltől származó eszközzel, például GitHub és GitHub műveletekkel ebben a bejegyzésben mutatjuk be), létrehozhatja saját sablonjait. Javasoljuk, hogy kezdje a SageMaker által biztosított sablonokkal, hogy megértse, hogyan kell rendszerezni a kódot és az erőforrásokat, és hogyan építhet ezekre. További részletekért lásd: Hozzon létre egyéni projektsablonokat.
Vegye figyelembe, hogy ezt a lépést automatizálhatja is, és ehelyett a CloudFormation segítségével telepítheti a szolgáltatáskatalógus-portfóliót és a terméket kódon keresztül. Ebben a bejegyzésben azonban a jobb tanulási élmény érdekében bemutatjuk a konzol bevezetését.
Ebben a szakaszban a megadott CloudFormation sablont használjuk szolgáltatáskatalógus-portfólió létrehozására, amely segít egyedi projektek létrehozásában a SageMakerben.
Létrehozhat új tartományt, vagy újra felhasználhatja a SageMaker tartományt a következő lépésekhez. Ha nem rendelkezik domainnel, nézze meg Bekapcsolva az Amazon SageMaker tartományba a Gyors beállítás segítségével a telepítési utasításokért.
Miután engedélyezte a rendszergazda hozzáférését a SageMaker sablonokhoz, hajtsa végre a következő lépéseket:
- A Szolgáltatáskatalógus-konzolon a Adminisztráció a navigációs ablakban válassza a lehetőséget portfóliók.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre egy új portfóliót.
- Nevezze el a portfóliót „SageMaker szervezeti sablonok”-nak.
- Töltse le a sablon.yml fájlt a számítógépére.
Ez a Cloud Formation sablon tartalmazza az összes CI/CD erőforrást, amelyre konfigurációként és infrastruktúrára van szükségünk kódként. A sablont részletesebben tanulmányozhatja, hogy megtudja, milyen erőforrások kerülnek telepítésre a részeként. Ezt a sablont a GitHub és a GitHub Actions szolgáltatással való integrációra szabtuk.
- A
template.yml
fájlt, módosítsa aS3Bucket
értéket a tárolóhoz, ahová feltöltötte a Lambda .zip fájlt:
- Válassza ki az új portfóliót.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Új termék feltöltése.
- A A termék neve¸ adjon nevet a sablonnak. A nevet használjuk
build-deploy-github
. - A Leírás, írjon be egy leírást.
- A Tulajdonos, adja meg nevét.
- Alatt Verzió részletei, A Módszer, választ Használjon sablonfájlt.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Tölts fel egy sablont.
- Töltse fel a letöltött sablont.
- A Verzió címe, választ 1.0.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Felülvizsgálat.
- Tekintse át beállításait, és válasszon Termék létrehozása.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a felfrissít az új termék listázásához.
- Válassza ki az imént létrehozott terméket.
- A Címkék lapon adja hozzá a következő címkét a termékhez:
- Kulcs =
sagemaker:studio-visibility
- Érték =
true
- Kulcs =
Visszatérve a portfólió részleteihez, valami hasonlót kell látnia, mint a következő képernyőkép (különböző azonosítókkal).
- A megszorítások lapot választani Hozzon létre korlátozást.
- A Termékek, választ
build-deploy-github
(az imént létrehozott termék). - A Kényszer típus, válassza Indít.
- Alatt Indítási kényszer, A Módszer, választ Válassza ki az IAM szerepkört.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
AmazonSageMakerServiceCatalogProductsLaunchRole
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.
- A Csoportok, szerepkörök és felhasználók lapot választani Csoportok, szerepkörök, felhasználók hozzáadása.
- A szerepek lapon válassza ki a SageMaker Studio tartomány konfigurálásakor használt szerepet. Itt található a SageMaker tartományi szerepkör.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzáférés hozzáadása.
Telepítse a projektet a SageMaker Studio-ból
Az előző szakaszokban elkészítette az egyéni MLOps projektkörnyezetet. Most hozzunk létre egy projektet ezzel a sablonnal:
- A SageMaker konzolon navigáljon ahhoz a tartományhoz, amelyben létre szeretné hozni ezt a projektet.
- A Indít menüben válasszon tanulmány.
A rendszer átirányítja a SageMaker Studio környezetbe.
- A SageMaker Studio alatt, a navigációs panelen Deployments, választ projektek.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Projekt létrehozása.
- A sablonok listájának tetején válassza a lehetőséget Szervezeti sablonok.
Ha az összes előző lépést sikeresen végrehajtotta, akkor látnia kell egy új egyedi projektsablont Build-Deploy-GitHub
.
- Válassza ki a sablont, és válassza ki Válassza a Projektsablon lehetőséget.
- Adjon meg egy opcionális leírást.
- A GitHub adattár tulajdonosának neve, adja meg a GitHub-tárhely tulajdonosát. Például, ha az adattár a címen található
https://github.com/pooyavahidi/my-repo
, a tulajdonos lennepooyavahidi
. - A GitHub adattár neve, írja be annak a tárolónak a nevét, amelybe a kezdőkódot másolta. Ez csak a repó neve lenne. Például be
https://github.com/pooyavahidi/my-repo
, a repo azmy-repo
. - A Codestar kapcsolat egyedi azonosítója, adja meg a létrehozott AWS CodeStar kapcsolat egyedi azonosítóját.
- A A GitHub tokent tároló Titokkezelőben található titok neve, adja meg a titok nevét a Titkokkezelőben, ahol létrehozta és tárolta a GitHub tokent.
- A GitHub munkafolyamat-fájl a telepítéshez, írja be a GitHub-munkafolyamat-fájl nevét (at
.github/workflows/deploy.yml
), ahol megvannak a telepítési utasítások. Ebben a példában megtarthatja alapértelmezettként, ami azdeploy.yml
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Projekt létrehozása.
- A projekt létrehozása után feltétlenül frissítse a
AWS_REGION
és aSAGEMAKER_PROJECT_NAME
környezeti változókat a GitHub-munkafolyamat-fájlokban ennek megfelelően. A munkafolyamat-fájlok a GitHub-tárhelyen találhatók (a kezdőkódból másolva), a.github/workflows
Könyvtár. Ügyeljen arra, hogy mindkettőt frissítsebuild.yml
és adeploy.yml
fájlokat.
Most a környezeted készen áll a használatra! Közvetlenül futtathatja a folyamatokat, módosításokat hajthat végre, és átküldheti ezeket a módosításokat a GitHub-tárhelyére, hogy elindítsa az automatizált összeállítási folyamatot, és megnézze, hogyan automatizálódik a felépítés és a telepítés összes lépése.
Tisztítsuk meg
Az erőforrások megtisztításához hajtsa végre a következő lépéseket:
- Törölje a SageMaker projekthez és a SageMaker végpontokhoz használt CloudFormation veremeket.
- Törölje a SageMaker tartományt.
- Törölje a szolgáltatáskatalógus-erőforrásokat.
- Törölje az AWS CodeStar kapcsolati hivatkozást a GitHub-tárral.
- Törölje a GitHub Actions számára létrehozott IAM-felhasználót.
- Törölje a titkot a Titokkezelőben, amely a GitHub személyes hozzáférési adatait tárolja.
Összegzésként
Ebben a bejegyzésben végigmentünk egy egyéni SageMaker MLOps projektsablon használatával a CI/CD folyamat automatikus felépítéséhez és rendszerezéséhez. Ez a folyamat hatékonyan integrálja a meglévő CI/CD-mechanizmusokat a SageMaker-képességekkel az adatkezeléshez, a modelloktatáshoz, a modell jóváhagyásához és a modell telepítéséhez. A mi forgatókönyvünkben a GitHub Actions SageMaker projektekkel és folyamatokkal való integrálására összpontosítottunk. A megvalósítás részleteinek átfogó megértéséhez látogassa meg a GitHub tárház. Nyugodtan kísérletezzen ezzel, és ne habozzon feltenni bármilyen kérdését a megjegyzés rovatban.
A szerzőkről
Dr. Romina Sharifpour az Amazon Web Services (AWS) gépi tanulási és mesterséges intelligencia megoldások vezető építésze. Több mint 10 évet töltött az ML és az AI fejlődésének köszönhetően innovatív, teljes körű megoldások tervezésében és megvalósításában. Romina érdeklődési területei a természetes nyelvi feldolgozás, a nagy nyelvi modellek és az MLOp-k.
Pooya Vahidi Az AWS vezető megoldások építésze, szenvedélyes a számítástechnika, a mesterséges intelligencia és a számítási felhő. AI-szakemberként aktív tagja az AWS AI/ML Area-of-Depth csapatának. Több mint két évtizedes tapasztalattal rendelkezik a nagyszabású megoldások architektúrájának és tervezésének vezetésében, így segíti ügyfeleit a felhő- és AI/ML-technológiákon keresztüli átalakuláson.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :van
- :is
- :nem
- :ahol
- $ UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- Képes
- Rólunk
- felett
- gyorsul
- hozzáférés
- igénybe vett
- hozzáférhető
- Eszerint
- Fiók
- pontosság
- Elérése
- át
- cselekvések
- aktív
- aciklikus
- hozzá
- További
- Beállított
- elfogadja
- fejlesztések
- Után
- újra
- AI
- AI / ML
- Minden termék
- kioszt
- lehetővé
- lehetővé teszi, hogy
- már
- Is
- alternatív
- amazon
- Amazon SageMaker
- Amazon SageMaker csővezetékek
- Az Amazon Web Services
- Amazon Web Services (AWS)
- an
- és a
- és az infrastruktúra
- bármilyen
- megfelelő
- jóváhagyás
- építészet
- VANNAK
- területek
- mesterséges
- mesterséges intelligencia
- AS
- szempontok
- társult
- Egyesület
- At
- automatizált
- Automatizált
- automatikusan
- automatizálás
- Automatizálás
- elérhető
- AWS
- háttér
- bázis
- BE
- óta
- előtt
- mindkét
- épít
- Épület
- épít
- épült
- beépített
- by
- hívott
- TUD
- képességek
- katalógus
- CD
- központosított
- változik
- Változások
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- klasszikus
- ragadozó ölyv
- kettyenés
- felhő
- cloud computing
- kód
- kódbázis
- együttműködik
- együttműködés
- gyűjtemény
- jön
- Hozzászólások
- teljes
- befejezés
- bonyolult
- összetevő
- alkatrészek
- átfogó
- számítógép
- Computer Science
- számítástechnika
- titoktartási
- Configuration
- konfigurálva
- konfigurálása
- kapcsolat
- figyelembe véve
- következetesen
- áll
- Konzol
- konstrukció
- tartalmaz
- tartalom
- folyamatos
- ellenőrzés
- Megfelelő
- teremt
- készítette
- teremt
- létrehozása
- teremtés
- szokás
- Ügyfelek
- szabott
- DAG
- dátum
- Adatok előkészítése
- adat-tudomány
- évtizedek
- alapértelmezett
- szállít
- kézbesítés
- ás
- igények
- bizonyítani
- igazolták
- függőségek
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- bevetések
- leírás
- Design
- kívánatos
- részlet
- részletes
- részletek
- Fejlesztés
- különböző
- irányított
- közvetlenül
- tárgyalt
- do
- domain
- ne
- alatt
- minden
- Korábban
- könnyebb
- ökoszisztéma
- Hatékony
- hatékonyan
- hatékony
- eredményesen
- bármelyik
- elemek
- megszüntetése
- lehetővé
- engedélyezve
- lehetővé teszi
- lehetővé téve
- végtől végig
- Endpoint
- Mérnöki
- Mérnökök
- biztosítására
- biztosítja
- biztosítása
- belép
- Vállalkozás
- Egész
- Környezet
- környezetek
- lényegében
- létrehozni
- megalapozott
- megállapítja
- intézmény
- stb.
- értékelés
- események
- példa
- létező
- tapasztalat
- kísérlet
- szakvélemény
- felfedező
- megkönnyítését
- Funkció
- Jellemzők
- érez
- mező
- filé
- Fájlok
- Kereső
- Összpontosít
- összpontosított
- következő
- A
- villa
- képződés
- formák
- talált
- Ingyenes
- szabadság
- ból ből
- funkció
- funkciók
- generál
- generált
- kap
- megy
- GitHub
- Ad
- megy
- elmúlt
- biztosít
- grafikon
- nagyobb
- Csoport
- Csoportok
- Legyen
- he
- nehéz
- súlyemelés
- segít
- tárhely
- Ház
- házak
- ház
- Hogyan
- How To
- azonban
- HTML
- http
- HTTPS
- ID
- Identitás
- ids
- if
- végrehajtás
- végre
- végrehajtási
- in
- tartalmaz
- magában foglalja a
- Beleértve
- információ
- Infrastruktúra
- kezdeményez
- beavatottak
- újító
- bemenet
- belső
- telepíteni
- telepítve
- példa
- helyette
- utasítás
- integrálni
- integrál
- integrálása
- integráció
- Intelligencia
- interaktív
- kamat
- bele
- Bemutatja
- szigetelés
- IT
- ITS
- Journeys
- jpg
- json
- éppen
- Tart
- tartja
- Kulcs
- kulcsok
- ismert
- nyelv
- nagy
- nagyarányú
- a későbbiekben
- indít
- réteg
- tojók
- vezető
- tanulás
- Szabadság
- életciklus
- emelő
- mint
- leszármazás
- LINK
- Lista
- található
- elhelyezkedés
- Hosszú
- néz
- hasonló
- gép
- gépi tanulás
- MacOS
- fenntartja
- karbantartás
- csinál
- kezelése
- sikerült
- vezetés
- menedzser
- kezelése
- Manipuláció
- kézikönyv
- sok
- mechanizmusok
- Találkozik
- tag
- Partnerek
- Menü
- Metaadatok
- esetleg
- MIT
- ML
- MLOps
- modell
- modellek
- Módosítások
- módosítása
- ellenőrzés
- monitorok
- több
- hatékonyabb
- Ráadásul
- többszörös
- kell
- név
- Nevezett
- nevek
- bennszülött
- Természetes
- Természetes nyelvi feldolgozás
- Keresse
- Navigáció
- elengedhetetlen
- szükségessé teszi
- Szükség
- igények
- Új
- új termék
- újonnan
- következő
- Most
- szerez
- of
- felajánlás
- on
- ONE
- tovább
- működik
- Művelet
- or
- hangszerelés
- szervezet
- szervezetek
- Más
- mi
- felett
- áttekintés
- saját
- tulajdonos
- csomag
- üvegtábla
- paritás
- rész
- párt
- szenvedélyes
- engedélyek
- személyes
- csővezeték
- tervek
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- portfolió
- állás
- erős
- gyakorlat
- Tippek
- előkészítés
- Készít
- előkészített
- előfeltételek
- előző
- eljárás
- folyamat
- Folyamatok
- feldolgozás
- Készült
- Termékek
- Termelés
- szakmai
- program
- projektek
- utasításokat
- védelem
- ad
- feltéve,
- biztosít
- közzétett
- Nyomja
- meglökött
- Piton
- lekérdezések
- Quick
- Készenlét
- kész
- real-time
- ajánl
- ajánlott
- nyilvántartások
- utal
- referencia
- tükröznie
- nyilvántartott
- Bejegyzés
- iktató hivatal
- összefüggő
- megbízható
- eltávolítása
- TÖBBSZÖR
- raktár
- kérni
- szükség
- követelmények
- kutatás
- forrás
- Tudástár
- illetőleg
- felelős
- kapott
- újra
- jobb
- erős
- Szerep
- szerepek
- gyökér
- Szabály
- futás
- fut
- sagemaker
- SageMaker csővezetékek
- azonos
- Megtakarítás
- skálázhatóság
- skálázás
- forgatókönyv
- forgatókönyvek
- Tudomány
- tudósok
- Titkos
- titkok
- Rész
- szakaszok
- biztosan
- biztonság
- lát
- mag
- válasszuk
- idősebb
- szolgálja
- szolgáltatás
- Szolgáltatások
- Szettek
- beállítás
- beállítások
- felépítés
- számos
- ő
- kellene
- előadás
- hasonló
- Egyszerű
- egyszerűsített
- egyszerűsítése
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- néhány
- valami
- forrás
- forráskód
- feszültség
- különleges
- kifejezetten
- költött
- Stacks
- Személyzet
- Színpad
- állapota
- színpadra állítás
- szabványok
- kezdet
- Kezdve
- Állapot
- Lépés
- Lépései
- tárolás
- tárolni
- memorizált
- árnyékolók
- tárolása
- egyértelmű
- áramvonal
- ésszerűsítése
- stúdió
- Tanulmány
- későbbi
- sikeresen
- ilyen
- elegendő
- kíséret
- biztos
- rendszer
- Systems
- TAG
- csapat
- Csapattagok
- csapat
- Technologies
- sablon
- sablonok
- kipróbált
- Tesztelés
- hogy
- A
- The Source
- azok
- akkor
- ebből adódóan
- Ezek
- ők
- Harmadik
- harmadik fél
- ezt
- azok
- Keresztül
- egész
- nak nek
- együtt
- jelképes
- szerszám
- szerszámok
- felső
- vágány
- Csomagkövetés
- kiképzett
- Képzések
- Átalakítás
- átalakító
- kiváltó
- váltott
- kettő
- típus
- típusok
- alatt
- megért
- megértés
- egyedi
- Frissítések
- feltöltve
- upon
- us
- használ
- használt
- használó
- Felhasználók
- segítségével
- hasznosít
- hasznosított
- ÉRVÉNYESÍT
- érvényesítés
- érték
- különféle
- változat
- verzió
- keresztül
- Tényleges
- Látogat
- sétált
- akar
- we
- háló
- webes szolgáltatások
- web-alapú
- weboldal
- Mit
- amikor
- ami
- míg
- lesz
- ablakok
- val vel
- belül
- Munka
- együtt dolgozni
- munkafolyamat
- munkafolyamatok
- lenne
- év
- te
- A te
- zephyrnet
- Postai irányítószám