Ebben a bejegyzésben bemutatjuk Kubeflow az AWS-en (a Kubeflow AWS-specifikus disztribúciója), valamint az általa a nyílt forráskódú Kubeflowhoz képest hozzáadott érték a magasan optimalizált, felhőalapú, vállalati használatra kész AWS-szolgáltatások integrációja révén.
A Kubeflow egy nyílt forráskódú gépi tanulási (ML) platform, amely az ML-munkafolyamatok Kubernetes rendszeren történő telepítését egyszerűvé, hordozhatóvá és méretezhetővé teszi. A Kubeflow számos összetevőt biztosít, beleértve a központi irányítópultot, a többfelhasználós Jupyter notebookokat, a Kubeflow Pipelines-eket, a KFServing-et és a Katibot, valamint elosztott képzési operátorokat a TensorFlow, PyTorch, MXNet és XGBoost számára az egyszerű, méretezhető és hordozható ML munkafolyamatok létrehozásához. .
Az AWS a közelmúltban elindította a Kubeflow v1.4-et saját Kubeflow disztribúciója részeként (az AWS-en Kubeflow néven), amely leegyszerűsíti az adattudományi feladatokat, és segít rendkívül megbízható, biztonságos, hordozható és méretezhető ML-rendszerek felépítésében, csökkentett működési költségekkel az AWS által felügyelt szolgáltatásokkal való integráció révén. . Ezzel a Kubeflow disztribúcióval ML rendszereket építhet a tetejére Amazon Elastic Kubernetes szolgáltatás (Amazon EKS) ML-modellek építésére, betanítására, hangolására és üzembe helyezésére számos felhasználási esethez, beleértve a számítógépes látást, a természetes nyelvi feldolgozást, a beszédfordítást és a pénzügyi modellezést.
Kihívások a nyílt forráskódú Kubeflow-val
Nyílt forráskódú Kubeflow-projekt használatakor az összes Kubeflow vezérlősík- és adatsík-összetevőt telepíti a Kubernetes-munkavégző csomópontokon. A Kubeflow-összetevő-szolgáltatások a Kubeflow vezérlősík részeként kerülnek üzembe helyezésre, a Jupyterrel, a modellképzéssel, a hangolással és az üzemeltetéssel kapcsolatos összes erőforrás-telepítés pedig a Kubeflow adatsíkon. A Kubeflow vezérlősík és adatsík futhat ugyanazon vagy különböző Kubernetes munkavégző csomópontokon. Ez a bejegyzés a Kubeflow vezérlősík összetevőire összpontosít, amint azt a következő ábra mutatja.
Előfordulhat, hogy ez az üzembe helyezési modell nem nyújt vállalati használatra kész élményt a következő okok miatt:
- Az összes Kubeflow vezérlősík nehézemelési infrastruktúra-összetevője, beleértve az adatbázist, a tárolást és a hitelesítést, magában a Kubernetes-fürt dolgozó csomópontjában van telepítve. Ez kihívást jelent egy magas rendelkezésre állású Kubeflow vezérlősík-tervezési architektúra megvalósításában, amely állandó állapotú a dolgozó csomópontjának meghibásodása esetén.
- A Kubeflow vezérlősík által generált melléktermékek (például MySQL-példányok, pod-naplók vagy MinIO-tárolók) idővel növekednek, és átméretezhető tárolókötetekre van szükségük folyamatos figyelési képességekkel a növekvő tárolási igény kielégítéséhez. Mivel a Kubeflow vezérlősík megosztja az erőforrásokat a Kubeflow adatsík munkaterheléseivel (például betanítási feladatokhoz, folyamatokhoz és telepítésekhez), a Kubernetes-fürt- és tárolókötetek megfelelő méretezése és méretezése kihívást jelenthet, és megnövekedett működési költségeket eredményezhet.
- A Kubernetes korlátozza a naplófájl méretét, és a legtöbb telepítés tartja a legutóbbi 10 MB-os korlátot. Alapértelmezés szerint a pod naplók elérhetetlenné válnak, miután elérik ezt a felső határt. A naplók elérhetetlenné válhatnak, ha a podokat kiürítik, összeomlik, törlik vagy egy másik csomóponton ütemezik, ami hatással lehet az alkalmazásnapló elérhetőségére és figyelési képességeire.
Kubeflow az AWS-en
A Kubeflow az AWS-en egyértelmű utat biztosít a Kubeflow használatához, a következő AWS-szolgáltatásokkal:
- Alkalmazás terheléselosztó biztonságos külső forgalomkezeléshez HTTPS-en keresztül
- amazonfelhőóra a folyamatos naplókezeléshez
- AWS Cognito felhasználói hitelesítéshez a Transport Layer Security (TLS) segítségével
- AWS Deep Learning Containers nagymértékben optimalizált Jupyter notebook szerverképekhez
- Amazon elasztikus fájlrendszer (Amazon EFS) ill Amazon FSx Lusterhez egy egyszerű, méretezhető és szerver nélküli fájltárolási megoldás a fokozott edzési teljesítmény érdekében
- Amazon EKS a felügyelt Kubernetes-fürtökhöz
- Amazon Relációs adatbázis-szolgáltatás (Amazon RDS) a nagymértékben méretezhető csővezetékekhez és egy metaadattárolóhoz
- AWS Secrets Manager az alkalmazások eléréséhez szükséges titkok védelme érdekében
- Amazon egyszerű tárolási szolgáltatás (Amazon S3) egy könnyen használható csővezeték műtárgyak boltjához
Ezek az AWS-szolgáltatás-integrációk a Kubeflow-val (amint az a következő ábrán látható) lehetővé teszik számunkra, hogy a Kubeflow vezérlősík kritikus részeit leválasztjuk a Kubernetesről, biztonságos, méretezhető, rugalmas és költségoptimalizált kialakítást biztosítva.
Beszéljük meg az egyes szolgáltatásintegrációk előnyeit és megoldásaikat a biztonság, az ML-folyamatok futtatása és a tárolás területén.
A Kubeflow felhasználók biztonságos hitelesítése az Amazon Cognito segítségével
A felhőalapú biztonság az AWS-nél a legmagasabb prioritás, és befektetünk abba, hogy a Kubeflow biztonságot szorosan integráljuk közvetlenül az AWS megosztott felelősségű biztonsági szolgáltatásaiba, mint például a következők:
- Application Load Balancer (ALB) külső forgalomkezeléshez
- AWS tanúsítványkezelő (ACM) a TLS támogatásához
- IAM-szerepek szolgáltatásfiókokhoz (IRSA) a Kubernetes Pod szintű hozzáférés-vezérléshez
- AWS kulcskezelési szolgáltatás (AWS KMS) az adattitkosítási kulcsok kezeléséhez
- AWS pajzs DDoS védelemhez
Ebben a részben az AWS Kubeflow vezérlősík integrációjára összpontosítunk az Amazon Cognitoval. Az Amazon Cognito megszünteti a felhasználói hitelesítéshez szükséges natív Dex (nyílt forráskódú OpenID Connect (OIDC) szolgáltató helyi LDAP-val támogatott) kezelését és karbantartását a felhasználói hitelesítéshez, és megkönnyíti a titkos kezelést.
Az Amazon Cognito segítségével gyorsan és egyszerűen hozzáadhat felhasználói regisztrációt, bejelentkezést és hozzáférés-vezérlést Kubeflow felhasználói felületéhez. Az Amazon Cognito több millió felhasználóra skálázható, és támogatja a közösségi identitásszolgáltatókkal (IdP-k), például a Facebookkal, a Google-lal és az Amazonnal való bejelentkezést, valamint a SAML 2.0-n keresztüli vállalati IdP-ket. Ez csökkenti a Kubeflow-beállítások bonyolultságát, így működési szempontból karcsúsodik, és könnyebben kezelhető a többfelhasználós elkülönítés elérése érdekében.
Nézzünk meg egy többfelhasználós hitelesítési folyamatot az Amazon Cognito, ALB és ACM Kubeflow integrációival az AWS-en. Ennek az integrációnak számos kulcsfontosságú összetevője van. Az Amazon Cognito IdP-ként van konfigurálva egy hitelesítési visszahívással, amely úgy van konfigurálva, hogy a felhasználói hitelesítés után a kérést a Kubeflow-hoz irányítsa. A Kubeflow beállításának részeként egy Kubernetes bemeneti erőforrás jön létre az Istio Gateway szolgáltatás külső forgalmának kezelésére. Az AWS ALB Ingress Controller terheléselosztót biztosít ehhez a bemenethez. Használjuk Amazon út 53 nyilvános DNS konfigurálásához a regisztrált tartományhoz és tanúsítványok létrehozásához az ACM használatával a TLS hitelesítés engedélyezéséhez a terheléselosztóban.
A következő diagram azt a tipikus felhasználói munkafolyamatot mutatja be, amikor bejelentkezik az Amazon Cognito-ba, és átirányítja a Kubeflow-ra a megfelelő névterében.
A munkafolyamat a következő lépéseket tartalmazza:
- A felhasználó HTTPS-kérelmet küld a Kubeflow központi irányítópultjára, amely egy terheléselosztó mögött található. Az 53-as út az FQDN-t az ALB álnévrekordra oldja fel.
- Ha a cookie nincs jelen, a terheléselosztó átirányítja a felhasználót az Amazon Cognito engedélyezési végpontjához, hogy az Amazon Cognito hitelesítse a felhasználót.
- A felhasználó hitelesítése után az Amazon Cognito visszaküldi a felhasználót a terheléselosztóhoz egy engedélyezési kóddal.
- A terheléselosztó bemutatja az engedélyezési kódot az Amazon Cognito token végpontnak.
- Az érvényes engedélyezési kód kézhezvétele után az Amazon Cognito megadja az azonosító tokent és a hozzáférési tokent a terheléselosztó számára.
- Miután a terheléselosztó sikeresen hitelesítette a felhasználót, elküldi a hozzáférési tokent az Amazon Cognito felhasználói információs végpontjának, és fogadja a felhasználói igényeket. A terheléselosztó aláírja és hozzáadja a felhasználói igényeket a HTTP-fejléchez
x-amzn-oidc-*
JSON web token (JWT) kérési formátumban. - A terheléselosztó kérése az Istio Ingress Gateway podjába kerül.
- Egy küldöttszűrő segítségével az Istio Gateway dekódolja a
x-amzn-oidc-data
értékét, lekéri az e-mail mezőt, és hozzáadja az egyéni HTTP-fejlécetkubeflow-userid
, amelyet a Kubeflow jogosultsági réteg használ. - Az Istio erőforrás-alapú hozzáférés-vezérlési házirendjeit a rendszer a bejövő kérésekre alkalmazza a Kubeflow irányítópulthoz való hozzáférés ellenőrzésére. Ha ezek bármelyike nem érhető el a felhasználó számára, a rendszer hibaüzenetet küld vissza. Ha a kérést érvényesítik, akkor a rendszer továbbítja a megfelelő Kubeflow szolgáltatáshoz, és hozzáférést biztosít a Kubeflow irányítópulthoz.
Állandó Kubeflow komponens metaadatok és műtermékek tárolása az Amazon RDS és az Amazon S3 segítségével
A Kubeflow az AWS-en integrációt biztosít a következővel Amazon Relációs adatbázis-szolgáltatás (Amazon RDS) a Kubeflow Pipelinesben és az AutoML-ben (Titkár). Folytassuk a Kubeflow Pipelines részletesebb tárgyalását.
A Kubeflow Pipelines egy platform hordozható, méretezhető ML munkafolyamatok létrehozására és telepítésére. Ezek a munkafolyamatok segíthetnek az összetett ML-folyamatok automatizálásában a beépített és egyéni Kubeflow-összetevők használatával. A Kubeflow Pipelines tartalmazza a Python SDK-t, egy DSL-fordítót, amely a Python-kódot statikus konfigurációvá alakítja, egy Pipelines-szolgáltatást, amely a statikus konfigurációból futtatja a folyamatokat, valamint egy vezérlőkészletet a folyamat befejezéséhez szükséges Kubernetes Pod-kon belüli tárolók futtatásához.
A Kubeflow Pipelines metaadatai a folyamatkísérletekhez és -futtatásokhoz a MySQL-ben, a melléktermékek pedig, beleértve a folyamatcsomagokat és a metrikákat, a MinIO-ban tárolódnak.
A következő diagramon látható módon a Kubeflow az AWS-en lehetővé teszi a következő összetevők tárolását az AWS által felügyelt szolgáltatásokkal:
- Pipeline metaadatok az Amazon RDS-ben – Az Amazon RDS méretezhető, magas rendelkezésre állású és megbízható Multi-AZ telepítési architektúrát kínál beépített automatizált feladatátvételi mechanizmussal és átméretezhető kapacitással az iparági szabványnak megfelelő relációs adatbázisokhoz, például a MySQL-hez. Az általános adatbázis-adminisztrációs feladatokat infrastruktúra kiépítése vagy szoftver karbantartása nélkül kezeli.
- Csővezeték-termékek az Amazon S3-ban – Az Amazon S3 iparágvezető skálázhatóságot, adatelérhetőséget, biztonságot és teljesítményt kínál, és felhasználható az Ön igényeinek kielégítésére. megfelelési követelményeket.
Ezek az integrációk segítenek áthelyezni a metaadatok és műtermékek tárolásának kezelését és karbantartását az önállóan felügyelt Kubeflow-ról az AWS által felügyelt szolgáltatásokra, amelyek könnyebben beállíthatók, működtethetők és méretezhetők.
Elosztott fájlrendszerek támogatása Amazon EFS és Amazon FSx segítségével
A Kubeflow a Kubernetesre épít, amely infrastruktúrát biztosít a nagy léptékű, elosztott adatfeldolgozáshoz, beleértve a nagy modellek betanítását és hangolását, mély hálózattal, millió vagy akár milliárd paraméterrel. Az ilyen elosztott adatfeldolgozó ML-rendszerek támogatása érdekében a Kubeflow az AWS-en a következő tárolási szolgáltatásokkal biztosítja az integrációt:
- Amazon EFS – Nagy teljesítményű, felhőalapú, elosztott fájlrendszer, amelyet egy Amazon EFS CSI illesztőprogram. Az Amazon EFS biztosítja
ReadWriteMany
hozzáférési módot, és most már Kubeflow adatsíkban futó pod-okba (Jupyter, modellképzés, modellhangolás) is beillesztheti, hogy állandó, méretezhető és megosztható munkaterületet biztosítson, amely automatikusan növekszik és csökken, amikor fájlokat ad hozzá és távolít el nincs szükség irányításra. - Amazon FSx Lusterhez – Optimalizált fájlrendszer a számításigényes munkaterhelésekhez, például a nagy teljesítményű számítástechnikához és az ML-hez, amelyet a Amazon FSx CSI illesztőprogram. Az FSx for Luster biztosít
ReadWriteMany
hozzáférési módot is, és segítségével gyorsítótárazhatja a képzési adatokat, közvetlen kapcsolattal az Amazon S3-hoz, mint háttértárhoz, amellyel támogathatja a Jupyter notebook szervereket vagy a Kubeflow adatsíkon futó elosztott képzést. Ezzel a konfigurációval nem kell adatokat továbbítania a fájlrendszerbe a kötet használata előtt. Az FSx for Luster konzisztens szub-ezredmásodperces késéseket és nagy egyidejűséget biztosít, és TB/s átviteli sebességre és több millió IOPS-re skálázható.
Kubeflow telepítési lehetőségek
Az AWS különféle Kubeflow-telepítési lehetőségeket kínál:
- Telepítés az Amazon Cognito segítségével
- Telepítés az Amazon RDS és az Amazon S3 segítségével
- Telepítés az Amazon Cognito, az Amazon RDS és az Amazon S3 segítségével
- Vanília bevetés
A szolgáltatások integrációjával és az egyes opciókhoz elérhető kiegészítőkkel kapcsolatos részletekért lásd: Telepítési lehetőségek. Beállíthatja azt az opciót, amely a legjobban illik az Ön használati esetéhez.
A következő részben végigvezetjük az AWS Kubeflow v1.4 terjesztés Amazon EKS rendszeren történő telepítésének lépéseit. Ezután a Kubeflow központi UI irányítópultján elérhető XGBoost folyamatpéldát használjuk az AWS Kubeflow integrációjának és használatának bemutatására az Amazon Cognito, az Amazon RDS és az Amazon S3 rendszerrel, a Secrets Managerrel kiegészítőként.
Előfeltételek
Ehhez az áttekintéshez a következő előfeltételekkel kell rendelkeznie:
- An AWS-fiók.
- Egy meglévő Amazon EKS-fürt. A Kubernetes 1.19-es vagy újabb verziójának kell lennie. Automatizált fürt létrehozásához a használatával exctlLásd: Hozzon létre egy Amazon EKS-fürtöt és használja az exctl opciót.
Telepítse a következő eszközöket a Kubernetes-fürt eléréséhez használt ügyfélgépre. Te tudod használni AWS Cloud9, egy felhő alapú integrált fejlesztői környezet (IDE) a Kubernetes-fürtbeállításhoz.
- AWS parancssori interfész (AWS CLI) – Parancssori eszköz az AWS-szolgáltatásokkal való interakcióhoz. A telepítési utasításokat lásd Az AWS CLI telepítése, frissítése és eltávolítása.
- exctl > 0.56 – Parancssori eszköz az Amazon EKS-fürtökkel való munkavégzéshez, amely számos egyedi feladatot automatizál.
- kubectl – Parancssori eszköz a Kubernetes-fürtökkel való munkavégzéshez.
- csoportos it – Elosztott verziókezelő szoftver.
- Python 3.8+ – A Python programozási környezet.
- gyümölcsmag – A Python csomagkezelője.
- kustomize 3.2.0 verzió – Parancssori eszköz a Kubernetes objektumok testreszabásához egy kustomizációs fájlon keresztül.
Telepítse a Kubeflow-t AWS-re
Állítsa be a kubectl-t, hogy csatlakozhasson egy Amazon EKS-fürthöz:
A Kubeflow központi telepítésében különféle vezérlőket használnak IAM-szerepek szolgáltatásfiókokhoz (IRSA). Az IRSA használatához a fürtnek léteznie kell egy OIDC-szolgáltatónak. Hozzon létre egy OIDC-szolgáltatót, és társítsa azt az Amazon EKS-fürthöz a következő parancs futtatásával, ha a fürt még nem rendelkezik ilyennel:
Klónozza az AWS jegyzékre vonatkozó repót és a Kubeflow jegyzékfájlt, és ellenőrizze a megfelelő kiadási ágakat:
Ezekről a verziókról további információkért lásd: Kiadások és verziók.
Állítsa be az Amazon RDS-t, az Amazon S3-at és a Secrets Managert
Az Amazon RDS és Amazon S3 erőforrásokat a Kubeflow jegyzékek telepítése előtt hozza létre. Automatizált Python-szkripteket használunk, amelyek gondoskodnak az S3-tároló, az RDS-adatbázis és a szükséges titkok létrehozásáról a Secrets Managerben. A Kubeflow-folyamat és az AutoML szükséges konfigurációs fájljait is szerkeszti, hogy megfelelően konfigurálva legyen az RDS-adatbázishoz és az S3-tárolóhoz a Kubeflow telepítése során.
Hozzon létre egy IAM-felhasználót engedélyezési jogosultságokkal GetBucketLocation
és olvasási és írási hozzáférést biztosít az objektumokhoz egy S3 tárolóban, ahol tárolni szeretné a Kubeflow műtermékeket. Használja a AWS_ACCESS_KEY_ID
és a AWS_SECRET_ACCESS_KEY
az IAM felhasználótól a következő kódban:
Állítsa be az Amazon Cognito-t hitelesítési szolgáltatóként
Ebben a részben létrehozunk egy egyéni tartományt az 53-as útvonalon és az ALB-ben, hogy a külső forgalmat a Kubeflow Istio Gateway-hez irányítsák. Az ACM-et használjuk egy tanúsítvány létrehozására, amely lehetővé teszi a TLS-hitelesítést az ALB-nál és az Amazon Cognitóban a felhasználói készlet karbantartása és a felhasználói hitelesítés kezelése érdekében.
Helyettesítse a következő értékeket
- route53.rootDomain.name – A regisztrált domain. Tegyük fel, hogy ez a tartomány
example.com
. - route53.rootDomain.hostedZoneId – Ha domainjét a Route53 kezeli, adja meg a hosztolt zóna adatai alatt található hosztolt zóna azonosítót. Hagyja ki ezt a lépést, ha domainjét egy másik domainszolgáltató kezeli.
- route53.subDomain.name – Annak az aldomainnek a neve, ahol a Kubeflow-t tárolni szeretné (például
platform.example.com
). Az aldomainekkel kapcsolatos további információkért lásd: A Kubeflow üzembe helyezése az AWS Cognito segítségével IdP-ként. - cluster.name – A fürt neve és a Kubeflow telepítési helye.
- klaszter.régió – A fürt régiója, ahol a Kubeflow telepítve van (például
us-west-2
). - cognitoUserpool.name – Az Amazon Cognito felhasználói csoport neve (például
kubeflow-users
).
A konfigurációs fájl a következő kódhoz hasonlóan néz ki:
Futtassa a szkriptet az erőforrások létrehozásához:
A szkript frissíti a config.yaml
fájl az általa létrehozott erőforrásnevekkel, azonosítókkal és ARN-ekkel. Valahogy úgy néz ki, mint a következő kód:
Készítsen jegyzékeket és telepítse a Kubeflowt
Telepítse a Kubeflow-t a következő paranccsal:
Frissítse a tartományt az ALB-címmel
A telepítés létrehoz egy belépés által felügyelt AWS-alkalmazás terheléselosztót. Frissítjük az 53-as útvonal aldomainjének DNS-bejegyzéseit a terheléselosztó DNS-ével. Futtassa a következő parancsot, hogy ellenőrizze, hogy a terheléselosztó rendelkezik-e (ez körülbelül 3–5 percet vesz igénybe):
Ha a ADDRESS
mező néhány perc múlva üres, ellenőrizze a naplókat alb-ingress-controller
. Az utasításokat lásd Az ALB nem tudja biztosítani.
Amikor a terheléselosztó ki van építve, másolja ki a terheléselosztó DNS-nevét, és helyettesítse a címmel kubeflow.alb.dns
in ${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
. A konfigurációs fájl Kubeflow része a következő kódhoz hasonlít:
Futtassa a következő szkriptet az 53-as útvonal aldomain DNS-bejegyzéseinek frissítéséhez a kiépített terheléselosztó DNS-ével:
Hibaelhárítás
Ha bármilyen problémába ütközik a telepítés során, tekintse meg a hibaelhárítási útmutató vagy kezdje újra a blog „Takarítás” szakaszának követésével.
Használati eset áttekintése
Most, hogy befejeztük a szükséges Kubeflow-összetevők telepítését, nézzük meg őket működés közben a Kubeflow Pipelines által az irányítópulton található egyik példa segítségével.
Hozzáférés a Kubeflow Dashboardhoz az Amazon Cognito segítségével
A kezdéshez férjünk hozzá a Kubeflow Dashboardhoz. Mivel az Amazon Cognito-t használtuk IdP-ként, használja a dokumentumban található információkat hivatalos README fájl. Először létrehozunk néhány felhasználót az Amazon Cognito konzolon. Ezek azok a felhasználók, akik bejelentkeznek a központi műszerfalra. Következő, hozzon létre egy profilt az általad létrehozott felhasználó számára. Ezután el kell érnie az irányítópultot a következő címen található bejelentkezési oldalon keresztül https://kubeflow.platform.example.com.
A következő képernyőképen a Kubeflow irányítópult látható.
Futtassa a csővezetéket
A Kubeflow irányítópulton válassza a lehetőséget Csővezetékek a navigáció nevében. Négy olyan példát kell látnia a Kubeflow Pipelines szolgáltatásban, amelyeket közvetlenül futtathat a folyamatok különféle funkcióinak felfedezéséhez.
Ehhez a bejegyzéshez a [Demo] XGBoost – Iteratív modellképzés nevű XGBoost mintát használjuk. A forráskódot itt találod GitHub. Ez egy egyszerű csővezeték, amely a meglévőt használja XGBoost/Train
és a XGBoost/Predict
Kubeflow-folyamat-összetevők a modell iteratív betanításához, amíg a metrikák jónak nem minősülnek a megadott metrikák alapján.
A folyamat futtatásához hajtsa végre a következő lépéseket:
- Válassza ki a csővezetéket, és válassza ki Kísérlet létrehozása.
- Alatt A kísérlet részletei, írjon be egy nevet (ehhez a bejegyzéshez,
demo-blog
) és opcionális leírás. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- Alatt Futtatás részletei¸ válassza ki a csővezetéket és a csővezeték verzióját.
- A Futtatás neve, írjon be egy nevet.
- A Kísérlet, válassza ki a létrehozott kísérletet.
- A Futtatás típusaválassza Egyszeri.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Rajt.
Miután a folyamat elkezd futni, látnia kell, hogy az összetevők befejeződnek (néhány másodpercen belül). Ebben a szakaszban bármelyik kész összetevőt kiválaszthatja a további részletek megtekintéséhez.
Hozzáférés a műtermékekhez az Amazon S3-ban
A Kubeflow üzembe helyezése során meghatároztuk, hogy a Kubeflow Pipelines az Amazon S3-at használja a műtermékek tárolására. Ez magában foglalja az összes folyamat kimeneti melléktermékét, gyorsítótárazott futtatását és folyamatgrafikonját – ezek mindegyike felhasználható gazdag vizualizációkhoz és teljesítményértékeléshez.
Amikor a folyamat befejeződött, látnia kell a műtermékeket a telepítés során létrehozott S3 tárolóban. Ennek megerősítéséhez válassza ki a folyamat bármely kész összetevőjét, és ellenőrizze a Input / Output részben az alapértelmezett Grafikon lapon. A melléktermékek URL-címeinek a telepítés során megadott S3-csoportra kell mutatniuk.
Annak megerősítésére, hogy az erőforrásokat hozzáadtuk az Amazon S3-hoz, az Amazon S3 konzolon keresztül ellenőrizhetjük az AWS-fiókunkban lévő S3 gyűjtőt is.
A következő képernyőkép a fájljainkat mutatja.
Ellenőrizze az ML metaadatokat az Amazon RDS-ben
A Kubeflow Pipelines-t az Amazon RDS-szel is integráltuk a telepítés során, ami azt jelenti, hogy a folyamat minden metaadatát az Amazon RDS-ben kell tárolni. Ez magában foglal minden futásidejű információt, például egy feladat állapotát, a melléktermékek elérhetőségét, a futtatáshoz vagy melléktermékekhez kapcsolódó egyéni tulajdonságokat stb.
Az Amazon RDS-integráció ellenőrzéséhez kövesse a hivatalos README fájl. Pontosabban hajtsa végre a következő lépéseket:
- Szerezze be az Amazon RDS felhasználónevet és jelszót a telepítés során létrehozott titokból:
- Ezekkel a hitelesítő adatokkal csatlakozhat az Amazon RDS-hez a fürtön belül:
- Amikor a MySQL prompt megnyílik, ellenőrizhetjük a
mlpipelines
adatbázis az alábbiak szerint: - Most már bizonyos táblák tartalmát olvashatjuk, hogy megbizonyosodjunk arról, hogy a folyamatokat futtató kísérletek metaadat-információit látjuk:
Tisztítsuk meg
A Kubeflow eltávolításához és a létrehozott AWS-erőforrások törléséhez hajtsa végre a következő lépéseket:
- Törölje a bemenetet és a belépés által kezelt terheléselosztót a következő parancs futtatásával:
- Törölje a Kubeflow többi összetevőjét:
- Törölje a szkriptek által létrehozott AWS-erőforrásokat:
- Az Amazon RDS és az Amazon S3 integrációjához létrehozott erőforrások. Győződjön meg arról, hogy a szkript által létrehozott konfigurációs fájl benne van
${kubeflow_manifest_dir}/tests/e2e/utils/rds-s3/metadata.yaml
: - Az Amazon Cognito integrációjához létrehozott erőforrások. Győződjön meg arról, hogy a szkript által létrehozott konfigurációs fájl benne van
${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
:
- Az Amazon RDS és az Amazon S3 integrációjához létrehozott erőforrások. Győződjön meg arról, hogy a szkript által létrehozott konfigurációs fájl benne van
- Ha létrehozott egy dedikált Amazon EKS-fürtöt a Kubeflow számára az eksctl használatával, akkor a következő paranccsal törölheti:
Összegzésként
Ebben a bejegyzésben rávilágítottunk arra az értékre, amelyet a Kubeflow az AWS-en a natív AWS által felügyelt szolgáltatásintegrációkon keresztül biztosít a biztonságos, méretezhető és vállalati használatra kész AI és ML munkaterhelésekhez. Számos üzembe helyezési lehetőség közül választhat a Kubeflow AWS-re történő telepítéséhez különféle szolgáltatás-integrációkkal. Az ebben a bejegyzésben szereplő használati eset a Kubeflow integrációt mutatta be az Amazon Cognitóval, a Secrets Managerrel, az Amazon RDS-sel és az Amazon S3-mal. A Kubeflow AWS-en való használatának megkezdéséhez tekintse meg a rendelkezésre álló AWS-be integrált központi telepítési lehetőségeket Kubeflow az AWS-en.
A v1.3-tól kezdve követheti a AWS Labs adattár hogy nyomon kövesse az összes AWS-hozzájárulást a Kubeflow-hoz. Megtalálhat minket a Kubeflow #AWS Slack Channel; az Ön visszajelzése segíteni fog nekünk abban, hogy a Kubeflow projekthez hozzájáruló következő funkciókat rangsoroljuk.
A szerzőkről
Kanwaljit Khurmi AI/ML Specialist Solutions Architect az Amazon Web Servicesnél. Együttműködik az AWS termékkel, a mérnökökkel és az ügyfelekkel, hogy útmutatást és technikai segítséget nyújtson, segítve őket hibrid ML megoldásaik értékének növelésében az AWS használata során. A Kanwaljit arra specializálódott, hogy segítse az ügyfeleket konténeres és gépi tanulási alkalmazásokkal.
Meghna Baijal egy szoftvermérnök az AWS AI-val, amely megkönnyíti a felhasználók számára a gépi tanulási munkaterhelések beépítését az AWS-be azáltal, hogy ML-termékeket és platformokat hoz létre, mint például a Deep Learning Containers, a Deep Learning AMI-k, az AWS-vezérlők a Kuberneteshez (ACK) és a Kubeflow az AWS-en. . Munkán kívül szívesen olvas, utazik és festészettel foglalkozik.
Suraj Kota gépi tanulási infrastruktúrára szakosodott szoftvermérnök. Eszközöket hoz létre az AWS-ben való gépi tanulási terhelés egyszerű elindításához és növeléséhez. Dolgozott az AWS Deep Learning Containersen, a Deep Learning AMI-n, a SageMaker Operators for Kubernetesen és más nyílt forráskódú integrációkon, például a Kubeflow-n.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/
- "
- 10
- 100
- 420
- 7
- Rólunk
- hozzáférés
- Fiók
- Akció
- Add-on
- cím
- admin
- igazgatás
- leányvállalatok
- AI
- Minden termék
- már
- amazon
- Az Amazon Web Services
- Másik
- Alkalmazás
- alkalmazások
- megfelelő
- építészet
- körül
- Társult
- hitelesített
- hitelesíti
- Hitelesítés
- meghatalmazás
- automatizált
- Automatizált
- automaták
- elérhetőség
- elérhető
- AWS
- válik
- Előnyök
- BEST
- milliárd
- Blog
- határ
- épít
- Épület
- épít
- beépített
- képességek
- Kapacitás
- ami
- esetek
- CD
- igazolás
- tanúsítványok
- kihívást
- Megrendelés
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- követelések
- osztály
- kód
- Közös
- kitöltésével
- bonyolult
- összetevő
- számítógép
- számítástechnika
- Configuration
- Csatlakozás
- Connectivity
- Konzol
- Konténerek
- tartalmaz
- tartalom
- folytatódik
- contribuer
- ellenőrzés
- ellenőr
- copyright
- tudott
- teremt
- készítette
- teremt
- létrehozása
- teremtés
- Hitelesítő adatok
- kritikai
- szokás
- Ügyfelek
- műszerfal
- dátum
- adatfeldolgozás
- adat-tudomány
- adatbázis
- DDoS
- elszánt
- Kereslet
- bizonyítani
- igazolták
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- bevetések
- bevet
- Design
- részlet
- részletek
- Fejlesztés
- Dex
- különböző
- közvetlen
- közvetlenül
- megvitatni
- megosztott
- terjesztés
- dns
- Nem
- domain
- könnyen
- könnyen használható
- visszhang
- lehetővé
- titkosítás
- Endpoint
- mérnök
- Mérnöki
- belép
- Vállalkozás
- Környezet
- értékelés
- esemény
- példa
- létező
- tapasztalat
- kísérlet
- feltárása
- Kudarc
- Jellemzők
- Visszacsatolás
- pénzügyi
- vezetéknév
- megfelelő
- áramlási
- Összpontosít
- koncentrál
- következik
- következő
- formátum
- talált
- friss
- szerzés
- megy
- GitHub
- jó
- Nő
- Növekvő
- segít
- segít
- segít
- itt
- Magas
- <p></p>
- Kiemelt
- nagyon
- tárhely
- HTTPS
- hibrid
- Identitás
- Hatás
- végre
- javul
- Inc.
- magában foglalja a
- Beleértve
- <p></p>
- egyéni
- iparágvezető
- info
- információ
- Infrastruktúra
- telepíteni
- integrált
- integráció
- integrációk
- befektetés
- szigetelés
- kérdések
- IT
- maga
- Állások
- tartás
- Kulcs
- Labs
- nyelv
- nagy
- indított
- tanulás
- emelő
- vonal
- kiszámításának
- helyi
- gép
- gépi tanulás
- fenntartása
- KÉSZÍT
- Gyártás
- kezelése
- sikerült
- vezetés
- menedzser
- Metrics
- Több millió
- ML
- modell
- modellek
- ellenőrzés
- több
- a legtöbb
- nevek
- Természetes
- Navigáció
- háló
- hálózat
- csomópontok
- jegyzetfüzet
- szám
- Ajánlatok
- nyitva
- nyílt forráskódú
- nyit
- üzemeltetők
- optimalizált
- opció
- Opciók
- Más
- saját
- Jelszó
- teljesítmény
- emelvény
- Platformok
- pont
- Politikák
- medence
- be
- prioritás
- feldolgozás
- Termékek
- Termékek
- Programozás
- program
- védelme
- ad
- biztosít
- amely
- nyilvános
- gyorsan
- el
- Olvasás
- miatt
- rekord
- nyilvántartott
- engedje
- kérni
- kötelező
- követelmények
- forrás
- Tudástár
- válasz
- REST
- Útvonal
- futás
- futás
- skálázhatóság
- skálázható
- Skála
- skálázás
- Tudomány
- sdk
- SEC
- másodperc
- biztonság
- biztonság
- vagy szerver
- szolgáltatás
- Szolgáltatások
- készlet
- felépítés
- Megoszt
- Jelek
- Egyszerű
- Méret
- laza
- alvás
- So
- Közösség
- szoftver
- Software Engineer
- szilárd
- megoldások
- Megoldások
- néhány
- valami
- forráskód
- szakember
- specializált
- specializálódott
- kifejezetten
- Színpad
- kezdet
- kezdődött
- kezdődik
- Állami
- Állapot
- tárolás
- tárolni
- sikeresen
- támogatás
- Támogatja
- rendszer
- Systems
- feladatok
- Műszaki
- The Source
- Keresztül
- idő
- jelképes
- szerszám
- szerszámok
- felső
- vágány
- forgalom
- Képzések
- átruházás
- Fordítás
- szállítható
- Utazó
- ui
- Frissítések
- Frissítés
- us
- használ
- Felhasználók
- érvényesített
- érték
- fajta
- különféle
- ellenőrzése
- látomás
- kötet
- háló
- webes szolgáltatások
- WHO
- belül
- nélkül
- Munka
- dolgozott
- dolgozó
- művek