Selles postituses demonstreerime Kubeflow AWS-is (Kubeflow AWS-spetsiifiline distributsioon) ja väärtus, mida see lisab avatud lähtekoodiga Kubeflow-le kõrgelt optimeeritud, pilvepõhiste ja ettevõtte jaoks valmis AWS-teenuste integreerimise kaudu.
Kubeflow on avatud lähtekoodiga masinõppe (ML) platvorm, mis on mõeldud ML-i töövoogude juurutamise Kubernetesis lihtsaks, kaasaskantavaks ja skaleeritavaks muutmiseks. Kubeflow pakub palju komponente, sealhulgas keskne armatuurlaud, mitme kasutajaga Jupyteri sülearvutid, Kubeflow Pipelines, KFServing ja Katib, samuti hajutatud koolitusoperaatorid TensorFlow, PyTorchi, MXNeti ja XGBoosti jaoks, et luua lihtsaid, skaleeritavaid ja kaasaskantavaid ML-töövooge. .
AWS käivitas hiljuti Kubeflow v1.4 osana oma Kubeflow distributsioonist (AWS-is nimetatakse Kubeflowks), mis lihtsustab andmeteaduse ülesandeid ja aitab luua ülimalt töökindlaid, turvalisi, kaasaskantavaid ja skaleeritavaid ML-süsteeme, mille töökulud on AWS-i hallatavate teenustega integreeritud. . Seda Kubeflow distributsiooni saate kasutada ML-süsteemide ehitamiseks Amazoni elastse Kubernetese teenus (Amazon EKS) ML-mudelite ehitamiseks, koolitamiseks, häälestamiseks ja juurutamiseks mitmesuguste kasutusjuhtude jaoks, sealhulgas arvutinägemine, loomuliku keele töötlemine, kõne tõlkimine ja finantsmodelleerimine.
Väljakutsed avatud lähtekoodiga Kubeflow'ga
Kui kasutate avatud lähtekoodiga Kubeflow projekti, juurutab see Kubernetese töötaja sõlmedesse kõik Kubeflow juhttasandi ja andmetasandi komponendid. Kubeflow komponenditeenused juurutatakse Kubeflow juhttasandi osana ning kõik Jupyteri, mudeli koolituse, häälestamise ja hostimisega seotud ressursside juurutused juurutatakse Kubeflow andmetasandil. Kubeflow juhttasand ja andmetasand võivad töötada samadel või erinevatel Kubernetese töötaja sõlmedel. See postitus keskendub Kubeflow juhtimistasandi komponentidele, nagu on näidatud järgmisel diagrammil.
See juurutusmudel ei pruugi pakkuda ettevõtte jaoks valmis kogemust järgmistel põhjustel.
- Kõik Kubeflow juhttasandi raskete tõste infrastruktuuri komponendid, sealhulgas andmebaas, salvestusruum ja autentimine, on juurutatud Kubernetese klastri töötaja sõlmes endas. Seetõttu on väga kättesaadav Kubeflow juhtimistasandi disainiarhitektuuri rakendamine püsiva olekuga töötaja sõlme rikke korral keeruline.
- Kubeflow juhttasandi loodud artefaktid (nagu MySQL-i eksemplarid, pod-logid või MinIO-salvestusruum) aja jooksul kasvavad ja vajavad muutuva suurusega salvestusmahtusid koos pideva jälgimisvõimalusega, et rahuldada kasvavat salvestusnõudlust. Kuna Kubeflow juhttasand jagab ressursse Kubeflow andmetasandi töökoormustega (nt koolitustööde, torujuhtmete ja juurutuste jaoks), võib Kubernetese klastri ja salvestusmahtude õige suuruse määramine ja skaleerimine osutuda keeruliseks ja suurendada tegevuskulusid.
- Kubernetes piirab logifaili suurust, enamiku installide puhul jääb uusim piirang 10 MB. Vaikimisi muutuvad podlogid kättesaamatuks pärast selle ülempiiri saavutamist. Logid võivad muutuda ligipääsmatuks ka siis, kui kaustad tõstetakse välja, jooksevad kokku, kustutatakse või ajastatakse mõnes teises sõlmes, mis võib mõjutada teie rakenduste logi saadavust ja jälgimisvõimalusi.
Kubeflow AWS-is
Kubeflow AWS-is pakub selget teed Kubeflow kasutamiseks järgmiste AWS-teenustega:
- Rakenduse koormuse tasakaalustaja turvaliseks väliseks liikluse haldamiseks HTTPS-i kaudu
- Amazon CloudWatch püsivaks logihalduseks
- AWS Cognito kasutaja autentimiseks transpordikihi turvalisusega (TLS)
- AWS-i süvaõppekonteinerid kõrgelt optimeeritud Jupyteri sülearvuti serveripiltide jaoks
- Amazon elastne failisüsteem (Amazon EFS) või Amazon FSx Lusteri jaoks Lihtsa, skaleeritava ja serverita failisalvestuslahenduse jaoks treeningtulemuse suurendamiseks
- Amazon EKS hallatavate Kubernetese klastrite jaoks
- Amazoni relatsioonide andmebaasiteenus (Amazon RDS) väga skaleeritavate torujuhtmete ja metaandmete salvestamiseks
- AWS-i saladuste haldur rakendustele juurdepääsuks vajalike saladuste kaitsmiseks
- Amazoni lihtne salvestusteenus (Amazon S3) lihtsalt kasutatava torujuhtme artefaktide poe jaoks
Need AWS-i teenuse integratsioonid Kubeflowga (nagu on näidatud järgmisel diagrammil) võimaldavad meil Kubeflow juhttasandi kriitilised osad Kubernetesest lahti siduda, pakkudes turvalise, skaleeritava, vastupidava ja kulutõhusa disaini.
Arutame iga teenuse integreerimise eeliseid ja nende lahendusi seoses turvalisuse, ML-konveieri käitamise ja salvestusega.
Kubeflow kasutajate turvaline autentimine Amazon Cognitoga
AWS-i pilveturve on kõrgeim prioriteet ja me investeerime Kubeflow-turvalisuse tihedasse integreerimiseks otse AWS-i jagatud vastutuse turvateenustesse, näiteks järgmistesse.
- Rakenduse koormuse tasakaalustaja (ALB) välise liikluse haldamiseks
- AWS-i sertifikaadihaldur (ACM) TLS-i toetamiseks
- Teenusekontode IAM-rollid (IRSA) täpseks juurdepääsukontrolliks Kubernetes Podi tasemel
- AWS-i võtmehaldusteenus (AWS KMS) andmete krüpteerimisvõtme haldamiseks
- AWS-kilp DDoS-i kaitseks
Selles jaotises keskendume AWS Kubeflow juhtimistasandi integreerimisele Amazon Cognitoga. Amazon Cognito eemaldab vajaduse hallata ja hooldada natiivset Dexi (avatud lähtekoodiga OpenID Connect (OIDC) pakkuja, mida toetab kohalik LDAP) kasutaja autentimise lahendus ja muudab salahalduse lihtsamaks.
Samuti saate kasutada Amazon Cognito't, et lisada oma Kubeflow kasutajaliidesele kiiresti ja lihtsalt kasutajate registreerimis-, sisselogimis- ja juurdepääsukontrolli. Amazon Cognito ulatub miljonite kasutajateni ja toetab sisselogimist sotsiaalse identiteedi pakkujatega (IdP), nagu Facebook, Google ja Amazon, ning ettevõtte IDP-dega SAML 2.0 kaudu. See vähendab teie Kubeflow seadistuse keerukust, muutes selle operatiivseks ja hõlpsamini kasutatavaks, et saavutada mitme kasutaja isolatsioon.
Vaatame mitme kasutaja autentimisvoogu Amazon Cognito, ALB ja ACM-i integratsioonidega Kubeflow'ga AWS-is. Selle integratsiooni osana on mitu põhikomponenti. Amazon Cognito on konfigureeritud IdP-na autentimise tagasihelistamisega, mis on konfigureeritud päringu suunamiseks Kubeflowsse pärast kasutaja autentimist. Kubeflow seadistuse osana luuakse Kubernetese sisenemisressurss, mis haldab teenuse Istio Gateway välist liiklust. AWS ALB sissepääsukontroller tagab selle sissepääsu jaoks koormuse tasakaalustaja. Me kasutame Amazoni tee 53 registreeritud domeeni avaliku DNS-i konfigureerimiseks ja ACM-i abil sertifikaatide loomiseks, et lubada koormuse tasakaalustajal TLS-i autentimine.
Järgmine diagramm näitab tüüpilist kasutaja töövoogu Amazon Cognitosse sisselogimisel ja Kubeflow'i ümbersuunamisel nende vastavas nimeruumis.
Töövoog sisaldab järgmisi samme.
- Kasutaja saadab HTTPS-i päringu Kubeflow kesksele armatuurlauale, mis asub koormuse tasakaalustaja taga. Marsruut 53 lahendab FQDN-i ALB-aliase kirjeks.
- Kui küpsist pole, suunab koormuse tasakaalustaja kasutaja Amazon Cognito autoriseerimise lõpp-punkti, et Amazon Cognito saaks kasutaja autentida.
- Pärast kasutaja autentimist saadab Amazon Cognito kasutaja autoriseerimiskoodiga tagasi koormuse tasakaalustajasse.
- Koormuse tasakaalustaja esitab Amazon Cognito loa lõpp-punktile volituse andmise koodi.
- Kehtiva autoriseerimiskoodi saamisel annab Amazon Cognito koormuse tasakaalustajale ID-märgi ja juurdepääsuloa.
- Kui teie koormuse tasakaalustaja on kasutaja edukalt autentinud, saadab see juurdepääsuloa Amazon Cognito kasutajateabe lõpp-punktile ja võtab vastu kasutaja nõuded. Koormuse tasakaalustaja allkirjastab ja lisab HTTP päisesse kasutaja nõuded
x-amzn-oidc-*
JSON-i veebimärgi (JWT) päringuvormingus. - Koormuse tasakaalustaja päring saadetakse Istio Ingress Gateway pod.
- Istio Gateway dekodeerib saadikufiltri abil
x-amzn-oidc-data
väärtus, hangib meilivälja ja lisab kohandatud HTTP-päisekubeflow-userid
, mida kasutab Kubeflow autoriseerimiskiht. - Istio ressursipõhiseid juurdepääsukontrolli poliitikaid rakendatakse sissetulevale päringule, et kinnitada juurdepääs Kubeflow armatuurlauale. Kui mõni neist pole kasutajale juurdepääsetav, saadetakse veateade tagasi. Kui päring on kinnitatud, edastatakse see vastavale Kubeflow teenusele ja see annab juurdepääsu Kubeflow armatuurlauale
Kubeflow komponentide metaandmed ja artefaktide säilitamine Amazon RDS-i ja Amazon S3-ga
Kubeflow AWS-is pakub integreerimist Amazoni relatsioonide andmebaasiteenus (Amazon RDS) Kubeflow Pipelinesis ja AutoML-is (sekretär) püsivaks metaandmete salvestamiseks ja Amazon S3 Kubeflow Pipelinesis püsivaks artefaktide salvestamiseks. Jätkame Kubeflow torujuhtmete üksikasjalikumalt arutamist.
Kubeflow Pipelines on platvorm kaasaskantavate skaleeritavate ML-töövoogude loomiseks ja juurutamiseks. Need töövood võivad aidata automatiseerida keerulisi ML-konveieri, kasutades sisseehitatud ja kohandatud Kubeflow komponente. Kubeflow Pipelines sisaldab Pythoni SDK-d, DSL-i kompilaatorit Pythoni koodi staatiliseks konfiguratsiooniks teisendamiseks, teenust Pipelines, mis käitab torujuhtmeid staatilisest konfiguratsioonist, ja kontrollerite komplekti, et käitada konteinerite lõpuleviimiseks vajalikke Kubernetes Podide konteinereid.
Kubeflow Pipelinesi metaandmed konveierkatsete ja käituste jaoks salvestatakse MySQL-is ning artefaktid, sealhulgas konveieri paketid ja mõõdikud, salvestatakse MinIO-sse.
Nagu on näidatud järgmisel diagrammil, võimaldab Kubeflow AWS-is salvestada AWS-i hallatavate teenustega järgmisi komponente.
- Torujuhtme metaandmed Amazon RDS-is – Amazon RDS pakub skaleeritavat, väga kättesaadavat ja usaldusväärset Multi-AZ juurutusarhitektuuri koos sisseehitatud automatiseeritud tõrkesiirdemehhanismi ja muudetava võimsusega tööstusstandarditele vastavate relatsiooniandmebaaside (nt MySQL) jaoks. See haldab tavalisi andmebaasihaldusülesandeid, ilma et oleks vaja taristut luua või tarkvara hooldada.
- Torujuhtme artefaktid Amazon S3-s – Amazon S3 pakub valdkonna juhtivat mastaapsust, andmete kättesaadavust, turvalisust ja jõudlust ning seda saab kasutada teie vajaduste rahuldamiseks. vastavusnõuded.
Need integratsioonid aitavad teisaldada metaandmete ja artefaktide salvestusruumi haldamise ja hoolduse isehallatud Kubeflowlt AWS-i hallatavatele teenustele, mida on lihtsam seadistada, kasutada ja skaleerida.
Amazon EFS-i ja Amazon FSx-iga hajutatud failisüsteemide tugi
Kubeflow tugineb Kubernetesile, mis pakub infrastruktuuri suuremahuliseks hajutatud andmetöötluseks, sealhulgas suurte mudelite koolitamiseks ja häälestamiseks, millel on miljonite või isegi miljardite parameetritega sügav võrk. Selliste hajutatud andmetöötluse ML-süsteemide toetamiseks pakub Kubeflow AWS-is integratsiooni järgmiste salvestusteenustega:
- Amazon EFS – Suure jõudlusega, pilvepõhine hajutatud failisüsteem, mida saate hallata Amazon EFS CSI draiver. Amazon EFS pakub
ReadWriteMany
juurdepääsurežiimi ning nüüd saate seda kasutada Kubeflow andmetasandil töötavatesse kaustadesse (Jupyter, mudelikoolitus, mudeli häälestamine), et luua püsiv, skaleeritav ja jagatav tööruum, mis kasvab ja kahaneb automaatselt, kui lisate ja eemaldate faile juhtimist pole vaja. - Amazon FSx Lusteri jaoks – Optimeeritud failisüsteem arvutusmahukate töökoormuste jaoks, nagu suure jõudlusega andmetöötlus ja ML, mida saate hallata Amazon FSx CSI draiver. FSx for Luster pakub
ReadWriteMany
samuti juurdepääsurežiimi ning saate seda kasutada treeningandmete vahemällu salvestamiseks, mis on otseühenduses Amazon S3-ga kui tugisalve, mida saate kasutada Jupyteri sülearvutiserverite või Kubeflow andmetasandil töötavate hajutatud treeningute toetamiseks. Selle konfiguratsiooniga ei pea te enne helitugevuse kasutamist andmeid failisüsteemi üle kandma. FSx for Luster pakub ühtlast submillisekundilist latentsust ja suurt samaaegsust ning seda saab skaleerida TB/s läbilaskevõimeni ja miljonite IOPS-i.
Kubeflow juurutamisvalikud
AWS pakub erinevaid Kubeflow juurutamisvõimalusi:
- Kasutuselevõtt Amazon Cognitoga
- Kasutuselevõtt Amazon RDS-i ja Amazon S3-ga
- Kasutuselevõtt Amazon Cognito, Amazon RDS-i ja Amazon S3-ga
- Vanilje kasutuselevõtt
Lisateavet teenuse integreerimise ja kõigi nende valikute jaoks saadaolevate lisandmoodulite kohta leiate aadressilt Kasutusvalikud. Saate sobitada valiku, mis sobib teie kasutusjuhtumiga kõige paremini.
Järgmises jaotises käsitleme Amazon EKS-i AWS Kubeflow v1.4 distributsiooni installimise samme. Seejärel kasutame Kubeflow kesksel kasutajaliidese armatuurlaual saadaolevat XGBoosti torujuhtme näidet, et demonstreerida AWS Kubeflow integreerimist ja kasutamist Amazon Cognito, Amazon RDS-i ja Amazon S3-ga koos lisandmoodulina Secrets Manageriga.
Eeldused
Selle ülevaate jaoks peaksid teil olema järgmised eeltingimused.
- An AWS-i konto.
- Olemasolev Amazon EKS-klaster. See peaks olema Kubernetese versioon 1.19 või uuem. Automaatseks klastri loomiseks kasutades eksctlVt Looge Amazon EKS-klaster ja kasutage valikut eksctl.
Installige Kubernetese klastrile juurdepääsuks kasutatavasse klientmasinasse järgmised tööriistad. Sa võid kasutada AWSi pilv, pilvepõhine integreeritud arenduskeskkond (IDE) Kubernetese klastri seadistamiseks.
- AWS-i käsurea liides (AWS CLI) – käsureatööriist AWS-teenustega suhtlemiseks. Paigaldusjuhiste saamiseks vaadake AWS-i CLI installimine, värskendamine ja desinstallimine.
- eksctl > 0.56 – käsureatööriist Amazon EKS-i klastritega töötamiseks, mis automatiseerib paljusid üksikuid toiminguid.
- kubectl - käsurea tööriist Kubernetese klastritega töötamiseks.
- git – hajutatud versioonihaldustarkvara.
- Python 3.8+ - Pythoni programmeerimiskeskkond.
- pip - Pythoni paketihaldur.
- kustomize versioon 3.2.0 - Käsurea tööriist Kubernetese objektide kohandamiseks kustomimisfaili kaudu.
Installige Kubeflow AWS-i
Seadistage kubectl nii, et saaksite ühenduse luua Amazon EKS-i klastriga:
Kubeflow juurutamisel kasutatakse erinevaid kontrollereid Teenusekontode IAM-rollid (IRSA). IRSA kasutamiseks peab teie klastris olema OIDC pakkuja. Looge OIDC pakkuja ja seostage see oma Amazon EKS klastriga, käivitades järgmise käsu, kui teie klastris seda veel pole:
Kloonige AWS-i manifesti repo ja Kubeflow manifesti repo ning kontrollige vastavaid väljalaskeharusid:
Nende versioonide kohta lisateabe saamiseks vaadake Väljalasked ja versioonide koostamine.
Seadistage Amazon RDS, Amazon S3 ja Secrets Manager
Loote Amazon RDS-i ja Amazon S3 ressursid enne Kubeflow manifestide juurutamist. Kasutame automatiseeritud Pythoni skripte, mis hoolitsevad S3 ämbri, RDS andmebaasi ja vajalike saladuste loomise eest Secrets Manageris. Samuti redigeerib see Kubeflow torujuhtme ja AutoML-i nõutavaid konfiguratsioonifaile, et need oleksid Kubeflow installimise ajal RDS-andmebaasi ja S3-kobara jaoks õigesti konfigureeritud.
Looge IAM-i kasutaja lubadega GetBucketLocation
ning lugemis- ja kirjutamisjuurdepääs objektidele S3 ämbris, kuhu soovite Kubeflow artefakte salvestada. Kasuta AWS_ACCESS_KEY_ID
ja AWS_SECRET_ACCESS_KEY
IAM-i kasutaja järgmises koodis:
Seadistage Amazon Cognito autentimise pakkujaks
Selles jaotises loome Route 53 ja ALB kohandatud domeeni, et suunata välist liiklust Kubeflow Istio Gatewaysse. Kasutame ACM-i sertifikaadi loomiseks, et võimaldada TLS-i autentimist ALB-s ja Amazon Cognitos, et säilitada kasutajate kogumit ja hallata kasutajate autentimist.
Asendage järgmised väärtused
- marsruut53.rootDomain.name – registreeritud domeen. Oletame, et see domeen on
example.com
. - route53.rootDomain.hostedZoneId – Kui teie domeeni hallatakse Route53-s, sisestage hostitud tsooni üksikasjade alt leitud hostitud tsooni ID. Jätke see samm vahele, kui teie domeeni haldab teine domeenipakkuja.
- marsruut53.alamdomeen.nimi – alamdomeeni nimi, kus soovite Kubeflow'i majutada (näiteks
platform.example.com
). Alamdomeenide kohta lisateabe saamiseks vaadake Kubeflow juurutamine IdP-na koos AWS Cognitoga. - klastri.nimi – klastri nimi ja Kubeflow juurutamise koht.
- klaster.regioon – klastri piirkond, kus Kubeflow on juurutatud (näiteks
us-west-2
). - cognitoUserpool.name – Amazon Cognito kasutajakogumi nimi (näiteks
kubeflow-users
).
Konfiguratsioonifail näeb välja umbes nagu järgmine kood:
Käivitage skript ressursside loomiseks:
Skript värskendab config.yaml
faili koos selle loodud ressursinimede, ID-de ja ARN-idega. See näeb välja umbes nagu järgmine kood:
Koostage manifestid ja juurutage Kubeflow
Juurutage Kubeflow, kasutades järgmist käsku:
Värskendage domeeni ALB-aadressiga
Juurutamine loob sissepääsuga hallatava AWS-i rakenduse koormuse tasakaalustaja. Värskendame marsruudi 53 alamdomeeni DNS-kirjeid koormuse tasakaalustaja DNS-iga. Käivitage järgmine käsk, et kontrollida, kas koormuse tasakaalustaja on ette nähtud (selleks kulub umbes 3–5 minutit):
Kui ADDRESS
väli on mõne minuti pärast tühi, kontrollige logisid alb-ingress-controller
. Juhiste saamiseks vaadake ALB ei suuda ette näha.
Kui koormuse tasakaalustaja on ette nähtud, kopeerige koormuse tasakaalustaja DNS-nimi ja asendage see aadressiga kubeflow.alb.dns
in ${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
. Konfiguratsioonifaili Kubeflow jaotis näeb välja järgmine kood:
Käivitage järgmine skript, et värskendada marsruudi 53 alamdomeeni DNS-i kirjeid koos ette nähtud koormuse tasakaalustaja DNS-iga:
Probleemid
Kui teil tekib installimise ajal probleeme, vaadake jaotist tõrkeotsingu juhend või alustage värskelt, järgides selle ajaveebi jaotist "Puhastus".
Kasutusjuhtumi ülevaade
Nüüd, kui oleme nõutavate Kubeflow komponentide installimise lõpetanud, vaatame neid töös, kasutades ühte olemasolevatest Kubeflow Pipelinesi armatuurlaual pakutavatest näidetest.
Juurdepääs Kubeflow armatuurlauale Amazon Cognito abil
Alustamiseks hankime juurdepääsu Kubeflow armatuurlauale. Kuna kasutasime IDP-na Amazon Cognito't, kasutage dokumendis esitatud teavet ametlik README-fail. Esmalt loome mõned kasutajad Amazon Cognito konsoolis. Need on kasutajad, kes logivad sisse kesksele armatuurlauale. Järgmiseks looge profiil loodud kasutaja jaoks. Seejärel peaks teil olema juurdepääs armatuurlauale sisselogimislehe kaudu aadressil https://kubeflow.platform.example.com.
Järgmine ekraanipilt näitab meie Kubeflow armatuurlauda.
Käivitage torujuhe
Valige Kubeflow armatuurlaual Torujuhtmed navigeerimisnimes. Peaksite nägema nelja Kubeflow Pipelinesi pakutavat näidet, mida saate otse erinevate torujuhtmete funktsioonide uurimiseks käivitada.
Selle postituse jaoks kasutame XGBoosti näidist nimega [Demo] XGBoost – Iterative model training. Lähtekoodi leiate aadressilt GitHub. See on lihtne torujuhe, mis kasutab olemasolevat XGBoost/Train
ja XGBoost/Predict
Kubeflow torujuhtme komponendid mudeli iteratiivseks koolitamiseks, kuni mõõdikud loetakse kindlaksmääratud mõõdikute põhjal heaks.
Torujuhtme käivitamiseks toimige järgmiselt.
- Valige torujuhe ja valige Loo katse.
- alla Katse üksikasjad, sisestage nimi (selle postituse jaoks,
demo-blog
) ja valikuline kirjeldus. - Vali järgmine.
- alla Käivitamise üksikasjad¸ valige torujuhe ja torujuhtme versioon.
- eest Jooksu nimi, sisestage nimi.
- eest Eksperiment, valige loodud katse.
- eest Jooksu tüüpvalige Ühekordne.
- Vali Avaleht.
Pärast torujuhtme käivitamist peaksite nägema komponentide valmimist (mõne sekundi jooksul). Selles etapis saate lisateabe nägemiseks valida mis tahes valmis komponendi.
Juurdepääs Amazon S3 artefaktidele
Kubeflow juurutamise ajal täpsustasime, et Kubeflow Pipelines peaks oma artefaktide salvestamiseks kasutama Amazon S3. See hõlmab kõiki konveieri väljundartefakte, vahemällu salvestatud käike ja konveierigraafikuid – neid kõiki saab seejärel kasutada rikkalike visualiseerimiste ja jõudluse hindamise jaoks.
Kui torujuhtme käitamine on lõppenud, peaksite nägema installimise ajal loodud S3 ämbris olevaid artefakte. Selle kinnitamiseks valige torujuhtme mis tahes valmis komponent ja kontrollige Input / Output vaikeseadete jaotises Graafik sakk. Artefaktide URL-id peaksid osutama juurutamise ajal määratud S3 ämbrile.
Kinnitamaks, et ressursid lisati Amazon S3-le, saame Amazon S3 konsooli kaudu kontrollida ka meie AWS-i konto S3 ämbrit.
Järgmine ekraanipilt näitab meie faile.
Kontrollige ML-i metaandmeid Amazon RDS-is
Samuti integreerisime Kubeflow Pipelines Amazon RDS-iga juurutamise ajal, mis tähendab, et kõik torujuhtme metaandmed tuleks salvestada Amazon RDS-i. See hõlmab mis tahes käitusaegset teavet, nagu ülesande olek, artefaktide saadavus, käitamise või artefaktidega seotud kohandatud atribuudid ja palju muud.
Amazon RDS-i integreerimise kontrollimiseks järgige jaotises ametlik README-fail. Täpsemalt tehke järgmised sammud.
- Hankige installimise ajal loodud saladusest Amazon RDS-i kasutajanimi ja parool:
- Kasutage neid mandaate Amazon RDS-iga ühenduse loomiseks klastris:
- Kui MySQL-i viip avaneb, saame kontrollida
mlpipelines
andmebaas järgmiselt: - Nüüd saame lugeda konkreetsete tabelite sisu, veendumaks, et näeme konveieri läbinud katsete metaandmete teavet:
Koristage
Kubeflow desinstallimiseks ja loodud AWS-i ressursside kustutamiseks toimige järgmiselt.
- Kustutage sissepääs ja sissepääsuga hallatav koormuse tasakaalustaja, käivitades järgmise käsu:
- Kustutage ülejäänud Kubeflow komponendid:
- Kustutage skriptide loodud AWS-i ressursid:
- Amazon RDS ja Amazon S3 integreerimiseks loodud ressursid. Veenduge, et teil oleks skripti loodud konfiguratsioonifail
${kubeflow_manifest_dir}/tests/e2e/utils/rds-s3/metadata.yaml
: - Amazon Cognito integreerimiseks loodud ressursid. Veenduge, et teil oleks skripti loodud konfiguratsioonifail
${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
:
- Amazon RDS ja Amazon S3 integreerimiseks loodud ressursid. Veenduge, et teil oleks skripti loodud konfiguratsioonifail
- Kui lõite eksctli abil Kubeflow jaoks spetsiaalse Amazon EKS-i klastri, saate selle kustutada järgmise käsuga:
kokkuvõte
Selles postituses rõhutasime väärtust, mida Kubeflow AWS-is pakub AWS-i hallatavate teenuste integreerimise kaudu turvalise, skaleeritava ja ettevõtte jaoks valmis AI- ja ML-töökoormuse jaoks. Kubeflow'i installimiseks AWS-i koos erinevate teenuseintegratsioonidega saate valida mitme juurutusvaliku hulgast. Selle postituse kasutusjuhtum näitas Kubeflow integreerimist Amazon Cognito, Secrets Manageri, Amazon RDS-i ja Amazon S3-ga. AWS-is Kubeflow kasutamise alustamiseks vaadake saadaolevaid AWS-iga integreeritud juurutusvalikuid Kubeflow AWS-is.
Alates versioonist 1.3 saate järgida AWS Labsi hoidla et jälgida kõiki Kubeflow'i AWS-i kaastöid. Samuti leiate meid aadressilt Kubeflow #AWS Slack Channel; teie tagasiside aitab meil seada prioriteediks järgmised funktsioonid, mis aitavad Kubeflow projekti kaasa aidata.
Autoritest
Kanwaljit Khurmi on AI/ML spetsialistilahenduste arhitekt ettevõttes Amazon Web Services. Ta teeb koostööd AWS-i toote, inseneride ja klientidega, et pakkuda juhiseid ja tehnilist abi, mis aitab neil AWS-i kasutamisel oma hübriid-ML-lahenduste väärtust tõsta. Kanwaljit on spetsialiseerunud klientide abistamisele konteiner- ja masinõpperakendustega.
Meghna Baijal on tarkvarainsener koos AWS AI-ga, mis muudab kasutajatel lihtsamaks oma masinõppe töökoormuse AWS-ile kaasamise, luues ML-tooteid ja platvorme, nagu Deep Learning Containers, Deep Learning AMI-d, AWS-kontrollerid Kubernetes (ACK) ja Kubeflow AWS-is. . Väljaspool tööd naudib ta lugemist, reisimist ja maalimisega tegelemist.
Suraj Kota on masinõppe infrastruktuurile spetsialiseerunud tarkvarainsener. Ta loob tööriistu, et hõlpsasti alustada ja AWS-is masinõppe töökoormust suurendada. Ta töötas AWS Deep Learning Containers, Deep Learning AMI, SageMaker Operators for Kubernetes ja muude avatud lähtekoodiga integratsioonide, nagu Kubeflow, kallal.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/
- "
- 10
- 100
- 420
- 7
- MEIST
- juurdepääs
- konto
- tegevus
- Lisa
- aadress
- admin
- haldamine
- tütarettevõtete
- AI
- Materjal: BPA ja flataatide vaba plastik
- juba
- Amazon
- Amazon Web Services
- Teine
- taotlus
- rakendused
- asjakohane
- arhitektuur
- ümber
- Partner
- autenditud
- autentib
- Autentimine
- luba
- automatiseerima
- Automatiseeritud
- automatiseerib
- kättesaadavus
- saadaval
- AWS
- muutuma
- Kasu
- BEST
- miljardeid
- Blogi
- piir
- ehitama
- Ehitus
- Ehitab
- sisseehitatud
- võimeid
- Võimsus
- mis
- juhtudel
- CD
- sertifikaat
- tunnistused
- raske
- Vormista ost
- Vali
- nõuete
- klass
- kood
- ühine
- lõpetamist
- keeruline
- komponent
- arvuti
- arvutustehnika
- konfiguratsioon
- Võta meiega ühendust
- Side
- konsool
- Konteinerid
- sisaldab
- sisu
- jätkama
- aitama kaasa
- kontrollida
- kontroller
- autoriõigus
- võiks
- looma
- loodud
- loob
- loomine
- loomine
- volikiri
- kriitiline
- tava
- Kliendid
- armatuurlaud
- andmed
- andmetöötlus
- andmeteadus
- andmebaas
- DDoS
- pühendunud
- Nõudlus
- näitama
- Näidatud
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- kasutuselevõtt
- juurutab
- Disain
- detail
- detailid
- & Tarkvaraarendus
- Dex
- erinev
- otsene
- otse
- arutama
- jagatud
- jaotus
- DNS
- Ei tee
- domeen
- kergesti
- lihtne-to-use
- miss
- võimaldama
- krüpteerimist
- Lõpp-punkt
- insener
- Inseneriteadus
- sisene
- ettevõte
- keskkond
- hindamine
- sündmus
- näide
- olemasolevate
- kogemus
- eksperiment
- uurima
- ebaedu
- FUNKTSIOONID
- tagasiside
- finants-
- esimene
- sobima
- voog
- Keskenduma
- keskendub
- järgima
- Järel
- formaat
- avastatud
- värske
- saamine
- Git
- GitHub
- hea
- Kasvama
- Kasvavad
- aitama
- aidates
- aitab
- siin
- Suur
- rohkem
- Esiletõstetud
- kõrgelt
- Hosting
- HTTPS
- hübriid
- Identity
- mõju
- rakendada
- parandama
- Inc
- hõlmab
- Kaasa arvatud
- kasvanud
- eraldi
- juhtivad
- info
- info
- Infrastruktuur
- paigaldama
- integreeritud
- integratsioon
- integratsioon
- investeerimine
- isolatsioon
- küsimustes
- IT
- ise
- Tööturg
- pidamine
- Võti
- Labs
- keel
- suur
- käivitatud
- õppimine
- tõstmine
- joon
- koormus
- kohalik
- masin
- masinõpe
- säilitada
- TEEB
- Tegemine
- juhtima
- juhitud
- juhtimine
- juht
- Meetrika
- miljonid
- ML
- mudel
- mudelid
- järelevalve
- rohkem
- kõige
- nimed
- Natural
- NAVIGATSIOON
- neto
- võrk
- sõlmed
- märkmik
- number
- Pakkumised
- avatud
- avatud lähtekoodiga
- Avaneb
- ettevõtjad
- optimeeritud
- valik
- Valikud
- Muu
- enda
- Parool
- jõudlus
- inimesele
- Platvormid
- Punkt
- Poliitika
- ujula
- esitada
- prioriteet
- töötlemine
- Toode
- Toodet
- Programming
- projekt
- kaitsma
- anda
- annab
- pakkudes
- avalik
- kiiresti
- jõudma
- Lugemine
- põhjustel
- rekord
- registreeritud
- vabastama
- taotleda
- nõutav
- Nõuded
- ressurss
- Vahendid
- vastus
- REST
- Marsruut
- jooks
- jooksmine
- Skaalautuvus
- skaalautuvia
- Skaala
- ketendamine
- teadus
- SDK
- SEC
- sekundit
- kindlustama
- turvalisus
- Serverita
- teenus
- Teenused
- komplekt
- seade
- Aktsiad
- Märgid
- lihtne
- SUURUS
- nõrk
- uni
- So
- sotsiaalmeedia
- tarkvara
- Tarkvara insener
- tahke
- lahendus
- Lahendused
- mõned
- midagi
- lähtekoodi
- spetsialist
- spetsialiseeritud
- spetsialiseerunud
- eriti
- Stage
- algus
- alustatud
- algab
- riik
- olek
- ladustamine
- salvestada
- Edukalt
- toetama
- Toetab
- süsteem
- süsteemid
- ülesanded
- Tehniline
- Allikas
- Läbi
- aeg
- sümboolne
- tööriist
- töövahendid
- ülemine
- jälgida
- liiklus
- koolitus
- üle
- Tõlge
- transportida
- Reisimine
- ui
- Värskendused
- Uudised
- us
- kasutama
- Kasutajad
- kinnitatud
- väärtus
- sort
- eri
- kontrollima
- nägemus
- maht
- web
- veebiteenused
- WHO
- jooksul
- ilma
- Töö
- töötas
- töö
- töötab