Pilvandmetöötlusega, kui arvutusvõimsus ja andmed muutusid kättesaadavamaks, avaldab masinõpe (ML) nüüd mõju kõikidele tööstusharudele ning on iga ettevõtte ja tööstuse põhiosa.
Amazon SageMaker Studio on esimene täielikult integreeritud ML-i arenduskeskkond (IDE), millel on veebipõhine visuaalne liides. Saate teostada kõiki ML-i arendusetappe ning teil on täielik juurdepääs, kontroll ja nähtavus igale etapile, mis on vajalik mudelite ehitamiseks, koolitamiseks ja juurutamiseks.
Amazoni punane nihe on täielikult hallatav, kiire, turvaline ja skaleeritav pilvandmeladu. Organisatsioonid soovivad sageli kasutada SageMaker Studiot, et saada ennustusi andmelattu (nt Amazon Redshift) salvestatud andmete põhjal.
Nagu kirjeldatud AWS hästi üles ehitatud raamistik, võimaldab töökoormuste eraldamine kontode vahel teie organisatsioonil määrata ühised kaitsepiirded, eraldades samas keskkondi. See võib olla eriti kasulik teatud turbenõuete puhul, samuti kulude kontrolli ning projektide ja meeskondade vahelise jälgimise lihtsustamiseks. Mitme konto arhitektuuriga organisatsioonidel on tavaliselt Amazon Redshift ja SageMaker Studio kahel eraldi AWS-i kontol. Samuti on Amazon Redshift ja SageMaker Studio tavaliselt konfigureeritud privaatsete alamvõrkudega VPC-desse, et parandada turvalisust ja vähendada volitamata juurdepääsu ohtu.
Amazoni punane nihe natiivselt toetab kontoülene andmete jagamine, kui kasutatakse RA3 sõlmetüüpe. Kui kasutate mõnda muud Amazon Redshifti sõlmetüüpi, näiteks DS2 või DC2, saate Amazon Redshifti ja SageMaker Studio vahel kontoülese ühenduse loomiseks kasutada VPC peeringut.
Selles postituses käsitleme samm-sammult juhiseid kontoülese ühenduse loomiseks mis tahes Amazon Redshifti sõlmetüübiga (RA3, DC2, DS2), ühendades ühel AWS-i kontol asuva Amazon Redshifti klastri teise AWS-i SageMaker Studioga. konto samas piirkonnas, kasutades VPC-vahetamist.
Lahenduse ülevaade
Alustame kahe AWS-i kontoga: tootjakonto Amazon Redshifti andmelaos ja tarbijakonto Amazon SageMaker ML-i kasutusjuhtumeid, kus SageMaker Studio on seadistatud. Järgnev on töövoo kõrgetasemeline ülevaade:
- Seadistage SageMaker Studio rakendusega
VPCOnly
režiim tarbijakontol. See takistab SageMakeril teie stuudiosülearvutitele Interneti-juurdepääsu pakkumist. Kogu SageMaker Studio liiklus toimub läbi määratud VPC ja alamvõrkude. - Sisselülitamiseks värskendage oma SageMaker Studio domeeni
SourceIdentity
kasutajaprofiili nime levitamiseks. - Loo AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli Amazon Redshifti tootjakontol, mille SageMaker Studio IAM-i roll võtab Amazon Redshiftile juurde pääsemiseks.
- Värskendage SageMaker Studio tarbijakontol SageMaker IAM-i täitmisrolli, mida SageMaker Studio kasutab tootja Amazon Redshifti kontol rolli võtmiseks.
- Seadistage Amazon Redshifti tootjakontol VPC-de ja SageMaker Studio tarbijakontol peering-ühendus.
- Küsige tarbijakontol SageMaker Studios Amazon Redshift.
Järgmine diagramm illustreerib meie lahenduse arhitektuuri.
Eeldused
Selle postituse sammud eeldavad, et Amazon Redshift käivitatakse Amazon Redshifti tootjakonto privaatses alamvõrgus. Amazon Redshifti käivitamine privaatses alamvõrgus pakub täiendavat turvalisust ja isolatsiooni võrreldes selle käivitamisega avalikus alamvõrgus, kuna privaatne alamvõrk pole Internetist otse juurdepääsetav ja väliste rünnakute eest turvalisem.
Avalike raamatukogude allalaadimiseks peate SageMakeri tarbijakontol looma VPC ning privaatse ja avaliku alamvõrgu. Seejärel käivitage avalikus alamvõrgus NAT-lüüs ja lisage SageMaker Studio jaoks privaatsesse alamvõrku Interneti-juurdepääsuks Interneti-lüüs. Juhised privaatse alamvõrguga ühenduse loomise kohta leiate jaotisest Kuidas seadistada Amazon VPC privaatse alamvõrgu jaoks NAT-lüüsi?
Seadistage tarbijakontol SageMaker Studio režiimiga VPCOnly
SageMaker Studio loomiseks koos VPCOnly
režiimis, tehke järgmised sammud:
- Valige SageMakeri konsoolil stuudio navigeerimispaanil.
- Käivitage SageMaker Studio, valige Standardne seadistusja vali Seadistamine.
Kui te juba kasutate AWS IAM-i identiteedikeskus (AWS-i ühekordse sisselogimise järglane) AWS-i kontodele juurdepääsuks saate seda kasutada autentimiseks. Vastasel juhul saate autentimiseks kasutada IAM-i ja kasutada olemasolevaid ühendatud rolle.
- aasta Üldised seaded jaotises valige Loo uus roll.
- aasta Looge IAM-i roll jaotises määrake valikuliselt oma Amazoni lihtne salvestusteenus (Amazon S3) kopad, valides mistahes, Konkreetnevõi mitte ükski, siis vali Loo roll.
See loob SageMakeri täitmisrolli, näiteks AmazonSageMaker-ExecutionRole-00000000
.
- alla Võrgu ja salvestusruumi jaotis, valige eeltingimusena loodud VPC, alamvõrk (privaatne alamvõrk) ja turberühm.
- valima Ainult VPC, siis vali järgmine.
Värskendage oma SageMaker Studio domeeni, et lülitada sisse SourceIdentity kasutajaprofiili nime levitamiseks
SageMaker Studio on integreeritud AWS CloudTrail võimaldamaks administraatoritel jälgida ja auditeerida kasutajate tegevust ja API-kõnesid SageMaker Studio sülearvutitest. Saate seadistada SageMaker Studio salvestama kasutaja identiteeti (täpsemalt kasutajaprofiili nimi), et jälgida ja auditeerida kasutajate tegevust ja API-kõnesid SageMaker Studio sülearvutitest CloudTraili sündmustes.
Konkreetse kasutajategevuse logimiseks mitme kasutajaprofiili vahel soovitame sisse lülitada SourceIdentity
SageMaker Studio domeeni levitamiseks kasutajaprofiili nimega. See võimaldab teil kasutajateavet seansis säilitada, et saaksite tegevusi konkreetsele kasutajale omistada. See atribuut säilib ka rollide aheldamisel, nii et saate nende tegevustest tootjakontol täpse ülevaate. Selle postituse kirjutamise seisuga saate seda konfigureerida ainult kasutades AWS-i käsurea liides (AWS CLI) või mis tahes käsurea tööriista.
Selle konfiguratsiooni värskendamiseks peavad kõik domeeni rakendused olema domeenis Tasuda or Kustutatud riik.
Kasutage järgmist koodi, et lubada kasutajaprofiili nime levitamist SourceIdentity
:
See nõuab lisamist sts:SetSourceIdentity
teie täidesaatva rolli usaldussuhtes.
Looge Amazon Redshifti tootjakontol IAM-i roll, mida SageMaker Studio peab Amazon Redshiftile juurdepääsuks eeldama
Rolli loomiseks, mille SageMaker eeldab Amazon Redshiftile juurdepääsuks, tehke järgmist.
- Avage Amazon Redshifti tootjakontol IAM-konsool.
- Vali rollid navigeerimispaanil, seejärel valige Loo roll.
- Kohta Valige usaldusväärne üksus leht, valige Kohandatud usalduspoliitika.
- Sisestage redaktorisse järgmine kohandatud usalduspoliitika ja esitage oma SageMakeri tarbijakonto ID ja loodud SageMakeri täitmisroll:
- Vali järgmine.
- Kohta Lisage vajalikud load lehel, valige Loo poliitika.
- Lisage järgmine näidispoliitika ja tehke oma konfiguratsiooni põhjal vajalikud muudatused.
- Salvestage poliitika, lisades nime, näiteks
RedshiftROAPIUserAccess
.
. SourceIdentity
atribuuti kasutatakse algse SageMaker Studio kasutaja identiteedi sidumiseks Amazon Redshifti andmebaasi kasutajaga. Seejärel saab kasutaja tegevusi tootjakontol jälgida CloudTraili ja Amazon Redshifti andmebaasi auditilogide abil.
- Kohta Nimetage, vaadake üle ja looge lehele, sisestage rolli nimi, vaadake üle seaded ja valige Loo roll.
Värskendage IAM-i rolli SageMakeri tarbijakontol, mille SageMaker Studio võtab Amazon Redshifti tootjakontol
SageMakeri täitmisrolli värskendamiseks, et see omandaks äsja loodud rolli, toimige järgmiselt.
- Avage SageMakeri tarbijakontol IAM-konsool.
- Vali rollid navigeerimispaanil, seejärel valige meie loodud SageMakeri täitmisroll (
AmazonSageMaker-ExecutionRole-*
). - aasta Lubade eeskirjad jaotises Lisa õigused menüüst valige Loo tekstisisene poliitika.
- Toimetajas, lehel JSON sisestage järgmine poliitika, kus on Amazon Redshifti tootjakontol loodud rolli ARN:
Saate hankida IAM-konsoolis Amazon Redshifti tootjakontol loodud rolli ARN-i, nagu on näidatud järgmisel ekraanipildil.
- Vali Läbivaatamispoliitika.
- eest Nimi, sisestage oma poliisile nimi.
- Vali Loo poliitika.
Teie lubade eeskirjad peaksid välja nägema sarnased järgmisele ekraanipildile.
Seadistage peering-ühendus Amazon Redshifti tootjakonto VPC-de ja SageMaker Studio tarbijakonto vahel
SageMaker Studio VPC ja Amazon Redshift VPC vahelise suhtluse loomiseks tuleb neid kahte VPC-d võrrelda VPC peeringu abil. Ühenduse loomiseks toimige järgmiselt.
- Avage Amazon Redshifti või SageMakeri kontol Amazon VPC konsool.
- Valige navigeerimispaanil Peering-ühendused, siis vali Loo peering-ühendus.
- eest Nimi, sisestage oma ühenduse nimi.
- alla Valige koostööks kohalik VPC, valige kohalik VPC.
- alla Valige partnerluseks teine VPC, määrake teine VPC samas piirkonnas ja teine konto.
- Vali Loo peering-ühendus.
- Vaadake üle VPC-ühenduse ühendus ja valige Nõustuge taotlusega aktiveerimiseks.
Kui VPC-ühenduse ühendus on edukalt loodud, loote nii SageMakeri kui ka Amazon Redshift VPC-dele marsruute, et luua nendevaheline ühenduvus.
- Avage SageMakeri kontol Amazon VPC konsool.
- Vali Marsruudi tabelid navigeerimispaanil, seejärel valige SageMakeriga seotud VPC ja redigeerige marsruute.
- Lisage CIDR sihtkoha Amazon Redshift VPC jaoks ja sihtmärk vaheliseks ühenduseks.
- Lisaks lisage NAT-lüüs.
- Vali Salvesta muudatused.
- Avage Amazon Redshifti kontol Amazon VPC konsool.
- Vali Marsruudi tabelid navigeerimispaanil, seejärel valige Amazon Redshiftiga seotud VPC ja muutke marsruute.
- Lisage CIDR sihtkoha SageMaker VPC jaoks ja sihtmärk vaheliseks ühenduseks.
- Lisaks lisage Interneti-lüüsi.
- Vali Salvesta muudatused.
Interneti kaudu ühenduse loomise asemel saate oma VPC-st SageMaker Studioga ühenduse luua VPC liidese lõpp-punkti kaudu. Kui kasutate VPC liidese lõpp-punkti, toimub suhtlus teie VPC ja SageMaker API või käitusaja vahel täielikult ja turvaliselt AWS-võrgus.
- VPC lõpp-punkti loomiseks avage SageMakeri kontol VPC-konsool.
- Vali Lõpp-punktid navigeerimispaanil, seejärel valige Loo lõpp-punkt.
- Määrake SageMakeri VPC, vastavad alamvõrgud ja asjakohased turvarühmad, et lubada oma SageMakeri sülearvutite domeeni sissetulevat ja väljaminevat NFS-liiklust, ja valige Loo VPC lõpp-punkt.
Küsige tarbijakontol SageMaker Studios Amazon Redshift
Kui kogu võrguühendus on edukalt loodud, järgige selles jaotises toodud samme, et luua ühenduse SageMaker Studio tarbijakonto Amazon Redshift klastriga, kasutades AWS SDK for panda teegi:
- Looge SageMaker Studios uus märkmik.
- Kui AWS SDK for pandas pole installitud, saate selle installida järgmiselt.
See installimine ei ole püsiv ja läheb kaotsi, kui KernelGateway rakendus kustutatakse. Kohandatud pakette saab lisada osana a Elutsükli konfiguratsioon.
- Sisestage esimesse lahtrisse järgmine kood ja käivitage kood. Asenda
RoleArn
jaregion_name
väärtused, mis põhinevad teie konto seadetel:
- Sisestage järgmine kood uude lahtrisse ja käivitage kood praeguse SageMakeri kasutajaprofiili nime saamiseks:
- Sisestage järgmine kood uude lahtrisse ja käivitage kood:
Amazon Redshifti edukaks päringu tegemiseks peab teie andmebaasi administraator määrama vastloodud kasutajale vajalikud lugemisõigused tootjakonto Amazon Redshift klastris.
- Sisestage järgmine kood uude lahtrisse, värskendage päringut, et see vastaks teie Amazon Redshift tabelile, ja käivitage lahter. See peaks edukalt tagastama kirjed edasiseks andmetöötluseks ja analüüsiks.
Nüüd saate alustada andmete teisenduste ja analüüside koostamist vastavalt oma ärinõuetele.
Koristage
Ressursside puhastamiseks, et vältida korduvaid kulusid, kustutage SageMaker VPC lõpp-punktid, Amazon Redshifti klaster ja SageMaker Studio rakendused, kasutajad ja domeen. Kustutage ka kõik loodud S3 ämbrid ja objektid.
Järeldus
Selles postituses näitasime, kuidas luua kontoülene ühendus privaatsete Amazon Redshifti ja SageMaker Studio VPC-de vahel erinevatel kontodel, kasutades VPC-ühendust, ja pääseda juurde Amazon Redshifti andmetele SageMaker Studios, kasutades IAM-i rolliahelat, logides samal ajal ka kasutaja identiteedi, kui kasutaja pääses juurde Amazon Redshiftile SageMaker Studiost. Selle lahendusega kaob vajadus andmetele juurdepääsuks käsitsi andmeid kontode vahel teisaldada. Samuti uurisime, kuidas pääseda juurde Amazon Redshifti klastrile, kasutades SageMaker Studio pandade AWS SDK-d, ja valmistada ette andmed teie ML-i kasutusjuhtude jaoks.
Amazon Redshifti ja SageMakeri kohta lisateabe saamiseks vaadake Amazon Redshift andmebaasi arendaja juhend ja Amazon SageMakeri dokumentatsioon.
Autoritest
Supriya Puragundla on AWSi vanemlahenduste arhitekt. Ta aitab võtmeklientide kontosid nende AI ja ML teekonnal. Ta on kirglik andmepõhise tehisintellekti ja masinõppe sügavuse vastu.
Marc Karp on masinõppe arhitekt koos Amazon SageMakeri meeskonnaga. Ta keskendub sellele, et aidata klientidel kavandada, juurutada ja hallata ML töökoormust ulatuslikult. Vabal ajal meeldib talle reisida ja avastada uusi kohti.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- :on
- :on
- :mitte
- : kus
- $ UP
- 10
- 100
- 11
- 13
- 14
- 15%
- 7
- 8
- 9
- a
- MEIST
- juurdepääs
- pääses
- juurdepääsetav
- Ligipääs
- konto
- Kontod
- üle
- tegevus
- meetmete
- tegevus
- lisama
- lisatud
- lisades
- Täiendavad lisad
- administraatorid
- AI
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- võimaldab
- juba
- Ka
- Amazon
- Amazoni punane nihe
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- vahel
- an
- analüüs
- ja
- Teine
- mistahes
- API
- app
- asjakohane
- apps
- arhitektuur
- OLEME
- PIIRKOND
- AS
- seotud
- eeldab
- oletab
- At
- Reageerib
- audit
- Autentimine
- saadaval
- vältima
- AWS
- põhineb
- BE
- sai
- sest
- olnud
- BEST
- vahel
- mõlemad
- ehitama
- Ehitus
- äri
- by
- helistama
- Kutsub
- CAN
- Saab
- juhtudel
- keskus
- kindel
- kett
- Vali
- Cloud
- cloud computing
- Cluster
- kood
- ühine
- KOMMUNIKATSIOON
- võrreldes
- täitma
- Arvutama
- arvutustehnika
- seisund
- läbi
- konfiguratsioon
- konfigureeritud
- Võta meiega ühendust
- ühendamine
- ühendus
- Side
- konsool
- tarbija
- kontrollida
- kontrolli
- tuum
- Maksma
- kulud
- looma
- loodud
- loob
- volikiri
- Praegune
- tava
- klient
- Kliendid
- andmed
- andmetöötlus
- andmete jagamine
- andmepõhistele
- andmebaas
- kuupäev Kellaaeg
- juurutada
- sügavus
- kirjeldatud
- Disain
- sihtkoht
- arendaja
- & Tarkvaraarendus
- erinev
- otse
- do
- domeen
- lae alla
- iga
- toimetaja
- mõju
- kumbki
- kõrvaldama
- võimaldama
- võimaldab
- Lõpp-punkt
- sisene
- täielikult
- keskkond
- keskkondades
- looma
- asutatud
- sündmused
- Iga
- täitmine
- olemasolevate
- Avastades
- väline
- KIIRE
- esimene
- keskendub
- järgima
- Järel
- eest
- Alates
- täielikult
- edasi
- värav
- saama
- Grupp
- Grupi omad
- Olema
- he
- aidates
- aitab
- kõrgetasemeline
- tema
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- i
- ID
- Identity
- if
- illustreerib
- mõju
- import
- parandama
- in
- tööstus
- info
- paigaldama
- paigaldamine
- paigaldatud
- selle asemel
- juhised
- integreeritud
- Interface
- Internet
- internetiühendus
- sisse
- isolatsioon
- IT
- teekond
- jpg
- Json
- lihtsalt
- Võti
- algatama
- käivitatud
- käivitamine
- kiht
- Õppida
- õppimine
- raamatukogud
- Raamatukogu
- joon
- kohalik
- asub
- logi
- metsaraie
- Vaata
- kadunud
- masin
- masinõpe
- tegema
- Tegemine
- juhtima
- juhitud
- käsitsi
- Vastama
- menüü
- Metaandmed
- meetod
- ML
- viis
- mudelid
- Jälgida
- jälgitakse
- järelevalve
- rohkem
- liikuma
- peab
- nimi
- NAVIGATSIOON
- vajalik
- Vajadus
- vajadustele
- võrk
- võrgustike loomine
- Uus
- äsja
- sõlme
- märkmik
- nüüd
- objekt
- esemeid
- of
- sageli
- on
- ONE
- ainult
- avatud
- or
- organisatsioon
- organisatsioonid
- originaal
- Muu
- muidu
- meie
- üle
- ülevaade
- pakend
- pakette
- lehekülg
- pandas
- pane
- osa
- eriti
- sooritama
- kirglik
- peer
- täitma
- luba
- Õigused
- Kohad
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Poliitika
- poliitika
- post
- võim
- tava
- Ennustused
- Valmistama
- takistab
- Peamine
- era-
- töötlemine
- tootja
- profiil
- profiilid
- projektid
- anda
- annab
- pakkudes
- avalik
- Lugenud
- soovitatav
- rekord
- andmed
- korduv
- vähendama
- piirkond
- suhe
- asendama
- taotleda
- nõutav
- Nõuded
- Vajab
- ressurss
- Vahendid
- need
- tagasipöördumine
- Tulu
- läbi
- Oht
- Roll
- rollid
- liinidel
- jooks
- salveitegija
- sama
- skaalautuvia
- Skaala
- SDK
- Osa
- kindlustama
- kindlalt
- turvalisus
- valides
- vanem
- eri
- eraldamine
- Teenused
- istung
- komplekt
- seaded
- mitu
- jagamine
- ta
- peaks
- näitas
- näidatud
- sarnane
- lihtne
- lihtsustama
- ühekordne
- So
- lahendus
- Lahendused
- konkreetse
- eriti
- määratletud
- algus
- riik
- väljavõte
- Samm
- Sammud
- ladustamine
- ladustatud
- stuudio
- alamvõrgu
- alamvõrgud
- Edukalt
- selline
- tabel
- sihtmärk
- meeskond
- meeskonnad
- ajutine
- et
- .
- Piirkond
- oma
- Neile
- SIIS
- see
- Läbi
- TIE
- aeg
- et
- tööriist
- liiklus
- Rong
- muundumised
- Reisimine
- Usalda
- Usaldatud
- Pöörake
- kaks
- tüüp
- liigid
- tüüpiliselt
- Värskendused
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- Väärtused
- versioon
- nähtavus
- kõndis
- tahan
- oli
- we
- web
- veebiteenused
- Veebipõhine
- Hästi
- millal
- kuigi
- will
- koos
- jooksul
- töövoog
- kirjalik
- sa
- Sinu
- sephyrnet