Med cloud computing, efterhånden som computerkraft og data blev mere tilgængelige, gør maskinlæring (ML) nu indflydelse på tværs af enhver industri og er en kernedel af enhver virksomhed og branche.
Amazon SageMaker Studio er det første fuldt integrerede ML-udviklingsmiljø (IDE) med en webbaseret visuel grænseflade. Du kan udføre alle ML-udviklingstrin og have fuldstændig adgang, kontrol og synlighed i hvert trin, der kræves for at bygge, træne og implementere modeller.
Amazon rødforskydning er et fuldt administreret, hurtigt, sikkert og skalerbart cloud-datavarehus. Organisationer ønsker ofte at bruge SageMaker Studio til at få forudsigelser fra data gemt i et datavarehus såsom Amazon Redshift.
Som beskrevet i AWS velstruktureret rammeværk, adskillelse af arbejdsbelastninger på tværs af konti gør det muligt for din organisation at sætte fælles autoværn, mens miljøer isoleres. Dette kan være særligt nyttigt til visse sikkerhedskrav, såvel som for at forenkle omkostningskontrol og overvågning mellem projekter og teams. Organisationer med en multi-konto-arkitektur har typisk Amazon Redshift og SageMaker Studio i to separate AWS-konti. Amazon Redshift og SageMaker Studio er også typisk konfigureret i VPC'er med private undernet for at forbedre sikkerheden og reducere risikoen for uautoriseret adgang som en bedste praksis.
Amazon rødforskydning naturligt understøtter datadeling på tværs af konti, når RA3-nodetyper anvendes. Hvis du bruger andre Amazon Redshift-nodetyper, såsom DS2 eller DC2, kan du bruge VPC-peering til at etablere en krydskontoforbindelse mellem Amazon Redshift og SageMaker Studio.
I dette indlæg gennemgår vi trinvise instruktioner for at etablere en forbindelse på tværs af konti til enhver Amazon Redshift-nodetype (RA3, DC2, DS2) ved at forbinde Amazon Redshift-klyngen, der er placeret i en AWS-konto, til SageMaker Studio i en anden AWS konto i samme region ved hjælp af VPC-peering.
Løsningsoversigt
Vi starter med to AWS-konti: en producentkonto hos Amazon Redshift-datavarehuset og en forbrugerkonto til Amazon SageMaker ML use cases, der har SageMaker Studio sat op. Følgende er et overblik over arbejdsgangen på højt niveau:
- Konfigurer SageMaker Studio med
VPCOnly
tilstand på forbrugerkontoen. Dette forhindrer SageMaker i at give internetadgang til dine studio-notebooks. Al SageMaker Studio-trafik foregår gennem den angivne VPC og undernet. - Opdater dit SageMaker Studio-domæne for at tænde
SourceIdentity
for at udbrede brugerprofilens navn. - Opret en AWS identitets- og adgangsstyring (IAM) rolle i Amazon Redshift-producentkontoen, som SageMaker Studio IAM-rollen vil påtage sig for at få adgang til Amazon Redshift.
- Opdater SageMaker IAM-udførelsesrollen i SageMaker Studio-forbrugerkontoen, som SageMaker Studio vil bruge til at påtage sig rollen i producentens Amazon Redshift-konto.
- Opret en peering-forbindelse mellem VPC'er på Amazon Redshift-producentkontoen og SageMaker Studio-forbrugerkontoen.
- Forespørg Amazon Redshift i SageMaker Studio på forbrugerkontoen.
Følgende diagram illustrerer vores løsningsarkitektur.
Forudsætninger
Trinnene i dette indlæg antager, at Amazon Redshift er lanceret i et privat undernet i Amazon Redshift-producentkontoen. At starte Amazon Redshift i et privat undernet giver et ekstra lag af sikkerhed og isolation sammenlignet med at starte det i et offentligt undernet, fordi det private undernet ikke er direkte tilgængeligt fra internettet og mere sikkert mod eksterne angreb.
For at downloade offentlige biblioteker skal du oprette en VPC og et privat og offentligt undernet på SageMaker-forbrugerkontoen. Start derefter en NAT-gateway i det offentlige undernet, og tilføj en internetgateway til SageMaker Studio i det private undernet for at få adgang til internettet. For instruktioner om, hvordan du opretter en forbindelse til et privat undernet, se Hvordan konfigurerer jeg en NAT-gateway til et privat undernet i Amazon VPC?
Konfigurer SageMaker Studio med VPConly-tilstand på forbrugerkontoen
Til at skabe SageMaker Studio med VPCOnly
tilstand, skal du udføre følgende trin:
- Vælg på SageMaker-konsollen studie i navigationsruden.
- Start SageMaker Studio, vælg Standard opsætning, og vælg Konfigurer .
Hvis du allerede bruger AWS IAM Identity Center (efterfølger til AWS Single Sign-On) for at få adgang til dine AWS-konti, kan du bruge det til godkendelse. Ellers kan du bruge IAM til godkendelse og bruge dine eksisterende fødererede roller.
- I Generelle indstillinger sektion, vælg Lav en ny rolle.
- I Opret en IAM-rolle sektion, angiv eventuelt din Amazon Simple Storage Service (Amazon S3) spande ved at vælge Enhver, Specifik eller Ingen, Og vælg derefter Opret rolle.
Dette skaber en SageMaker eksekveringsrolle, som f.eks AmazonSageMaker-ExecutionRole-00000000
.
- Under Netværk og lagringssektion, vælg din VPC, undernet (privat undernet) og sikkerhedsgruppe, som du har oprettet som en forudsætning.
- Type Kun VPC, Og vælg derefter Næste.
Opdater dit SageMaker Studio-domæne for at aktivere SourceIdentity for at udbrede brugerprofilens navn
SageMaker Studio er integreret med AWS CloudTrail for at gøre det muligt for administratorer at overvåge og revidere brugeraktivitet og API-kald fra SageMaker Studio-notebooks. Du kan konfigurere SageMaker Studio til at registrere brugeridentiteten (specifikt brugerprofilnavn) til at overvåge og revidere brugeraktivitet og API-kald fra SageMaker Studio-notebooks i CloudTrail-begivenheder.
For at logge specifik brugeraktivitet blandt flere brugerprofiler, anbefaler vi, at du slår til SourceIdentity
for at udbrede SageMaker Studio-domænet med brugerprofilnavnet. Dette giver dig mulighed for at bevare brugeroplysningerne i sessionen, så du kan tilskrive handlinger til en bestemt bruger. Denne egenskab bevares også, når du sammenkæder roller, så du kan få finmasket synlighed i deres handlinger på producentkontoen. Da dette indlæg blev skrevet, kan du kun konfigurere dette ved hjælp af AWS kommandolinjegrænseflade (AWS CLI) eller et hvilket som helst kommandolinjeværktøj.
For at opdatere denne konfiguration skal alle apps i domænet være i Stoppet or Slettet tilstand.
Brug følgende kode til at aktivere udbredelsen af brugerprofilnavnet som SourceIdentity
:
Dette kræver, at du tilføjer sts:SetSourceIdentity
i tillidsforholdet til din eksekveringsrolle.
Opret en IAM-rolle i Amazon Redshift-producentkontoen, som SageMaker Studio skal påtage sig for at få adgang til Amazon Redshift
For at oprette en rolle, som SageMaker vil påtage sig for at få adgang til Amazon Redshift, skal du udføre følgende trin:
- Åbn IAM-konsollen i Amazon Redshift-producentkontoen.
- Vælg roller i navigationsruden, og vælg derefter Opret rolle.
- På Vælg betroet enhed side, vælg Tilpasset tillidspolitik.
- Indtast følgende tilpassede tillidspolitik i editoren, og angiv dit SageMaker-forbrugerkonto-id og SageMaker-udførelsesrollen, som du har oprettet:
- Vælg Næste.
- På Tilføj nødvendige tilladelser side, vælg Lav politik.
- Tilføj følgende eksempelpolitik og foretag nødvendige redigeringer baseret på din konfiguration.
- Gem politikken ved at tilføje et navn, som f.eks
RedshiftROAPIUserAccess
.
SourceIdentity
attribut bruges til at knytte identiteten af den originale SageMaker Studio-bruger til Amazon Redshift-databasebrugeren. Brugerens handlinger på producentkontoen kan derefter overvåges ved hjælp af CloudTrail og Amazon Redshift-databaserevisionslogfiler.
- På Navngiv, anmeld og opret side, indtast et rollenavn, gennemgå indstillingerne og vælg Opret rolle.
Opdater IAM-rollen i SageMaker-forbrugerkontoen, som SageMaker Studio påtager sig i Amazon Redshift-producentkontoen
For at opdatere SageMaker-udførelsesrollen, så den påtager sig den rolle, vi lige har oprettet, skal du udføre følgende trin:
- Åbn IAM-konsollen på SageMaker-forbrugerkontoen.
- Vælg roller i navigationsruden, vælg derefter SageMaker-udførelsesrollen, som vi oprettede (
AmazonSageMaker-ExecutionRole-*
). - I Tilladelsespolitik afsnit, på Tilføj tilladelser menu, vælg Opret inline politik.
- I redaktøren, på JSON fanen, skal du indtaste følgende politik, hvor er ARN for den rolle, du oprettede i Amazon Redshift-producentkontoen:
Du kan få ARN for rollen oprettet i Amazon Redshift-producentkontoen på IAM-konsollen, som vist på det følgende skærmbillede.
- Vælg Gennemgå politik.
- Til Navn, skal du indtaste et navn til din politik.
- Vælg Lav politik.
Dine tilladelsespolitikker bør ligne følgende skærmbillede.
Opsæt en peering-forbindelse mellem VPC'erne i Amazon Redshift-producentkontoen og SageMaker Studio-forbrugerkontoen
For at etablere kommunikation mellem SageMaker Studio VPC og Amazon Redshift VPC, skal de to VPC'er peeres ved hjælp af VPC-peering. Udfør følgende trin for at etablere en forbindelse:
- I enten Amazon Redshift- eller SageMaker-kontoen skal du åbne Amazon VPC-konsollen.
- Vælg i navigationsruden Peering-forbindelser, Og vælg derefter Opret peering-forbindelse.
- Til Navn, indtast et navn til din forbindelse.
- Under Vælg en lokal VPC at peer med, vælg en lokal VPC.
- Under Vælg en anden VPC at peer med, angiv en anden VPC i samme region og en anden konto.
- Vælg Opret peering-forbindelse.
- Gennemgå VPC-peering-forbindelsen, og vælg Accepter anmodning for at aktivere.
Efter at VPC-peering-forbindelsen er etableret, opretter du ruter på både SageMaker og Amazon Redshift VPC'erne for at fuldføre forbindelsen mellem dem.
- I SageMaker-kontoen skal du åbne Amazon VPC-konsollen.
- Vælg Rutetabeller i navigationsruden, vælg derefter den VPC, der er knyttet til SageMaker, og rediger ruterne.
- Tilføj CIDR for destinationen Amazon Redshift VPC og målet som peering-forbindelsen.
- Tilføj desuden en NAT-gateway.
- Vælg Gem ændringer.
- Åbn Amazon VPC-konsollen på Amazon Redshift-kontoen.
- Vælg Rutetabeller i navigationsruden, vælg derefter den VPC, der er knyttet til Amazon Redshift, og rediger ruterne.
- Tilføj CIDR for destinationen SageMaker VPC og målet som peeringforbindelse.
- Tilføj desuden en internetgateway.
- Vælg Gem ændringer.
Du kan oprette forbindelse til SageMaker Studio fra din VPC gennem et grænsefladeslutpunkt i din VPC i stedet for at oprette forbindelse over internettet. Når du bruger et VPC-interface-endepunkt, foregår kommunikationen mellem din VPC og SageMaker API eller runtime fuldstændigt og sikkert inden for AWS-netværket.
- For at oprette et VPC-slutpunkt skal du åbne VPC-konsollen i SageMaker-kontoen.
- Vælg Endpoints i navigationsruden, og vælg derefter Opret slutpunkt.
- Angiv SageMaker VPC, de respektive undernet og passende sikkerhedsgrupper for at tillade indgående og udgående NFS-trafik for dit SageMaker notebook-domæne, og vælg Opret VPC-slutpunkt.
Forespørg Amazon Redshift i SageMaker Studio på forbrugerkontoen
Når alt netværket er blevet etableret, skal du følge trinene i dette afsnit for at oprette forbindelse til Amazon Redshift-klyngen i SageMaker Studio-forbrugerkontoen ved hjælp af AWS SDK for pandas-biblioteket:
- I SageMaker Studio skal du oprette en ny notesbog.
- Hvis AWS SDK for pandas-pakken ikke er installeret, kan du installere den ved at bruge følgende:
Denne installation er ikke vedvarende og vil gå tabt, hvis KernelGateway-appen slettes. Brugerdefinerede pakker kan tilføjes som en del af en Livscykluskonfiguration.
- Indtast følgende kode i den første celle og kør koden. Erstatte
RoleArn
,region_name
værdier baseret på dine kontoindstillinger:
- Indtast følgende kode i en ny celle, og kør koden for at få det aktuelle SageMaker-brugerprofilnavn:
- Indtast følgende kode i en ny celle og kør koden:
For at forespørge Amazon Redshift skal din databaseadministrator tildele den nyoprettede bruger de nødvendige læsetilladelser i Amazon Redshift-klyngen i producentkontoen.
- Indtast følgende kode i en ny celle, opdater forespørgslen, så den matcher din Amazon Redshift-tabel, og kør cellen. Dette skulle returnere registreringerne med succes til yderligere databehandling og analyse.
Du kan nu begynde at bygge dine datatransformationer og analyser baseret på dine forretningskrav.
Ryd op
For at rydde op i ressourcer for at undgå at pådrage sig tilbagevendende omkostninger, skal du slette SageMaker VPC-endepunkterne, Amazon Redshift-klyngen og SageMaker Studio-apps, -brugere og -domæne. Slet også eventuelle S3-bøtter og objekter, du har oprettet.
Konklusion
I dette indlæg viste vi, hvordan man etablerer en krydskontoforbindelse mellem private Amazon Redshift og SageMaker Studio VPC'er på forskellige konti ved hjælp af VPC-peering og får adgang til Amazon Redshift-data i SageMaker Studio ved hjælp af IAM-rollekæde, samtidig med at brugerens identitet logges, når brugeren tilgået Amazon Redshift fra SageMaker Studio. Med denne løsning eliminerer du behovet for manuelt at flytte data mellem konti for at få adgang til data. Vi gennemgik også, hvordan du får adgang til Amazon Redshift-klyngen ved hjælp af AWS SDK for pandas-biblioteket i SageMaker Studio og forbereder dataene til dine ML-brugssager.
For at lære mere om Amazon Redshift og SageMaker, se Amazon Redshift Database Developer Guide , Amazon SageMaker-dokumentation.
Om forfatterne
Supriya Puragundla er Senior Solutions Architect hos AWS. Hun hjælper nøglekunder på deres AI- og ML-rejse. Hun brænder for datadrevet AI og dybdeområdet inden for maskinlæring.
Marc Karp er en maskinlæringsarkitekt hos Amazon SageMaker-teamet. Han fokuserer på at hjælpe kunder med at designe, implementere og administrere ML-arbejdsbelastninger i stor skala. I sin fritid nyder han at rejse og udforske nye steder.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- :har
- :er
- :ikke
- :hvor
- $OP
- 10
- 100
- 11
- 13
- 14
- 15 %
- 7
- 8
- 9
- a
- Om
- adgang
- af udleverede
- tilgængelig
- Adgang
- Konto
- Konti
- tværs
- Handling
- aktioner
- aktivitet
- tilføje
- tilføjet
- tilføje
- Yderligere
- administratorer
- AI
- Alle
- tillade
- tillader
- allerede
- også
- Amazon
- Amazon rødforskydning
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Web Services
- blandt
- an
- analyse
- ,
- En anden
- enhver
- api
- app
- passende
- apps
- arkitektur
- ER
- OMRÅDE
- AS
- forbundet
- antage
- antager
- At
- Angreb
- revision
- Godkendelse
- til rådighed
- undgå
- AWS
- baseret
- BE
- blev
- fordi
- været
- BEDSTE
- mellem
- både
- bygge
- Bygning
- virksomhed
- by
- ringe
- Opkald
- CAN
- Kan få
- tilfælde
- center
- vis
- kæde
- Vælg
- Cloud
- cloud computing
- Cluster
- kode
- Fælles
- Kommunikation
- sammenlignet
- fuldføre
- Compute
- computing
- betingelse
- gennemført
- Konfiguration
- konfigureret
- Tilslut
- Tilslutning
- tilslutning
- Connectivity
- Konsol
- forbruger
- kontrol
- kontrol
- Core
- Koste
- Omkostninger
- skabe
- oprettet
- skaber
- Legitimationsoplysninger
- Nuværende
- skik
- kunde
- Kunder
- data
- databehandling
- datadeling
- datastyret
- Database
- dato tid
- indsætte
- dybde
- beskrevet
- Design
- destination
- Udvikler
- Udvikling
- forskellige
- direkte
- do
- domæne
- downloade
- hver
- editor
- effekt
- enten
- eliminere
- muliggøre
- muliggør
- Endpoint
- Indtast
- helt
- Miljø
- miljøer
- etablere
- etableret
- begivenheder
- Hver
- udførelse
- eksisterende
- Udforskning
- ekstern
- FAST
- Fornavn
- fokuserer
- følger
- efter
- Til
- fra
- fuldt ud
- yderligere
- gateway
- få
- gruppe
- Gruppens
- Have
- he
- hjælpe
- hjælper
- højt niveau
- hans
- Hvordan
- How To
- HTML
- http
- HTTPS
- i
- ID
- Identity
- if
- illustrerer
- KIMOs Succeshistorier
- importere
- Forbedre
- in
- industrien
- oplysninger
- installere
- installation
- installeret
- i stedet
- anvisninger
- integreret
- grænseflade
- Internet
- Internetadgang
- ind
- isolation
- IT
- rejse
- jpg
- json
- lige
- Nøgle
- lancere
- lanceret
- lancering
- lag
- LÆR
- læring
- biblioteker
- Bibliotek
- Line (linje)
- lokale
- placeret
- log
- logning
- Se
- tabte
- maskine
- machine learning
- lave
- Making
- administrere
- lykkedes
- manuelt
- Match
- Menu
- Metadata
- metode
- ML
- tilstand
- modeller
- Overvåg
- overvåges
- overvågning
- mere
- bevæge sig
- skal
- navn
- Navigation
- nødvendig
- Behov
- behov
- netværk
- netværk
- Ny
- nyligt
- node
- notesbog
- nu
- objekt
- objekter
- of
- tit
- on
- ONE
- kun
- åbent
- or
- organisation
- organisationer
- original
- Andet
- Ellers
- vores
- i løbet af
- oversigt
- pakke
- pakker
- side
- pandaer
- brød
- del
- især
- passerer
- lidenskabelige
- peer
- Udfør
- tilladelse
- Tilladelser
- Steder
- plato
- Platon Data Intelligence
- PlatoData
- politikker
- politik
- Indlæg
- magt
- praksis
- Forudsigelser
- Forbered
- forhindrer
- Main
- private
- forarbejdning
- producent
- Profil
- Profiler
- projekter
- give
- giver
- leverer
- offentlige
- Læs
- anbefales
- optage
- optegnelser
- tilbagevendende
- reducere
- region
- forhold
- erstatte
- anmode
- påkrævet
- Krav
- Kræver
- ressource
- Ressourcer
- dem
- afkast
- afkast
- gennemgå
- Risiko
- roller
- roller
- veje
- Kør
- sagemaker
- samme
- skalerbar
- Scale
- SDK
- Sektion
- sikker
- sikkert
- sikkerhed
- udvælgelse
- senior
- adskille
- adskille
- Tjenester
- Session
- sæt
- indstillinger
- flere
- deling
- hun
- bør
- viste
- vist
- lignende
- Simpelt
- forenkle
- enkelt
- So
- løsninger
- Løsninger
- specifikke
- specifikt
- specificeret
- starte
- Tilstand
- Statement
- Trin
- Steps
- opbevaring
- opbevaret
- Studio
- subnet
- undernet
- Succesfuld
- sådan
- bord
- mål
- hold
- hold
- midlertidig
- at
- Området
- deres
- Them
- derefter
- denne
- Gennem
- TIE
- tid
- til
- værktøj
- Trafik
- Tog
- transformationer
- Traveling
- Stol
- betroet
- TUR
- to
- typen
- typer
- typisk
- Opdatering
- brug
- anvendte
- Bruger
- brugere
- ved brug af
- Værdier
- udgave
- synlighed
- gik
- ønsker
- var
- we
- web
- webservices
- web-baseret
- GODT
- hvornår
- mens
- vilje
- med
- inden for
- workflow
- skriftlig
- Du
- Din
- zephyrnet