Advancements in artificial intelligence (AI) and machine learning (ML) are revolutionizing the financial industry for use cases such as fraud detection, credit worthiness assessment, and trading strategy optimization. To develop models for such use cases, data scientists need access to various datasets like credit decision engines, customer transactions, risk appetite, and stress testing. Managing appropriate access control for these datasets among the data scientists working on them is crucial to meet stringent compliance and regulatory requirements. Typically, these datasets are aggregated in a centralized Amazon egyszerű tárolási szolgáltatás (Amazon S3) location from various business applications and enterprise systems. Data scientists across business units working on model development using Amazon SageMaker are granted access to relevant data, which can lead to the requirement of managing prefix-level access controls. With an increase in use cases and datasets using vödör politika statements, managing cross-account access per application is too complex and long for a bucket policy to accommodate.
Amazon S3 hozzáférési pontok simplify managing and securing data access at scale for applications using shared datasets on Amazon S3. You can create unique hostnames using access points to enforce distinct and secure permissions and network controls for any request made through the access point.
S3 Access Points simplifies the management of access permissions specific to each application accessing a shared dataset. It enables secure, high-speed data copy between same-Region access points using AWS internal networks and VPCs. S3 Access Points can restrict access to VPCs, enabling you to firewall data within private networks, test new access control policies without impacting existing access points, and configure VPC endpoint policies to restrict access to specific account ID-owned S3 buckets.
This post walks through the steps involved in configuring S3 Access Points to enable cross-account access from a SageMaker notebook instance.
Megoldás áttekintése
For our use case, we have two accounts in an organization: Account A (111111111111), which is used by data scientists to develop models using a SageMaker notebook instance, and Account B (222222222222), which has required datasets in the S3 bucket test-bucket-1
. The following diagram illustrates the solution architecture.
A megoldás megvalósításához hajtsa végre a következő magas szintű lépéseket:
- Configure Account A, including VPC, subnet security group, VPC gateway endpoint, and SageMaker notebook.
- Configure Account B, including S3 bucket, access point, and bucket policy.
- konfigurálása AWS Identity and Access Management (IAM) permissions and policies in Account A.
You should repeat these steps for each SageMaker account that needs access to the shared dataset from Account B.
The names for each resource mentioned in this post are examples; you can replace them with other names as per your use case.
Configure Account A
Complete the following steps to configure Account A:
- Hozzon létre egy VPC-t hívott
DemoVPC
. - Create a subnet hívott
DemoSubnet
in the VPCDemoVPC
. - Create a security group hívott
DemoSG
. - Hozzon létre egy VPC S3 gateway endpoint hívott
DemoS3GatewayEndpoint
. - Hozza létre a SageMaker végrehajtó szerep.
- Hozzon létre egy jegyzetfüzet-példányt hívott
DemoNotebookInstance
and the security guidelines as outlined in How to configure security in Amazon SageMaker.- Specify the Sagemaker execution role you created.
- For the notebook network settings, specify the VPC, subnet, and security group you created.
- Ügyeljen arra, hogy Direct Internet access le van tiltva.
You assign permissions to the role in subsequent steps after you create the required dependencies.
Configure Account B
To configure Account B, complete the following steps:
- In Account B, hozzon létre egy S3 vödröt hívott
test-bucket-1
következő Amazon S3 security guidance. - Töltse fel a fájlt az S3 vödörhöz.
- Create an access point hívott
test-ap-1
in Account B.- Don’t change or edit any Block Public Access settings for this access point (all public access should be blocked).
- Attach the following policy to your access point:
The actions defined in the preceding code are sample actions for demonstration purposes. You can define the actions as per your requirements or use case.
- Add the following bucket policy permissions to access the access point:
The preceding actions are examples. You can define the actions as per your requirements.
Configure IAM permissions and policies
Complete the following steps in Account A:
- Confirm that the SageMaker execution role has the AmazonSagemakerFullAccess custom IAM inline policy, which looks like the following code:
The actions in the policy code are sample actions for demonstration purposes.
- Menj a
DemoS3GatewayEndpoint
endpoint you created and add the following permissions:
- To get a prefix list, run the AWS parancssori interfész (AWS CLI) describe-prefix-lists parancs:
- In Account A, Go to the security group
DemoSG
for the target SageMaker notebook instance - Alatt Outbound rules, create an outbound rule with Minden forgalom or Minden TCP, and then specify the destination as the prefix list ID you retrieved.
This completes the setup in both accounts.
Tesztelje az oldatot
To validate the solution, go to the SageMaker notebook instance terminal and enter the following commands to list the objects through the access point:
- To list the objects successfully through S3 access point
test-ap-1
:
- To get the objects successfully through S3 access point
test-ap-1
:
Tisztítsuk meg
When you’re done testing, delete any S3 hozzáférési pontok és a S3 vödrök. Also, delete any Sagemaker notebook instances to stop incurring charges.
Következtetés
In this post, we showed how S3 Access Points enables cross-account access to large, shared datasets from SageMaker notebook instances, bypassing size constraints imposed by bucket policies while configuring at-scale access management on shared datasets.
További információért lásd: Easily Manage Shared Data Sets with Amazon S3 Access Points.
A szerzőkről
Kiran Khambete is working as Senior Technical Account Manager at Amazon Web Services (AWS). As a TAM, Kiran plays a role of technical expert and strategic guide to helping Enterprise customers achieving their business goals.
Ankit Soni with total experience of 14 years holds the position of Principal Engineer at NatWest Group, where he has served as a Cloud Infrastructure Architect for the past six years.
Kesaraju Sai Sandeep is a Cloud Engineer specializing in Big Data Services at AWS.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/set-up-cross-account-amazon-s3-access-for-amazon-sagemaker-notebooks-in-vpc-only-mode-using-amazon-s3-access-points/
- :van
- :is
- :ahol
- $ UP
- 100
- 14
- 16
- 17
- 20
- 7
- 8
- a
- hozzáférés
- Hozzáférés
- elhelyezésére
- Fiók
- Fiókok
- elérése
- át
- Akció
- cselekvések
- hozzá
- Után
- összesítve
- AI
- Minden termék
- lehetővé
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- Amazon Web Services (AWS)
- között
- an
- és a
- bármilyen
- étvágy
- Alkalmazás
- alkalmazások
- megfelelő
- építészet
- VANNAK
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- AS
- értékelés
- At
- AWS
- BE
- között
- Nagy
- Big adatok
- zárolt
- mindkét
- üzleti
- Üzleti alkalmazások
- by
- hívott
- TUD
- eset
- esetek
- központosított
- változik
- díjak
- cli
- felhő
- felhő infrastruktúra
- kód
- teljes
- Befejezi
- bonyolult
- teljesítés
- feltétel
- konfigurálása
- korlátok
- ellenőrzés
- ellenőrzések
- másolat
- teremt
- készítette
- hitel
- kritikus
- vevő
- Ügyfelek
- dátum
- adat hozzáférés
- adatkészletek
- adatkészletek
- döntés
- meghatározott
- meghatározott
- demonstráció
- függőségek
- rendeltetési hely
- Érzékelés
- Fejleszt
- Fejlesztés
- diagram
- Tiltva
- különböző
- csinált
- minden
- hatás
- lehetővé
- lehetővé teszi
- lehetővé téve
- Endpoint
- érvényesíteni
- mérnök
- Motorok
- belép
- Vállalkozás
- példák
- végrehajtás
- létező
- tapasztalat
- szakértő
- pénzügyi
- tűzfal
- következő
- A
- csalás
- csalások felderítése
- ból ből
- gateway
- kap
- Go
- Célok
- megadott
- Csoport
- útmutató
- irányelvek
- Legyen
- he
- segít
- magas szinten
- tart
- Hogyan
- HTML
- http
- HTTPS
- ID
- Identitás
- illusztrálja
- ütköztető
- végre
- kiszabott
- in
- Beleértve
- Növelje
- ipar
- Infrastruktúra
- példa
- Intelligencia
- belső
- Internet
- részt
- IT
- jpg
- nagy
- vezet
- TANUL
- tanulás
- mint
- vonal
- Lista
- elhelyezkedés
- Hosszú
- MEGJELENÉS
- gép
- gépi tanulás
- készült
- kezelése
- vezetés
- menedzser
- kezelése
- Találkozik
- említett
- ML
- Mód
- modell
- modellek
- több
- nevek
- NatWest
- Szükség
- igények
- hálózat
- Hálózati beállítások
- hálózatok
- Új
- Új hozzáférés
- jegyzetfüzet
- objektumok
- of
- on
- optimalizálás
- or
- szervezet
- Más
- mi
- vázolt
- múlt
- mert
- engedélyek
- Plató
- Platón adatintelligencia
- PlatoData
- játszik
- pont
- pont
- Politikák
- politika
- pozíció
- állás
- megelőző
- Fő
- magán
- nyilvános
- célokra
- utal
- szabályozók
- ismétlés
- cserélni
- kérni
- kötelező
- követelmény
- követelmények
- forrás
- korlátoz
- Optimális
- Kockázat
- kockázati étvágy
- Szerep
- Szabály
- futás
- sagemaker
- minta
- Skála
- tudósok
- biztonság
- biztosítása
- biztonság
- idősebb
- szolgált
- Szolgáltatások
- készlet
- Szettek
- beállítások
- felépítés
- megosztott
- kellene
- kimutatta,
- Egyszerű
- egyszerűsíti
- egyszerűsítése
- SIX
- Méret
- megoldások
- szakosodott
- különleges
- nyilatkozat
- nyilatkozatok
- Lépései
- megáll
- tárolás
- Stratégiai
- Stratégia
- feszültség
- szigorú
- alhálózati
- későbbi
- sikeresen
- ilyen
- biztos
- Systems
- cél
- Műszaki
- terminál
- teszt
- Tesztelés
- hogy
- A
- azok
- Őket
- akkor
- Ezek
- ezt
- Keresztül
- nak nek
- is
- Végösszeg
- Kereskedés
- kereskedési stratégia
- Tranzakciók
- kettő
- jellemzően
- egyedi
- egységek
- használ
- használati eset
- használt
- segítségével
- ÉRVÉNYESÍT
- különféle
- változat
- sétál
- we
- háló
- webes szolgáltatások
- ami
- míg
- val vel
- belül
- nélkül
- dolgozó
- év
- te
- A te
- zephyrnet