人工智能 (AI) 和机器学习 (ML) 的进步正在彻底改变金融行业的欺诈检测、信用价值评估和交易策略优化等用例。为了开发此类用例的模型,数据科学家需要访问各种数据集,例如信用决策引擎、客户交易、风险偏好和压力测试。在处理这些数据集的数据科学家中管理适当的访问控制对于满足严格的合规性和监管要求至关重要。通常,这些数据集聚集在一个集中的 亚马逊简单存储服务 (Amazon S3) 来自各种业务应用程序和企业系统的位置。跨业务部门的数据科学家使用以下方法进行模型开发 亚马逊SageMaker 被授予访问相关数据的权限,这可能导致管理的要求 字首级访问控制。随着使用案例和数据集的增加 桶政策 语句,管理每个应用程序的跨账户访问对于存储桶策略来说过于复杂且冗长。
Amazon S3 接入点 使用 Amazon S3 上的共享数据集简化应用程序大规模数据访问的管理和保护。您可以使用访问点创建唯一的主机名,以便对通过访问点发出的任何请求实施独特且安全的权限和网络控制。
S3 访问点简化了特定于访问共享数据集的每个应用程序的访问权限的管理。它支持使用 AWS 内部网络在同一区域接入点之间进行安全、高速的数据复制 和 VPC。 S3 接入点可以限制对 VPC 的访问,使您能够在专用网络内对数据进行防火墙保护、在不影响现有接入点的情况下测试新的访问控制策略,以及配置 VPC 终端节点策略以限制对特定账户 ID 拥有的 S3 存储桶的访问。
本文介绍了配置 S3 接入点以启用 SageMaker 笔记本实例的跨账户访问所涉及的步骤。
解决方案概述
对于我们的用例,我们在组织中有两个账户:账户 A (111111111111),数据科学家使用该账户使用 SageMaker 笔记本实例开发模型;账户 B (222222222222),在 S3 存储桶中拥有所需的数据集 test-bucket-1
。下图展示了该解决方案的架构。
要实施该解决方案,请完成以下高级步骤:
- 配置账户 A,包括 VPC、子网安全组、VPC 网关终端节点和 SageMaker 笔记本。
- 配置账户 B,包括 S3 存储桶、接入点和存储桶策略。
- 配置 AWS身份和访问管理 账户 A 中的 (IAM) 权限和策略。
您应该对需要从账户 B 访问共享数据集的每个 SageMaker 账户重复这些步骤。
本文中提到的每个资源的名称都是示例;您可以根据您的用例将它们替换为其他名称。
配置账户A
完成以下步骤来配置帐户 A:
- 创建专有网络 被称为
DemoVPC
. - 创建子网 被称为
DemoSubnet
在专有网络中DemoVPC
. - 创建一个安全组 被称为
DemoSG
. - 创建一个 VPC S3 网关端点 被称为
DemoS3GatewayEndpoint
. - 创建 SageMaker 执行角色.
- 创建一个笔记本实例 被称为
DemoNotebookInstance
以及中概述的安全指南 如何在 Amazon SageMaker 中配置安全性.- 指定您创建的 Sagemaker 执行角色。
- 对于笔记本网络设置,指定您创建的 VPC、子网和安全组。
- 确保 直接访问互联网 被禁用。
创建所需的依赖项后,您可以在后续步骤中为角色分配权限。
配置账户B
要配置帐户 B,请完成以下步骤:
- 在账户 B 中, 创建一个S3存储桶 被称为
test-bucket-1
以下 Amazon S3 安全指南. - 上传您的文件 到 S3 存储桶。
- 创建接入点 被称为
test-ap-1
在账户B中。- 请勿更改或编辑任何内容 阻止公共访问设置 对于此访问点(应阻止所有公共访问)。
- 将以下策略附加到您的接入点:
前面的代码中定义的操作是用于演示目的的示例操作。你可以 定义行动 根据您的要求或用例。
- 添加以下存储桶策略权限以访问接入点:
前面的操作是示例。您可以根据您的要求定义操作。
配置 IAM 权限和策略
在帐户 A 中完成以下步骤:
- 确认 SageMaker 执行角色具有 亚马逊SagemakerFullAccess 自定义 IAM 内联策略,它看起来像下面的代码:
策略代码中的操作是用于演示目的的示例操作。
- 去
DemoS3GatewayEndpoint
您创建的端点并添加以下权限:
- 在账户A中,进入安全组
DemoSG
对于目标 SageMaker 笔记本实例 - 下 出站规则,创建出站规则 所有交通 or 所有TCP,然后将目标指定为您检索到的前缀列表 ID。
这样就完成了两个帐户的设置。
测试解决方案
要验证解决方案,请转至 SageMaker 笔记本实例终端并输入以下命令以通过接入点列出对象:
- 通过 S3 访问点成功列出对象
test-ap-1
:
- 通过S3接入点成功获取对象
test-ap-1
:
清理
完成测试后,删除任何 S3 接入点 和 S3铲斗。另外,删除任何 Sagemaker 笔记本实例 停止产生费用。
结论
在这篇文章中,我们展示了 S3 访问点如何支持从 SageMaker 笔记本实例跨账户访问大型共享数据集,绕过存储桶策略施加的大小限制,同时对共享数据集配置大规模访问管理。
要了解更多信息,请参阅 使用 Amazon S3 接入点轻松管理共享数据集.
关于作者
基兰·坎贝特 现任 Amazon Web Services (AWS) 高级技术客户经理。作为 TAM,Kiran 发挥着技术专家和战略指导的作用,帮助企业客户实现其业务目标。
安基·索尼 拥有 14 年的总经验,担任 NatWest Group 的首席工程师,过去六年他一直担任该集团的云基础设施架构师。
克萨拉朱·赛·桑迪普 是 AWS 的一名云工程师,专门从事大数据服务。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/set-up-cross-account-amazon-s3-access-for-amazon-sagemaker-notebooks-in-vpc-only-mode-using-amazon-s3-access-points/
- :具有
- :是
- :在哪里
- $UP
- 100
- 14
- 16
- 17
- 20
- 7
- 8
- a
- ACCESS
- 访问
- 容纳
- 账号管理
- 账户
- 实现
- 横过
- 操作
- 行动
- 加
- 后
- 汇总
- AI
- 所有类型
- 让
- 还
- Amazon
- 亚马逊SageMaker
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- 其中
- an
- 和
- 任何
- 食欲
- 应用领域
- 应用领域
- 适当
- 架构
- 保健
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 评定
- At
- AWS
- BE
- 之间
- 大
- 大数据运用
- 封锁
- 都
- 商业
- 商业应用
- by
- 被称为
- CAN
- 案件
- 例
- 集中
- 更改
- 收费
- CLI
- 云端技术
- 云基础设施
- 码
- 完成
- 完成对
- 复杂
- 符合
- 流程条件
- 配置
- 约束
- 控制
- 控制
- 复制
- 创建信息图
- 创建
- 信用
- 关键
- 顾客
- 合作伙伴
- data
- 数据访问
- 数据集
- 数据集
- 决定
- 定义
- 定义
- 线上演示
- 依赖
- 目的地
- 检测
- 开发
- 研发支持
- 图表
- 禁用
- 不同
- 完成
- 每
- 效果
- enable
- 使
- 使
- 端点
- 执行
- 工程师
- 引擎
- 输入
- 企业
- 例子
- 执行
- 现有
- 体验
- 技术专家
- 金融
- 火墙
- 以下
- 针对
- 骗局
- 欺诈检测
- 止
- 网关
- 得到
- Go
- 理想中
- 授予
- 团队
- 指南
- 方针
- 有
- he
- 帮助
- 高水平
- 持有
- 创新中心
- HTML
- HTTP
- HTTPS
- ID
- 身分
- 说明
- 影响
- 实施
- 征收
- in
- 包含
- 增加
- 行业中的应用:
- 基础设施
- 例
- 房源搜索
- 内部
- 网络
- 参与
- IT
- JPG
- 大
- 铅
- 学习用品
- 学习
- 喜欢
- Line
- 清单
- 圖書分館的位置
- 长
- LOOKS
- 机
- 机器学习
- 制成
- 管理
- 颠覆性技术
- 经理
- 管理的
- 满足
- 提到
- ML
- 时尚
- 模型
- 模型
- 更多
- 名称
- 西敏
- 需求
- 需要
- 网络
- 网络设置
- 网络
- 全新
- 新访问
- 笔记本
- 对象
- of
- on
- 优化
- or
- 组织
- 其他名称
- 我们的
- 概述
- 过去
- 为
- 权限
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 扮演
- 点
- 点
- 政策
- 政策
- 位置
- 帖子
- 前
- 校长
- 私立
- 国家
- 目的
- 参考
- 监管
- 相应
- 重复
- 更换
- 请求
- 必须
- 需求
- 岗位要求
- 资源
- 限制
- 革命性
- 风险
- 风险偏好
- 角色
- 第
- 运行
- sagemaker
- 样品
- 鳞片
- 科学家
- 安全
- 保障
- 保安
- 前辈
- 已服务
- 特色服务
- 集
- 套数
- 设置
- 格局
- 共用的,
- 应该
- 显示
- 简易
- 简化
- 简化
- SIX
- 尺寸
- 方案,
- 专业
- 具体的
- 个人陈述
- 声明
- 步骤
- Stop 停止
- 存储
- 善用
- 策略
- 应力
- 严格
- 子网
- 随后
- 顺利
- 这样
- 肯定
- 产品
- 目标
- 文案
- 终端
- test
- 测试
- 这
- 其
- 他们
- 然后
- 博曼
- Free Introduction
- 通过
- 至
- 也有
- 合计
- 交易
- 交易策略
- 交易
- 二
- 一般
- 独特
- 单位
- 使用
- 用例
- 用过的
- 运用
- 验证
- 各个
- 版本
- 走
- we
- 卷筒纸
- Web服务
- 这
- 而
- 中
- 也完全不需要
- 加工
- 年
- 完全
- 您一站式解决方案
- 和风网