借助云计算,随着计算能力和数据变得更加可用,机器学习 (ML) 现在正在对每个行业产生影响,并且是每个企业和行业的核心部分。
亚马逊SageMaker Studio 是第一个具有基于 Web 的可视化界面的完全集成的 ML 开发环境 (IDE)。 您可以执行所有 ML 开发步骤,并对构建、训练和部署模型所需的每个步骤拥有完整的访问、控制和可见性。
亚马逊Redshift 是一个完全托管、快速、安全且可扩展的云数据仓库。 组织通常希望使用 SageMaker Studio 从 Amazon Redshift 等数据仓库中存储的数据中获取预测。
如中所述 AWS架构完善的框架跨帐户分离工作负载使您的组织能够在隔离环境的同时设置通用防护栏。 这对于某些安全要求以及简化项目和团队之间的成本控制和监控特别有用。 具有多账户架构的组织通常在两个单独的 AWS 账户中拥有 Amazon Redshift 和 SageMaker Studio。 此外,作为最佳实践,Amazon Redshift 和 SageMaker Studio 通常配置在具有私有子网的 VPC 中,以提高安全性并降低未经授权访问的风险。
亚马逊Redshift 原生支持 使用RA3节点类型时的跨账户数据共享。 如果您使用任何其他 Amazon Redshift 节点类型(例如 DS2 或 DC2),则可以使用 VPC 对等在 Amazon Redshift 和 SageMaker Studio 之间建立跨账户连接。
在本文中,我们将分步说明如何通过将一个 AWS 账户中的 Amazon Redshift 集群连接到另一个 AWS 中的 SageMaker Studio 来建立与任何 Amazon Redshift 节点类型(RA3、DC2、DS2)的跨账户连接使用 VPC 对等互连的同一区域中的帐户。
解决方案概述
我们从两个 AWS 账户开始:一个包含 Amazon Redshift 数据仓库的生产者账户,以及一个包含 Amazon Redshift 数据仓库的消费者账户。 亚马逊SageMaker 设置了 SageMaker Studio 的 ML 用例。 以下是工作流程的高级概述:
- 设置 SageMaker Studio
VPCOnly
消费者帐户中的模式。 这会阻止 SageMaker 为您的工作室笔记本提供 Internet 访问。 所有 SageMaker Studio 流量都通过指定的 VPC 和子网。 - 更新您的 SageMaker Studio 域以启用
SourceIdentity
传播用户配置文件名称。 - 创建 AWS身份和访问管理 Amazon Redshift 生产者账户中的 (IAM) 角色,SageMaker Studio IAM 角色将承担该角色来访问 Amazon Redshift。
- 更新 SageMaker Studio 使用者账户中的 SageMaker IAM 执行角色,SageMaker Studio 将使用该角色来代入生产者 Amazon Redshift 账户中的角色。
- 在 Amazon Redshift 生产者账户和 SageMaker Studio 使用者账户中的 VPC 之间设置对等连接。
- 在消费者账户中的 SageMaker Studio 中查询 Amazon Redshift。
下图说明了我们的解决方案体系结构。
先决条件
本文中的步骤假设 Amazon Redshift 在 Amazon Redshift 生产者账户的私有子网中启动。 与在公有子网中启动 Amazon Redshift 相比,在私有子网中启动 Amazon Redshift 可提供额外的安全性和隔离层,因为私有子网无法直接从 Internet 访问,并且更安全,免受外部攻击。
要下载公共库,您必须在 SageMaker 使用者账户中创建 VPC 以及私有和公有子网。 然后在公有子网中启动 NAT 网关,并在私有子网中为 SageMaker Studio 添加互联网网关以访问互联网。 有关如何建立与私有子网的连接的说明,请参阅 如何为 Amazon VPC 中的私有子网设置 NAT 网关?
在消费者账户中使用 VPCOnly 模式设置 SageMaker Studio
创建 SageMaker Studio VPCOnly
模式,完成以下步骤:
- 在SageMaker控制台上,选择 GOHAT STUDIO 在导航窗格中。
- 启动 SageMaker Studio,选择 标准设置,并选择 配置.
如果你已经在使用了 AWS IAM Identity Center(AWS Single Sign-On 的后继者) 要访问您的 AWS 账户,您可以使用它进行身份验证。 否则,您可以使用 IAM 进行身份验证并使用现有的联合角色。
- 在 常规设置 部分,选择 创建一个新角色.
- 在 创建一个IAM角色 部分,可选择指定您的 亚马逊简单存储服务 (Amazon S3) 通过选择存储桶 不限, 具体或 不包含,然后选择 创建角色.
这将创建一个 SageMaker 执行角色,例如 AmazonSageMaker-ExecutionRole-00000000
.
- 下 网络与存储部分,选择您作为先决条件创建的 VPC、子网(私有子网)和安全组。
- 选择 仅VPC,然后选择 下一页.
更新您的 SageMaker Studio 域以打开 SourceIdentity 来传播用户配置文件名称
SageMaker Studio 集成了 AWS 云跟踪 使管理员能够监控和审核来自 SageMaker Studio 笔记本的用户活动和 API 调用。 您可以配置 SageMaker Studio 来记录用户身份(具体来说, 用户个人资料名称)以监控和审核 CloudTrail 事件中来自 SageMaker Studio 笔记本的用户活动和 API 调用。
要记录多个用户配置文件中的特定用户活动,我们建议您打开 SourceIdentity
使用用户配置文件名称传播 SageMaker Studio 域。 这允许您将用户信息保留到会话中,以便您可以将操作归因于特定用户。 当您链接角色时,此属性也会保留,因此您可以在生产者帐户中获得对他们的操作的细粒度可见性。 截至撰写本文时,您只能使用 AWS命令行界面 (AWS CLI) 或任何命令行工具。
要更新此配置,域中的所有应用程序都必须位于 停止 or 删除 州。
使用以下代码启用用户配置文件名称的传播 SourceIdentity
:
这需要您添加 sts:SetSourceIdentity
在您的执行角色的信任关系中。
在 Amazon Redshift 生产者账户中创建 SageMaker Studio 必须承担的 IAM 角色才能访问 Amazon Redshift
要创建 SageMaker 将承担的用于访问 Amazon Redshift 的角色,请完成以下步骤:
- 在 Amazon Redshift 生产者账户中打开 IAM 控制台。
- 角色 在导航窗格中,然后选择 创建角色.
- 点击 选择可信实体 页面,选择 自定义信任策略.
- 在编辑器中输入以下自定义信任策略,并提供您的 SageMaker 消费者账户 ID 和您创建的 SageMaker 执行角色:
- 下一页.
- 点击 添加所需权限 页面,选择 建立政策.
- 添加以下示例策略并根据您的配置进行必要的编辑。
- 通过添加名称保存策略,例如
RedshiftROAPIUserAccess
.
SourceIdentity
属性用于将原始 SageMaker Studio 用户的身份与 Amazon Redshift 数据库用户联系起来。 然后可以使用 CloudTrail 和 Amazon Redshift 数据库审核日志来监控生产者账户中用户的操作。
- 点击 命名、审查和创建 页面,输入角色名称,查看设置,然后选择 创建角色.
更新 SageMaker Studio 在 Amazon Redshift 生产者账户中承担的 SageMaker 消费者账户中的 IAM 角色
要更新 SageMaker 执行角色以使其承担我们刚刚创建的角色,请完成以下步骤:
- 在 SageMaker 消费者账户中打开 IAM 控制台。
- 角色 在导航窗格中,然后选择我们创建的 SageMaker 执行角色 (
AmazonSageMaker-ExecutionRole-*
). - 在 权限策略 部分,关于 添加权限 菜单中选择 创建内联策略.
- 在编辑器中,在 JSON 选项卡,输入以下策略,其中 是您在 Amazon Redshift 生产者账户中创建的角色的 ARN:
您可以在 IAM 控制台获取 Amazon Redshift 生产者账户中创建的角色的 ARN,如以下屏幕截图所示。
- 审核政策.
- 针对 名称,输入您的策略的名称。
- 建立政策.
您的权限策略应类似于以下屏幕截图。
在 Amazon Redshift 生产者账户和 SageMaker Studio 使用者账户中的 VPC 之间设置对等连接
要在 SageMaker Studio VPC 和 Amazon Redshift VPC 之间建立通信,需要使用 VPC 对等互连对这两个 VPC 进行对等互连。 请完成以下步骤来建立连接:
- 在 Amazon Redshift 或 SageMaker 账户中,打开 Amazon VPC 控制台。
- 在导航窗格中,选择 对等连接,然后选择 创建对等连接.
- 针对 名称,输入连接的名称。
- 下 选择要与之对等的本地 VPC,选择本地VPC。
- 下 选择另一个 VPC 进行对等连接,指定同一区域中的另一个 VPC 和另一个账户。
- 创建对等连接。
- 查看 VPC 对等连接并选择 接受请求 激活。
成功建立 VPC 对等连接后,您可以在 SageMaker 和 Amazon Redshift VPC 上创建路由以完成它们之间的连接。
- 在 SageMaker 账户中,打开 Amazon VPC 控制台。
- 路由表 在导航窗格中,然后选择与 SageMaker 关联的 VPC 并编辑路由。
- 为目标 Amazon Redshift VPC 和目标添加 CIDR 作为对等连接。
- 此外,添加 NAT 网关。
- 保存更改.
- 在 Amazon Redshift 账户中,打开 Amazon VPC 控制台。
- 路由表 在导航窗格中,然后选择与 Amazon Redshift 关联的 VPC 并编辑路由。
- 添加目标 SageMaker VPC 的 CIDR 和目标作为对等连接。
- 此外,添加 Internet 网关。
- 保存更改.
您可以通过 VPC 中的接口终端节点从 VPC 连接到 SageMaker Studio,而不是通过互联网连接。 当您使用 VPC 接口终端节点时,您的 VPC 与 SageMaker API 或运行时之间的通信将在 AWS 网络内完全、安全地进行。
- 要创建 VPC 终端节点,请在 SageMaker 账户中打开 VPC 控制台。
- 端点 在导航窗格中,然后选择 创建端点.
- 指定 SageMaker VPC、相应的子网和适当的安全组,以允许 SageMaker 笔记本域的入站和出站 NFS 流量,然后选择 创建 VPC 终端节点.
在消费者账户中的 SageMaker Studio 中查询 Amazon Redshift
成功建立所有网络后,请按照本部分中的步骤使用适用于 pandas 库的 AWS 开发工具包连接到 SageMaker Studio 使用者账户中的 Amazon Redshift 集群:
- 在 SageMaker Studio 中,创建一个新笔记本。
- 如果未安装适用于 pandas 包的 AWS 开发工具包,您可以使用以下命令进行安装:
此安装不是持久性的,如果删除 KernelGateway 应用程序,该安装将会丢失。 自定义包可以添加为 生命周期配置.
- 在第一个单元格中输入以下代码并运行该代码。 代替
RoleArn
和region_name
基于您的帐户设置的值:
- 在新单元格中输入以下代码并运行该代码以获取当前的 SageMaker 用户配置文件名称:
- 在新单元格中输入以下代码并运行代码:
要成功查询 Amazon Redshift,您的数据库管理员需要为新创建的用户分配生产者账户中 Amazon Redshift 集群内所需的读取权限。
- 在新单元格中输入以下代码,更新查询以匹配您的 Amazon Redshift 表,然后运行该单元格。 这应该成功返回记录以进行进一步的数据处理和分析。
您现在可以开始根据您的业务需求构建数据转换和分析。
清理
要清理任何资源以避免产生重复费用,请删除 SageMaker VPC 终端节点、Amazon Redshift 集群以及 SageMaker Studio 应用程序、用户和域。 同时删除您创建的所有 S3 存储桶和对象。
结论
在本文中,我们展示了如何使用 VPC 对等在不同账户中的私有 Amazon Redshift 和 SageMaker Studio VPC 之间建立跨账户连接,并使用 IAM 角色链访问 SageMaker Studio 中的 Amazon Redshift 数据,同时在用户访问时记录用户身份。从 SageMaker Studio 访问 Amazon Redshift。 通过此解决方案,您无需在帐户之间手动移动数据即可访问数据。 我们还介绍了如何使用 SageMaker Studio 中的适用于 pandas 库的 AWS 开发工具包访问 Amazon Redshift 集群,并为您的 ML 用例准备数据。
要了解有关 Amazon Redshift 和 SageMaker 的更多信息,请参阅 Amazon Redshift 数据库开发人员指南 和 亚马逊 SageMaker 文档.
作者简介
苏普里亚·普拉贡德拉 是 AWS 的高级解决方案架构师。 她为关键客户客户的人工智能和机器学习之旅提供帮助。 她对数据驱动的人工智能和机器学习的深度领域充满热情。
马克卡普 是 Amazon SageMaker 团队的机器学习架构师。 他专注于帮助客户大规模设计、部署和管理 ML 工作负载。 在业余时间,他喜欢旅行和探索新的地方。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 10
- 100
- 11
- 13
- 14
- 15%
- 7
- 8
- 9
- a
- 关于
- ACCESS
- 访问
- 无障碍
- 访问
- 账号管理
- 账户
- 横过
- 操作
- 行动
- 活动
- 加
- 添加
- 添加
- 额外
- 管理员
- AI
- 所有类型
- 让
- 允许
- 已经
- 还
- Amazon
- 亚马逊Redshift
- 亚马逊SageMaker
- 亚马逊SageMaker Studio
- 亚马逊网络服务
- 其中
- an
- 分析
- 和
- 另一个
- 任何
- API
- 应用
- 适当
- 应用
- 架构
- 保健
- 国家 / 地区
- AS
- 相关
- 承担
- 假设
- At
- 攻击
- 审计
- 认证
- 可使用
- 避免
- AWS
- 基于
- BE
- 成为
- 因为
- 很
- 最佳
- 之间
- 都
- 建立
- 建筑物
- 商业
- by
- 呼叫
- 呼叫
- CAN
- 可以得到
- 例
- Center
- 一定
- 链
- 云端技术
- 云计算
- 簇
- 码
- 相当常见
- 沟通
- 相比
- 完成
- 计算
- 计算
- 流程条件
- 进行
- 配置
- 配置
- 分享链接
- 连接
- 地都
- 连接方式
- 安慰
- 消费者
- 控制
- 控制
- 核心
- 价格
- 成本
- 创建信息图
- 创建
- 创建
- 资历
- 电流
- 习俗
- 顾客
- 合作伙伴
- data
- 数据处理
- 数据共享
- 数据驱动
- 数据库
- 日期时间
- 部署
- 深度
- 描述
- 设计
- 目的地
- 开发商
- 研发支持
- 不同
- 直接
- do
- 域
- 下载
- 每
- 编辑
- 效果
- 或
- 消除
- enable
- 使
- 端点
- 输入
- 完全
- 环境
- 环境中
- 建立
- 成熟
- 事件
- 所有的
- 执行
- 现有
- 探索
- 外部
- 高效率
- (名字)
- 重点
- 遵循
- 以下
- 针对
- 止
- 充分
- 进一步
- 网关
- 得到
- 团队
- 组的
- 有
- he
- 帮助
- 帮助
- 高水平
- 他的
- 创新中心
- How To
- HTML
- HTTP
- HTTPS
- i
- ID
- 身分
- if
- 说明
- 影响力故事
- 进口
- 改善
- in
- 行业中的应用:
- 信息
- 安装
- 安装
- 安装
- 代替
- 说明
- 集成
- 接口
- 网络
- 互联网接入
- 成
- 隔离
- IT
- 旅程
- JPG
- JSON
- 只是
- 键
- 发射
- 推出
- 发射
- 层
- 学习用品
- 学习
- 库
- 自学资料库
- Line
- 本地
- 位于
- 日志
- 记录
- 看
- 丢失
- 机
- 机器学习
- 使
- 制作
- 管理
- 管理
- 手动
- 匹配
- 菜单
- 元数据
- 方法
- ML
- 时尚
- 模型
- 显示器
- 监控
- 监控
- 更多
- 移动
- 必须
- 姓名
- 旅游导航
- 必要
- 需求
- 需要
- 网络
- 工业网络
- 全新
- 新
- 节点
- 笔记本
- 现在
- 对象
- 对象
- of
- 经常
- on
- 一
- 仅由
- 打开
- or
- 组织
- 组织
- 原版的
- 其他名称
- 除此以外
- 我们的
- 超过
- 简介
- 包
- 包
- 页
- 大熊猫
- 面包
- 部分
- 尤其
- 通过
- 多情
- 窥视
- 演出
- 允许
- 权限
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 政策
- 帖子
- 功率
- 在练习上
- 预测
- Prepare
- 防止
- 校长
- 私立
- 处理
- 制片人
- 本人简介
- 简介
- 项目
- 提供
- 提供
- 优
- 国家
- 阅读
- 建议
- 记录
- 记录
- 经常性
- 减少
- 地区
- 关系
- 更换
- 请求
- 必须
- 岗位要求
- 需要
- 资源
- 资源
- 那些
- 回报
- 回报
- 检讨
- 风险
- 角色
- 角色
- 路线
- 运行
- sagemaker
- 同
- 可扩展性
- 鳞片
- SDK
- 部分
- 安全
- 安全
- 保安
- 选择
- 前辈
- 分开
- 分离
- 特色服务
- 会议
- 集
- 设置
- 几个
- 共享
- 她
- 应该
- 显示
- 如图
- 类似
- 简易
- 简化
- 单
- So
- 方案,
- 解决方案
- 具体的
- 特别是
- 指定
- 开始
- 州/领地
- 个人陈述
- 步
- 步骤
- 存储
- 存储
- 工作室
- 子网
- 子网
- 顺利
- 这样
- 表
- 目标
- 团队
- 队
- 临时
- 这
- 区域
- 其
- 他们
- 然后
- Free Introduction
- 通过
- 领带
- 次
- 至
- 工具
- 交通
- 培训
- 转换
- 旅游
- 信任
- 信任
- 转
- 二
- 类型
- 类型
- 一般
- 更新
- 使用
- 用过的
- 用户
- 用户
- 运用
- 价值观
- 版本
- 能见度
- 走
- 想
- 是
- we
- 卷筒纸
- Web服务
- 基于网络的
- 井
- ,尤其是
- 而
- 将
- 中
- 工作流程
- 书面
- 完全
- 您一站式解决方案
- 和风网