机器学习 (ML) 模型并不是孤立运行的。为了提供价值,它们必须集成到现有的生产系统和基础设施中,这需要在设计和开发过程中考虑整个机器学习生命周期。 ML 操作(称为 MLOps)专注于在整个生命周期中简化、自动化和监控 ML 模型。构建强大的 MLOps 管道需要跨职能协作。数据科学家、机器学习工程师、IT 员工和 DevOps 团队必须共同努力,实现从研究到部署和维护的模型的可操作性。借助正确的流程和工具,MLOps 使组织能够在其团队中可靠且高效地采用 ML。
尽管持续集成和持续交付 (CI/CD) 管道的要求可能是独特的并反映每个组织的需求,但可以通过使用托管编排和工具来简化跨团队扩展 MLOps 实践,这些编排和工具可以加速开发过程并消除无差别的繁重工作。
Amazon SageMaker MLOps 是一套功能,包括 亚马逊 SageMaker 项目 (持续集成/持续交付), Amazon SageMaker管道 和 Amazon SageMaker 模型注册表.
SageMaker管道 允许直接创建和管理 ML 工作流程,同时还为工作流程步骤提供存储和重用功能。这 SageMaker模型注册表 集中模型跟踪,简化模型部署。 SageMaker 项目 将 CI/CD 实践引入 ML,包括环境奇偶性、版本控制、测试和自动化。这样可以在您的 ML 环境中快速建立 CI/CD,从而促进整个企业的有效可扩展性。
内置的 项目模板 提供 亚马逊SageMaker 包括与一些第三方工具的集成,例如用于编排的 Jenkins 和用于源代码控制的 GitHub,并且有一些工具利用 AWS 原生 CI/CD 工具,例如 AWS 代码提交, AWS 代码管道及 AWS 代码构建。然而,在许多情况下,客户希望将 SageMaker Pipelines 与其他现有 CI/CD 工具集成,从而创建自定义项目模板。
在这篇文章中,我们向您展示了实现以下目标的分步实施:
- 创建与 GitHub 和 GitHub Actions 集成的自定义 SageMaker MLOps 项目模板
- 使您的自定义项目模板可用 亚马逊SageMaker Studio 为您的数据科学团队提供一键配置
解决方案概述
在这篇文章中,我们构建了以下架构。我们创建了一个自动化模型构建管道,其中包括数据准备、模型训练、模型评估以及在 SageMaker 模型注册表中注册经过训练的模型的步骤。然后,经过手动批准后,经过训练的 ML 模型就会从 SageMaker 模型注册表部署到临时和生产环境。
让我们深入研究该架构的元素以了解完整的配置。
GitHub 和 GitHub 操作
GitHub 是一个基于 Web 的平台,使用 Git 提供版本控制和源代码管理。它使团队能够在软件开发项目上进行协作、跟踪更改并管理代码存储库。 GitHub 是存储、版本和管理 ML 代码库的集中位置。这可确保您的 ML 代码库和管道得到版本控制、记录并可供团队成员访问。
GitHub动作 是 GitHub 生态系统中强大的自动化工具。它允许您创建自定义工作流程,以自动化软件开发生命周期流程,例如构建、测试和部署代码。您可以创建由特定事件触发的事件驱动工作流,例如将代码推送到存储库或创建拉取请求时。实现 MLOps 时,您可以使用 GitHub Actions 自动化 ML 管道的各个阶段,例如:
- 数据验证和预处理
- 模型训练和评估
- 模型部署与监控
- 适用于 ML 模型的 CI/CD
借助 GitHub Actions,您可以简化 ML 工作流程,并确保模型的构建、测试和部署保持一致,从而实现更高效、更可靠的 ML 部署。
在以下部分中,我们首先设置与我们用作此架构一部分的一些组件相关的先决条件:
- AWS CloudFormation – AWS CloudFormation 在经过训练的模型批准激活模型部署管道后,启动模型部署并建立 SageMaker 端点。
- AWS CodeStar 连接 - 我们用 AWS 代码之星 与 GitHub 存储库建立链接,并将其用作与 AWS 资源(例如 SageMaker Studio)集成的代码存储库。
- 亚马逊EventBridge – 亚马逊EventBridge 跟踪对模型注册表的所有修改。它还维护一条规则,当模型包版本的状态发生变化时,提示 Lambda 函数部署模型管道
PendingManualApproval
至Approved
在模型注册表中。 - AWS Lambda – 我们使用 AWS Lambda 函数用于在模型注册表中注册新模型后在 GitHub Actions 中启动模型部署工作流。
- 亚马逊SageMaker – 我们配置以下 SageMaker 组件:
- 管道 – 该组件由有向无环图 (DAG) 组成,可帮助我们构建数据准备、模型训练和模型评估阶段的自动化 ML 工作流程。模型注册表维护模型版本、其相关工件、沿袭和元数据的记录。建立模型包组,其中包含所有相关模型版本。模型注册中心还负责管理模型版本的审批状态以供后续部署。
- 端点 – 该组件设置两个 HTTPS 实时端点用于推理。例如,可以调整托管配置以进行批量转换或异步推理。当模型部署管道通过 SageMaker 模型注册表批准训练模型而激活时,会生成暂存端点。该端点用于验证已部署的模型,确保其提供满足我们准确性标准的预测。当模型准备好用于生产部署时,生产端点将通过 GitHub Actions 工作流程中的手动审批阶段进行部署。
- 代码库 – 这将创建一个 Git 存储库作为您的 SageMaker 帐户中的资源。使用您在创建 SageMaker 项目期间输入的 GitHub 代码存储库中的现有数据,当您启动项目时,会在 SageMaker 中建立与同一存储库的关联。这实质上形成了与 SageMaker 中的 GitHub 存储库的链接,从而支持与存储库的交互操作(拉/推)。
- 模型注册 – 这监视模型的各个版本和相应的工件,其中包括沿袭和元数据。一个称为 模型包装组 创建后,住房模型的相关版本。此外,模型注册中心还负责监督模型版本的审批状态,确保其为后续部署做好准备。
- AWS机密管理器 – 为了安全地保存您的 GitHub 个人访问令牌,有必要在 AWS机密管理器 并将您的访问令牌存放在其中。
- AWS服务目录 – 我们使用 AWS服务目录 用于实施 SageMaker 项目,其中包括 SageMaker 代码存储库、Lambda 函数、EventBridge 规则、工件 S3 存储桶等组件,全部通过 CloudFormation 实施。这允许您的组织重复使用项目模板、将项目分配给每个用户并简化操作。
- Amazon S3 – 我们使用 亚马逊简单存储服务 (Amazon S3) 存储桶,用于保存管道生成的模型工件。
先决条件
您应该具备以下先决条件:
在实施解决方案之前,您还必须完成其他设置步骤。
设置 AWS CodeStar 连接
如果您还没有与 GitHub 账户建立 AWS CodeStar 连接,请参阅 创建与 GitHub 的连接 获取创建说明。您的 AWS CodeStar 连接 ARN 将如下所示:
在这个例子中, aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
是此连接的唯一 ID。稍后在本示例中创建 SageMaker 项目时,我们将使用此 ID。
为您的 GitHub 令牌设置秘密访问密钥
要安全地存储您的 GitHub 个人访问令牌,您需要在 Secrets Manager 中创建一个密钥。如果您没有 GitHub 的个人访问令牌,请参阅 管理您的个人访问令牌 有关创建一个的说明。
您可以创建经典或细粒度的访问令牌。但是,请确保令牌有权访问存储库的内容和操作(工作流、运行和工件)。
完成以下步骤以将您的令牌存储在 Secrets Manager 中:
- 在Secrets Manager控制台上,选择 储存新秘密.
- 选择 其他类型的秘密 选择秘密类型.
- 在中为您的秘密提供一个名称 键 字段并将您的个人访问令牌添加到相应的 值 领域。
- 下一页,输入您的秘密的名称,然后选择 下一页 一次。
- 线上商城 来保存你的秘密。
通过将您的 GitHub 个人访问令牌存储在 Secrets Manager 中,您可以在 MLOps 管道中安全地访问它,同时确保其机密性。
为 GitHub Actions 创建 IAM 用户
要允许 GitHub Actions 在您的 AWS 环境中部署 SageMaker 终端节点,您需要创建一个 AWS身份和访问管理 (IAM) 用户并授予其必要的权限。有关说明,请参阅 在您的 AWS 账户中创建 IAM 用户。 使用 iam/GithubActionsMLOpsExecutionPolicy.json
文件(在 代码示例) 为该用户提供足够的权限来部署您的端点。
创建 IAM 用户后, 生成访问密钥。在配置 GitHub 机密的后续步骤中,您将使用此密钥,它由访问密钥 ID 和秘密访问密钥组成。
设置您的 GitHub 帐户
以下是准备 GitHub 帐户以运行此示例的步骤。
克隆 GitHub 存储库
您可以在本示例中重复使用现有的 GitHub 存储库。但是,如果您创建一个新的存储库会更容易。该存储库将包含 SageMaker 管道构建和部署的所有源代码。
将种子代码目录的内容复制到 GitHub 存储库的根目录中。例如, .github
目录应该位于 GitHub 存储库的根目录下。
创建包含您的 IAM 用户访问密钥的 GitHub 密钥
在此步骤中,我们将新创建用户的访问密钥详细信息存储在我们的 GitHub 的秘密.
- 在 GitHub 网站上,导航到您的存储库并选择 个人设置.
- 在安全部分中,选择 秘密和变量 并选择 行动.
- 新存储库秘密.
- 针对 名称,输入
AWS_ACCESS_KEY_ID
- 针对 秘密,输入与您之前创建的 IAM 用户关联的访问密钥 ID。
- 添加秘密.
- 重复相同的过程
AWS_SECRET_ACCESS_KEY
配置您的 GitHub 环境
为了在我们的部署管道中创建手动批准步骤,我们使用 GitHub环境. 完成以下步骤:
- 导航到 个人设置, 环境 GitHub 存储库的菜单并创建一个名为“生产”的新环境。
- 针对 环境保护规则, 选择 所需审稿人.
- 添加所需的 GitHub 用户名作为审阅者。对于本示例,您可以选择自己的用户名。
请注意,环境功能在某些类型的 GitHub 计划中不可用。欲了解更多信息,请参阅 使用环境进行部署.
部署 Lambda 函数
在下面的步骤中,我们压缩 lambda_function.py
生成 .zip 文件,然后将其上传到 S3 存储桶。
相关的代码示例可以在下面找到 GitHub回购。 具体来说, lambda_function.py
位于 lambda_functions/lambda_github_workflow_trigger 目录。
建议创建代码示例的分支并克隆它。这将使您可以自由地修改代码并尝试示例的不同方面。
- 获得代码副本后,导航到相应的目录并使用
zip
压缩命令lambda_function.py
。 Windows 和 MacOS 用户都可以分别使用其本机文件管理系统、文件资源管理器或 Finder 来生成 .zip 文件。
- 上载
lambda-github-workflow-trigger.zip
到 S3 存储桶。
此存储桶稍后将由服务目录访问。您可以选择您有权访问的任何存储桶,只要 Service Catalog 能够在后续步骤中从中检索数据即可。
从这一步开始,我们需要安装和配置 AWS CLI v2。另一种选择是使用 AWS CloudShell,它预装了所有必要的工具,无需任何额外的配置。
- 要将文件上传到 S3 存储桶,请使用以下命令:
现在我们为与相关的依赖关系构建一个 Lambda 层 lambda_function
我们刚刚上传。
- 设置Python虚拟环境并安装依赖项:
- 使用以下命令生成 .zip 文件:
- 将图层发布到 AWS:
发布此层后,您的所有 Lambda 函数现在都可以引用它来满足其依赖关系。要更详细地了解 Lambda 层,请参阅 使用 Lambda 层.
在 SageMaker 中创建自定义项目模板
完成上述所有步骤后,我们就拥有了所有 CI/CD 管道资源和组件。接下来,我们将演示如何将这些资源作为 SageMaker Studio 中的自定义项目提供,并通过一键部署进行访问。
如前所述,当 SageMaker 提供的模板无法满足您的需求时(例如,您希望在 CodePipeline 中进行更复杂的编排,具有多个阶段、自定义审批步骤或与第三方工具(例如 GitHub 和 GitHub actions)集成在这篇文章中演示),您可以创建自己的模板。我们建议从 SageMaker 提供的模板开始,了解如何组织代码和资源并在此基础上进行构建。欲了解更多详情,请参阅 创建自定义项目模板.
请注意,您还可以自动执行此步骤,并使用 CloudFormation 通过代码部署服务目录组合和产品。然而,在这篇文章中,为了获得更好的学习体验,我们向您展示了控制台部署。
在此阶段,我们使用提供的 CloudFormation 模板创建服务目录组合,帮助我们在 SageMaker 中创建自定义项目。
您可以创建新域或重复使用您的 SageMaker 域来执行以下步骤。如果您没有域名,请参阅 使用快速设置加入 Amazon SageMaker 域 有关设置说明。
启用管理员对 SageMaker 模板的访问权限后,请完成以下步骤:
- 在 Service Catalog 控制台上的下 行政和支持部门 在导航窗格中,选择 投资组合.
- 创建一个新的投资组合.
- 将组合命名为“SageMaker 组织模板”。
- 下载 模板.yml 文件到您的计算机。
此 Cloud Formation 模板提供了我们所需的所有 CI/CD 资源作为配置和基础设施即代码。您可以更详细地研究该模板,以了解其中部署了哪些资源。该模板经过定制,可与 GitHub 和 GitHub Actions 集成。
- 在
template.yml
文件,更改S3Bucket
值到您上传 Lambda .zip 文件的存储桶:
- 选择新的投资组合。
- 上载新产品.
- 针对 产品名称¸ 输入模板的名称。我们使用这个名字
build-deploy-github
. - 针对 课程描述,输入说明。
- 针对 所有者, 输入你的名字。
- 下 版本详细信息,为 付款方式,选择 使用模板文件.
- 上载模板.
- 上载您下载的模板。
- 针对 版本标题,选择 1.0.
- 评论.
- 查看您的设置并选择 创建产品.
- 刷新 列出新产品。
- 选择您刚创建的产品。
- 点击 标签 标签,将以下标签添加到产品中:
- 键 =
sagemaker:studio-visibility
- 值 =
true
- 键 =
回到投资组合详细信息,您应该会看到类似于以下屏幕截图的内容(具有不同的 ID)。
- 点击 限制 标签,选择 创建约束.
- 针对 产品,选择
build-deploy-github
(您刚创建的产品)。 - 针对 约束 类型,选择 实行.
- 下 发射限制,为 付款方式,选择 选择IAM角色.
-
AmazonSageMakerServiceCatalogProductsLaunchRole
. - 创建.
- 点击 组,角色和用户 标签,选择 添加组,角色,用户.
- 点击 角色 选项卡中,选择您在配置 SageMaker Studio 域时使用的角色。这是可以找到 SageMaker 域角色的位置。
- 添加访问权限.
从 SageMaker Studio 部署项目
在前面的部分中,您准备了自定义 MLOps 项目环境。现在,让我们使用此模板创建一个项目:
- 在 SageMaker 控制台上,导航到您要创建此项目的域。
- 点击 实行 菜单中选择 GOHAT STUDIO.
您将被重定向到 SageMaker Studio 环境。
- 在 SageMaker Studio 的导航窗格中 部署,选择 项目.
- 创建项目.
- 在模板列表的顶部,选择 组织模板.
如果您已成功完成前面的所有步骤,您应该能够看到一个名为的新自定义项目模板 Build-Deploy-GitHub
.
- 选择该模板并选择 选择项目模板.
- 输入可选描述。
- 针对 GitHub 存储库所有者名称,输入 GitHub 存储库的所有者。例如,如果您的存储库位于
https://github.com/pooyavahidi/my-repo
,所有者将是pooyavahidi
. - 针对 GitHub 存储库名称,输入您将种子代码复制到的存储库的名称。这只是存储库的名称。例如,在
https://github.com/pooyavahidi/my-repo
,回购协议是my-repo
. - 针对 Codestar 连接唯一 ID,输入您创建的 AWS CodeStar 连接的唯一 ID。
- 针对 Secrets Manager 中存储 GitHub 令牌的密钥名称,在 Secrets Manager 中输入您在其中创建和存储 GitHub 令牌的密钥的名称。
- 针对 用于部署的 GitHub 工作流程文件,输入 GitHub 工作流程文件的名称(位于
.github/workflows/deploy.yml
)其中有部署说明。对于本例,您可以保留默认值,即deploy.yml
. - 创建项目.
- 创建项目后,请确保更新
AWS_REGION
和SAGEMAKER_PROJECT_NAME
GitHub 工作流程文件中相应的环境变量。工作流程文件位于您的 GitHub 存储库(从种子代码复制)中,位于.github/workflows
目录。确保同时更新build.yml
和deploy.yml
文件。
现在您的环境已准备就绪!您可以直接运行管道,进行更改,并将这些更改推送到 GitHub 存储库以触发自动构建管道,并查看构建和部署的所有步骤如何自动化。
清理
要清理资源,请完成以下步骤:
- 删除用于 SageMaker 项目和 SageMaker 终端节点的 CloudFormation 堆栈。
- 删除 SageMaker 域。
- 删除服务目录资源。
- 删除 AWS CodeStar 与 GitHub 存储库的连接链接。
- 删除您为 GitHub Actions 创建的 IAM 用户。
- 删除 Secrets Manager 中存储 GitHub 个人访问详细信息的密钥。
总结
在这篇文章中,我们演练了使用自定义 SageMaker MLOps 项目模板自动构建和组织 CI/CD 管道的过程。该管道有效地将您现有的 CI/CD 机制与 SageMaker 功能集成,以进行数据操作、模型训练、模型批准和模型部署。在我们的场景中,我们专注于将 GitHub Actions 与 SageMaker 项目和管道集成。如需全面了解实施细节,请访问 GitHub存储库。请随意尝试一下,并随时在评论部分留下您可能有的任何疑问。
作者简介
罗米娜·沙里普尔博士 是 Amazon Web Services (AWS) 的高级机器学习和人工智能解决方案架构师。她花了 10 多年的时间,领导通过机器学习和人工智能的进步实现创新的端到端解决方案的设计和实施。 Romina 感兴趣的领域是自然语言处理、大型语言模型和 MLOps。
普亚·瓦希迪 是 AWS 的高级解决方案架构师,热衷于计算机科学、人工智能和云计算。作为一名 AI 专业人士,他是 AWS AI/ML Area-of-Depth 团队的活跃成员。他在领导大型解决方案的架构和工程方面拥有二十多年的专业知识背景,通过云和 AI/ML 技术帮助客户踏上变革之旅。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- Able
- 关于
- 以上
- 加快
- ACCESS
- 访问
- 无障碍
- 因此
- 账号管理
- 横过
- 行动
- 要积极。
- 无环
- 加
- 额外
- 调整
- 采用
- 进步
- 后
- 再次
- AI
- AI / ML
- 所有类型
- 分配
- 让
- 允许
- 已经
- 还
- 替代
- Amazon
- 亚马逊SageMaker
- Amazon SageMaker管道
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- an
- 和
- 和基础设施
- 任何
- 适当
- 批准
- 架构
- 保健
- 地区
- 人造的
- 人工智能
- AS
- 方面
- 相关
- 社区
- At
- 自动化
- 自动化
- 自动
- 自动化
- 自动化和干细胞工程
- 可使用
- AWS
- 背景
- 基地
- BE
- 很
- before
- 都
- 建立
- 建筑物
- 建立
- 建
- 内建的
- by
- 被称为
- CAN
- 能力
- 检索目录
- CD
- 集中
- 更改
- 更改
- 经典
- 清洁
- 点击
- 云端技术
- 云计算
- 码
- 代码库
- 合作
- 合作
- 采集
- 购买的订单均
- 注释
- 完成
- 完成
- 复杂
- 元件
- 组件
- 全面
- 一台
- 计算机科学
- 计算
- 保密
- 配置
- 配置
- 配置
- 地都
- 考虑
- 始终如一
- 由
- 安慰
- 建设
- 包含
- Contents
- 连续
- 控制
- 相应
- 创建信息图
- 创建
- 创建
- 创造
- 创建
- 习俗
- 合作伙伴
- 定制
- DAG
- data
- 资料准备
- 数据科学
- 几十年
- 默认
- 交付
- 交货
- 钻研
- 需求
- 演示
- 证明
- 依赖
- 部署
- 部署
- 部署
- 部署
- 部署
- 描述
- 设计
- 期望
- 细节
- 详细
- 详情
- 研发支持
- 不同
- 针对
- 直接
- 讨论
- do
- 域
- 别
- ,我们将参加
- 每
- 此前
- 更容易
- 生态系统
- 有效
- 只
- 高效
- 有效
- 或
- 分子
- 消除
- enable
- 启用
- 使
- 使
- 端至端
- 端点
- 工程师
- 工程师
- 确保
- 确保
- 保证
- 输入
- 企业
- 整个
- 环境
- 环境中
- 本质上
- 建立
- 成熟
- 建立
- 编制
- 等
- 评估
- 事件
- 例子
- 现有
- 体验
- 实验
- 专门知识
- 探险家
- 促进
- 专栏
- 特征
- 感觉
- 部分
- 文件
- 档
- 发现者
- 专注焦点
- 重点
- 以下
- 针对
- 叉
- 训练
- 形式
- 发现
- 自由的
- Freedom
- 止
- 功能
- 功能
- 生成
- 产生
- 得到
- 混帐
- GitHub上
- 给
- 去
- 走了
- 授予
- 图形
- 更大的
- 团队
- 组的
- 有
- he
- 重
- 举重
- 帮助
- 托管
- 别墅
- 房屋
- 住房
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- ID
- 身分
- IDS
- if
- 履行
- 实施
- 实施
- in
- 包括
- 包括
- 包含
- 信息
- 基础设施
- 开始
- 同修
- 创新
- 输入
- 内
- 安装
- 安装
- 例
- 代替
- 说明
- 整合
- 集成
- 整合
- 积分
- 房源搜索
- 互动
- 兴趣
- 成
- 推出
- 隔离
- IT
- 它的
- 旅程
- JPG
- JSON
- 只是
- 保持
- 保持
- 键
- 键
- 已知
- 语言
- 大
- 大规模
- 后来
- 发射
- 层
- 层
- 领导
- 学习
- 离开
- 生命周期
- 翻新
- 喜欢
- 血统
- 友情链接
- 清单
- 位于
- 圖書分館的位置
- 长
- 看
- 看起来像
- 机
- 机器学习
- MacOS的
- 维护
- 保养
- 使
- 管理
- 管理
- 颠覆性技术
- 经理
- 管理的
- 操作
- 手册
- 许多
- 机制
- 满足
- 会员
- 成员
- 菜单
- 元数据
- 可能
- 麻省理工学院简介
- ML
- 多播
- 模型
- 模型
- 修改
- 修改
- 监控
- 显示器
- 更多
- 更高效
- 此外
- 多
- 必须
- 姓名
- 命名
- 名称
- 本地人
- 自然
- 自然语言处理
- 导航
- 旅游导航
- 必要
- 必须
- 需求
- 需要
- 全新
- 新产品
- 新
- 下页
- 现在
- 获得
- of
- 提供
- on
- 一
- 向前
- 操作
- 运营
- or
- 管弦乐编曲
- 组织
- 组织
- 其他名称
- 我们的
- 超过
- 简介
- 己
- 业主
- 包
- 面包
- 平价
- 部分
- 党
- 多情
- 权限
- 个人
- 管道
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 个人档案
- 帖子
- 强大
- 做法
- 预测
- 准备
- Prepare
- 准备
- 先决条件
- 以前
- 程序
- 过程
- 过程
- 处理
- 生成
- 产品
- 生产
- 所以专业
- 项目
- 项目
- 提示
- 保护
- 提供
- 提供
- 提供
- 出版
- 推
- 蟒蛇
- 查询
- 快速
- 准备就绪
- 准备
- 实时的
- 建议
- 建议
- 记录
- 参考
- 参考
- 反映
- 在相关机构注册的
- 注册
- 注册处
- 有关
- 相应
- 可靠
- 去掉
- 反复
- 知识库
- 请求
- 要求
- 岗位要求
- 研究
- 资源
- 资源
- 分别
- 提供品牌战略规划
- 导致
- 重用
- 右
- 健壮
- 角色
- 角色
- 根
- 第
- 运行
- 运行
- sagemaker
- SageMaker管道
- 同
- 保存
- 可扩展性
- 缩放
- 脚本
- 情景
- 科学
- 科学家
- 秘密
- 秘密
- 部分
- 部分
- 安全
- 保安
- 看到
- 种子
- 选择
- 前辈
- 服务
- 服务
- 特色服务
- 套数
- 设置
- 设置
- 格局
- 几个
- 她
- 应该
- 显示
- 类似
- 简易
- 简
- 简化
- 软件
- 软件开发
- 方案,
- 解决方案
- 一些
- 东西
- 来源
- 源代码
- 张力
- 具体的
- 特别是
- 花费
- 堆栈
- 团队
- 阶段
- 实习
- 分期
- 标准
- 开始
- 开始
- Status
- 步
- 步骤
- 存储
- 商店
- 存储
- 商店
- 存储
- 简单的
- 精简
- 精简
- 工作室
- 学习
- 随后
- 顺利
- 这样
- 足够
- 套房
- 肯定
- 系统
- 产品
- 行李牌
- 团队
- 团队成员
- 队
- 技术
- 模板
- 模板
- 测试
- 测试
- 这
- 其
- 然后
- 因此
- 博曼
- 他们
- 第三
- 第三方
- Free Introduction
- 那些
- 通过
- 始终
- 至
- 一起
- 象征
- 工具
- 工具
- 最佳
- 跟踪时
- 跟踪
- 熟练
- 产品培训
- 改造
- 变革
- 触发
- 引发
- 二
- 类型
- 类型
- 下
- 理解
- 理解
- 独特
- 更新
- 上传
- 上
- us
- 使用
- 用过的
- 用户
- 用户
- 运用
- 利用
- 利用
- 验证
- 验证
- 折扣值
- 各个
- 版本
- 版本
- 通过
- 在线会议
- 参观
- 走
- 想
- we
- 卷筒纸
- Web服务
- 基于网络的
- 您的网站
- 什么是
- ,尤其是
- 这
- 而
- 将
- 窗户
- 中
- 工作
- 一起工作
- 工作流程
- 工作流程
- 将
- 年
- 完全
- 您一站式解决方案
- 和风网
- 压缩