这篇文章是与 Wipro 的 AWS AI/ML Practice 的 Bhajandeep Singh 和 Ajay Vishwakarma 合作撰写的。
许多组织一直在结合使用本地和开源数据科学解决方案来创建和管理机器学习 (ML) 模型。
数据科学和 DevOps 团队可能面临管理这些孤立的工具堆栈和系统的挑战。集成多个工具堆栈来构建紧凑的解决方案可能涉及构建自定义连接器或工作流程。根据每个堆栈的当前版本管理不同的依赖项并通过发布每个堆栈的新更新来维护这些依赖项使解决方案变得复杂。这增加了基础设施维护成本并降低了生产力。
人工智能 (AI) 和机器学习 (ML) 产品 亚马逊网络服务(AWS)以及集成的监控和通知服务,帮助组织以最佳成本实现所需的自动化、可扩展性和模型质量水平。 AWS 还帮助数据科学和开发运营团队协作并简化整个模型生命周期流程。
AWS ML 服务组合包括一组强大的服务,您可以使用它们来加速机器学习应用程序的开发、培训和部署。该服务套件可用于支持完整的模型生命周期,包括监控和重新训练 ML 模型。
在这篇文章中,我们讨论了 Wipro 的一位客户的模型开发和 MLOps 框架实施,该客户使用 亚马逊SageMaker 和其他 AWS 服务。
维普罗是一个 AWS 高级级服务合作伙伴 和托管服务提供商 (MSP)。它是 人工智能/机器学习解决方案 为许多企业客户提高运营效率、生产力和客户体验。
当前的挑战
让我们首先了解客户的数据科学和 DevOps 团队在当前设置中面临的一些挑战。然后,我们可以检查集成的 SageMaker AI/ML 产品如何帮助解决这些挑战。
- 协作——数据科学家每个人都在自己的本地 Jupyter 笔记本上工作,以创建和训练 ML 模型。他们缺乏与其他数据科学家共享和协作的有效方法。
- 可扩展性——随着模型变得越来越复杂,训练和重新训练 ML 模型需要越来越多的时间,而分配的基础设施容量却保持不变。
- MLOps – 模型监控和持续治理并未与 ML 模型紧密集成和自动化。将第三方工具集成到 MLOps 管道中存在依赖性和复杂性。
- 可重用性——如果没有可重用的 MLOps 框架,每个模型都必须单独开发和管理,这会增加总体工作量并延迟模型的操作化。
该图总结了挑战以及 Wipro 在 SageMaker 上的实施如何通过内置 SageMaker 服务和产品解决这些挑战。
Wipro 定义了一种架构,能够以成本优化和完全自动化的方式应对挑战。
以下是用于构建解决方案的用例和模型:
- 用例: 基于二手车数据集的价格预测
- 问题类型: 数据复原测试
- 使用型号: XGBoost 和 Linear Learner(SageMaker 内置算法)
解决方案架构
Wipro 顾问与客户的数据科学、开发运营和数据工程团队举办了一次深入探索研讨会,以了解当前环境以及他们对 AWS 上的现代解决方案的要求和期望。在咨询结束时,团队已经实施了以下架构,有效地满足了客户团队的核心需求,包括:
代码共享 – SageMaker 笔记本使数据科学家能够进行实验并与其他团队成员共享代码。 Wipro 通过实施 Wipro 的代码加速器和片段来加快特征工程、模型训练、模型部署和管道创建,进一步加速了他们的 ML 模型之旅。
持续集成和持续交付 (CI/CD) 管道 – 使用客户的 GitHub 存储库启用代码版本控制和自动化脚本,以便在提交新版本的代码时启动管道部署。
多播 – 该架构通过按照定义的时间表验证数据和模型漂移,实现了 SageMaker 模型监控管道,以实现持续的模型质量治理。每当检测到偏差时,就会启动一个事件,通知各个团队采取行动或启动模型重新训练。
事件驱动架构 – 模型训练、模型部署和模型监控的管道通过使用很好地集成 亚马逊EventBridge,无服务器事件总线。当定义的事件发生时,EventBridge 可以调用管道来运行以进行响应。这提供了一组松散耦合的管道,可以根据需要运行以响应环境。
解决方案组件
本节介绍该架构的各种解决方案组件。
实验笔记本
- 宗旨:客户的数据科学团队希望尝试各种数据集和多个模型,以得出最佳特征,并将这些特征用作自动化管道的进一步输入。
- 解决方案: Wipro 创建了 SageMaker 实验笔记本,其中包含每个可重用步骤的代码片段,例如读取和写入数据、模型特征工程、模型训练和超参数调整。特征工程任务也可以在 Data Wrangler 中准备,但客户特别要求 SageMaker 处理作业和 AWS步骤功能 因为他们更愿意使用这些技术。我们使用 AWS 步骤函数数据科学 SDK 直接从笔记本实例创建用于流程测试的步骤函数,以便为管道提供明确定义的输入。这帮助数据科学家团队以更快的速度创建和测试管道。
自动化训练管道
- 宗旨:使用可配置参数(例如实例类型、超参数和 亚马逊简单存储服务(Amazon S3) 桶位置。管道还应该由到 S3 的数据推送事件启动。
- 解决方案: Wipro 使用 Step Functions SDK、SageMaker 处理、训练作业、用于生成基线的 SageMaker 模型监控容器实现了可重复使用的训练管道, AWS Lambda和 EventBridge 服务。使用 AWS 事件驱动架构,管道被配置为根据推送到映射的 S3 存储桶的新数据事件自动启动。通知配置为发送到定义的电子邮件地址。从较高层面来看,训练流程如下图所示:
自动化训练管道的流程描述
上图是使用 Step Functions、Lambda 和 SageMaker 构建的自动化训练管道。它是一个可重用的管道,用于设置自动化模型训练、生成预测、创建模型监控和数据监控的基线,以及根据先前的模型阈值创建和更新端点。
- 预处理: 此步骤将来自 Amazon S3 位置的数据作为输入,并使用 SageMaker SKLearn 容器执行必要的功能工程和数据预处理任务,例如训练、测试和验证拆分。
- 模型训练: 使用 SageMaker SDK,此步骤使用相应的模型图像运行训练代码,并通过预处理脚本训练数据集,同时生成经过训练的模型工件。
- 保存模型: 此步骤根据经过训练的模型工件创建模型。模型名称存储在另一个管道中以供参考 AWS Systems Manager参数存储.
- 查询训练结果: 此步骤调用 Lambda 函数以从早期模型训练步骤中获取已完成训练作业的指标。
- RMSE 阈值: 此步骤根据定义的阈值验证经过训练的模型指标 (RMSE),以决定是继续进行端点部署还是拒绝该模型。
- 模型精度太低: 在此步骤中,将根据先前的最佳模型检查模型准确性。如果模型在指标验证时失败,通知将由 Lambda 函数发送到注册的目标主题 亚马逊简单通知服务(Amazon SNS)。如果此检查失败,流程将退出,因为新训练的模型未达到定义的阈值。
- 基线作业数据漂移: 如果经过训练的模型通过了验证步骤,则会为此经过训练的模型版本生成基线统计数据以启用监控,并运行并行分支步骤来生成模型质量检查的基线。
- 创建模型端点配置: 此步骤为上一步中评估的模型创建端点配置 启用数据捕获 组态。
- 检查端点: 此步骤检查端点是否存在或需要创建。根据输出,下一步是创建或更新端点。
- 导出配置: 此步骤将参数的模型名称、端点名称和端点配置导出到 AWS系统经理 参数存储。
警报和通知配置为在状态机状态更改失败或成功时发送到配置的 SNS 主题电子邮件。 XGBoost 模型重复使用相同的管道配置。
自动批量评分管道
- 目的: 一旦评分输入批次数据在相应的 Amazon S3 位置可用,就启动批次评分。批量评分应使用最新注册的型号进行评分。
- 解决方案: Wipro 使用 Step Functions SDK、SageMaker 批量转换作业、Lambda 和 EventBridge 实施了可重复使用的评分管道。该管道是根据相应 S3 位置的新评分批次数据可用性自动触发的。
自动批量评分管道的流程说明:
- 预处理: 此步骤的输入是来自相应 S3 位置的数据文件,并在调用 SageMaker 批量转换作业之前执行所需的预处理。
- 评分: 此步骤运行批量转换作业以生成推理,调用注册模型的最新版本并将评分输出存储在 S3 存储桶中。 Wipro 使用了 SageMaker 批量转换 API 的输入过滤器和连接功能。它有助于丰富评分数据,以便做出更好的决策。
- 在此步骤中,状态机管道由 S3 存储桶中的新数据文件启动。
该通知配置为在状态机状态更改失败/成功时发送到配置的 SNS 主题电子邮件。
实时推理管道
- 目的: 启用来自两个模型(Linear Learner 和 XGBoost)端点的实时推理,并获取要返回到应用程序的最大预测值(或通过使用可编写为 Lambda 函数的任何其他自定义逻辑)。
- 解决方案: Wipro 团队使用以下方法实现了可重用架构 Amazon API网关、Lambda 和 SageMaker 端点,如图 6 所示:
实时推理管道的流程描述如图6所示:
- 负载从应用程序发送到 Amazon API Gateway,后者将其路由到相应的 Lambda 函数。
- Lambda 函数(具有集成的 SageMaker 自定义层)执行所需的预处理、JSON 或 CSV 负载格式化,并调用相应的端点。
- 响应返回到 Lambda 并通过 API Gateway 发送回应用程序。
客户将此管道用于中小型模型,其中包括使用各种类型的开源算法。 SageMaker 的主要优势之一是可以将各种类型的算法引入 SageMaker 并使用自带容器 (BYOC) 技术进行部署。 BYOC 涉及容器化算法并将图像注册到 Amazon 弹性容器注册表 (Amazon ECR),然后使用相同的图像创建容器来进行训练和推理。
扩展是机器学习周期中最大的问题之一。 SageMaker 附带了在推理过程中扩展模型所需的工具。在上述架构中,用户需要启用SageMaker的自动扩展,最终由SageMaker来处理工作负载。要启用自动扩展,用户必须提供自动扩展策略,该策略要求每个实例的吞吐量以及最大和最小实例。在适当的策略内,SageMaker 自动处理实时端点的工作负载,并在需要时在实例之间切换。
自定义模型监控管道
- 目的: 客户团队希望通过自动化模型监控来捕获数据漂移和模型漂移。 Wipro 团队使用 SageMaker 模型监控来实现数据漂移和模型漂移,并通过可重复使用的管道进行实时推理和批量转换。请注意,在该解决方案的开发过程中,SageMaker 模型监控没有提供检测数据或数据的功能。批量转换的模型漂移。我们已经实现了自定义,以将模型监视器容器用于批量转换有效负载。
- 解决方案: Wipro 团队使用以下方法实现了可重用的模型监控管道,用于实时和批量推理有效负载 AWS胶水 捕获增量有效负载并根据定义的计划调用模型监控作业。
自定义模型监控管道的流程说明:
管道根据通过 EventBridge 配置的定义计划运行。
- CSV 合并 – 它使用 AWS Glue 书签功能来检测实时数据捕获和响应以及批量数据响应的定义 S3 存储桶中是否存在增量负载。然后它会聚合这些数据以进行进一步处理。
- 评估有效载荷 – 如果当前运行存在增量数据或有效负载,则会调用监控分支。否则,它会绕过而不进行处理并退出作业。
- 后期处理 – 监控分支被设计为具有两个并行的子分支——一个用于数据漂移,另一个用于模型漂移。
- 监控(数据漂移) – 只要存在有效负载,数据漂移分支就会运行。它使用最新训练的模型基线约束和通过数据特征的训练管道生成的统计文件并运行模型监控作业。
- 监控(模型漂移) – 模型漂移分支仅在提供地面实况数据以及推理有效负载时运行。它使用经过训练的模型基线约束和通过训练管道生成的统计文件来获取模型质量特征,并运行模型监控作业。
- 评估漂移 – 数据和模型漂移的结果是一个约束违规文件,由评估漂移 Lambda 函数进行评估,该函数将包含漂移详细信息的通知发送到相应的 Amazon SNS 主题。通过添加用于报告目的的属性,漂移数据进一步丰富。偏差通知电子邮件将类似于图 8 中的示例。
Amazon QuickSight 可视化的见解:
- 目的: 客户希望深入了解数据和模型漂移,将漂移数据与相应的模型监控作业相关联,并找出推理数据趋势以了解干扰数据趋势的本质。
- 解决方案: Wipro 团队通过将输入数据与漂移结果连接起来丰富了漂移数据,从而实现了从漂移到监控和相应评分数据的分类。可视化和仪表板是使用创建的 亚马逊QuickSight 亚马逊雅典娜 作为数据源(使用 Amazon S3 CSV 评分和漂移数据)。
设计注意事项:
- 使用 QuickSight SPICE 数据集可获得更好的内存性能。
- 使用 QuickSight 刷新数据集 API 来自动执行 SPICE 数据刷新。
- 为仪表板和分析访问控制实施基于组的安全性。
- 跨账户,使用 QuickSight 提供的导出和导入数据集、数据源和分析 API 调用来自动化部署。
模型监控仪表板:
为了获得模型监控作业的有效结果和有意义的见解,为模型监控数据创建了自定义仪表板。输入数据点与推理请求数据、作业数据和监控输出并行组合,以创建模型监控揭示的趋势的可视化。
这确实帮助客户团队可视化各种数据特征的各个方面以及每批推理请求的预测结果。
结论
本文中解释的实施使 Wipro 能够有效地将其本地模型迁移到 AWS 并构建可扩展的自动化模型开发框架。
使用可重用框架组件使数据科学团队能够有效地将其工作打包为可部署的 AWS Step Functions JSON 组件。同时,DevOps 团队使用并增强了自动化 CI/CD 管道,以促进模型在更高环境中的无缝升级和再训练。
模型监控组件可以持续监控模型性能,只要检测到数据或模型漂移,用户就会收到警报和通知。
客户的团队正在使用此 MLOps 框架来迁移或开发更多模型并提高 SageMaker 的采用率。
通过利用全面的 SageMaker 服务套件与我们精心设计的架构相结合,客户可以无缝地加载多个模型,从而显着缩短部署时间并降低与代码共享相关的复杂性。此外,我们的架构简化了代码版本维护,确保简化的开发流程。
该架构处理整个机器学习周期,包括自动化模型训练、实时和批量推理、主动模型监控和漂移分析。这种端到端解决方案使客户能够实现最佳模型性能,同时保持严格的监控和分析能力,以确保持续的准确性和可靠性。
要创建此架构,首先要创建必要的资源,例如 亚马逊虚拟私有云(Amazon VPC)、SageMaker 笔记本和 Lambda 函数。确保设置合适 AWS身份和访问管理(IAM) 这些资源的政策。
接下来,重点关注在 SageMaker Studio 或 Jupyter Notebook 中构建架构组件,例如训练和预处理脚本。此步骤涉及开发必要的代码和配置以启用所需的功能。
定义架构的组件后,您可以继续构建 Lambda 函数以生成推理或对数据执行后处理步骤。
最后,使用Step Functions连接组件并建立协调每个步骤运行的流畅工作流程。
作者简介
斯蒂芬·伦道夫 是 Amazon Web Services (AWS) 的高级合作伙伴解决方案架构师。他支持全球系统集成商 (GSI) 合作伙伴使用最新的 AWS 技术开发行业解决方案来解决业务挑战。 Stephen 特别热衷于安全性和生成式 AI,并帮助客户和合作伙伴在 AWS 上构建安全、高效和创新的解决方案。
巴詹迪普·辛格 曾担任 Wipro Technologies 的 AWS AI/ML 卓越中心负责人,领导客户参与提供数据分析和 AI 解决方案。他拥有 AWS AI/ML 专业认证,并撰写有关 AI/ML 服务和解决方案的技术博客。凭借跨行业领先的 AWS AI/ML 解决方案的经验,Bhajandeep 凭借其专业知识和领导力,使客户能够最大限度地发挥 AWS AI/ML 服务的价值。
阿杰·维什瓦卡玛 是 Wipro 人工智能解决方案实践 AWS 部门的 ML 工程师。他在 SageMaker 中为自定义算法构建 BYOM 解决方案、端到端 ETL 管道部署、使用 Lex 构建聊天机器人、跨帐户 QuickSight 资源共享以及构建用于部署的 CloudFormation 模板方面拥有丰富的经验。他喜欢探索 AWS,将每个客户问题视为挑战,探索更多并为他们提供解决方案。
- :具有
- :是
- $UP
- 1
- 10
- 100
- 11
- 12
- 212
- 300
- 32
- 7
- 8
- 804
- 9
- a
- 关于
- 以上
- 加快
- 加速
- 加速器
- ACCESS
- 根据
- 账号管理
- 账户
- 横过
- 操作
- 增加
- 解决
- 地址
- 添加
- 采用
- 驳
- 聚集
- AI
- AI / ML
- 通知
- 算法
- 算法
- 分配
- 沿
- 还
- Amazon
- Amazon API网关
- 亚马逊QuickSight
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- Amazon.com
- an
- 分析
- 分析
- 和
- 另一个
- 任何
- API
- APIs
- 应用领域
- 应用领域
- 适当
- 架构
- 保健
- AS
- 方面
- 相关
- At
- 属性
- 作者
- 汽车
- 自动化
- 自动化
- 自动
- 自动化和干细胞工程
- 可用性
- 可使用
- AWS
- AWS胶水
- AWS步骤功能
- 背部
- 基于
- 底线
- BE
- 成为
- 因为
- 很
- before
- 开始
- 作为
- 好处
- 最佳
- 更好
- 之间
- 最大
- 博客
- 都
- 分支机构
- 带来
- 带
- 建立
- 建筑物
- 建
- 内建的
- 总线
- 商业
- 但是
- by
- 调用
- 呼叫
- CAN
- 能力
- 容量
- 捕获
- 汽车
- 案件
- Center
- 卓越中心
- 证书
- 挑战
- 挑战
- 更改
- 聊天机器人
- 查
- 检查
- 支票
- 客户
- 客户
- 云端技术
- 码
- 代码共享
- 合作
- 合作
- 合作
- COM的
- 组合
- 结合
- 如何
- 购买的订单均
- 舒适
- 提交
- 紧凑
- 完成
- 完成
- 复杂
- 复杂性
- 元件
- 组件
- 全面
- 进行
- 配置
- 配置
- 结合
- 分享链接
- 连接
- 注意事项
- 约束
- 顾问
- 咨询
- 容器
- 连续
- 控制
- 核心
- 价格
- 创建信息图
- 创建
- 创建
- 创造
- 创建
- USB和Thunderbolt Cross
- 电流
- 习俗
- 顾客
- 客户体验
- 合作伙伴
- 周期
- XNUMX月XNUMX日
- 仪表板
- data
- 数据分析
- 数据点
- 数据科学
- 数据科学家
- 数据集
- 决定
- 决定
- 决策
- 定义
- 延误
- 交付
- 交货
- 依赖
- 部署
- 部署
- 部署
- 介绍
- 描述
- 设计
- 期望
- 详情
- 检测
- 检测
- 开发
- 发达
- 发展
- 研发支持
- 不同
- 发现
- 讨论
- do
- 不
- 驾驶
- 驱动
- ,我们将参加
- 每
- 此前
- 有效
- 只
- 效率
- 高效
- 努力
- 邮箱地址
- 电子邮件
- 如虎添翼
- enable
- 启用
- 使
- 包含
- 结束
- 端至端
- 端点
- 订婚
- 订婚
- 工程师
- 工程师
- 增强
- 丰富
- 丰富
- 确保
- 保证
- 企业
- 整个
- 环境
- 环境中
- 特别
- 必要
- 建立
- 评估
- 评估
- 活动
- 事件
- 终于
- 所有的
- 检查
- 例子
- 追求卓越
- 存在
- 退出
- 期望
- 促进
- 体验
- 实验
- 专门知识
- 解释
- 探索
- 探索
- 出口
- 出口
- 面部彩妆
- 面临
- 促进
- 失败
- 失败
- 快
- 专栏
- 特征
- 少数
- 数字
- 文件
- 档
- 过滤
- 找到最适合您的地方
- (名字)
- 流
- 专注焦点
- 以下
- 针对
- 骨架
- 框架
- 止
- 充分
- 功能
- 功能
- 功能
- 功能
- 进一步
- 网关
- 生成
- 产生
- 发电
- 代
- 生成的
- 生成式人工智能
- 得到
- GitHub上
- 全球
- 非常好
- 治理
- 治理
- 陆运
- 民政事务总署
- 手柄
- 治理
- 有
- he
- 头
- 帮助
- 帮助
- 帮助
- 帮助
- 高
- 更高
- 他的
- 持有
- 创新中心
- HTML
- HTTPS
- 超参数调整
- 身分
- if
- 图片
- 履行
- 实施
- 实施
- 器物
- 进口
- in
- 包括
- 包括
- 包含
- 增加
- 增加
- 增量
- 行业
- 行业中的应用:
- 基础设施
- 开始
- 创新
- 输入
- 输入
- 可行的洞见
- 例
- 集成
- 整合
- 积分
- 房源搜索
- 干扰
- 成
- 所调用
- 涉及
- 孤立
- 问题
- IT
- 工作
- 工作机会
- 加入
- 旅程
- JSON
- 键
- 最新
- 发射
- 推出
- 层
- 领导团队
- 领导
- 学习者
- 学习
- Level
- 生命周期
- 喜欢
- 喜欢
- 本地
- 圖書分館的位置
- 逻辑
- 看
- LOOKS
- 低
- 机
- 机器学习
- 维护
- 保养
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 经理
- 管理的
- 许多
- 生产力
- 最多
- 可能..
- 有意义的
- 中等
- 满足
- 成员
- 方法
- 精心
- 公
- 指标
- 可能
- 迁移
- 移民
- 最低限度
- 缓解
- ML
- 多播
- 模型
- 模型
- 现代
- 现代化
- 显示器
- 监控
- 更多
- 此外
- 许多
- 多
- 必须
- 姓名
- 自然
- 必要
- 需求
- 打印车票
- 需要
- 全新
- 下页
- 注意
- 笔记本
- 通知
- 通知
- of
- 供品
- on
- 板载
- 一
- 正在进行
- 仅由
- 打开
- 开放源码
- 操作
- 最佳
- or
- 组织
- 其他名称
- 除此以外
- 我们的
- 输出
- 成果
- 产量
- 最划算
- 己
- 步伐
- 包
- 并行
- 参数
- 参数
- 合伙人
- 伙伴
- 通行证
- 多情
- 为
- 演出
- 性能
- 执行
- 管道
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 政策
- 政策
- 个人档案
- 帖子
- 在练习上
- 前
- 都曾预测
- 预测
- 预测
- 总理
- 准备
- 存在
- 当下
- 以前
- 车资
- 价格预测
- 私立
- 主动
- 市场问题
- 继续
- 过程
- 处理
- 生产率
- 提升
- 提示
- 提供
- 提供
- 提供者
- 提供
- 规定
- 目的
- 推
- 质量
- 阅读
- 实时的
- 实时数据
- 真
- 接收
- 减少
- 参考
- 在相关机构注册的
- 注册
- 注册处
- 释放
- 可靠性
- 保持
- 报告
- 知识库
- 请求
- 要求
- 必须
- 岗位要求
- 资源
- 资源
- 那些
- 响应
- 导致
- 成果
- 可重复使用
- 揭密
- 严格
- 健壮
- 路线
- 运行
- 运行
- 运行
- sagemaker
- 同
- 可扩展性
- 可扩展性
- 鳞片
- 缩放
- 始你
- 科学
- 科学家
- 科学家
- 得分
- 脚本
- SDK
- 无缝的
- 无缝
- 部分
- 安全
- 保安
- 选择
- 发送
- 前辈
- 发送
- 已服务
- 无服务器
- 服务
- 服务供应商
- 特色服务
- 集
- 设置
- 格局
- Share
- 共享
- 应该
- 如图
- 显著
- 类似
- 简易
- 简化
- 同时
- 小
- 光滑
- 方案,
- 解决方案
- 解决
- 或很快需要,
- 来源
- 其他
- 特别是
- 香料
- 分裂
- 堆
- 堆栈
- 州/领地
- 静止
- 统计
- 统计
- Status
- 步
- 斯蒂芬·
- 步骤
- 存储
- 商店
- 存储
- 存储
- 精简
- 流线
- 工作室
- 成功
- 这样
- 套房
- 提供
- SUPPORT
- 支持
- 肯定
- 产品
- 采取
- 需要
- 服用
- 目标
- 任务
- 团队
- 团队成员
- 队
- 文案
- 技术
- 技术
- 专业技术
- 模板
- test
- 这
- 国家
- 其
- 他们
- 然后
- 那里。
- 博曼
- 他们
- 第三方
- Free Introduction
- 那些
- 门槛
- 通过
- 吞吐量
- 一线
- 紧紧
- 次
- 至
- 也有
- 工具
- 工具
- 主题
- Topics
- 向
- 培训
- 熟练
- 产品培训
- 火车
- 转型
- 转换
- 趋势
- 引发
- 真相
- 调音
- 二
- 类型
- 类型
- 理解
- 更新
- 最新动态
- 更新
- 使用
- 用例
- 用过的
- 用户
- 使用
- 运用
- 验证
- 证实
- 验证
- 折扣值
- 各个
- 版本
- 版本
- 违反
- 在线会议
- 可视化
- 想像
- 通缉
- 是
- 方法..
- we
- 卷筒纸
- Web服务
- 井
- 定义明确
- 为
- ,尤其是
- 每当
- 是否
- 这
- 而
- 将
- 翼
- 中
- 也完全不需要
- 工作
- 工作
- 工作流程
- 工作流程
- 车间
- 写作
- 书面
- XGBoost
- 完全
- 您一站式解决方案
- 和风网