如果您是一名业务分析师,了解客户行为可能是您关心的最重要的事情之一。 了解客户购买决策背后的原因和机制可以促进收入增长。 然而,客户的流失(通常称为 客户流失)总是会带来风险。 深入了解客户离开的原因对于维持利润和收入同样重要。
尽管机器学习 (ML) 可以提供有价值的见解,但在引入机器学习之前,仍然需要 ML 专家来构建客户流失预测模型。 亚马逊 SageMaker 画布.
SageMaker Canvas 是一种低代码/无代码托管服务,允许您创建 ML 模型,无需编写一行代码即可解决许多业务问题。 它还使您能够使用高级指标评估模型,就像您是数据科学家一样。
在这篇文章中,我们将展示业务分析师如何使用 SageMaker Canvas 创建的分类流失模型进行评估和理解 高级指标 标签。 我们解释了指标并展示了处理数据以获得更好模型性能的技术。
先决条件
如果您想实施本文中描述的全部或部分任务,您需要一个能够访问 SageMaker Canvas 的 AWS 账户。 参考 使用 Amazon SageMaker Canvas 通过无代码机器学习预测客户流失 涵盖有关 SageMaker Canvas、流失模型和数据集的基础知识。
模型性能评估简介
作为一般准则,当您需要评估模型的性能时,您会尝试衡量模型在看到新数据时预测某些内容的效果。 这个预测被称为 推理。 首先使用现有数据训练模型,然后要求模型根据尚未见过的数据预测结果。 您可以通过模型预测结果的准确程度来了解模型的性能。
如果模型没有看到新数据,那么人们如何知道预测是好是坏? 嗯,这个想法是实际使用结果已知的历史数据,并将这些值与模型的预测值进行比较。 这是通过留出一部分历史训练数据来实现的,以便可以将其与模型对这些值的预测进行比较。
在客户流失的示例(这是一个分类问题)中,您从一个历史数据集开始,该数据集描述具有许多属性的客户(每条记录一个)。 其中一个属性称为“流失”,可以是 True 或 False,描述客户是否离开服务。 为了评估模型的准确性,我们分割该数据集并使用一部分(训练数据集)训练模型,并要求模型使用另一部分(测试数据集)预测结果(将客户分类为流失或不流失)。 然后,我们将模型的预测与测试数据集中包含的真实情况进行比较。
解释高级指标
在本部分中,我们将讨论 SageMaker Canvas 中可以帮助您了解模型性能的高级指标。
混淆矩阵
SageMaker Canvas 使用混淆矩阵来帮助您可视化模型何时正确生成预测。 在混淆矩阵中,您的结果被排列为将预测值与实际历史(已知)值进行比较。 以下示例解释了混淆矩阵如何适用于预测正标签和负标签的二类别预测模型:
- 真阳性 – 当真实标签为阳性时,模型正确预测为阳性
- 真阴性 – 当真实标签为负数时,模型正确预测为负数
- 假阳性 – 当真实标签为阴性时,模型错误地预测为阳性
- 假阴性 – 当真实标签为阳性时,模型错误地预测为阴性
下图是两个类别的混淆矩阵的示例。 在我们的流失模型中,实际值来自测试数据集,预测值来自询问我们的模型。
准确性
准确度是测试集的所有行或样本中正确预测的百分比。 它是预测为 True 的真实样本,加上正确预测为 False 的假样本,除以数据集中的样本总数。
这是需要理解的最重要的指标之一,因为它会告诉您模型正确预测的百分比,但在某些情况下可能会产生误导。 例如:
- 阶级不平衡 – 当数据集中的类分布不均匀时(某一类的样本数量不成比例,而其他类的样本数量很少),准确性可能会产生误导。 在这种情况下,即使模型简单地预测每个实例的多数类也可以达到很高的准确性。
- 成本敏感的分类 – 在某些应用中,不同类别的错误分类成本可能不同。 例如,如果我们预测某种药物是否会加重病情,则假阴性(例如,预测药物可能不会恶化,而实际情况却会恶化)可能比假阳性(例如,预测药物可能会恶化)成本更高。当它实际上没有时)。
准确率、召回率和 F1 分数
精度是真阳性 (TP) 在所有预测阳性 (TP + FP) 中所占的比例。 它衡量实际正确的积极预测的比例。
召回率是所有实际阳性 (TP + FN) 中真阳性 (TP) 的比例。 它衡量模型正确预测为阳性的阳性实例的比例。
F1 分数结合了精确度和召回率,提供一个平衡两者之间权衡的单一分数。 它被定义为精度和召回率的调和平均值:
F1 分数 = 2 *(精确率 * 召回率)/(精确率 + 召回率)
F1分数范围为0-1,分数越高表示性能越好。 完美的 F1 分数为 1 表示模型实现了完美的精度和完美的召回率,分数为 0 表示模型的预测完全错误。
F1 分数提供了对模型性能的平衡评估。 它考虑了精确率和召回率,提供了信息更丰富的评估指标,反映了模型正确分类正例并避免误报和漏报的能力。
例如,在医疗诊断、欺诈检测和情感分析中,F1 特别相关。 在医学诊断中,准确识别特定疾病或病症的存在至关重要,假阴性或假阳性可能会产生严重后果。 F1分数同时考虑了精度(正确识别阳性病例的能力)和召回率(找到所有阳性病例的能力),为模型检测疾病的性能提供了平衡的评估。 同样,在欺诈检测中,与非欺诈案例(不平衡类别)相比,实际欺诈案例的数量相对较少,由于大量的真负例,仅准确性可能会产生误导。 F1 分数综合衡量模型检测欺诈和非欺诈案件的能力,同时考虑精确度和召回率。 在情感分析中,如果数据集不平衡,准确性可能无法准确反映模型在对积极情感类实例进行分类时的性能。
AUC(曲线下面积)
AUC 指标评估二元分类模型在所有分类阈值下区分正类和负类的能力。 A 门槛 是模型用来在两个可能类别之间做出决策的值,将样本属于某个类别的概率转换为二元决策。 为了计算 AUC,需要在不同的阈值设置上绘制真阳性率 (TPR) 和假阳性率 (FPR)。 TPR 衡量真阳性占所有实际阳性的比例,而 FPR 衡量假阳性占所有实际阴性的比例。 生成的曲线称为接收者操作特征 (ROC) 曲线,提供不同阈值设置下的 TPR 和 FPR 的直观表示。 AUC 值的范围为 0-1,表示 ROC 曲线下的面积。 AUC 值越高表示性能越好,完美的分类器的 AUC 为 1。
下图显示了 ROC 曲线,其中 TPR 为 Y 轴,FPR 为 X 轴。 曲线越接近图的左上角,模型对数据进行分类的效果就越好。
为了澄清这一点,让我们看一个例子。 让我们考虑一下欺诈检测模型。 通常,这些模型是根据不平衡数据集进行训练的。 这是因为,通常数据集中的几乎所有交易都是非欺诈性的,只有少数交易被标记为欺诈。 在这种情况下,仅靠准确度可能无法充分体现模型的性能,因为它可能会受到大量非欺诈案例的严重影响,从而导致误导性的高准确度分数。
在这种情况下,AUC 将是评估模型性能的更好指标,因为它可以全面评估模型区分欺诈性交易和非欺诈性交易的能力。 它提供了更细致的评估,考虑到各种分类阈值下真阳性率和假阳性率之间的权衡。
就像 F1 分数一样,当数据集不平衡时它特别有用。 它衡量了 TPR 和 FPR 之间的权衡,并显示了模型区分这两个类别(无论其分布如何)的能力。 这意味着即使一个类别明显小于另一个类别,ROC 曲线也会通过平等考虑两个类别来以平衡的方式评估模型的性能。
其他关键主题
高级指标并不是可用于评估和改进 ML 模型性能的唯一重要工具。 数据准备、特征工程和特征影响分析是模型构建所必需的技术。 这些活动在从原始数据中提取有意义的见解和提高模型性能方面发挥着至关重要的作用,从而产生更稳健和更有洞察力的结果。
数据准备和特征工程
特征工程是从原始数据中选择、转换和创建新变量(特征)的过程,在提高 ML 模型的性能方面发挥着关键作用。 从可用数据中选择最相关的变量或特征涉及删除对模型的预测能力没有贡献的不相关或冗余特征。 将数据特征转换为合适的格式包括缩放、标准化和处理缺失值。 最后,从现有数据创建新特征是通过数学变换、组合或交互不同特征,或从特定领域知识创建新特征来完成的。
特征重要性分析
SageMaker Canvas 生成特征重要性分析,解释数据集中的每一列对模型的影响。 生成预测时,您可以查看列影响,确定哪些列对每个预测影响最大。 这将使您深入了解哪些特征值得成为最终模型的一部分以及哪些特征应该被丢弃。 列影响是一个百分比分数,指示一列在进行与其他列相关的预测时的权重。 对于 25% 的列影响,Canvas 将该列的预测权重设为 25%,将其他列的预测权重设为 75%。
提高模型精度的方法
尽管有多种方法可以提高模型的准确性,但数据科学家和机器学习从业者通常遵循本节讨论的两种方法之一,使用前面描述的工具和指标。
以模型为中心的方法
在这种方法中,数据始终保持不变,并用于迭代改进模型以满足期望的结果。 此方法使用的工具包括:
- 尝试多种相关的机器学习算法
- 算法和超参数调整和优化
- 不同模型集成方法
- 使用预先训练的模型(SageMaker 提供各种 内置或预训练模型 帮助机器学习从业者)
- AutoML,这是 SageMaker Canvas 在幕后所做的事情(使用 亚马逊SageMaker自动驾驶仪),包含以上所有内容
以数据为中心的方法
在这种方法中,重点是数据准备、提高数据质量以及迭代修改数据以提高性能:
- 探索用于训练模型的数据集的统计数据,也称为探索性数据分析 (EDA)
- 提高数据质量(数据清理、缺失值插补、异常值检测和管理)
- 功能选择
- 特征工程
- 资料扩充
使用 Canvas 提高模型性能
我们从以数据为中心的方法开始。 我们使用模型预览功能来执行初始 EDA。 这为我们提供了一个基线,我们可以用它来执行数据增强、生成新基线,并最终使用标准构建功能通过以模型为中心的方法获得最佳模型。
我们使用 合成数据集 来自电信移动电话运营商。 此示例数据集包含 5,000 条记录,其中每条记录使用 21 个属性来描述客户资料。 参考 使用 Amazon SageMaker Canvas 通过无代码机器学习预测客户流失 完整的描述。
以数据为中心的方法进行模型预览
第一步,我们打开数据集,选择要预测的列作为 Churn?,并通过选择生成预览模型 预览模型.
预览模型 窗格将显示进度,直到预览模型准备就绪。
模型准备就绪后,SageMaker Canvas 会生成特征重要性分析。
最后,完成后,窗格将显示列列表及其对模型的影响。 这些对于了解这些特征与我们的预测的相关程度很有用。 列影响是一个百分比分数,指示一列在相对于其他列进行预测时的权重。 在以下示例中,对于 Night Calls 列,SageMaker Canvas 将该列的预测权重设为 4.04%,将其他列的预测权重设为 95.9%。 值越高,影响越大。
我们可以看到,预览模型的准确率为 95.6%。 让我们尝试使用以数据为中心的方法来提高模型性能。 我们执行数据准备并使用特征工程技术来提高性能。
如下面的屏幕截图所示,我们可以观察到“电话”和“状态”列对我们的预测影响要小得多。 因此,我们将使用这些信息作为下一阶段数据准备的输入。
SageMaker Canvas 提供 ML 数据转换,您可以使用它清理、转换和准备数据以进行模型构建。 您可以在数据集上使用这些转换,无需任何代码,它们将被添加到模型配方中,这是构建模型之前对数据执行的数据准备的记录。
请注意,您使用的任何数据转换仅在构建模型时修改输入数据,而不会修改数据集或原始数据源。
SageMaker Canvas 中提供以下转换,供您准备用于构建的数据:
- 日期时间提取
- 删除列
- 过滤行
- 函数和运算符
- 管理行
- 重命名列
- 删除行
- 替换值
- 重新采样时间序列数据
让我们首先删除我们发现对我们的预测影响不大的列。
例如,在此数据集中,电话号码相当于帐号,它对于预测其他帐户的流失可能性毫无用处,甚至是有害的。 同样,客户的状态对我们的模型影响不大。 让我们通过取消选择下面的这些功能来删除“电话”和“州”列 栏名.
现在,让我们执行一些额外的数据转换和特征工程。
例如,我们在之前的分析中注意到,向客户收取的费用对客户流失有直接影响。 因此,我们创建一个新列,通过组合日间、前夜、夜间和国际的费用、分钟数和通话数来计算客户的总费用。 为此,我们使用 SageMaker Canvas 中的自定义公式。
我们先从选择开始 主要工作内容,然后我们将以下文本添加到公式文本框中:
(日间通话*日间费用*日间分钟数)+(前夜通话数*前夜费用*前夜分钟数)+(夜间通话数*夜间费用*夜间分钟数)+(国际通话数*国际费用*国际分钟数)
为新列命名(例如 Total Charges),然后选择 地址 预览生成后。 模型配方现在应如以下屏幕截图所示。
数据准备完成后,我们训练一个新的预览模型,看看模型是否有所改进。 选择 预览模型 再次,右下窗格将显示进度。
训练完成后,它将继续重新计算预测的准确性,并且还将创建新的列影响分析。
最后,当整个过程完成后,我们可以看到之前看到的相同窗格,但具有新的预览模型精度。 您可以注意到模型准确度提高了 0.4%(从 95.6% 提高到 96%)。
上图中的数字可能与您的不同,因为机器学习在训练模型的过程中引入了一些随机性,这可能会导致不同构建中的结果不同。
以模型为中心的方法来创建模型
Canvas 提供两种构建模型的选项:
- 标准构建 – 通过优化流程构建最佳模型,以速度换取更高的准确性。 它使用 Auto-ML,自动执行 ML 的各种任务,包括模型选择、尝试与 ML 用例相关的各种算法、超参数调整以及创建模型可解释性报告。
- 快速建立 – 与标准构建相比,构建简单模型所需的时间仅为标准构建的一小部分,但准确性会换取速度。 快速模型在迭代时非常有用,可以更快地了解数据更改对模型准确性的影响。
让我们继续使用标准构建方法。
标准构建
正如我们之前所看到的,标准构建通过优化过程构建最佳模型,以最大限度地提高准确性。
我们的流失模型的构建过程大约需要 45 分钟。 在此期间,Canvas 测试了数百个候选管道,选择最佳模型。 在下面的屏幕截图中,我们可以看到预期的构建时间和进度。
通过标准构建流程,我们的 ML 模型将模型准确率提高到了 96.903%,这是一个显着的进步。
探索高级指标
让我们使用以下方法探索该模型 高级指标 标签。 在 进球 标签,选择 高级指标.
此页面将显示以下混淆矩阵以及高级指标:F1 分数、准确度、精确度、召回率、F1 分数和 AUC。
生成预测
现在指标看起来不错,我们可以对 预测 选项卡,无论是批量预测还是单个(实时)预测。
我们有两个选择:
- 使用此模型来运行批量或单个预测
- 将模型发送至 亚马逊 Sagemaker 工作室 与数据科学家分享
清理
为了避免未来 会话费用,注销 SageMaker Canvas。
结论
SageMaker Canvas 提供了强大的工具,使您能够构建和评估模型的准确性,从而提高模型的性能,而无需编码或专门的数据科学和机器学习专业知识。 正如我们在创建客户流失模型的示例中所看到的,通过使用高级指标将这些工具与以数据为中心和以模型为中心的方法相结合,业务分析师可以创建和评估预测模型。 借助可视化界面,您还可以自行生成准确的 ML 预测。 我们鼓励您仔细阅读参考资料,看看其中有多少概念可能适用于其他类型的机器学习问题。
参考资料
作者简介
马科斯 是一位位于美国佛罗里达州的 AWS 高级机器学习解决方案架构师。 在此职位上,他负责指导和协助美国初创企业制定云战略,为如何解决高风险问题和优化机器学习工作负载提供指导。 他拥有超过 25 年的技术经验,包括云解决方案开发、机器学习、软件开发和数据中心基础设施。
因陀罗 是 AWS 企业高级解决方案架构师。 在他的职位上,他帮助客户通过云采用实现业务成果。 他设计基于微服务、无服务器、API 和事件驱动模式的现代应用程序架构。 他与客户合作,通过采用 DataOps 和 MLOps 实践和解决方案来实现他们的数据分析和机器学习目标。 Indrajit 定期在峰会和东盟研讨会等 AWS 公共活动中发表演讲,发表了多篇 AWS 博客文章,并举办了面向客户的技术研讨会,重点关注 AWS 上的数据和机器学习。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/is-your-model-good-a-deep-dive-into-amazon-sagemaker-canvas-advanced-metrics/
- :具有
- :是
- :不是
- :在哪里
- 000
- 1
- 100
- 1239
- 25
- 420
- 7
- a
- 对,能力--
- 关于
- 丰富
- ACCESS
- 账号管理
- 精准的
- 准确
- 实现
- 实现
- 横过
- 活动
- 实际
- 通
- 加
- 添加
- 额外
- 地址
- 充分
- 采用
- 高级
- 后
- 再次
- 驳
- 算法
- 所有类型
- 允许
- 单
- 已经
- 还
- 时刻
- Amazon
- 亚马逊SageMaker
- 亚马逊 SageMaker 画布
- 亚马逊网络服务
- 量
- an
- 分析
- 分析人士
- 分析师
- 分析
- 和
- 任何
- APIs
- 应用领域
- 应用领域
- 使用
- 的途径
- 方法
- 保健
- 国家 / 地区
- 围绕
- 安排
- AS
- 东盟
- 评估
- 评定
- 协助
- At
- 属性
- 自动化
- 可使用
- 避免
- AWS
- 轴
- 坏
- 结余
- 基于
- 底线
- 基础
- BE
- 因为
- 很
- before
- 开始
- 行为
- 背后
- 在幕后
- 作为
- 最佳
- 更好
- 之间
- 博客
- 博客文章
- 都
- 建立
- 建筑物
- 建立
- 商业
- 但是
- by
- 计算
- 被称为
- 呼叫
- CAN
- 候选人
- 帆布
- 捕获
- 关心
- 案件
- 例
- 类别
- Center
- 更改
- 特点
- 充
- 带电
- 收费
- 选择
- 程
- 类
- 分类
- 分类
- 清洁
- 接近
- 云端技术
- 云采用
- 码
- 编码
- 柱
- 列
- 结合
- 结合
- 如何
- 常用
- 比较
- 相比
- 完成
- 完全
- 全面
- 概念
- 流程条件
- 混乱
- 后果
- 考虑
- 考虑
- 包含
- 包含
- 继续
- 贡献
- 转换
- 角落
- 正确
- 价格
- 昂贵
- 外壳
- 创建信息图
- 创建
- 创造
- 创建
- 关键
- 曲线
- 习俗
- 顾客
- 客户行为
- 合作伙伴
- data
- 数据分析
- 数据分析
- 数据中心
- 资料准备
- 数据科学
- 数据科学家
- 数据集
- 天
- 处理
- 决定
- 决定
- 深
- 深潜
- 定义
- 描述
- 描述
- 描述
- 值得
- 设计
- 期望
- 检测
- 检测
- 发达
- 研发支持
- 不同
- 不同
- 区分
- 直接
- 讨论
- 讨论
- 疾病
- 区分
- 分布
- 分配
- 分
- do
- 不
- 不会
- 完成
- 删除
- 药物
- 两
- ,我们将参加
- 每
- 此前
- 或
- 自主性的
- enable
- 启用
- 使
- 包含
- 鼓励
- 工程师
- 加强
- 企业
- 一样
- 特别
- 必要
- 评估
- 评估
- 评估
- 前夕
- 甚至
- 匀
- 事件
- 所有的
- 例子
- 交换
- 现有
- 预期
- 体验
- 专门知识
- 专家
- 说明
- 介绍
- 探索性数据分析
- 探索
- f1
- 促进
- 事实
- false
- 专栏
- 特征
- 少数
- 最后
- 终于
- 找到最适合您的地方
- (名字)
- 佛罗里达
- 专注焦点
- 重点
- 遵循
- 以下
- 针对
- 格式
- 公式
- 发现
- 分数
- 骗局
- 欺诈检测
- 欺诈
- 止
- ,
- 功能
- 未来
- 获得
- 其他咨询
- 生成
- 产生
- 产生
- 发电
- 越来越
- 给
- Go
- 理想中
- 非常好
- 陆运
- 事业发展
- 指导
- 处理
- 有
- he
- 严重
- 帮助
- 帮助
- 高
- 高风险
- 更高
- 他的
- 历史的
- 创新中心
- How To
- 但是
- HTML
- HTTPS
- 数百
- 超参数调整
- 主意
- 识别
- 鉴定
- 确定
- if
- 图片
- 图片
- 影响力故事
- 实施
- 重要性
- 重要
- 改善
- 改善
- 改进
- 改善
- in
- 其他
- 包括
- 包括
- 包含
- 不正确
- 增加
- 表明
- 表示
- 影响
- 信息
- 信息
- 基础设施
- 初始
- 输入
- 有见地
- 可行的洞见
- 例
- 互动
- 互动
- 接口
- 成
- 推出
- 介绍
- 问题
- IT
- 它的
- JPG
- 只是
- 键
- 知道
- 知识
- 已知
- 标签
- 标签
- 铅
- 领导
- 学习
- 离开
- 左
- 减
- 喜欢
- 可能性
- Line
- 清单
- 小
- 日志
- 看
- 离
- 低
- 降低
- 机
- 机器学习
- 多数
- 使
- 制作
- 管理
- 颠覆性技术
- 方式
- 许多
- 数学的
- 矩阵
- 生产力
- 可能..
- 意味着
- 有意义的
- 手段
- 衡量
- 措施
- 机制
- 医生
- 满足
- 方法
- 公
- 指标
- 微服务
- 可能
- 分钟
- 误导
- 失踪
- ML
- 多播
- 联络号码
- 移动电话
- 模型
- 模型
- 现代
- 修改
- 更多
- 最先进的
- 许多
- 多
- 姓名
- 需求
- 打印车票
- 负
- 底片
- 全新
- 新功能
- 下页
- 夜
- 注意..
- 现在
- 数
- 数字
- 观察
- 获得
- of
- 优惠精选
- on
- 一
- 那些
- 仅由
- 打开
- 操作
- 优化
- 优化
- 附加选项
- or
- 组织
- 原版的
- 其他名称
- 其它
- 我们的
- 输出
- 成果
- 结果
- 超过
- 己
- 页
- 面包
- 部分
- 尤其
- 模式
- 百分比
- 演出
- 性能
- 执行
- 相
- 电话
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 扮演
- 加
- 一部分
- 构成
- 积极
- 可能
- 帖子
- 帖子
- 功率
- 强大
- 做法
- 平台精度
- 预测
- 都曾预测
- 预测
- 预测
- 预测
- 预测
- 准备
- Prepare
- 存在
- 预览
- 以前
- 大概
- 市场问题
- 问题
- 过程
- 本人简介
- 利润
- 进展
- 比例
- 提供
- 提供
- 优
- 国家
- 出版
- 采购
- 质量
- 快速
- 很快
- 率
- 原
- 准备
- 实时的
- 实现
- 原因
- 食谱
- 记录
- 记录
- 引用
- 简称
- 反映
- 反映
- 而不管
- 经常
- 关系
- 相对
- 相应
- 遗迹
- 去掉
- 删除
- 业务报告
- 表示
- 代表
- 提供品牌战略规划
- 导致
- 成果
- 收入
- 收入增长
- 右
- 风险
- 健壮
- 角色
- 运行
- sagemaker
- 同
- 样本数据集
- 锯
- 缩放
- 场景
- 科学
- 科学家
- 科学家
- 得分了
- 部分
- 看到
- 看到
- 看到
- 选择
- 选择
- 情绪
- 系列
- 无服务器
- 服务
- 特色服务
- 集
- 设置
- 设置
- 几个
- Share
- 应该
- 显示
- 如图
- 作品
- 显著
- 显著
- 同样
- 简易
- 只是
- 单
- 小
- So
- 软件
- 软件开发
- 方案,
- 解决方案
- 解决
- 一些
- 东西
- 来源
- 说
- 专门
- 具体的
- 速度
- 分裂
- 标准
- 开始
- 启动
- 州/领地
- 统计
- 步
- 策略
- 这样
- 合适的
- 峰会
- 需要
- 服用
- 任务
- 文案
- 技术
- 专业技术
- 电信
- 展示
- test
- 测试
- 比
- 这
- 区域
- 基础知识
- 其
- 他们
- 然后
- 那里。
- 因此
- 博曼
- 他们
- 事
- 认为
- Free Introduction
- 那些
- 门槛
- 通过
- 次
- 时间序列
- 至
- 工具
- 最佳
- 合计
- 向
- tp
- TPR
- 培训
- 熟练
- 产品培训
- 交易
- 改造
- 转型
- 转换
- 转型
- 变换
- true
- 真相
- 尝试
- 二
- 类型
- 下
- 理解
- 理解
- 直到
- us
- 使用
- 用例
- 用过的
- 使用
- 运用
- 平时
- 有价值
- 折扣值
- 价值观
- 各个
- 非常
- 是
- we
- 卷筒纸
- Web服务
- 重量
- 井
- 为
- 什么是
- ,尤其是
- 这
- 而
- 全
- 为什么
- 将
- 也完全不需要
- 合作
- 工作坊
- 将
- 写作
- 错误
- X
- 年
- 完全
- 您一站式解决方案
- 和风网