随着在线应用程序采用率的增长和互联网用户数量的增加,数字欺诈正逐年上升。 亚马逊欺诈检测器 提供完全托管的服务,帮助您使用先进的机器学习 (ML) 技术和亚马逊 20 多年的欺诈检测专业知识更好地识别潜在的欺诈性在线活动。
为了帮助您在多个使用案例中更快地发现欺诈行为,Amazon Fraud Detector 提供了具有定制算法、扩充和特征转换的特定模型。 模型训练完全自动化且无忧,您可以按照 用户指南 或相关 博客文章 开始。 但是,对于经过训练的模型,您需要确定模型是否已准备好部署。 这需要一定的机器学习、统计和欺诈检测知识,了解一些典型方法可能会有所帮助。
这篇文章将帮助您诊断模型性能并选择正确的模型进行部署。 我们将介绍 Amazon Fraud Detector 提供的指标,帮助您诊断潜在问题,并提供改进模型性能的建议。 这些方法适用于在线欺诈洞察 (OFI) 和交易欺诈洞察 (TFI) 模型模板。
解决方案概述
这篇文章提供了一个端到端的过程来诊断你的模型性能。 它首先介绍了 Amazon Fraud Detector 控制台上显示的所有模型指标,包括 AUC、分数分布、混淆矩阵、ROC 曲线和模型变量重要性。 然后,我们提出了一种使用不同指标来诊断模型性能的三步方法。 最后,我们针对典型问题提出改进模型性能的建议。
先决条件
在深入了解您的 Amazon Fraud Detector 模型之前,您需要完成以下先决条件:
- 创建一个 AWS 账户。
- 创建事件数据集 用于模型训练。
- 上传您的数据 至 亚马逊简单存储服务 (Amazon S3)或 将您的事件数据提取到 Amazon Fraud Detector.
- 构建 Amazon Fraud Detector 模型.
解释模型指标
模型训练完成后,Amazon Fraud Detector 使用模型训练中未使用的部分建模数据评估您的模型。 它返回评估指标 型号版本 该模型的页面。 这些指标反映了您在部署到生产环境后对真实数据的预期模型性能。
以下屏幕截图显示了 Amazon Fraud Detector 返回的示例模型性能。 您可以在分数分布(左)上选择不同的阈值,并且混淆矩阵(右)会相应更新。
您可以使用以下发现来检查性能并决定策略规则:
- AUC(曲线下面积) – 该模型的整体性能。 AUC 为 0.50 的模型并不比掷硬币好,因为它代表随机机会,而“完美”模型的得分为 1.0。 AUC 越高,您的模型就越能区分欺诈和合法行为。
- 分数分布 – 模型分数分布的直方图,假设示例人口为 100,000 个事件。 Amazon Fraud Detector 生成介于 0 到 1000 之间的模型分数,分数越低,欺诈风险越低。 合法(绿色)和欺诈(蓝色)人群之间的更好区分通常表明模型更好。 有关更多详细信息,请参阅 模型分数.
- 混淆矩阵 – 描述所选给定分数阈值的模型性能的表格,包括真阳性、真阴性、假阳性、假阴性、真阳性率 (TPR) 和假阳性率 (FPR)。 表中的计数假设示例人口为 100,0000 个事件。 有关更多详细信息,请参阅 模型绩效指标.
- ROC(接收操作者特征)曲线 – 说明模型诊断能力的图,如以下屏幕截图所示。 它将真阳性率绘制为所有可能的模型得分阈值上的假阳性率的函数。 通过选择查看此图表 高级指标. 如果您已经训练了一个模型的多个版本,您可以选择不同的 FPR 阈值来检查性能变化。
- 模型变量重要性 – 模型变量的排名基于它们对生成模型的贡献,如下面的屏幕截图所示。 对于该模型版本,具有最高值的模型变量对模型比数据集中的其他模型变量更重要,并且默认列在顶部。 有关更多详细信息,请参阅 模型变量重要性.
诊断模型性能
在将模型部署到生产环境之前,您应该使用 Amazon Fraud Detector 返回的指标来了解模型性能并诊断可能的问题。 ML 模型的常见问题可以分为两大类:数据相关问题和模型相关问题。 Amazon Fraud Detector 通过仔细使用验证和测试集在后端评估和调整您的模型来处理与模型相关的问题。 您可以完成以下步骤来验证您的模型是否已准备好部署或可能存在与数据相关的问题:
- 检查整体模型性能(AUC 和分数分布)。
- 审查业务需求(混淆矩阵和表格)。
- 检查模型变量的重要性。
检查整体模型性能:AUC 和分数分布
更准确地预测未来事件始终是预测模型的主要目标。 Amazon Fraud Detector 返回的 AUC 是根据未在训练中使用的正确采样的测试集计算得出的。 一般来说,AUC 大于 0.9 的模型被认为是一个好的模型。
如果您观察到一个模型的性能低于 0.8,这通常意味着该模型还有改进的空间(我们将在本文后面讨论模型性能低下的常见问题)。 请注意,“良好”性能的定义很大程度上取决于您的业务和基准模型。 即使 AUC 大于 0.8,您仍然可以按照本文中的步骤改进您的 Amazon Fraud Detector 模型。
另一方面,如果 AUC 超过 0.99,则意味着该模型几乎可以完美地将测试集上的欺诈和合法事件分开。 这有时是一个“好得令人难以置信”的场景(我们将在本文后面讨论非常高模型性能的常见问题)。
除了整体 AUC,分数分布还可以告诉您模型的拟合程度。 理想情况下,您应该看到大部分合法和欺诈位于量表的两端,这表明模型分数可以准确地对测试集上的事件进行排名。
在以下示例中,分数分布的 AUC 为 0.96。
如果合法和欺诈分布重叠或集中在中心,则可能意味着该模型在区分欺诈事件和合法事件方面表现不佳,这可能表明历史数据分布发生了变化,或者您需要更多数据或特征。
以下是 AUC 为 0.64 的分数分布示例。
如果你能找到一个几乎可以完美分割欺诈和合法事件的分割点,那么模型很可能存在标签泄漏问题或欺诈模式太容易检测到,这应该引起你的注意。
在以下示例中,分数分布的 AUC 为 1.0。
审查业务需求:混淆矩阵和表格
尽管 AUC 是模型性能的一个方便指标,但它可能无法直接转化为您的业务需求。 Amazon Fraud Detector 还提供欺诈捕获率(真阳性率)、被错误预测为欺诈的合法事件的百分比(假阳性率)等指标,这些指标更常用作业务需求。 在您训练具有相当好的 AUC 的模型后,您需要将模型与您的业务需求与这些指标进行比较。
混淆矩阵和表格为您提供了一个界面来查看影响并检查它是否满足您的业务需求。 请注意,这些数字取决于模型阈值,其中得分大于阈值的事件被归类为欺诈,得分低于阈值的事件被归类为合法。 您可以根据业务需求选择要使用的阈值。
例如,如果您的目标是捕获 73% 的欺诈,那么(如下例所示)您可以选择一个阈值,例如 855,它可以让您捕获 73% 的所有欺诈。 然而,该模型也会将 3% 的合法事件误分类为欺诈。 如果您的业务可以接受此 FPR,则该模型适合部署。 否则,您需要提高模型性能。
另一个例子是,如果阻止或挑战合法客户的成本非常高,那么您需要低 FPR 和高精度。 在这种情况下,您可以选择阈值 950,如下例所示,这会将 1% 的合法客户误分类为欺诈,而识别出的欺诈中 80% 实际上是欺诈。
此外,您可以选择多个阈值并分配不同的结果,例如阻止、调查、通过。 如果找不到满足所有业务需求的适当阈值和规则,则应考虑使用更多数据和属性训练模型。
检查模型变量的重要性
模型变量重要性 窗格显示每个变量如何影响您的模型。 如果一个变量的重要性值明显高于其他变量,则可能表明标签泄漏或欺诈模式太容易检测到。 请注意,变量重要性会聚合回您的输入变量。 如果你观察到稍微更高的重要性 IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
或 SHIPPING_ZIP
,这可能是因为浓缩的力量。
以下示例显示了具有潜在标签泄漏的模型变量重要性,使用 investigation_status
.
模型变量重要性还为您提供了哪些附加变量可能为模型带来提升的提示。 例如,如果您观察到 AUC 较低且与卖家相关的特征显示出较高的重要性,您可能会考虑收集更多订单特征,例如 SELLER_CATEGORY
, SELLER_ADDRESS
及 SELLER_ACTIVE_YEARS
,并将这些变量添加到您的模型中。
模型性能低下的常见问题
在本节中,我们将讨论您可能会遇到的关于模型性能低下的常见问题。
历史数据分布发生变化
当您有重大的业务变化或数据收集问题时,就会发生历史数据分布漂移。 例如,如果您最近在一个新市场推出了您的产品, IP_ADDRESS
, EMAIL
及 ADDRESS
相关特征可能完全不同,欺诈作案手法也可能发生变化。 亚马逊欺诈检测器使用 EVENT_TIMESTAMP
拆分数据并根据数据集中适当的事件子集评估模型。 如果您的历史数据分布发生显着变化,则评估集可能与训练数据有很大不同,并且报告的模型性能可能会很低。
您可以通过浏览历史数据来检查潜在的数据分布变化问题:
- 使用 Amazon Fraud Detector 数据分析器 检查欺诈率和标签丢失率是否随时间变化的工具。
- 检查变量分布是否随时间发生显着变化,尤其是对于具有高变量重要性的特征。
- 通过目标变量检查随时间变化的变量分布。 如果您在最近的数据中观察到某一类别的欺诈事件明显更多,您可能需要使用您的业务判断来检查更改是否合理。
如果您发现标签的缺失率非常高或欺诈率在最近日期持续下降,则可能表明标签尚未完全成熟。 您应该排除最新数据或等待更长时间以收集准确的标签,然后重新训练您的模型。
如果您观察到特定日期的欺诈率和变量急剧上升,您可能需要仔细检查它是异常值还是数据收集问题。 在这种情况下,您应该删除这些事件并重新训练模型。
如果你发现过时的数据不能代表你当前和未来的业务,你应该从训练中排除旧时期的数据。 如果您在 Amazon Fraud Detector 中使用存储的事件,您只需重新训练一个新版本并在配置训练作业时选择正确的日期范围。 这也可能表明您的业务中的欺诈作案手法随着时间的推移而变化相对较快。 模型部署后,您可能需要经常重新训练模型。
不正确的变量类型映射
Amazon Fraud Detector 根据变量类型丰富和转换数据。 将变量映射到正确的类型非常重要,这样 Amazon Fraud Detector 模型可以获取数据的最大值。 例如,如果您映射 IP
到 CATEGORICAL
键入而不是 IP_ADDRESS
,你没有得到 IP-
后端相关的丰富内容。
通常,Amazon Fraud Detector 建议采取以下措施:
- 将您的变量映射到特定类型,例如
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
及PHONE_NUMBER
,以便 Amazon Fraud Detector 可以提取和丰富其他信息。 - 如果找不到特定的变量类型,请将其映射到三种泛型类型之一:
NUMERIC
,CATEGORICAL
或FREE_FORM_TEXT
. - 如果变量是文本形式并且具有高基数,例如客户评论或产品描述,则应将其映射到
FREE_FORM_TEXT
变量类型,以便 Amazon Fraud Detector 为您在后端提取文本特征和嵌入。 例如,如果您映射url_string
至FREE_FORM_TEXT
,它能够标记 URL 并提取信息以馈送到下游模型,这将有助于它从 URL 中学习更多隐藏的模式。
如果您发现任何变量类型在变量配置中映射不正确,您可以更改变量类型,然后重新训练模型。
数据或特征不足
Amazon Fraud Detector 需要至少 10,000 条记录来训练 Online Fraud Insights (OFI) 或 Transaction Fraud Insights (TFI) 模型,其中至少有 400 条记录被确定为欺诈。 TFI 还要求欺诈记录和合法记录分别来自至少 100 个不同的实体,以确保数据集的多样性。 此外,Amazon Fraud Detector 要求建模数据至少具有两个变量。 这些是构建有用的 Amazon Fraud Detector 模型的最低数据要求。 但是,使用更多记录和变量通常有助于 ML 模型更好地从数据中学习底层模式。 当您观察到较低的 AUC 或找不到满足您业务需求的阈值时,您应该考虑使用更多数据重新训练您的模型或向您的模型添加新功能。 通常,我们会发现 EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
及 DEVICE
相关变量在欺诈检测中很重要。
另一个可能的原因是您的某些变量包含太多缺失值。 要查看是否发生这种情况,请检查模型训练消息并参考 排查训练数据问题 建议。
非常高模型性能的常见问题
在本节中,我们将讨论与非常高的模型性能相关的常见问题。
标签泄漏
当训练数据集使用在预测时不可用的信息时,就会发生标签泄漏。 它高估了模型在生产环境中运行时的效用。
高 AUC(接近 1)、完全分离的分数分布以及一个变量显着更高的变量重要性可能是潜在标签泄漏问题的指标。 您还可以使用 数据探查器。 该 特征和标签相关性 图显示了每个特征和标签之间的相关性。 如果某个特征与标签的相关性超过 0.99,则应根据业务判断检查该特征是否正确使用。 例如,要建立一个风险模型来批准或拒绝贷款申请,你不应该使用像 AMOUNT_PAID
,因为付款发生在承保过程之后。 如果在您进行预测时某个变量不可用,您应该从模型配置中删除该变量并重新训练一个新模型。
以下示例显示了每个变量和标签之间的相关性。 investigation_status
与标签的相关性很高(接近 1),因此您应该仔细检查是否存在标签泄漏问题。
简单的欺诈模式
当您的数据中的欺诈模式很简单时,您可能还会观察到非常高的模型性能。 例如,假设建模数据中的所有欺诈事件都来自同一个内部服务提供商; 模型很容易选择 IP-
相关变量并返回具有高度重要性的“完美”模型 IP
.
简单的欺诈模式并不总是表明存在数据问题。 您的企业中的欺诈作案手法很容易被捕捉到,这可能是真的。 但是,在下结论之前,您需要确保模型训练中使用的标签准确无误,并且建模数据涵盖了尽可能多的欺诈模式。 例如,如果您根据规则标记欺诈事件,例如标记来自特定应用程序的所有应用程序 BILLING_ZIP
加 PRODUCT_CATEGORY
作为欺诈,该模型可以通过模拟规则并实现高 AUC 轻松捕捉这些欺诈行为。
您可以使用 数据探查器. 例如,如果您观察到大多数欺诈事件来自一个或几个产品类别,这可能是简单欺诈模式的指标,您需要确认这不是数据收集或流程错误。 如果功能像 CUSTOMER_ID
,您应该在模型训练中排除该特征。
以下示例显示了不同类别的标签分布 product_category
. 所有欺诈都来自两个产品类别。
数据采样不当
当您对数据进行采样并且仅将部分数据发送到 Amazon Fraud Detector 时,可能会发生不正确的数据采样。 如果数据未正确采样并且不能代表生产中的流量,则报告的模型性能将不准确,并且该模型可能对生产预测无用。 例如,如果建模数据中的所有欺诈事件均来自亚洲,所有合法事件均来自美国,则模型可能会根据 BILLING_COUNTRY
. 在这种情况下,该模型不适用于其他人群。
通常,我们建议在不采样的情况下发送所有最新事件。 根据数据大小和欺诈率,Amazon Fraud Detector 在为您进行模型训练之前进行抽样。 如果您的数据太大(超过 100 GB)并且您决定采样并仅发送一个子集,您应该随机采样您的数据并确保该样本代表整个总体。 对于 TFI,您应该按实体对数据进行抽样,这意味着如果对一个实体进行抽样,您应该包括其所有历史记录,以便正确计算实体级别的聚合。 请注意,如果您只向 Amazon Fraud Detector 发送数据子集,如果未发送实体的先前事件,则推理期间的实时聚合可能不准确。
另一种不恰当的数据采样可能是仅使用短期数据(例如一天的数据)来构建模型。 数据可能存在偏差,尤其是当您的业务或欺诈攻击具有季节性时。 我们通常建议在建模中包含至少两个周期(例如 2 周或 2 个月)的数据,以确保欺诈类型的多样性。
结论
在诊断并解决所有潜在问题后,您应该获得一个有用的 Amazon Fraud Detector 模型,并对它的性能充满信心。 对于下一步,您 可以使用模型和您的业务规则创建检测器,并准备将其部署到生产环境以进行影子模式评估。
附录
如何排除模型训练的变量
在深入研究之后,您可能会识别出一个变量泄漏目标信息,并希望将其从模型训练中排除。 您可以通过完成以下步骤重新训练排除您不想要的变量的模型版本:
- 在 Amazon Fraud Detector 控制台的导航窗格中,选择 型号.
- 点击 型号 页面,选择要重新训练的模型。
- 点击 行动 菜单中选择 训练新版本.
- 选择您要使用的日期范围并选择 下一页.
- 点击 配置培训 页面,取消选择您不想在模型训练中使用的变量。
- 指定您的欺诈标签和合法标签以及您希望 Amazon Fraud Detector 如何使用未标记事件,然后选择 下一页.
- 查看模型配置并选择 创建并训练模型.
如何更改事件变量类型
变量代表欺诈预防中使用的数据元素。 在 Amazon Fraud Detector 中,所有变量都是全局变量,并且在所有事件和模型中共享,这意味着一个变量可以在多个事件中使用。 例如,IP 可以与登录事件相关联,也可以与交易事件相关联。 自然,一旦创建变量,Amazon Fraud Detector 就会锁定变量类型和数据类型。 要删除现有变量,您需要首先删除所有关联的事件类型和模型。 您可以通过导航到 Amazon Fraud Detector 来检查与特定变量关联的资源,选择 变量 在导航窗格中,然后选择变量名称和 相关资源.
删除变量和所有关联的事件类型
要删除变量,请完成以下步骤:
- 在 Amazon Fraud Detector 控制台的导航窗格中,选择 变量.
- 选择要删除的变量。
- 相关资源 查看使用此变量的所有事件类型的列表。
您需要在删除变量之前删除那些关联的事件类型。 - 选择列表中的事件类型以转到关联的事件类型页面。
- 存储的事件 检查是否有任何数据存储在此事件类型下。
- 如果 Amazon Fraud Detector 中存储了事件,请选择 删除存储的事件 删除存储的事件。
删除作业完成后,将显示消息“已成功删除此事件类型的存储事件”。 - 相关资源.
如果检测器和模型与此事件类型相关联,您需要先删除这些资源。 - 如果检测器已关联,请完成以下步骤以删除所有关联的检测器:
- 选择探测器前往 探测器详情 页面上发布服务提醒。
- 在 型号版本 窗格中,选择检测器的版本。
- 在检测器版本页面上,选择 行动.
- 如果检测器版本处于活动状态,请选择 停用,选择 停用此检测器版本而不用其他版本替换它,并选择 停用检测器版本。
- 探测器版本停用后,选择 行动 然后 删除.
- 重复这些步骤以删除所有检测器版本。
- 点击 探测器详情 页面,选择 相关规则.
- 选择要删除的规则。
- 行动 和 删除规则版本.
- 输入规则名称确认并选择 删除版本.
- 重复这些步骤以删除所有关联的规则。
- 删除所有检测器版本和相关规则后,转到 探测器详情 页面,选择 行动,并选择 删除检测器.
- 输入探测器名称并选择 删除检测器.
- 重复这些步骤以删除下一个检测器。
- 如果有任何模型与事件类型相关联,请完成以下步骤以将其删除:
- 选择模型的名称。
- 在 型号版本 窗格中,选择版本。
- 如果模型状态是
Active
,选择 行动 和 取消部署模型版本. - 输入
undeploy
确认和选择 取消部署模型版本.
状态变为Undeploying
. 该过程需要几分钟才能完成。 - 状态变为后
Ready to deploy
,选择操作和删除。 - 重复这些步骤以删除所有模型版本。
- 在模型详细信息页面上,选择操作和删除模型。
- 输入模型的名称,然后选择删除模型。
- 重复这些步骤以删除下一个模型。
- 删除所有关联的检测器和模型后,选择 行动 和 删除事件类型 在 活动详情 页面上发布服务提醒。
- 输入事件类型的名称并选择 删除事件类型.
- 在导航窗格中,选择 变量,然后选择要删除的变量。
- 重复前面的步骤以删除与变量关联的所有事件类型。
- 点击 变量细节 页面,选择 行动 和 删除。
- 输入变量名并选择 删除变量.
创建具有正确变量类型的新变量
从 Amazon Fraud Detector 删除变量和所有关联的事件类型、存储的事件、模型和检测器后,您可以创建一个同名的新变量并将其映射到正确的变量类型。
- 在 Amazon Fraud Detector 控制台的导航窗格中,选择 变量.
- 创建.
- 输入您要修改的变量名称(您之前删除的那个)。
- 选择要更改为的正确变量类型。
- 创建变量。
上传数据并重新训练模型
更新变量类型后,您可以再次上传数据并训练新模型。 有关说明,请参阅 使用新的 Amazon Fraud Detector 功能检测在线交易欺诈.
如何将新变量添加到现有事件类型
要将新变量添加到现有事件类型,请完成以下步骤:
- 将新变量添加到之前的训练 CVS 文件中。
- 将新的训练数据文件上传到 S3 存储桶。 记下训练文件的 Amazon S3 位置(例如,
s3://bucketname/path/to/some/object.csv
) 和您的角色名称。 - 在 Amazon Fraud Detector 控制台的导航窗格中,选择 活动。
- 点击 活动类型 页面,选择要添加变量的事件类型的名称。
- 点击 事件类型 详情页,选择 行动, 然后 添加变量.
- 下 选择如何定义此事件的变量,选择 从训练数据集中选择变量.
- 对于 IAM 角色,选择现有 IAM 角色或创建新角色以访问 Amazon S3 中的数据。
- 针对 资料位置,输入新训练文件的S3位置并选择 上载。
现有事件类型中不存在的新变量应显示在列表中。
- 添加变量。
现在,新变量已添加到现有事件类型中。 如果您在 Amazon Fraud Detector 中使用存储事件,则存储事件的新变量仍然缺失。 您需要将带有新变量的训练数据导入 Amazon Fraud Detector,然后重新训练新的模型版本。 上传新的训练数据时 EVENT_ID
和 EVENT_TIMESTAMP
,新的事件变量会覆盖之前存储在 Amazon Fraud Detector 中的事件变量。
作者简介
朱莉娅徐 是 Amazon Fraud Detector 的研究科学家。 她热衷于使用机器学习技术解决客户挑战。 在空闲时间,她喜欢远足、绘画和探索新的咖啡店。
周浩 是 Amazon Fraud Detector 的研究科学家。 他拥有美国西北大学电气工程博士学位。 他热衷于应用机器学习技术来打击欺诈和滥用行为。
阿布舍克·拉维 是 Amazon Fraud Detector 的高级产品经理。 他热衷于利用技术能力打造令客户满意的产品。
- "
- 000
- 10
- 100
- 20 年
- 9
- a
- 对,能力--
- 关于我们
- ACCESS
- 因此
- 账号管理
- 精准的
- 横过
- 行动
- 要积极。
- 活动
- 添加
- 增加
- 额外
- 采用
- 高级
- 算法
- 所有类型
- 允许
- 时刻
- Amazon
- 相应
- 应用领域
- 应用领域
- 应用的
- 应用
- 的途径
- 方法
- 适当
- 批准
- 国家 / 地区
- 亚洲
- 相关
- 关注我们
- 属性
- 自动化
- 可使用
- AWS
- 底线
- 因为
- before
- 如下。
- 更好
- 之间
- 阻止
- 边界
- 带来
- 建立
- 商业
- 计算
- 能力
- 捕获
- 关心
- 案件
- 例
- 摔角
- 产品类别
- 原因
- 一定
- 挑战
- 挑战
- 更改
- 机密
- 咖啡
- 收集
- 收藏
- 采集
- 打击
- 如何
- 相当常见
- 完成
- 完全
- 完成
- 信心
- 配置
- 混乱
- 考虑
- 安慰
- 便捷
- 可以
- 创建信息图
- 创建
- 电流
- 曲线
- 顾客
- 合作伙伴
- data
- 重要日期
- 深
- 根据
- 依靠
- 部署
- 部署
- 部署
- 描述
- 详情
- 检测
- 不同
- 数字
- 直接
- 讨论
- 显示器
- 分配
- 分布
- 多元化
- 不会
- 下降
- ,我们将参加
- 每
- 容易
- 分子
- 端至端
- 结束
- 工程师
- 丰富
- 输入
- 实体
- 实体
- 环境
- 特别
- 评估
- 评估
- 活动
- 事件
- 例子
- 排除
- 现有
- 期望
- 预期
- 专门知识
- 提取物
- 快
- 专栏
- 特征
- 终于
- 姓氏:
- 遵循
- 以下
- 申请
- 骗局
- Free
- 止
- 功能
- 未来
- 总类
- 产生
- 全球
- 目标
- 非常好
- 更大的
- 绿色
- 事业发展
- 发生
- 帮助
- 有帮助
- 帮助
- 高
- 更高
- 高度
- 历史的
- 历史
- 持有
- 创新中心
- How To
- 但是
- HTTPS
- 鉴定
- 影响力故事
- 重要性
- 重要
- 改善
- 改进
- 包括
- 包含
- 表明
- 信息
- 输入
- 可行的洞见
- 接口
- 网络
- 调查
- IP
- 问题
- 问题
- IT
- 工作
- 判断
- 知道
- 知识
- 标签
- 标签
- 标签
- 大
- 大
- 最新
- 推出
- 泄漏
- 学习用品
- 学习
- Level
- 借力
- 清单
- 已发布
- 圖書分館的位置
- 锁定
- 机
- 机器学习
- 使
- 制作
- 管理
- 经理
- 地图
- 市场
- 矩阵
- 手段
- 条未读消息
- 指标
- 可能
- 最低限度
- ML
- 模型
- 模型
- 个月
- 更多
- 最先进的
- 多
- 导航
- 旅游导航
- 需要
- 负
- 新功能
- 新市场
- 下页
- 数
- 数字
- 优惠精选
- 在线
- 操作者
- 秩序
- 其他名称
- 除此以外
- 最划算
- 部分
- 多情
- 支付
- 百分比
- 性能
- 期间
- 点
- 人口
- 积极
- 可能
- 潜力
- 功率
- 预测
- 当下
- 预防
- 以前
- 小学
- 问题
- 过程
- 产品
- 生产
- 热销产品
- 提供
- 提供
- 提供者
- 提供
- 很快
- 范围
- 实时的
- 合理
- 最近
- 最近
- 建议
- 记录
- 反映
- 关于
- 代表
- 代表
- 代表
- 岗位要求
- 需要
- 研究
- 资源
- 回报
- 回报
- 检讨
- 上升
- 风险
- 角色
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 同
- 鳞片
- 科学家
- 选
- 服务
- 集
- 阴影
- 共用的,
- 商店
- 短
- 显示
- 如图
- 简易
- 尺寸
- So
- 固体
- 解决
- 一些
- 具体的
- 分裂
- 开始
- 统计
- Status
- 仍
- 存储
- 策略
- 顺利
- 目标
- 文案
- 技术
- 模板
- test
- 测试
- 三
- 门槛
- 通过
- 次
- 工具
- 最佳
- TPR
- 交通
- 培训
- 产品培训
- 交易
- 转换
- 类型
- 一般
- 下
- 理解
- 大学
- 更新
- us
- 美国
- 使用
- 用户
- 平时
- 效用
- 验证
- 折扣值
- 版本
- 查看
- 等待
- 什么是
- 是否
- 而
- 也完全不需要
- 价值
- 将
- 年
- 年
- 您一站式解决方案