2021年,我们推出了 AWS Support 主动服务 作为部分 AWS 企业支持 提供。 自推出以来,我们已经帮助数百家客户优化了他们的工作负载、设置了防护机制,并提高了他们机器学习 (ML) 工作负载成本和使用情况的可见性。
在这一系列的帖子中,我们分享了关于优化成本的经验教训 亚马逊SageMaker。在 部分1,我们展示了如何开始使用 AWS 成本管理器 确定 SageMaker 中的成本优化机会。 在这篇文章中,我们重点介绍分析 SageMaker 使用情况和确定 SageMaker 笔记本实例的成本优化机会的各种方法,以及 亚马逊SageMaker Studio.
SageMaker笔记本实例
A SageMaker笔记本实例 是运行 Jupyter Notebook 应用程序的完全托管计算实例。 SageMaker 管理实例和相关资源的创建。 笔记本包含运行或重新创建 ML 工作流所需的一切。 您可以在笔记本实例中使用 Jupyter 笔记本来准备和处理数据、编写代码来训练模型、将模型部署到 SageMaker 托管,以及测试或验证您的模型。 SageMaker 笔记本实例的成本基于笔记本实例运行时消耗的实例小时数,以及每月 GB 的预置存储成本,如中所述 Amazon SageMaker定价.
在 Cost Explorer 中,您可以通过应用过滤器来过滤笔记本成本 使用类型. 这些使用类型的名称结构如下:
REGION-Notebk:instanceType
(例如,USE1-Notebk:ml.g4dn.8xlarge
)REGION-Notebk:VolumeUsage.gp2
(例如,USE2-Notebk:VolumeUsage.gp2
)
按使用类型过滤 Notebk:
将向您显示帐户中笔记本使用类型的列表。 如下图所示,您可以选择 选择全部 并选择 使用 显示笔记本电脑使用的成本明细。
要按使用小时数查看所选笔记本使用类型的成本明细,您需要取消选择所有 REGION-Notebk:VolumeUsage.gp2
使用前面列表中的类型并选择 使用 应用过滤器。 以下屏幕截图显示了所选笔记本使用类型的成本和使用情况图。
您还可以应用其他过滤器,例如帐号、 亚马逊弹性计算云 (Amazon EC2) 实例类型、成本分配标签、区域、 和更多. 将粒度更改为 日间 根据所选的使用类型和维度,为您提供每日成本和使用情况图表,如以下屏幕截图所示。
在前面的示例中,USE2 区域中类型为 ml.t2.medium 的笔记本实例报告在 24 月 2 日至 26 月 3 日期间每天使用 1 小时。类似地,类型为 ml.t24.medium 的笔记本实例在USE3 区域报告在 26 月 48 日至 26 月 31 日期间每天使用 24 小时,在 XNUMX 月 XNUMX 日至 XNUMX 月 XNUMX 日期间每天使用 XNUMX 小时。连续多天每天使用 XNUMX 小时或更长时间可能表明笔记本实例有已运行多日,但未处于活跃使用状态。 这种类型的模式可以受益于应用成本控制护栏,例如手动或自动关闭笔记本实例以防止空闲运行时。
虽然 Cost Explorer 可以帮助您了解实例类型粒度的成本和使用数据,但您可以使用 AWS 成本和使用报告 (AWS CUR) 以获取资源粒度的数据,例如笔记本 ARN。 您可以构建自定义查询以使用标准 SQL 查找 AWS CUR 数据。 您还可以在查询中包含成本分配标签,以获得更高的粒度级别。 以下查询从您的 AWS CUR 数据返回过去 3 个月的笔记本资源使用情况:
以下屏幕截图显示了使用运行 AWS CUR 查询获得的结果 亚马逊雅典娜. 有关使用 Athena 的更多信息,请参阅 使用 Amazon Athena 查询成本和使用情况报告.
查询结果显示notebook dev-notebook
在 ml.t2.medium 实例上运行会连续多天报告 24 小时的使用情况。 实例费率为 0.0464 美元/小时,运行 24 小时的每日成本为 1.1136 美元。
AWS CUR 查询结果可以帮助您识别连续几天运行的笔记本模式,可以分析这些模式以优化成本。 更多信息和示例查询可以在 AWS CUR 查询库.
您还可以将 AWS CUR 数据输入 亚马逊QuickSight,您可以在其中以任何您喜欢的方式对其进行切片和切块,以用于报告或可视化目的。 有关将 AWS CUR 数据提取到 QuickSight 的说明,请参阅 如何将 AWS 成本和使用报告 (CUR) 提取并可视化到 Amazon QuickSight 中.
优化笔记本实例成本
SageMaker 笔记本适用于 ML 模型开发,包括交互式数据探索、脚本编写、特征工程原型设计和建模。 这些任务中的每一个都可能具有不同的计算资源要求。 估计适合各种工作负载的计算资源类型具有挑战性,并且可能导致资源过度配置,从而导致成本增加。
对于 ML 模型开发,SageMaker 笔记本实例的大小取决于您需要加载到内存中以进行有意义的探索性数据分析 (EDA) 的数据量以及所需的计算量。 我们建议从通用实例(例如 T 或 M 系列)开始,然后根据需要扩展。 例如,ml.t2.medium 足以满足大多数基本数据处理、特征工程和处理可容纳在 4 GB 内存中的小型数据集的 EDA。 如果您的模型开发涉及繁重的计算工作(例如图像处理),您可以停止较小的笔记本实例并将实例类型更改为所需的较大实例,例如 ml.c5.xlarge。 当您不再需要较大的实例时,可以切换回较小的实例。 这将有助于降低计算成本。
考虑以下最佳实践来帮助降低笔记本实例的成本。
CPU 与 GPU
考虑 CPU 与 GPU 笔记本实例对于正确调整实例大小很重要。 CPU 最擅长顺序处理单个、更复杂的计算,而 GPU 更擅长并行处理多个但简单的计算。 对于许多用例,来自实例系列(例如 M)的标准当前一代实例类型可为笔记本电脑提供足够的计算能力、内存和网络性能以实现良好性能。
如果您有效地利用 GPU,它们会提供很高的性价比。 例如,如果您在 SageMaker 笔记本上训练您的深度学习模型并且您的神经网络相对较大,执行涉及数十万个参数的大量计算,那么您的模型可以利用提供的加速计算和硬件并行性通过 GPU 实例,例如 P 实例系列。 但是,建议仅在真正需要时才使用 GPU 实例,因为它们很昂贵,如果您的笔记本不需要它们,GPU 通信开销甚至可能会降低性能。 我们建议使用具有较小计算实例的笔记本来进行交互式构建,而将繁重的工作留给具有较大实例(包括支持 GPU 的实例)的临时训练、调整和处理作业。 这样,您就不会在笔记本上持续运行大型实例(或 GPU)。 如果您的笔记本环境需要加速计算,您可以停止您的 m* 系列笔记本实例,切换到支持 GPU 的 P* 系列实例,然后重新启动它。 当您不再需要在您的开发环境中进行额外的提升时,不要忘记将其切换回来。
限制用户访问特定实例类型
管理员可以通过以下方式限制用户创建过大的笔记本 AWS身份和访问管理 (IAM) 政策。 例如,以下示例策略仅允许用户创建较小的 t3 SageMaker 笔记本实例:
管理员还可以使用 AWS服务目录 允许 SageMaker 笔记本的自助服务。 这允许您在创建笔记本时限制用户可用的实例类型。 有关详细信息,请参阅 使用 Amazon SageMaker 笔记本和 AWS Service Catalog 实现自助式、安全的数据科学 和 在 AWS Control Tower 环境中使用 AWS Service Catalog 和 AWS SSO 启动 Amazon SageMaker Studio.
停止空闲笔记本实例
为了降低成本,我们建议您在不需要时停止笔记本实例,并在需要时启动它们。 考虑自动检测空闲笔记本实例并使用 生命周期配置脚本。 例如, 自动停止怠速 是一个示例 shell 脚本,可在闲置超过 1 小时时停止 SageMaker 笔记本。
AWS维护 笔记本生命周期配置脚本的公共存储库 解决了定制笔记本实例的常见用例,包括用于停止闲置笔记本的示例bash脚本。
安排笔记本实例的自动启动和停止
另一种节省笔记本电脑成本的方法是在特定时间自动启动和停止笔记本电脑。 您可以使用 亚马逊EventBridge 规则和 AWS Lambda 功能。 有关配置Lambda函数的更多信息,请参见 配置 Lambda 函数选项. 创建函数后,您可以创建规则以按特定计划触发这些函数,例如,在每个工作日的早上 7:00 启动笔记本。 看 创建按计划运行的 Amazon EventBridge 规则 获取说明。 有关使用 Lambda 函数启动和停止笔记本的脚本,请参阅 确保 Amazon SageMaker 上的高效计算资源.
SageMaker 工作室
Studio 为数据科学家提供了一个完全托管的解决方案,以交互方式构建、训练和部署 ML 模型。 工作室笔记本 是一键式协作 Jupyter 笔记本,可以快速启动,因为您不需要事先设置计算实例和文件存储。 根据使用时长,您需要为您选择运行笔记本的计算实例类型付费。 使用 Studio 不收取额外费用。 运行 Studio 笔记本、交互式 shell、控制台和终端所产生的成本基于 ML 计算实例的使用情况。
启动后,资源将在所选实例类型的 ML 计算实例上运行。 如果该类型的实例之前已启动并且可用,则该资源将在该实例上运行。 对于基于 CPU 的图像,默认建议的实例类型是 ml.t3.medium。 对于基于 GPU 的图像,默认建议的实例类型是 ml.g4dn.xlarge。 按实例计费,并在启动给定实例类型的第一个实例时开始计费。
如果您想创建或打开笔记本而不产生费用的风险,请从 文件 菜单并选择 无内核 来自 选择内核 对话。 您可以在没有运行内核的情况下阅读和编辑笔记本,但不能运行单元。 您需要为每个实例单独付费。 当实例上的所有 KernelGateway 应用程序关闭或实例关闭时计费结束。 有关计费的信息以及定价示例,请参阅 亚马逊 SageMaker 定价。
在 Cost Explorer 中,您可以通过应用过滤器来过滤 Studio notebook 成本 使用类型. 此使用类型的名称结构如下: REGION-studio:KernelGateway-instanceType
(例如, USE1-Studio:KernelGateway-ml.m5.large
)
按使用类型过滤 studio:
Cost Explorer 中的 将向您显示帐户中 Studio 使用类型的列表。 您可以选择必要的使用类型,或选择 选择全部 并选择 使用 以显示 Studio 应用程序使用的成本明细。 下面的截图显示了选择所有的 studio
用于成本分析的使用类型。
您还可以应用其他过滤器,例如区域、关联账户或实例类型,以进行更精细的成本分析。 将粒度更改为 日间 为您提供基于所选使用类型和维度的每日成本和使用情况图表,如以下屏幕截图所示。
在前面的示例中,USE3 区域中类型为 ml.t1.medium 的 Studio KernelGateway 实例报告从 48 月 1 日到 24 月 24 日期间每天使用 11 小时,随后在 5 月 1 日之前每天使用 24 小时。同样,USE1 区域中类型为 ml.m23.large 的 Studio KernelGateway 实例报告从 24 月 XNUMX 日到 XNUMX 月 XNUMX 日每天使用 XNUMX 小时。连续多天每天使用 XNUMX 小时或更长时间表明 Studio notebook 实例可能正在运行连续多日。 这种类型的模式可以受益于应用成本控制护栏,例如在不使用时手动或自动关闭 Studio 应用程序。
如前所述,您可以使用 AWS CUR 获取资源粒度的数据,并构建自定义查询以使用标准 SQL 查找 AWS CUR 数据。 您还可以在查询中包含成本分配标签,以获得更高的粒度级别。 以下查询从您的 AWS CUR 数据返回过去 3 个月的 Studio KernelGateway 资源使用情况:
以下屏幕截图显示了使用 Athena 运行 AWS CUR 查询获得的结果。
查询结果显示名为 Studio KernelGateway 的应用程序 datascience-1-0-ml-t3-medium-1abf3407f667f989be9d86559395
账户运行 111111111111
, 工作室域名 d-domain1234
, 和用户配置文件 user1
在 ml.t3.medium 实例上连续多天报告 24 小时的使用情况。 实例费率为 0.05 美元/小时,每天运行 24 小时的费用为 1.20 美元。
AWS CUR 查询结果可以帮助您以小时或每日使用的粒度级别识别连续几天运行的资源模式,可以分析这些模式以优化成本。 与 SageMaker 笔记本一样,您还可以将 AWS CUR 数据输入 QuickSight 以用于报告或可视化目的。
SageMaker数据牧马人
亚马逊SageMaker数据牧马人 是 Studio 的一项功能,可帮助您从低代码可视化界面简化数据准备和特征工程的过程。 Studio Data Wrangler 应用程序的使用类型名称结构如下 REGION-Studio_DW:KernelGateway-instanceType
(例如, USE1-Studio_DW:KernelGateway-ml.m5.4xlarge
).
按使用类型过滤 studio_DW:
Cost Explorer 中的 将向您显示帐户中 Studio Data Wrangler 使用类型的列表。 您可以选择必要的使用类型,或选择 选择全部 并选择 使用 显示 Studio Data Wrangler 应用程序使用的成本明细。 下面的截图显示了选择所有的 studio_DW
用于成本分析的使用类型。
如前所述,您还可以应用额外的过滤器来进行更精细的成本分析。 例如,以下屏幕截图显示了 USE24 区域中的 Studio Data Wrangler 实例类型 ml.m5.4xlarge 每天 1 小时的多天使用情况及其相关成本。 此类见解可用于应用成本控制措施,例如在不使用时关闭 Studio 应用程序。
您可以从 AWS CUR 获取资源级信息,并构建自定义查询以使用标准 SQL 查找 AWS CUR 数据。 以下查询从您的 AWS CUR 数据返回过去 3 个月的 Studio Data Wrangler 应用程序资源使用情况和相关成本:
SELECT bill_payer_account_id, line_item_usage_account_id, line_item_resource_id AS studio_notebook_arn, line_item_usage_type, DATE_FORMAT((line_item_usage_start_date),'%Y-%m-%d') AS day_line_item_usage_start_date, SUM(CAST(line_item_usage_amount AS DOUBLE)) AS sum_line_item_usage_amount, line_item_unblended_rate, SUM(CAST(line_item_unblended_cost AS DECIMAL(16,8))) AS sum_line_item_unblended_cost, line_item_blended_rate, SUM(CAST(line_item_blended_cost AS DECIMAL(16,8))) AS sum_line_item_blended_cost, line_item_line_item_description, line_item_line_item_type FROM {$table_name} WHERE line_item_usage_start_date >= date_trunc('month',current_date - interval '3' month) AND line_item_product_code = 'AmazonSageMaker' AND line_item_line_item_type IN ('DiscountedUsage', 'Usage', 'SavingsPlanCoveredUsage') AND line_item_usage_type like '%Studio_DW:KernelGateway%' AND line_item_operation = 'RunInstance' AND bill_payer_account_id = 'xxxxxxxxxxxx' GROUP BY bill_payer_account_id, line_item_usage_account_id, line_item_resource_id, line_item_usage_type, line_item_unblended_rate, line_item_blended_rate, line_item_line_item_type, DATE_FORMAT((line_item_usage_start_date),'%Y-%m-%d'), line_item_line_item_description ORDER BY line_item_resource_id, day_line_item_usage_start_date
以下屏幕截图显示了使用 Athena 运行 AWS CUR 查询获得的结果。
查询结果显示名为 Studio Data Wrangler 的应用程序 sagemaker-data-wrang-ml-m5-4xlarge-b741c1a025d542c78bb538373f2d
账户运行 111111111111
, 工作室域 d-domain1234
, 和用户配置文件 user1
在 ml.m5.4xlarge 实例上连续多天报告 24 小时的使用情况。 实例费率为 0.922 美元/小时,运行 24 小时的每日成本为 22.128 美元。
优化工作室成本
Studio notebook 会根据您选择的实例类型根据使用时长收费。 您必须关闭实例才能停止产生费用。 如果您关闭实例上运行的笔记本但不关闭实例,您仍然会产生费用。 当您关闭 Studio 笔记本实例时,任何其他资源(例如 SageMaker 端点)、 亚马逊电子病历 集群,和 亚马逊简单存储服务 (Amazon S3) 从 Studio 创建的存储桶不会被删除。 如果不再需要这些资源以停止应计费用,请将其删除。 有关关闭 Studio 资源的更多详细信息,请参阅 关闭资源. 如果您正在使用 Data Wrangler,请务必在完成工作后将其关闭以节省成本。 有关详细信息,请参阅 关闭数据管理员.
请考虑以下最佳实践,以帮助降低 Studio 笔记本的成本。
自动停止空闲的 Studio 笔记本实例
您可以使用以下命令自动停止空闲的 Studio 笔记本资源 生命周期配置 在工作室。 您还可以安装和使用 JupyterLab 扩展 GitHub上 作为 Studio 生命周期配置。 有关 Studio 架构和添加扩展的详细说明,请参阅 通过自动关闭 Amazon SageMaker Studio 中的空闲资源来节省成本.
即时调整大小
Studio notebooks 相对于 notebook instances 的优势在于,有了 Studio,底层 计算资源完全具有弹性,您可以随时更改实例. 这允许您随着计算需求的变化(例如从 ml.t3.medium 到 ml.m5.4xlarge)扩大和缩小计算,而无需中断您的工作或管理基础设施。 从一个实例到另一个实例的移动是无缝的,您可以在实例启动时继续工作。 对于按需笔记本实例,您需要停止实例、更新设置并使用新实例类型重新启动。 有关详细信息,请参阅 了解如何在Amazon SageMaker Studio中即时选择ML实例.
限制用户访问特定实例类型
管理员可以使用 IAM 条件键 作为针对特定用户限制某些实例类型(例如 GPU 实例)从而控制成本的有效方法。 例如,在以下示例策略中,拒绝访问除 ml.t3.medium 和 ml.g4dn.xlarge 之外的所有实例。 请注意,您需要为默认的 Jupyter Server 应用程序允许系统实例。
有关优化 Studio 成本的最佳实践的综合指南,请参阅 确保 Amazon SageMaker 上的高效计算资源.
使用标签跟踪 Studio 成本
在 Studio 中,您可以为您的 Studio 分配自定义标签 域 以及 用户 谁有权访问域。 Studio 将自动复制这些标签并将其分配给 工作室笔记本 由用户创建,因此您可以轻松跟踪和分类 Studio 笔记本的成本,并为您的组织创建成本分摊模型。
默认情况下,SageMaker 会自动标记新的 SageMaker 资源,例如训练作业、处理作业、实验、管道和模型注册表条目及其各自的 sagemaker:domain-arn
. SageMaker 还将资源标记为 sagemaker:user-profile-arn
or sagemaker:space-arn
在更细粒度的级别指定资源创建。
管理员可以使用自动标记来轻松监控与其业务线、团队、个人用户或个人业务问题相关的成本,方法是使用以下工具 AWS 预算 和成本管理器。 例如,您可以附加一个 成本分配标签 等加工。为 sagemaker:domain-arn
标签。
这使您可以利用 Cost Explorer 可视化给定域的 Studio notebook 支出。
考虑存储成本
当您团队的第一位成员加入 Studio 时,SageMaker 会创建一个 亚马逊弹性文件系统 (Amazon EFS) 团队的卷。 当该成员或团队的任何成员打开 Studio 时,将在该成员的卷中创建一个主目录。 此目录会产生存储费用。 随后,存储在成员主目录中的笔记本和数据文件会产生额外的存储费用。 有关详细信息,请参阅 亚马逊 EFS 定价。
结论
在本文中,我们提供了有关使用笔记本实例和 Studio 构建 ML 模型时的成本分析和最佳实践的指南。 随着机器学习成为跨行业的强大工具,培训和运行 ML 模型需要保持成本效益。 SageMaker 提供广泛而深入的功能集,以促进 ML 管道中的每个步骤,并提供成本优化机会,而不会影响性能或敏捷性。
作者简介
迪帕里•拉贾莱 是 AWS 的高级 AI/ML 专家。 她与企业客户合作,为在 AWS 生态系统中部署和维护 AI/ML 解决方案提供技术指导和最佳实践。 她曾与众多组织合作处理涉及 NLP 和计算机视觉的各种深度学习用例。 她热衷于帮助组织利用生成式 AI 来增强他们的使用体验。 在业余时间,她喜欢电影、音乐和文学。
乌里·罗森博格 是欧洲、中东和非洲的人工智能和机器学习专家技术经理。 Uri 总部位于以色列,致力于为企业客户提供有关 ML 的所有事物的支持,以大规模设计、构建和运营。 在业余时间,他喜欢骑自行车、远足、早餐、午餐和晚餐。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- 与 Adryenn Ashley 一起铸造未来。 访问这里。
- 使用 PREIPO® 买卖 PRE-IPO 公司的股票。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/part-2-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-2-sagemaker-notebooks-and-studio/
- :具有
- :是
- :不是
- :在哪里
- ][p
- $UP
- 1
- 100
- 11
- 14
- 15%
- 20
- 2021
- 23
- 24
- 26%
- 31
- 7
- 8
- a
- 关于
- 加速
- ACCESS
- 完成
- 账号管理
- 横过
- 操作
- 要积极。
- 添加
- 额外
- 地址
- 优点
- 非洲
- 后
- 再次
- AI
- AI / ML
- 所有类型
- 分配
- 让
- 允许
- 沿
- 还
- am
- Amazon
- Amazon EC2
- 亚马逊SageMaker
- 亚马逊SageMaker Studio
- 亚马逊网络服务
- 量
- an
- 检测值
- 分析
- 分析
- 和
- 另一个
- 任何
- 应用
- 使用
- 应用
- 的途径
- 应用
- 架构
- 保健
- AS
- 相关
- At
- 连接
- 八月
- 自动化
- 自动表
- 自动
- 可使用
- AWS
- 背部
- 基于
- 打坏
- 基本包
- BE
- 因为
- 很
- 得益
- 最佳
- 最佳实践
- 更好
- 之间
- 大
- 计费
- 促进
- 击穿
- 早餐
- 建立
- 建筑物
- 商业
- 但是
- by
- 计算
- CAN
- 例
- 检索目录
- 细胞
- 一定
- 挑战
- 更改
- 更改
- 改变
- 充
- 带电
- 收费
- 图表
- 选择
- 码
- 共同
- 相当常见
- 沟通
- 复杂
- 全面
- 计算
- 计算
- 一台
- 计算机视觉
- 计算
- 计算能力
- 流程条件
- 配置
- 连续
- 考虑
- 游戏机
- 经常
- 消费
- 包含
- 继续
- 一直
- 控制
- 控制塔
- 控制
- 价格
- 经济有效
- 成本
- 可以
- 创建信息图
- 创建
- 创建
- 创造
- 创建
- 电流
- 习俗
- 合作伙伴
- 每天
- data
- 资料准备
- 数据处理
- 数据科学
- 数据集
- 一年中的
- 交易
- 十二月
- 深
- 深入学习
- 默认
- 需求
- 依靠
- 部署
- 部署
- 设计
- 期望
- 详细
- 详情
- 确定
- 研发支持
- 对话框
- 尺寸
- 晚餐
- 屏 显:
- do
- 不会
- 域
- 完成
- 别
- 翻番
- 向下
- 为期
- 每
- 此前
- 容易
- 东部
- 生态系统
- 效果
- 有效
- 只
- 高效
- 授权
- 授权
- 结束
- 工程师
- 提高
- 更多
- 企业
- 环境
- 建立
- 欧洲
- 甚至
- 所有的
- 一切
- 例子
- 例子
- 除
- 昂贵
- 体验
- 实验
- 勘探
- 探险家
- 延期
- 额外
- 促进
- 家庭
- 家庭
- 专栏
- 二月
- 文件
- 档
- 过滤
- 过滤器
- (名字)
- 专注焦点
- 其次
- 以下
- 如下
- 针对
- 发现
- 止
- 充分
- 功能
- 功能
- 一般用途
- 代
- 生成的
- 生成式人工智能
- 得到
- 特定
- 给
- GPU
- 图形处理器
- 图表
- 大
- 团队
- 指导
- 处理
- 硬件
- 有
- he
- 重
- 举重
- 保持
- 帮助
- 帮助
- 帮助
- 这里
- 他的
- 主页
- 托管
- 小时
- HOURS
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 数百
- i
- 鉴定
- 身分
- 空闲
- if
- 图片
- 图片
- 影响
- 重要
- 改善
- in
- 包括
- 包括
- 包含
- 增加
- 表明
- 表示
- 个人
- 行业
- 信息
- 基础设施
- 可行的洞见
- 安装
- 例
- 说明
- 互动
- 接口
- 成
- 介绍
- 涉及
- 以色列
- IT
- 它的
- 本身
- 一月
- 24 年 XNUMX 月
- 工作机会
- JPG
- 七月
- 保持
- 大
- 大
- (姓氏)
- 推出
- 启动
- 铅
- 知道
- 学习
- 离开
- 左
- 教训
- 经验教训
- Level
- 杠杆作用
- 生命周期
- 翻新
- 喜欢
- Line
- 链接
- 清单
- 文学
- 加载
- 不再
- 看
- 午餐
- 机
- 机器学习
- 维护
- 维护
- 管理
- 经理
- 管理
- 管理的
- 手册
- 许多
- 可能..
- 有意义的
- 措施
- 中等
- 会员
- 内存
- 提到
- 菜单
- 中间
- 中东
- 可能
- ML
- 模型
- 造型
- 模型
- 显示器
- 月
- 个月
- 更多
- 最先进的
- 电影
- 移动
- 多
- 音乐
- 必须
- 姓名
- 命名
- 名称
- 必要
- 需求
- 打印车票
- 需要
- 网络
- 神经网络
- 全新
- NLP
- 没有
- 笔记本
- 注意到
- 数
- 获得
- 获得
- of
- 最多线路
- 提供
- 优惠精选
- on
- 点播
- 一
- 仅由
- 打开
- 打开
- 操作
- 机会
- 优化
- 优化
- 追求项目的积极优化
- or
- 秩序
- 组织
- 组织
- 输出
- 概述
- 超过
- 并行
- 参数
- 部分
- 多情
- 模式
- 模式
- 演出
- 性能
- 执行
- 期间
- 管道
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 政策
- 可能性
- 帖子
- 帖子
- 功率
- 强大
- 做法
- 准备
- Prepare
- 防止
- 先前
- 价格
- 主动
- 问题
- 过程
- 处理
- 本人简介
- 原型
- 提供
- 提供
- 提供
- 优
- 目的
- 查询
- 很快
- 范围
- 率
- 比
- 阅读
- 真
- 建议
- 建议
- 减少
- 地区
- 注册处
- 有关
- 相对
- 留
- 报告
- 报告
- 业务报告
- 知识库
- 必须
- 岗位要求
- 资源
- 资源
- 那些
- 限制
- 导致
- 导致
- 成果
- 回报
- 右
- 风险
- 第
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- sagemaker
- 保存
- 鳞片
- 缩放
- 始你
- 科学
- 科学家
- 脚本
- 无缝的
- 担保
- 看到
- 选
- 选择
- 自助服务
- 前辈
- 九月
- 系列
- 服务
- 服务
- 特色服务
- 集
- 设置
- Share
- 她
- 壳
- 显示
- 显示
- 如图
- 作品
- 关闭
- 关闭
- 关闭
- 同样
- 简易
- 简化
- 自
- 单
- 尺寸
- 切片
- 小
- 小
- So
- 方案,
- 解决方案
- 专家
- 具体的
- 花
- 纺
- 标准
- 开始
- 开始
- 开始
- 启动
- 步
- 仍
- Stop 停止
- 停车
- 车站
- 存储
- 存储
- 结构化
- 工作室
- 后来
- 这样
- 足够
- 合适的
- SUPPORT
- 支持主动
- Switch 开关
- 系统
- 行李牌
- 采取
- 任务
- 团队
- 队
- 文案
- test
- 比
- 这
- 其
- 他们
- 然后
- 那里。
- 从而
- 博曼
- 他们
- 事
- Free Introduction
- 那些
- 数千
- 通过
- 次
- 时
- 至
- 也有
- 工具
- 工具
- 塔
- 跟踪时
- 培训
- 产品培训
- 触发
- 类型
- 类型
- 相关
- 理解
- 直到
- 更新
- 用法
- 使用
- 用过的
- 用户
- 用户
- 运用
- 利用
- 验证
- 各个
- 能见度
- 愿景
- 可视化
- 体积
- vs
- 想
- 是
- 方法..
- 方法
- we
- 卷筒纸
- Web服务
- 井
- ,尤其是
- 而
- 这
- 而
- WHO
- 宽
- 大范围
- 将
- 中
- 也完全不需要
- 工作
- 工作
- 工作流程
- 加工
- 合作
- 写
- 写代码
- 写作
- 完全
- 您一站式解决方案
- 和风网