这是一篇由来自 Getir 的 Nafi Ahmet Turgut、Mutlu Polatcan、Pınar Baki、Mehmet İkbal Özmen、Hasan Burak Yel 和 Hamza Akyıldız 共同撰写的客座文章。
带 是超快速杂货配送的先驱。 这家科技公司凭借其“几分钟内送达杂货”的主张彻底改变了最后一英里的送货方式。 Getir 成立于 2015 年,在土耳其、英国、荷兰、德国、法国、西班牙、意大利、葡萄牙和美国开展业务。 如今,Getir 是一家在同一品牌下整合了九个垂直领域的企业集团。
预测未来需求是 Getir 最重要的洞察力之一,也是我们面临的最大挑战之一。 在营销、生产、库存和财务等广泛领域做出业务决策时,Getir 在很大程度上依赖于 SKU 级别的准确需求预测。 准确的预测对于支持库存持有和补货决策是必要的。 对第二天或下周的预测需求有清晰可靠的了解,使我们能够调整战略并提高实现销售和收入目标的能力。
Getir 使用过 亚马逊预报,一种使用机器学习 (ML) 算法提供高度准确的时间序列预测的完全托管服务,可将收入提高 50% 并将浪费成本降低 XNUMX%。 在这篇文章中,我们描述了我们如何使用 Forecast 来实现这些好处。 我们概述了我们如何使用 Forecast 构建自动化需求预测管道并由 AWS步骤功能 预测 SKU 的每日需求。 该解决方案对我们运营所在的所有国家/地区的 10,000 多个 SKU 进行了高度准确的预测,并显着提高了我们开发高度可扩展的内部供应链流程的能力。
Forecast 使大部分时间序列预测过程自动化,使您能够专注于准备数据集和解释预测。
Step Functions 是一项完全托管的服务,可以更轻松地使用可视化工作流协调分布式应用程序和微服务的组件。 从单独的组件构建应用程序,每个组件执行不同的功能有助于您更轻松地扩展和更快地更改应用程序。 Step Functions 会自动触发和跟踪每个步骤,并在出现错误时重试,因此您的应用程序会按预期顺序执行。
解决方案概述
来自 Getir 的数据科学团队和基础设施团队的 3 人共同参与了这个项目。 该项目在 2 个月内完成,并在经过 XNUMX 个月的测试后部署到生产环境。
下图显示了解决方案的体系结构。
模型管道针对每个国家单独执行。 该架构包括四个按定义的时间表运行的 Airflow cron 作业。 管道从功能创建开始,首先创建功能并将它们加载到 亚马逊Redshift. 接下来,特征处理作业准备存储在 Amazon Redshift 中的日常特征并将时间序列数据卸载到 亚马逊简单存储服务 (亚马逊 S3)。 第二个 Airflow 作业负责通过以下方式触发预测管道 亚马逊EventBridge. 该管道由 Amazon Lambda 函数组成,这些函数根据存储在 Amazon S3 中的参数创建预测器和预测。 Forecast 从 Amazon S3 读取数据,使用超参数优化 (HPO) 训练模型以优化模型性能,并对产品销售产生未来预测。 然后为每个国家/地区触发 Step Functions“WaitInProgress”管道,从而为每个国家/地区并行执行管道。
算法选择
Amazon Forecast 有六种内置算法(有马, 二手烟, NPTS, 先知, DeepAR +, 二维码),它们分为两组:统计网络和深度/神经网络。 在这些算法中,深度/神经网络更适合电子商务预测问题,因为它们接受项目元数据特征、活动和营销活动的前瞻性特征,以及最重要的相关时间序列特征。 深度/神经网络算法在稀疏数据集和冷启动(新项目引入)场景中也表现出色。
总的来说,在我们的实验中,我们观察到深度/神经网络模型的性能明显优于统计模型。 因此,我们将深度测试重点放在 DeepAR+ 和 CNN-QR 上
Amazon Forecast 最重要的优势之一是许多产品和国家/地区组合的可扩展性和准确结果。 在我们的测试中,DeepAR+ 和 CNN-QR 算法都在捕捉趋势和季节性方面取得了成功,使我们能够在需求变化非常频繁的产品中获得有效的结果。
Deep AutoRegressive Plus (DeepAR+) 是一种基于递归神经网络 (RNN) 的监督式单变量预测算法,由 亚马逊研究. 它的主要优点是易于扩展,能够将相关协变量合并到数据中(例如相关数据和元数据),并能够预测冷启动项目。 它不是为每个时间序列拟合单独的模型,而是从相关时间序列创建一个全局模型,以通过重新缩放和基于速度的采样来处理广泛变化的尺度。 RNN 架构结合二项式似然来产生概率预测,并被提倡优于传统的单项预测方法(如 Prophet) DeepAR:使用自回归递归网络进行概率预测.
我们最终选择了 亚马逊 CNN-QR (卷积神经网络 - 分位数回归)算法用于我们的预测,因为它在回测过程中具有高性能。 CNN-QR 是亚马逊开发的专有 ML 算法,用于使用因果卷积神经网络 (CNN) 预测标量(一维)时间序列。
如前所述,CNN-QR 可以使用有关被预测项目的相关时间序列和元数据。 元数据必须包含目标时间序列中所有唯一项目的条目,在我们的例子中是我们预测其需求的产品。 为了提高准确性,我们使用了类别和子类别元数据,这有助于模型理解某些产品之间的关系,包括互补品和替代品。 例如,对于饮料,我们为零食提供了额外的标志,因为这两个类别是相互补充的。
CNN-QR 的一个显着优势是它能够在没有未来相关时间序列的情况下进行预测,这在您无法为预测窗口提供相关特征时非常重要。 这种能力及其预测准确性意味着 CNN-QR 使用我们的数据和用例产生了最佳结果。
预测输出
通过系统创建的预测在按国家/地区接收后将写入单独的 S3 存储桶。 然后,根据 SKU 和国家/地区的日常工作将预测写入 Amazon Redshift。 然后我们根据我们的预测进行日常产品库存计划。
在持续的基础上,我们使用基于产品的数据计算平均绝对误差百分比 (MAPE) 比率,并优化模型和特征摄取过程。
结论
在本文中,我们介绍了使用 Amazon Forecast 和 AWS Step Functions 构建的自动化需求预测管道。
借助 Amazon Forecast,我们将特定国家/地区的 MAPE 提高了 10%。 这推动了 50% 的收入增长,并将我们的废物成本降低了 80%。 此外,我们在可扩展性方面的日常预测训练时间缩短了 10,000%。 我们能够在我们服务的所有国家/地区每天预测超过 XNUMX 个 SKU。
有关如何开始使用 Forecast 构建自己的管道的更多信息,请参阅 亚马逊预测资源。 您也可以访问 AWS步骤功能 获取有关如何构建自动化流程以及编排和创建 ML 管道的更多信息。 祝您预测愉快,今天就开始改善您的业务!
作者简介
纳菲·艾哈迈德·图尔古特 获得电气与电子工程硕士学位,并担任研究生研究科学家。 他的重点是构建机器学习算法来模拟神经网络异常。 他于 2019 年加入 Getir,目前担任高级数据科学与分析经理。 他的团队负责为 Getir 设计、实施和维护端到端机器学习算法和数据驱动解决方案。
穆特鲁波拉特坎 是 Getir 的一名高级数据工程师,专门设计和构建云原生数据平台。 他喜欢将开源项目与云服务相结合。
皮纳巴基 在海峡大学计算机工程系获得硕士学位。 她曾在 Arcelik 担任数据科学家,专注于备件推荐模型和语音数据的年龄、性别、情感分析。 然后,她于 2022 年加入 Getir,担任高级数据科学家,从事预测和搜索引擎项目。
穆罕默德·伊克巴尔·厄兹曼 获得经济学硕士学位并担任研究生研究助理。 他的研究领域主要是经济时间序列模型、马尔可夫模拟和衰退预测。 随后,他于 2019 年加入 Getir,目前担任数据科学与分析经理。 他的团队负责优化和预测算法,以解决运营和供应链业务遇到的复杂问题。
哈桑布拉克耶 在海峡时报大学获得电气与电子工程学士学位。 曾就职于Turkcell,主要专注于时间序列预测、数据可视化和网络自动化。 他于 2021 年加入 Getir,目前担任首席数据科学家,负责搜索和推荐引擎以及客户行为模型。
哈姆扎·阿基尔迪兹 在海峡时报大学获得数学和计算机工程学士学位。 他专注于利用数学背景优化机器学习算法。 他于 2021 年加入 Getir,一直担任数据科学家。 他曾从事个性化和供应链相关项目。
埃斯拉卡亚巴勒 是 AWS 的高级解决方案架构师,专注于分析领域,包括数据仓库、数据湖、大数据分析、批处理和实时数据流以及数据集成。 她拥有 12 年的软件开发和架构经验。 她热衷于学习和教授云技术。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- 与 Adryenn Ashley 一起铸造未来。 访问这里。
- 使用 PREIPO® 买卖 PRE-IPO 公司的股票。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :具有
- :是
- :在哪里
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- 对,能力--
- Able
- 关于
- 绝对
- 接受
- 精准的
- 实现
- 横过
- 活动
- 增加
- 额外
- 优点
- 优点
- 后
- 年龄
- 算法
- 算法
- 所有类型
- 允许
- 允许
- 沿
- 还
- Amazon
- 亚马逊预报
- 亚马逊Redshift
- 亚马逊网络服务
- 其中
- an
- 分析
- 分析
- 和
- 和基础设施
- 应用领域
- 应用领域
- 架构
- 保健
- 国家 / 地区
- 地区
- AS
- 助理
- At
- 作者
- 自动化
- 自动化
- 自动
- 自动化和干细胞工程
- AWS
- AWS步骤功能
- 背景
- 回溯测试
- 基于
- 基础
- 很
- 作为
- 好处
- 最佳
- 更好
- 之间
- 大
- 大数据运用
- 最大
- 都
- 品牌
- 带
- 建立
- 建筑物
- 建
- 内建的
- 商业
- 企业
- by
- 计算
- 营销活动
- CAN
- 捕获
- 携带
- 案件
- 类别
- 产品类别
- 一定
- 链
- 挑战
- 更改
- 更改
- 清除
- 云端技术
- 云服务
- 组合
- 结合
- 公司
- 补充
- 完成
- 复杂
- 组件
- 一台
- 计算机工程
- 砾岩
- 贡献
- 协调
- 价格
- 成本
- 国家
- 国家
- 特定国家
- 创建信息图
- 创建
- 创建
- 创建
- 目前
- 顾客
- 客户行为
- 每天
- data
- 数据分析
- 数据科学
- 数据科学家
- 数据集
- 数据可视化
- 数据驱动
- 数据集
- 天
- 决定
- 定义
- 学位
- 交付
- 交货
- 需求
- 需求预测
- 问题类型
- 部署
- 描述
- 设计
- 开发
- 发达
- 研发支持
- 分布
- 域
- 驱动
- 两
- 电子商务行业
- 每
- 更容易
- 容易
- 经济
- 经济学
- 高效
- 电子
- 使
- 使
- 端至端
- 发动机
- 工程师
- 工程师
- 条目
- 错误
- 故障
- 例子
- 执行
- 执行
- 预期
- 体验
- 有经验
- 面部彩妆
- 专栏
- 特征
- 金融
- (名字)
- 配件
- 专注焦点
- 重点
- 重点
- 聚焦
- 以下
- 针对
- 收益预测
- 预测
- 前瞻性的
- 公司成立
- 四
- 法国
- 频繁
- 止
- 充分
- 功能
- 功能
- 未来
- 性别
- 德国
- 得到
- 全球
- 理想中
- 毕业
- 组的
- 客人
- 游客发表
- 处理
- 快乐
- 有
- he
- 严重
- 帮助
- 帮助
- 这里
- 高
- 高度
- 他的
- 保持
- 创新中心
- How To
- HTML
- HTTPS
- 超参数优化
- 实施
- 重要
- 改善
- 改善
- 改进
- 改善
- in
- 包括
- 包括
- 包含
- 合并
- 结合
- 增加
- 个人
- 信息
- 基础设施
- 可行的洞见
- 代替
- 积分
- 内部
- 成
- 介绍
- 库存
- IT
- 意大利
- 项目
- 它的
- 工作
- 工作机会
- 加盟
- JPG
- 铅
- 学习
- 导致
- Level
- 喜欢
- 负载
- 爱
- 机
- 机器学习
- 主要
- 主要
- 维护
- 制作
- 制作
- 管理
- 经理
- 许多
- 营销
- 硕士
- 数学的
- 数学
- 意味着
- 意思
- 满足
- 提到
- 元数据
- 方法
- 微服务
- ML
- 模型
- 模型
- 个月
- 更多
- 最先进的
- 许多
- 必须
- 必要
- 荷兰
- 网络
- 网络
- 神经网络
- 神经网络
- 全新
- 下页
- 获得
- of
- on
- 一
- 正在进行
- 开放源码
- 操作
- 运营
- 操作
- 优化
- 优化
- 追求项目的积极优化
- or
- 精心策划
- 秩序
- 其他名称
- 我们的
- 输出
- 轮廓
- 性能优异
- 超过
- 己
- 并行
- 参数
- 多情
- 员工
- 百分
- 百分比
- 演出
- 性能
- 个性化
- 图片
- 先驱
- 管道
- 规划行程
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 加
- 葡萄牙
- 帖子
- 预测
- 都曾预测
- 预测
- 准备
- 准备
- 先前
- 问题
- 过程
- 过程
- 处理
- 生产
- 生成
- 产品
- 生产
- 核心产品
- 项目
- 项目
- 主张
- 所有权
- 提供
- 很快
- 范围
- 实时的
- 实时数据
- 收到
- 不景气
- 推荐
- 减少
- 减少浪费
- 有关
- 关系
- 相应
- 可靠
- 研究
- 责任
- 提供品牌战略规划
- 成果
- 收入
- 革命性
- 运行
- 销售
- 同
- 可扩展性
- 可扩展性
- 鳞片
- 秤
- 情景
- 始你
- 科学
- 科学家
- 搜索
- 搜索引擎
- 其次
- 看到
- 选
- 前辈
- 分开
- 系列
- 服务
- 服务
- 特色服务
- 集
- 她
- 作品
- 显著
- 显著
- 简易
- 自
- SIX
- 零食
- So
- 软件
- 软件开发
- 方案,
- 解决方案
- 解决
- 西班牙
- 专业
- 言语
- 团队
- 开始
- 开始
- 启动
- 州
- 统计
- 步
- 库存
- 存储
- 存储
- 策略
- 流
- 成功
- 这样
- 合适的
- 供应
- 供应链
- 支持
- 系统
- 目标
- 教诲
- 团队
- 科技
- 科技公司
- 技术
- 条款
- 测试
- 比
- 这
- 荷兰人
- 英国
- 其
- 他们
- 然后
- 那里。
- 因此
- 博曼
- 他们
- Free Introduction
- 那些
- 通过
- 次
- 时间序列
- 时
- 至
- 今晚
- 一起
- 传统
- 产品培训
- 火车
- 趋势
- 引发
- 触发
- 土耳其
- 二
- Uk
- 最终
- 下
- 理解
- 独特
- 联合的
- 美国
- 大学
- us
- 使用
- 用例
- 用过的
- 运用
- 垂直
- 非常
- 通过
- 参观
- 可视化
- 走
- 是
- 废物回收
- we
- 卷筒纸
- Web服务
- 周
- 井
- ,尤其是
- 这
- 谁的
- 宽
- 大范围
- 也完全不需要
- 工作
- 工作流程
- 加工
- 合作
- 书面
- 年
- 完全
- 您一站式解决方案
- 和风网