通过现代数据平台的不断发展,新的架构模式和术语出现了令人兴奋的转变。 最初的“数据仓库”很快变成了“数据湖”,随后又变成了“湖屋”。 具有价值的数据集成为数据资产,然后将其分组为数据产品。 “数据产品”等术语通常非常主观,但实际上并不需要如此。 实现众多专注于数据产品的架构设计非常重要。 本博客旨在尽可能简单地阐明该主题,以造福所有人。
“如果你不能简单地解释它,你就不能理解它。”
Albert Einstein
秘密就在名字里。 考虑一下巨大的零售市场亚马逊。 亚马逊是一个平台,允许卖家创建和管理虚拟商店并向最终消费者销售产品。 想想您能够购买的任何产品。 当您进入亚马逊并搜索商品时,会出现搜索返回的产品列表。 您的搜索选择可能基于亚马逊产品评论、定价、评级、评论、尺寸或交货时间。 亚马逊不是产品。 亚马逊是一个允许您浏览所提供产品的市场。 这些产品将有产品商店和幕后所有者(卖家),这些所有者将管理他们的库存,包括产品的库存、使用、分销、交付和管理信息。 这是某种元数据。
亚马逊上的产品不限于一种有价值的物品或资产。 可以购买多种物品; 从牙刷到健身器材。 产品并不被定义为一种类型的物体或资产,而是一种可以购买的物品,无论它是什么。
现在让我们考虑一下数据
数据市场允许您浏览可以出于任何原因使用的多个数据资产,其管理方式与亚马逊产品非常相似。 用我们的话来说,这就是我们定义数据产品的方式。
数据产品包括:
- 可分发的数据集
- 报告和创建报告的管道
- 机器学习模型
这些数据产品均作为端到端解决方案进行开发、管理、治理和分发。 可能有多个或单个资产,它们又构成了产品。 但这个过程中有价值的、可用的结果就是产品。
从历史上看,企业通过将不同领域组合成一种资源来构建整体解决方案。 一台设备可以生产多种不同的、不相关的有价物品。
这听起来不错,但这就像亚马逊告诉每个希望在市场上销售商品的人,他们必须使用一家整体商店,由一位店主管理,包括所有库存。 在这种情况下,每个人的产品都依赖于单个商店的良好管理。 虽然这可能意味着个人卖家的管理工作会减少,但如果店主不擅长维护自己的商店,就会存在很高的风险和更多的依赖性。 如果发生这种情况,那么卖家将更有可能去其他地方创建自己的商店。
回到数据——市场上普遍存在一种偏见,认为企业数据解决方案是不成功的。 这种观点是由多年来失败的数据仓库/数据湖项目的经验所驱动的。 问题的关键在于每个业务部门的需求不断变化,其变化速度各不相同。 虽然该组织的一个派别可能会呼吁迅速实施,但另一派可能会表现出漠不关心的立场。 不幸的是,当考虑建立集中式数据存储库时,这些危险就会浮现出来。
解决这一挑战的一种方法是实施“数据即产品”架构设计模式,将所有权交还给域本身。 这种架构范式的优点是巨大的。 它可以实现更快的域部署、控制风险状况、域级别的警惕数据质量管理、简化的治理以及明确的数据所有权划分; 全部在数据网格设计模式中定义。
从数据资产到“数据即产品”再到数据产品
我们不要混淆数据产品和数据网格中定义的术语“数据即产品”。 它们很相似,但又不一样。 如果说数据资产是价值的客体,产品是具有支撑管理能力的资产,那么“数据即产品”就是如何实现价值的设计方法,即数据网格的一部分。
将数据视为产品会改变您设计架构的方式,从而引入域级设计模式。 端到端的托管资产是数据产品,而实现这一目标的架构设计是将“数据作为产品”对待。
“数据产品”的概念是新的演变吗?
数据产品无疑是现代数据平台的下一步,但它不一定是需要考虑的唯一设计模式。 如果企业规模不大,让多个团队生产数据产品简直是大材小用。 有时,集中式 IT 和治理不仅有用,而且是必要的。
设计任何数据架构的方法有很多种,尽管数据产品设计对于更快地交付或创造价值非常有效,但这并不是唯一的方法。
- :是
- :不是
- $UP
- a
- Able
- 关于
- 管理员
- 管理
- 行政
- 所有类型
- 允许
- 尽管
- Amazon
- an
- 和
- 另一个
- 任何
- 建筑的
- 架构
- 保健
- 围绕
- AS
- 财富
- 办公室文员:
- At
- 背部
- 基于
- BE
- 成为
- 成为
- 背后
- 在幕后
- 得益
- 博客
- 建
- 商业
- 但是
- by
- 能力
- 集中
- 当然
- 挑战
- 更改
- 结合
- 注释
- 概念
- 考虑
- 消费者
- 继续
- 可以
- 创建信息图
- 创建
- data
- 数据湖
- 数据平台
- 数据集
- 定义
- 定义
- 交货
- 依赖
- 依赖的
- 部署
- 设计
- 设计模式
- 设计
- 发达
- 不同
- 不同
- 分布
- 分配
- 域
- 域名
- 别
- 驱动
- 两
- e
- 每
- 有效
- 别处
- 使
- 结束
- 端至端
- 更多
- 企业
- 企业
- 设备
- 每个人
- 大家的
- 进化
- 令人兴奋的
- 展览
- 存在
- 体验
- 说明
- 诊所
- 失败
- 远
- 快
- Finextra
- 专注焦点
- 针对
- 止
- 得到
- 巨人
- 给
- Go
- 治理
- 治理
- 大
- 健身房
- 发生
- 有
- 有
- 元首
- 高
- 高度
- 他的
- 整体
- 创新中心
- How To
- HTTPS
- i
- if
- 实施
- 履行
- 实施
- in
- 包括
- 包含
- 个人
- 信息
- 成
- 库存
- IT
- 项目
- 本身
- JPG
- 湖泊
- 大
- 信息
- 学习
- 减
- 让
- Level
- 谎言
- 光
- 喜欢
- 容易
- 清单
- 维护
- 使
- 管理
- 管理
- 颠覆性技术
- 市场
- 市场
- 问题
- 可能..
- 意味着
- 优点
- 网格
- 元数据
- 方法
- 可能
- 现代
- 更多
- 最先进的
- 许多
- 多
- 姓名
- 自然
- 一定
- 必要
- 需求
- 全新
- 下页
- 众多
- 对象
- of
- 提供
- 经常
- on
- 一
- 仅由
- 到
- or
- 组织
- 我们的
- 超过
- 己
- 业主
- 业主
- 所有权
- 范例
- 部分
- 模式
- 模式
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 可能
- 价格
- 生成
- 生产
- 产品
- 产品设计
- 产品评论
- 核心产品
- 本人简介
- 项目
- 采购
- 购买
- 质量
- 题
- 价格表
- 评分
- 真
- 原因
- 而不管
- 知识库
- 岗位要求
- 资源
- 受限
- 零售
- 评论
- 风险
- 同
- 脚本
- 场景
- 搜索
- 秘密
- 寻求
- 选择
- 出售
- 卖家
- 套数
- 几个
- 棚
- 应该
- 类似
- 简化
- 只是
- 单
- 尺寸
- 方案,
- 解决方案
- 东西
- 或很快需要,
- 姿态
- 开始
- 步
- 库存
- 商店
- 商店
- 精简
- 主题
- 后来
- 大量
- 这样
- 支持
- SWIFT的
- 队
- 告诉
- 术语
- 条款
- 这
- 其
- 然后
- 那里。
- 博曼
- 他们
- 认为
- Free Introduction
- 那些
- 次
- 至
- 向
- 治疗
- 转
- 类型
- 理解
- 不幸
- 用法
- 使用
- 有价值
- 折扣值
- 创造价值
- 各种
- 各个
- 非常
- 查看
- 在线会议
- 方法..
- 方法
- we
- 井
- 什么是
- ,尤其是
- 这
- 虽然
- 将
- 希望
- 工作
- 价值
- 将
- 年
- 完全
- 您一站式解决方案
- 和风网