双时性,帮助降低金融服务用例的成本

双时性,帮助降低金融服务用例的成本

上周我参加了“所有数据和分析基准测试”活动。 这真是太棒了,大多数主要银行都有代表,还有最热门的对冲基金、一大群交易所和一些不寻常的供应商。

我发现它令人耳目一新,就像大多数讨论有形分析的活动一样。 我早期的职业生涯专注于定量/数据科学/分析,但现在我处于,咳咳,
“数据”行业,由一系列令人困惑的(大部分)商业产品组成,支撑“数据仓库”、“数据湖”、“数据网格”、“数据结构”、“数据沼泽”基础设施,价值达 XNUMX 美元数万亿美元的支出并维持一些非常大的组织。 我个人认为这个行业的语言、行话和生态系统是从现实中抽象出来的,但它有助于维持具有精美名称的产品和类别的商业提供商。 正如他们所说,跟着钱走:“复杂”的数据平台比任何 MSC 学生都可以使用的建模工具的价格要高得多。

数据行业是这次非常务实的活动的背景,但在一个名为“数据沿袭”。 数据沿袭主要是一个顺序线性过程,它捕获从摄取到利用的数据转换,并有助于支撑所谓的数据治理,从而驱动大量昂贵的仓库工具。 云时代,云数据仓库风靡一时,尤其如此。 但事情是这样的。 数据转换实际上不是线性的,特别是在有用的时候。 它是复杂的、周期性的、像《神秘博士》和《塔迪斯》一样不断变化,穿越时间和星系。 撇开伪哲学和流行物理学不谈,在金融领域,相同的数据经过调整、转换和分析后,可以服务于许多不同的用例,而且跨越时间和地点。 此外,监管机构要求我们记录变更,对我们所做的事情、时间、原因以及变更内容保持透明。 您可能会说,“这就是他们要求的数据治理”。 有点儿。 但监管机构实际上要求报告可行的决策,这些决策需要模型、参与以及产生影响的行动。 它涉及人员、决策和实际用例,而不仅仅是数据。

小组讨论详细介绍并讨论了“ 双时态,一种实用的数据管理策略,可以很好地服务于金融用例和监管流程。 一位来自(非常)受监管的一级银行的小组成员热情洋溢地赞扬了双时性。 他的架构使用双时性来根据时间进行调整并重放数据更改。 假设您想要重新创建一份旧的财务报告或衍生品交易,因为它在创建时看起来如此,然后因为它应该看起来像后来的更正/添加/支付,例如在合规报告中。 在他的案例中,通过双时性,单个数据源以“智慧”告知数据的多个(经过验证的)视图(无论何时发生)。 它实施起来很简单,成本也不高,以下是您需要了解的内容。

  • 数据模型应该存储和促进跨两个时间维度的数据分析——双时态数据模型,即在开始时和未来任何时间点(当其状态发生修改时)提供数据的模型,并且可以表示为“ -of”给定的时间。 
  • 该模型为每个属性、对象和值存储多个时间戳。
  • 数据点可以连接起来——“as-of”连接 

截至数据

在传统的数据仓库类型架构中,这种沿袭可能意味着昂贵的数据复制以及不合时宜的低效率和检索复杂性。 这是云数据仓库提供商赚钱的一种方式,管理多个数据副本,这是一种生硬的方法。

一个简单的替代方案就是简单的数据模式和支持存储/内存中的过程。 这可以而且应该是廉价的、以 Python 为中心的。 只需使用时间戳(与您的数据一起)和 as-of 连接(在代码中)即可使过程变得简单,并能够根据需要深入研究各个记录。

为了节省数据仓库的成本,请使用一些简单的 Python 进行设计,并关注内存中的性能。 无需在昂贵的数据仓库流程中进行设计。

您在金融领域的哪些地方使用双时性? 嗯,合规是一个明显的例子。 举个例子

欺骗
。 现在,欺骗本质上是一种交易意图模式,尽管是一种欺诈性的模式,其中特定类型的交易被放置但没有进行。 深潜欺骗的原因主要是合规性,但深潜交易的模式,无论成功、不成功、欺诈或只是伟大,也有利于前台。 这反过来又为回溯测试和策略开发提供信息,其中也可以包括时间概念。 这是因为,当策略进入生产交易、风险或投资组合管理系统时,它们只知道前面的内容,但回溯测试可以尝试并结合已知的假设来降低风险。 例子包括比较短期交易成本与估计交易成本、比较实际和预期的短期货币对相关性、衍生品和固定收益工具的中期回报、股票股息、投资组合管理中的股票/行业相关性,以及经济学家喜爱的长期“宏观”市场/风险机制。 时间和双时性很重要。 受影响的用例使该技术比简单的数据工程策略更有价值。

除了资本市场之外,还可以考虑支付。 例如,支付设备上的操作将集中报告交易。 然后,交易时已知的信息将通过信息(例如客户的信息)进行更新。 欺诈检测是一个明显的用例,并且需要及时。 智能支付数据会及时得到处理,但会进行调整以提高数据质量并通知下游事件。 在主数据和时间序列数据上使用双时态数据模型有助于管理时间点活动。

总之,通过一些常识性分析和对现实世界用例的理解,可以简化可能成本高昂、“高度管理”的线性仓库沿袭转换。 双时性非常值得一看。

时间戳记:

更多来自 芬泰达