Bitemporalidade, ajudando a reduzir custos em casos de uso de serviços financeiros

Bitemporalidade, ajudando a reduzir custos em casos de uso de serviços financeiros

Carimbo de data / hora: 15 de novembro de 2023 11h27

Estive em um evento de “benchmarking de dados e análises de todos os aspectos” na semana passada. Foi fabuloso, a maioria dos grandes bancos estavam representados, também os melhores fundos de hedge, uma parte das bolsas e alguns fornecedores incomuns.

Achei isso revigorante, como a maioria dos eventos em que análises tangíveis são discutidas. Meu início de carreira foi focado em quant/ciência de dados/análise, mas agora estou no, aham,
Profissão de “dados”, que é composta por uma gama confusa de produtos (principalmente) comerciais que sustentam infraestruturas de “data warehouses”, “data lakes” e “data mesh”, “data fabric”, “data swamp”, no valor de US$ trilhões em despesas e sustentando algumas organizações muito grandes. Pessoalmente, considero a linguagem, o jargão e o ecossistema deste setor abstraídos da realidade, mas isso ajuda a sustentar os fornecedores comerciais com produtos e categorias lindamente nomeados. Siga o dinheiro, como dizem: uma plataforma de dados “complexa” tem um preço muito mais alto do que uma ferramenta de modelagem que qualquer aluno do MSC pode usar.

A indústria de dados foi o pano de fundo do evento muito pragmático, mas foi discutida, de forma agradável e explícita, em um painel sobre os chamados “linhagem de dados.” A linhagem de dados é predominantemente um processo linear sequencial que captura a transformação de dados desde a ingestão até a utilização e ajuda a sustentar a chamada governança de dados, que gera muitas ferramentas de armazenamento caras. Na era da nuvem, os data warehouses em nuvem estão na moda, um em particular. Mas o problema é o seguinte. Na verdade, a transformação de dados não é linear, especialmente quando útil. É complexo, cíclico, transformando-se como Doctor Who e os tardis, viajando no tempo e através das galáxias. Deixando de lado a pseudofilosofia e a física popular, no setor financeiro, os mesmos dados, quando ajustados, transformados e analisados, podem servir a muitos casos de uso diferentes, também ao longo do tempo e do espaço. Além disso, os reguladores pedem-nos que documentemos as mudanças, sendo transparentes sobre o que fizemos, quando, porquê e o que mudou. Você pode dizer: “isso é governança de dados que eles estão pedindo”. Tipo de. Mas os reguladores estão, na verdade, a pedir relatórios sobre decisões acionáveis ​​que exigem modelos, envolvimento e que resultem em ações que tenham impacto. Envolve pessoas, decisões e casos de uso tangíveis, não apenas dados.

O painel de discussão introduziu e discutiu longamente o conceito de bitemporalidade, uma tática prática de gerenciamento de dados que atende perfeitamente a casos de uso financeiro e processos regulatórios. Um membro do painel de um banco de nível 1 (muito) regulamentado elogiou efusivamente a bitemporalidade. Sua arquitetura usava bitemporalidade para ajustar o tempo e reproduzir alterações de dados. Digamos que você queira recriar um relatório financeiro antigo ou uma negociação de derivativos como era no momento da criação e como deveria ter sido após correções/adições/recompensas posteriores, por exemplo, em um relatório de conformidade. Com a bitemporalidade no caso dele, uma única fonte de dados informa múltiplas visualizações (validadas) dos dados, quando isso aconteceu e depois, com “sabedoria”. É simples de implementar, não é caro, e aqui está o que você precisa saber sobre isso.

  • Um modelo de dados deve armazenar e facilitar a análise de dados em duas dimensões de tempo – um modelo de dados bitemporal, ou seja, um modelo que atenda aos dados no início e em qualquer ponto do tempo no futuro, quando ocorrerem revisões em seu estado e puder ser representado “como -de” um determinado momento. 
  • Este modelo armazena mais de um carimbo de data/hora para cada propriedade, objeto e valor.
  • Os pontos de dados podem ser unidos e conectados – uma junção “a partir de” 

A partir dos dados

Em uma arquitetura tradicional do tipo data warehouse, essa linhagem pode significar cópias de dados dispendiosas e ineficiências e complexidades de recuperação inoportunas. Essa é uma maneira pela qual os provedores de data warehouse em nuvem ganham dinheiro, gerenciando múltiplas cópias de dados, uma abordagem direta.

Uma alternativa simples são apenas padrões de dados simples com um processo de armazenamento/na memória de suporte. Isso pode e deve ser barato, centrado em Python. Basta usar carimbos de data/hora (com seus dados) e junções de início (no código) para tornar o processo simples, com a capacidade de se aprofundar em registros individuais conforme necessário.

Para economizar custos em seu data warehouse, projete com um pouco de Python simples, prestando atenção ao desempenho na memória. Há menos necessidade de engenharia dentro de um processo caro de data warehouse.

Onde você usa a bitemporalidade nas finanças? Bem, a conformidade é um caso óbvio. Considere por exemplo

spoofing. Agora, a falsificação é, no fundo, um padrão de intenção comercial, embora fraudulento, onde determinados tipos de negociações são realizados, mas não são seguidos. A razão para as falsificações de mergulho profundo é principalmente a conformidade, mas o padrão de negociações de mergulho profundo, bem-sucedidas, malsucedidas, fraudulentas ou simplesmente excelentes, também beneficia o front office. Isto, por sua vez, informa o backtesting e o desenvolvimento de estratégias, que também podem incluir noções de tempo. Isto porque as estratégias, quando entram em sistemas de negociação de produção, risco ou gestão de carteiras, só sabem o que está à sua frente, mas o back-test pode tentar incorporar pressupostos conhecidos para mitigar os riscos. Os exemplos incluem a comparação de custos de transação de curto prazo em oposição aos custos estimados, comparação de correlações de pares de curto prazo reais e antecipadas, retornos de médio prazo para, por exemplo, derivativos e instrumentos de renda fixa, dividendos em ações, correlações ações/setores na gestão de portfólio e regimes “macro” de mercado/risco de longo prazo apreciados pelos economistas. O tempo – e a bitemporalidade – são importantes. Os casos de uso impactados tornam a técnica muito mais valiosa do que ser apenas uma simples manobra de engenharia de dados.

Além dos mercados de capitais, considere os pagamentos. Por exemplo, as ações num dispositivo de pagamento reportarão as transações centralmente. O que é conhecido no momento da transação é então atualizado por informações, por exemplo, as do cliente. A detecção de fraude é um caso de uso óbvio para isso e precisa ser oportuna. Os dados de pagamentos inteligentes são processados ​​pontualmente, mas ajustados para melhorar a qualidade dos dados e informar eventos posteriores. O uso de um modelo de dados bitemporal nos dados mestre e de série temporal ajuda a gerenciar atividades pontuais.

Concluindo, o que pode ser potencialmente uma transformação linear de linhagem de armazém dispendiosa e “altamente governada” pode ser simplificada com algumas análises de bom senso e uma empatia com casos de uso do mundo real. Vale a pena dar uma olhada na bitemporalidade.

Carimbo de hora:

Mais de Fintextra