Acelere o processo de investimento com os serviços AWS Low Code-No Code

Nos últimos anos, houve uma tremenda mudança de paradigma em como os gerentes de ativos institucionais obtêm e integram várias fontes de dados em seu processo de investimento. Com mudanças frequentes nas correlações de risco, fontes inesperadas de volatilidade e crescente concorrência de estratégias passivas, os gestores de ativos estão empregando um conjunto mais amplo de fontes de dados de terceiros para obter uma vantagem competitiva e melhorar os retornos ajustados ao risco. No entanto, o processo de extrair benefícios de várias fontes de dados pode ser extremamente desafiador. As equipes de engenharia de dados dos gerentes de ativos estão sobrecarregadas com aquisição e pré-processamento de dados, enquanto as equipes de ciência de dados estão extraindo dados para insights de investimento.

Dados alternativos ou de terceiros referem-se a dados usados ​​no processo de investimento, provenientes de fornecedores de dados de mercado tradicionais. Os investidores institucionais estão frequentemente aumentando suas fontes de dados tradicionais com dados alternativos ou de terceiros para obter uma vantagem em seu processo de investimento. Os exemplos normalmente citados incluem, mas não estão limitados a, imagens de satélite, dados de cartão de crédito e sentimento de mídia social. Os gestores de fundos investem quase US$ 3 bilhões anualmente em conjuntos de dados externos, com gastos anuais crescendo de 20% a 30%.

Com o crescimento exponencial de conjuntos de dados alternativos e de terceiros disponíveis, a capacidade de analisar rapidamente se um novo conjunto de dados adiciona novos insights de investimento é um diferencial competitivo no setor de gerenciamento de investimentos. Os serviços de IA e dados no-code low-code (LCNC) da AWS permitem que equipes não técnicas realizem a triagem inicial de dados, priorizem a integração de dados, acelerem o tempo de insights e liberem recursos técnicos valiosos, criando uma vantagem competitiva duradoura.

Nesta postagem de blog, discutimos como, como gerente de ativos institucionais, você pode aproveitar os serviços de dados e IA da AWS LCNC para dimensionar a análise inicial de dados e o processo de priorização além das equipes técnicas e acelerar sua tomada de decisão. Com os serviços do AWS LCNC, você pode assinar e avaliar rapidamente diversos conjuntos de dados de terceiros, pré-processar dados e verificar seu poder preditivo usando modelos de aprendizado de máquina (ML) sem escrever um único código.

Visão geral da solução

Nosso caso de uso é analisar o poder preditivo do preço das ações de um conjunto de dados externo e identificar a importância de seus recursos - quais campos mais impactam o desempenho do preço das ações. Isso serve como um teste inicial para identificar qual dos vários campos em um conjunto de dados deve ser avaliado mais de perto usando metodologias quantitativas tradicionais para se adequar ao seu processo de investimento. Esse tipo de teste inicial pode ser feito rapidamente pelos analistas, economizando tempo e permitindo que você priorize mais rapidamente a integração do conjunto de dados. Além disso, embora estejamos usando o preço das ações como nosso exemplo-alvo, outras métricas, como lucratividade, índices de avaliação ou volumes de negociação, também podem ser usadas. Todos os conjuntos de dados usados ​​para este caso de uso são publicados em Troca de dados da AWS.

O diagrama a seguir explica a arquitetura de ponta a ponta e os serviços AWS LCNC usados ​​para orientar as decisões:

Nossa solução consiste nas seguintes etapas e soluções:

1. Ingestão de dados: AWS Data Exchange para assinar os conjuntos de dados alternativos publicados e baixá-los para Serviço de armazenamento simples da Amazon (Amazon S3).
2. Engenharia de dados: Produção de dados do AWS Glue para engenharia de dados e transformação dos dados armazenados no Amazon S3.
3. Aprendizado de máquina: Tela do Amazon SageMaker para construir um modelo de previsão de série temporal para previsão e identificar o impacto dos dados na previsão.
4. Inteligência de negócios: AmazonQuickSight ou Amazon SageMaker Canvas para revisar a importância dos recursos para a previsão para a tomada de decisões.

Ingestão de dados

Troca de dados da AWS torna mais fácil encontrar, assinar e usar dados de terceiros na nuvem. Você pode navegar pelo catálogo do AWS Data Exchange e encontrar produtos de dados relevantes para seus negócios e Inscreva-se aos dados dos provedores sem nenhum processamento adicional e sem a necessidade de um processo ETL. Observe que muitos provedores oferecem assinaturas iniciais gratuitas, que permitem que você analise seus dados sem ter que incorrer em custos iniciais.

Para este caso de uso, pesquise e assine os conjuntos de dados abaixo no AWS Data Exchange:

• 20 anos de dados de ações no final do dia para as 10 maiores empresas dos EUA por valor de mercado publicada pela Alfa Vantagem. Este conjunto de dados gratuito contém 20 anos de dados históricos para as 10 principais ações dos EUA por capitalização de mercado em 5 de setembro de 2020. O conjunto de dados contém os 10 símbolos a seguir: AAPL: Apple Inc.; AMZN: Amazon.com, Inc.; BRK-A: Berkshire Hathaway Inc. (Classe A); FB: Facebook, Inc.; GOOG: Alphabet Inc.; JNJ: Johnson & Johnson; MA: Mastercard Incorporated; MSFT: Microsoft Corporation V: Visa Inc.; e WMT: Walmart Inc.
• Os principais campos de dados incluem
  • Aberto: preço de abertura conforme negociado para o dia
  • Alta: preço alto conforme negociado para o dia
  • Baixo: preço baixo conforme negociado para o dia
  • Fechamento: preço de fechamento conforme negociado para o dia
  • Volume: volume de negociação do dia
  • Fechamento ajustado: preço de fechamento do dia dividido e ajustado por dividendos
  • Split Ratio: relação entre o número de ações novas e antigas na data de vigência
  • Dividendo: valor do pagamento de dividendos em dinheiro
• S3 Juros Curtos e Dados Financeiros de Valores Mobiliários publicada pela Parceiros S3. Este conjunto de dados contém os seguintes campos:

Campo	Descrição
Data Comercial	Data efetiva para a taxa
IDs de segurança	Os identificadores de segurança contêm Sedol, ISIN, FIGI, Ticker, Bloomberg ID
Nome	Nome de Segurança
Taxa de oferta	Taxa de financiamento composto de mercado paga por posições curtas existentes
Taxa de lances	Taxa de empréstimo composta de mercado ganha por ações existentes em empréstimo por detentores de longo prazo
Última Tarifa	Taxa de empréstimo composta de mercado ganha por ações incrementais emprestadas naquela data (taxa à vista)
Aglomeração	O indicador de momentum mede a venda diária e eventos de cobertura relativos ao flutuador do mercado
Juros curtos	Juros curtos em tempo real expressos em número de ações
CurtoInteresse Nocional	Juros curtos * Preço (USD)
ShortInterestPct	Juros curtos em tempo real expressos como uma porcentagem da flutuação do capital
S3Float	O número de ações negociáveis, incluindo longas sintéticas criadas por vendas a descoberto
S3SIPctFloat	Projeção de juros curtos em tempo real dividida pelo float S3
Disponibilidade Indicativa	S3 quantidade emprestável disponível projetada
Utilização	Juros curtos em tempo real divididos pela oferta total de empréstimos
Dias para Cobrir 10 Dias	É uma medida de liquidez = juros curtos / ADTV médio de 10 dias
Dias para Cobrir 30 Dias	É uma medida de liquidez = juros curtos / ADTV médio de 30 dias
Dias para Cobrir 90 Dias	É uma medida de liquidez = juros curtos / ADTV médio de 90 dias
SI original	Juros curtos pontuais

Para obter os dados, você primeiro procurará o conjunto de dados no AWS Data Exchange e assinará o conjunto de dados:

Depois que o editor dos conjuntos de dados aprovar suas solicitações de assinatura, você terá os conjuntos de dados disponíveis para download em seu bucket do S3:

Selecionar Adicionar destino de trabalho de exportação automática, forneça os detalhes do bucket S3 e baixe o conjunto de dados:

Repita as etapas para obter o conjunto de dados Alpha Vantage. Depois de concluído, você terá os dois conjuntos de dados em seu bucket do S3.

Engenharia de dados

Assim que o conjunto de dados estiver em seus buckets S3, você poderá usar Produção de dados do AWS Glue para transformar os dados. O AWS Glue DataBrew oferece mais de 350 transformações pré-criadas para automatizar tarefas de preparação de dados (como filtragem de anomalias, padronização de formatos e correção de valores inválidos) que, de outra forma, exigiriam dias ou semanas para escrever transformações codificadas manualmente.

Para criar um conjunto de dados com curadoria consolidada para previsão no AWS DataBrew, execute as etapas abaixo. Para obter informações detalhadas, consulte este blog.

1. Crie os conjuntos de dados DataBrew.
2. Carregue conjuntos de dados DataBrew em projetos DataBrew.
3. Crie as receitas do DataBrew.
4. Execute as tarefas do DataBrew.

Criar conjuntos de dados DataBrew: No AWS Glue DataBrew, um conjunto de dados representa os dados que são carregados do bucket do S3. Criaremos dois conjuntos de dados DataBrew - para o preço das ações no final do dia e para os juros curtos do S3. Ao criar seu conjunto de dados, você insere os detalhes da conexão S3 apenas uma vez. A partir desse ponto, o DataBrew pode acessar os dados subjacentes para você.

Carregar os conjuntos de dados DataBrew em projetos DataBrew: No AWS Glue DataBrew, um projeto é a peça central de seus esforços de análise e transformação de dados. Um projeto DataBrew reúne os conjuntos de dados DataBrew e permite desenvolver uma transformação de dados (receita DataBrew). Aqui, novamente, criaremos dois projetos DataBrew, para preço de estoque no final do dia e juros curtos S3.

Crie as receitas do DataBrew: No DataBrew, um receita é um conjunto de etapas de transformação de dados. Você pode aplicar essas etapas ao seu conjunto de dados. Para o caso de uso, construiremos duas transformações. O primeiro alterará o formato da coluna de carimbo de data e hora do preço da ação no final do dia para que o conjunto de dados possa ser unido ao interesse a descoberto do S3:

A segunda transformação faz a curadoria dos dados e sua última etapa garante que juntemos os conjuntos de dados em um único conjunto de dados curado. Para obter mais detalhes sobre como criar receitas de transformação de dados, consulte este blog.

Tarefas do DataBrew: após a criação das receitas do DataBrew, você pode executar primeiro o trabalho do DataBrew do preço da ação no final do dia, seguido pela receita de juros curtos do S3. Consulte isso blog para criar um único conjunto de dados consolidado. Salve o conjunto de dados selecionado final em um bucket do S3.

O fluxo de trabalho de engenharia de dados de ponta a ponta ficará assim:

Aprendizado de máquinas

Com o conjunto de dados curado criado pós-engenharia de dados, você pode usar Tela do Amazon SageMaker para construir seu modelo de previsão e analisar o impacto dos recursos na previsão. Tela do Amazon SageMaker fornece aos usuários de negócios uma interface visual de apontar e clicar que permite que eles criem modelos e gerem previsões precisas de ML por conta própria, sem exigir nenhuma experiência em ML ou escrever uma única linha de código.

Para criar um modelo de previsão de série temporal no Amazon SageMaker Canvas, siga as etapas abaixo. Para obter informações detalhadas, consulte este blog:

1. Selecione o conjunto de dados com curadoria no SageMaker Canvas.
2. Crie o modelo de previsão de séries temporais.
3. Analise os resultados e a importância dos recursos.

Crie o modelo de previsão de séries temporais: Depois de selecionar o conjunto de dados, selecione a coluna de destino a ser prevista. No nosso caso, este será o preço de fechamento do ticker da bolsa. O SageMaker Canvas detecta automaticamente que esta é uma declaração de problema de previsão de série temporal.

Você terá que configurar o modelo da seguinte maneira para previsão de séries temporais. Para ID do item, selecione o nome do código de ações. Lembre-se, nosso conjunto de dados tem cotações de ações para as 10 principais ações. Selecione a coluna de registro de data e hora para o registro de data e hora e, finalmente, insira o número de dias que deseja prever no futuro [Forecast Horizon].

Agora você está pronto para construir o modelo. O SageMaker Canvas fornece duas opções para construir o modelo: Quick Build e Standard Build. No nosso caso, usaremos “Standard Build”.

Standard Build leva aproximadamente três horas para construir o modelo e usa Previsão da Amazônia, um serviço de previsão de séries temporais baseado em ML como o mecanismo de previsão subjacente. O Forecast cria previsões altamente precisas por meio da combinação de modelos tradicionais e de aprendizado profundo sem exigir experiência em ML.

Depois que o modelo é criado, você pode revisar o desempenho do modelo (precisão da previsão) e a importância do recurso. Como pode ser visto na figura abaixo, o modelo identifica Crowding e DaysToCover10Day como os dois principais recursos que impulsionam os valores de previsão. Isso está de acordo com nossa intuição de mercado, já que o crowding é um indicador de momento que mede a venda diária e cobre eventos, e os juros curtos de curto prazo são uma medida de liquidez, indicando como os investidores estão posicionados em uma ação. Tanto o impulso quanto a liquidez podem levar à volatilidade dos preços.

Esse resultado indica que esses dois recursos (ou campos) têm uma relação próxima com os movimentos do preço das ações e podem ser priorizados para integração e análise posterior.

Inteligência de negócios

No contexto da previsão de séries temporais, a noção de backtesting refere-se ao processo de avaliar a precisão de um método de previsão usando dados históricos existentes. O processo é tipicamente iterativo e repetido em várias datas presentes nos dados históricos.

Como já discutimos, o SageMaker Canvas usa o Amazon Forecast como mecanismo para previsão de séries temporais. Forecast cria um backtest como parte do processo de construção do modelo. Agora você pode visualizar os detalhes do preditor fazendo login no Amazon Forecast. Para uma compreensão mais aprofundada sobre a explicabilidade do modelo, consulte este blog.

O Amazon Forecast fornece detalhes adicionais sobre métricas de predição, como erro de porcentagem absoluta ponderada (WAPE), erro quadrático médio da raiz (RMSE), erro de porcentagem absoluta média (MAPE) e erro escalado absoluto médio (MASE). Você pode exportar pontuações de qualidade do preditor do Amazon Forecast.

O Amazon Forecast executa um backtest para o conjunto de dados de série temporal fornecido. Os resultados do backtest estão disponíveis para download usando o Exportar resultados de backtest botão. Os resultados do backtest exportados são baixados para um bucket do S3.

Agora, plotaremos os resultados do backtest no Amazon QuickSight. Para visualizar os resultados do backtest no Amazon QuickSight, conecte-se ao conjunto de dados no Amazon S3 do QuickSight e crie uma visualização.

limpar

Os serviços da AWS aproveitados nesta solução são gerenciados e sem servidor por natureza. O SageMaker Canvas foi projetado para executar treinamento de ML de longa duração e estará sempre ativado. Certifique-se de fazer logoff explicitamente do SageMaker Canvas. Por favor, consulte os documentos para mais detalhes.

Conclusão

Nesta postagem do blog, discutimos como, como gerente de ativos institucionais, você pode aproveitar os dados e serviços de IA low-code no-code (LCNC) da AWS para acelerar a avaliação de conjuntos de dados externos descarregando a triagem inicial do conjunto de dados para pessoal não técnico. Essa análise inicial pode ser feita rapidamente para ajudá-lo a decidir quais conjuntos de dados devem ser priorizados para integração e análise posterior.

Demonstramos passo a passo como um analista de dados pode adquirir novos dados de terceiros por meio do AWS Data Exchange, usar os serviços ETL no-code do AWS Glue DataBrew para pré-processar dados e avaliar quais recursos em um conjunto de dados têm mais impacto na previsão do modelo .

Assim que os dados estiverem prontos para análise, um analista usa o SageMaker Canvas para criar um modelo preditivo, avaliar seu ajuste e identificar recursos significativos. Em nosso exemplo, o MAPE (05) e o WAPE (045) do modelo indicaram um bom ajuste e mostraram “Crowding” e “DaysToCover10Day” como os sinais no conjunto de dados com maior impacto sobre a previsão. Essa análise quantificou quais dados mais influenciaram o modelo e, portanto, pode ser priorizado para investigação adicional e possível inclusão em seus sinais alfa ou processo de gerenciamento de risco. E igualmente importante, as pontuações de explicabilidade indicam quais dados desempenham um papel relativamente pequeno na determinação da previsão e, portanto, podem ser uma prioridade menor para uma investigação mais aprofundada.

Para avaliar mais rapidamente a capacidade dos dados financeiros de terceiros de oferecer suporte ao seu processo de investimento, revise o Fontes de dados de serviços financeiros disponíveis no AWS Data Exchange, e dar DataBrew e Quadros uma tentativa hoje.

---

Sobre os autores

Boris Litvin é Arquiteto Principal de Soluções, responsável pela inovação da indústria de Serviços Financeiros. Ele é um ex-fundador da Quant e da FinTech, apaixonado por investimentos sistemáticos.

Meenakshisundaram Thandavarayan é especialista sênior em IA/ML da AWS. Ele ajuda contas estratégicas de alta tecnologia em suas jornadas de IA e ML. Ele é muito apaixonado por IA baseada em dados.

Camilo Anania é Arquiteto Sênior de Soluções para Startups da AWS baseado no Reino Unido. Ele é um tecnólogo apaixonado por ajudar startups de qualquer tamanho a construir e crescer.

Dan Sinnreich é gerente de produto sênior da AWS, focado em capacitar as empresas a tomar melhores decisões com ML. Anteriormente, ele construiu plataformas analíticas de portfólio e modelos de risco de classe de ativos múltiplos para grandes investidores institucionais.