Este post foi co-escrito por Hesham Fahim da Thomson Reuters.
ThomsonReuters (TR) é uma das organizações de informações mais confiáveis do mundo para empresas e profissionais. Ele fornece às empresas a inteligência, a tecnologia e o conhecimento humano de que precisam para encontrar respostas confiáveis, permitindo que tomem melhores decisões com mais rapidez. Os clientes da TR abrangem os mercados financeiro, de risco, jurídico, tributário, contábil e de mídia.
A Thomson Reuters fornece produtos líderes de mercado na campanha Fiscal, Legal e Notícias, na qual os usuários podem se inscrever usando um modelo de licenciamento por assinatura. Para aprimorar essa experiência para seus clientes, a TR queria criar uma plataforma de recomendações centralizada que permitisse que sua equipe de vendas sugerisse os pacotes de assinatura mais relevantes para seus clientes, gerando sugestões que ajudassem a divulgar produtos que pudessem ajudar seus clientes a atender melhor o mercado por meio de seleções de produtos sob medida.
Antes de criar essa plataforma centralizada, a TR tinha um mecanismo herdado baseado em regras para gerar recomendações de renovação. As regras neste mecanismo foram predefinidas e escritas em SQL, que além de representar um desafio para gerenciar, também lutou para lidar com a proliferação de dados das várias fontes de dados integradas do TR. Os dados do cliente TR estão mudando em um ritmo mais rápido do que as regras de negócios podem evoluir para refletir as mudanças nas necessidades do cliente. O principal requisito para o novo mecanismo de personalização baseado em aprendizado de máquina (ML) da TR foi centrado em um sistema de recomendação preciso que leva em conta as tendências recentes dos clientes. A solução desejada seria uma com baixa sobrecarga operacional, a capacidade de acelerar a entrega de metas de negócios e um mecanismo de personalização que pudesse ser constantemente treinado com dados atualizados para lidar com mudanças nos hábitos do consumidor e novos produtos.
Personalizar as recomendações de renovação com base no que seriam produtos valiosos para os clientes da TR foi um importante desafio comercial para a equipe de vendas e marketing. A TR possui uma grande quantidade de dados que podem ser usados para personalização, coletados de interações com clientes e armazenados em um data warehouse centralizado. A TR foi uma das primeiras a adotar o ML com Amazon Sage Maker, e sua maturidade no domínio AI/ML significava que eles haviam reunido um conjunto de dados significativo de dados relevantes em um data warehouse, com o qual a equipe poderia treinar um modelo de personalização. TR continuou sua inovação AI/ML e recentemente desenvolveu uma plataforma de recomendação renovada usando Amazon Customize, que é um serviço de ML totalmente gerenciado que usa interações e itens do usuário para gerar recomendações para os usuários. Nesta postagem, explicamos como a TR usou o Amazon Personalize para criar um sistema de recomendação escalável e multilocatário que fornece os melhores planos de assinatura de produtos e preços associados a seus clientes.
Arquitetura da solução
A solução teve que ser projetada considerando as principais operações da TR em torno da compreensão dos usuários por meio de dados; fornecer a esses usuários conteúdo personalizado e relevante de um grande corpus de dados era um requisito de missão crítica. Ter um sistema de recomendação bem projetado é fundamental para obter recomendações de qualidade e personalizadas para os requisitos de cada usuário.
A solução exigia coletar e preparar dados de comportamento do usuário, treinar um modelo de ML usando o Amazon Personalize, gerar recomendações personalizadas por meio do modelo treinado e conduzir campanhas de marketing com as recomendações personalizadas.
A TR queria aproveitar os serviços gerenciados da AWS sempre que possível para simplificar as operações e reduzir o trabalho pesado indiferenciado. TR usado Produção de dados do AWS Glue e Lote da AWS jobs para executar os trabalhos de extração, transformação e carregamento (ETL) nos pipelines de ML e o SageMaker junto com o Amazon Personalize para personalizar as recomendações. Do ponto de vista do volume de dados de treinamento e do tempo de execução, a solução precisava ser escalável para processar milhões de registros dentro do prazo já comprometido com os consumidores downstream nas equipes de negócios da TR.
As seções a seguir explicam os componentes envolvidos na solução.
Pipeline de treinamento de ML
As interações entre os usuários e o conteúdo são coletadas na forma de dados de clickstream, que são gerados quando o cliente clica no conteúdo. TR analisa se isso faz parte de seu plano de assinatura ou além de seu plano de assinatura para que possa fornecer detalhes adicionais sobre o preço e as opções de adesão ao plano. Os dados de interações do usuário de várias fontes são mantidos em seu data warehouse.
O diagrama a seguir ilustra o pipeline de treinamento de ML.
O pipeline começa com um trabalho do AWS Batch que extrai os dados do data warehouse e os transforma para criar interações, usuários e conjuntos de dados de itens.
Os seguintes conjuntos de dados são usados para treinar o modelo:
- Dados estruturados do produto – Assinaturas, pedidos, catálogo de produtos, transações e detalhes do cliente
- Dados de comportamento semiestruturados – Usuários, uso e interações
Esses dados transformados são armazenados em um Serviço de armazenamento simples da Amazon (Amazon S3), que é importado para o Amazon Personalize para treinamento de ML. Como o TR deseja gerar recomendações personalizadas para seus usuários, eles usam o USER_PERSONALIZATION receita para treinar modelos de ML para seus dados personalizados, o que é chamado de criação de uma versão da solução. Depois que a versão da solução é criada, ela é usada para gerar recomendações personalizadas para os usuários.
Todo o fluxo de trabalho é orquestrado usando Funções de etapa da AWS. Os alertas e notificações são capturados e publicados no Microsoft Teams usando Serviço de notificação simples da Amazon (Amazon SNS) e Amazon Event Bridge.
Gerando pipeline de recomendações personalizadas: inferência em lote
Os requisitos e preferências do cliente mudam com muita frequência, e as interações mais recentes capturadas nos dados do fluxo de cliques servem como um ponto de dados importante para entender as preferências em mudança do cliente. Para se adaptar às preferências dos clientes em constante mudança, a TR gera recomendações personalizadas diariamente.
O diagrama a seguir ilustra o pipeline para gerar recomendações personalizadas.
Um trabalho DataBrew extrai os dados do armazém de dados TR para os usuários qualificados para fornecer recomendações durante a renovação com base no plano de assinatura atual e na atividade recente. A ferramenta de preparação de dados visuais DataBrew torna mais fácil para analistas de dados TR e cientistas de dados limpar e normalizar dados para prepará-los para análises e ML. A capacidade de escolher entre mais de 250 transformações pré-criadas na ferramenta de preparação de dados visuais para automatizar tarefas de preparação de dados, tudo sem a necessidade de escrever nenhum código, foi um recurso importante. O trabalho DataBrew gera um conjunto de dados incremental para interações e entrada para o trabalho de recomendações em lote e armazena a saída em um depósito S3. O conjunto de dados incremental recém-gerado é importado para o conjunto de dados de interações. Quando o trabalho de importação de conjunto de dados incremental é bem-sucedido, um trabalho de recomendações em lote do Amazon Personalize é acionado com os dados de entrada. O Amazon Personalize gera as recomendações mais recentes para os usuários fornecidas nos dados de entrada e as armazena em um bucket S3 de recomendações.
A otimização de preço é a última etapa antes que as recomendações recém-formadas estejam prontas para uso. TR executa um trabalho de otimização de custo nas recomendações geradas e usa o SageMaker para executar modelos personalizados nas recomendações como parte desta etapa final. Um trabalho do AWS Glue seleciona a saída gerada do Amazon Personalize e a transforma no formato de entrada exigido pelo modelo personalizado do SageMaker. A TR é capaz de aproveitar a amplitude dos serviços que a AWS fornece, usando Amazon Personalize e SageMaker na plataforma de recomendação para personalizar recomendações com base no tipo de empresa cliente e usuários finais.
Todo o fluxo de trabalho é desacoplado e orquestrado usando o Step Functions, que oferece a flexibilidade de escalar o pipeline dependendo dos requisitos de processamento de dados. Os alertas e notificações são capturados usando Amazon SNS e EventBridge.
Impulsionando campanhas de e-mail
As recomendações geradas junto com os resultados de precificação são usadas para direcionar campanhas de e-mail para os clientes da TR. Um trabalho do AWS Batch é usado para selecionar as recomendações para cada cliente e enriquecê-lo com as informações de preço otimizadas. Essas recomendações são inseridas nos sistemas de campanha da TR, que impulsionam as seguintes campanhas de e-mail:
- Campanhas automatizadas de renovação ou atualização de assinaturas com novos produtos que possam interessar ao cliente
- Campanhas de renovação no meio do contrato com melhores ofertas e produtos mais relevantes e materiais de conteúdo legal
As informações desse processo também são replicadas no portal do cliente para que os clientes que revisem sua assinatura atual possam ver as novas recomendações de renovação. TR tem visto uma maior taxa de conversão de campanhas de e-mail, levando a um aumento de pedidos de vendas, desde a implementação da nova plataforma de recomendação.
O que vem a seguir: pipeline de recomendações em tempo real
Os requisitos do cliente e os comportamentos de compra mudam em tempo real, e adaptar as recomendações às mudanças em tempo real é fundamental para fornecer o conteúdo certo. Depois de obter um grande sucesso na implantação de um sistema de recomendação em lote, a TR agora planeja levar essa solução para o próximo nível, implementando um pipeline de recomendações em tempo real para gerar recomendações usando o Amazon Personalize.
O diagrama a seguir ilustra a arquitetura para fornecer recomendações em tempo real.
A integração em tempo real começa com a coleta de dados de engajamento do usuário ao vivo e seu streaming para o Amazon Personalize. À medida que os usuários interagem com os aplicativos do TR, eles geram eventos clickstream, que são publicados em Fluxos de dados do Amazon Kinesis. Em seguida, os eventos são inseridos na plataforma de streaming centralizada da TR, que é construída sobre Amazon Managed Streaming para Kafka (Amazônia MSK). O Amazon MSK facilita a ingestão e o processamento de dados de streaming em tempo real com o Apache Kafka totalmente gerenciado. Nessa arquitetura, o Amazon MSK serve como uma plataforma de streaming e executa quaisquer transformações de dados necessárias nos eventos de clickstream de entrada brutos. Então um AWS Lambda A função é acionada para filtrar os eventos para o esquema compatível com o conjunto de dados do Amazon Personalize e enviar esses eventos para um rastreador de eventos do Amazon Personalize usando um putEvent
API. Isso permite que o Amazon Personalize aprenda com o comportamento mais recente do usuário e inclua itens relevantes nas recomendações.
Os aplicativos da web da TR invocam uma API implantada em Gateway de API da Amazon para obter recomendações, o que aciona uma função do Lambda para invocar um GetRecommendations
Chamada de API com o Amazon Personalize. O Amazon Personalize fornece o conjunto mais recente de recomendações personalizadas com curadoria do comportamento do usuário, que são fornecidas de volta aos aplicativos da web via Lambda e API Gateway.
Com essa arquitetura em tempo real, a TR pode atender seus clientes com recomendações personalizadas com curadoria de seu comportamento mais recente e atender melhor às suas necessidades.
Conclusão
Nesta postagem, mostramos como o TR usou o Amazon Personalize e outros serviços da AWS para implementar um mecanismo de recomendação. O Amazon Personalize permitiu que o TR acelerasse o desenvolvimento e a implantação de modelos de alto desempenho para fornecer recomendações a seus clientes. TR é capaz de integrar um novo conjunto de produtos dentro de semanas agora, em comparação com os meses anteriores. Com Amazon Personalize e SageMaker, TR é capaz de elevar a experiência do cliente com melhores planos de assinatura de conteúdo e preços para seus clientes.
Se você gostou de ler este blog e gostaria de saber mais sobre o Amazon Personalize e como ele pode ajudar sua organização a criar sistemas de recomendação, consulte o guia do desenvolvedor.
Sobre os autores
Hisham Fahim é Engenheiro Líder de Aprendizado de Máquina e Arquiteto de Mecanismo de Personalização na Thomson Reuters. Ele trabalhou com organizações na academia e na indústria, desde grandes empresas até startups de médio porte. Com foco em arquiteturas de aprendizado profundo escaláveis, ele tem experiência em robótica móvel, análise de imagens biomédicas e sistemas de recomendação. Longe dos computadores, ele gosta de astrofotografia, leitura e ciclismo de longa distância.
Srinivasa Shaik é Arquiteto de Soluções da AWS com sede em Boston. Ele ajuda os clientes Enterprise a acelerar sua jornada para a nuvem. Ele é apaixonado por contêineres e tecnologias de aprendizado de máquina. Nas horas vagas, gosta de passar o tempo com a família, cozinhar e viajar.
Vamshi Krishna Enabothala é Arquiteto Especialista em IA Aplicada Sênior na AWS. Ele trabalha com clientes de diferentes setores para acelerar dados de alto impacto, análises e iniciativas de aprendizado de máquina. Ele é apaixonado por sistemas de recomendação, NLP e áreas de visão computacional em IA e ML. Fora do trabalho, Vamshi é um entusiasta de RC, construindo equipamentos de RC (aviões, carros e drones) e também gosta de jardinagem.
Simone Zucchet é Arquiteto de Soluções Sênior na AWS. Com mais de 6 anos de experiência como Cloud Architect, Simone gosta de trabalhar em projetos inovadores que ajudam a transformar a maneira como as organizações abordam os problemas de negócios. Ele ajuda a dar suporte a grandes clientes corporativos na AWS e faz parte do Machine Learning TFC. Fora de sua vida profissional, ele gosta de trabalhar com carros e fotografia.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/how-thomson-reuters-delivers-personalized-content-subscription-plans-at-scale-using-amazon-personalize/
- 100
- 7
- a
- habilidade
- Capaz
- Sobre
- Academia
- acelerar
- Conta
- Contabilidade
- preciso
- em
- atividade
- adaptar
- Adicional
- Vantagem
- Depois de
- AI
- AI / ML
- Todos os Produtos
- permite
- já
- Amazon
- Amazon Customize
- análise
- Analistas
- analítica
- análises
- e
- respostas
- apache
- api
- aplicações
- aplicado
- IA aplicada
- abordagem
- arquitetura
- áreas
- por aí
- associado
- automatizar
- consciência
- AWS
- Cola AWS
- em caminho duplo
- baseado
- base
- Porque
- antes
- MELHOR
- Melhor
- entre
- Pós
- biomédica
- Blog
- Boston
- largura
- construir
- Prédio
- construído
- negócio
- negócios
- chamada
- Campanha
- campanha
- Campanhas
- carros
- catálogo
- centralizado
- centralizada
- desafiar
- alterar
- Alterações
- mudança
- Escolha
- Na nuvem
- código
- Coleta
- comprometido
- Empresas
- comparado
- compatível
- componentes
- computador
- Visão de Computador
- computadores
- considerando
- constantemente
- consumidor
- Consumidores
- Containers
- conteúdo
- continuou
- Conversão
- núcleo
- Custo
- poderia
- crio
- criado
- Criar
- comissariada
- cura
- Atual
- personalizadas
- cliente
- dados do cliente
- experiência do cliente
- Clientes
- diariamente
- dados,
- Preparação de dados
- informática
- conjuntos de dados
- acordo
- decisões
- profundo
- deep learning
- entregando
- entrega
- Dependendo
- implantado
- Implantação
- desenvolvimento
- projetado
- detalhes
- desenvolvido
- Desenvolvimento
- diferente
- distância
- domínio
- distância
- condução
- Drones
- durante
- cada
- Mais cedo
- Cedo
- ELEVATE
- elegível
- habilitado
- permitindo
- COMPROMETIMENTO
- Motor
- engenheiro
- enriquecer
- Empreendimento
- empresas
- entusiasta
- Todo
- equipamento
- Evento
- eventos
- em constante mudança
- evolui
- vasta experiência
- experiência
- Explicação
- extrato
- Extractos
- família
- mais rápido
- Característica
- filtro
- final
- financeiro
- Encontre
- Empresa
- Flexibilidade
- Foco
- seguinte
- formulário
- formato
- formado
- QUADRO
- da
- totalmente
- função
- funções
- porta de entrada
- gerar
- gerado
- gera
- gerando
- ter
- obtendo
- dá
- Objetivos
- ótimo
- ter
- ajudar
- ajuda
- alta performance
- superior
- Como funciona o dobrador de carta de canal
- HTML
- HTTPS
- humano
- imagem
- executar
- implementação
- importar
- importante
- in
- incluir
- Entrada
- aumentou
- indústria
- INFORMAÇÕES
- iniciativas
- Inovação
- inovadores
- entrada
- integrado
- integração
- Inteligência
- interagindo
- interações
- interesse
- envolvido
- IT
- Unid
- Trabalho
- Empregos
- viagem
- Chave
- grande
- Sobrenome
- mais recente
- conduzir
- principal
- APRENDER
- aprendizagem
- Legado
- Legal
- Nível
- Licenciamento
- vida
- facelift
- viver
- carregar
- longo
- Baixo
- máquina
- aprendizado de máquina
- fazer
- FAZ
- gerencia
- gerenciados
- mercado
- liderança de mercado
- Marketing
- Mercados
- maturidade
- Mídia
- Microsoft
- equipes da microsoft
- poder
- milhões
- ML
- Móvel Esteira
- modelo
- modelos
- mês
- mais
- a maioria
- você merece...
- Cria
- Novo
- novos produtos
- notícias
- Próximo
- PNL
- notificação
- notificações
- Oferece
- A bordo
- ONE
- operacional
- Operações
- otimização
- otimizado
- Opções
- ordens
- organização
- organizações
- Outros
- lado de fora
- pacotes
- parte
- apaixonado
- Realizar
- executa
- Personalização
- Personalizar
- Personalizado
- perspectiva
- fotografia
- oleoduto
- plano
- planejamento
- planos
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- por favor
- ponto
- Portal
- possível
- Publique
- preferências
- Preparar
- preparação
- preço
- Valores
- preços
- problemas
- processo
- em processamento
- Produto
- Produtos
- profissional
- projetos
- fornecer
- fornecido
- fornece
- fornecendo
- publicado
- Empurrar
- qualidade
- rapidamente
- aumentar
- variando
- Taxa
- Cru
- Leitura
- pronto
- reais
- em tempo real
- recentemente
- recentemente
- receita
- Recomendação
- recomendações
- registros
- reduzir
- a que se refere
- refletir
- relevante
- replicado
- requeridos
- requerimento
- Requisitos
- Resultados
- Reuters
- revendo
- Risco
- robótica
- regras
- Execute
- sábio
- vendas
- escalável
- Escala
- dimensionamento
- cientistas
- seções
- Setores
- visto
- senior
- servir
- serve
- serviço
- Serviços
- de servir
- conjunto
- minha
- assinar
- periodo
- simples
- simplificar
- desde
- So
- solução
- Soluções
- fonte
- Fontes
- especialista
- Passar
- começa
- Startups
- Passo
- armazenamento
- armazenadas
- lojas
- de streaming
- tudo incluso
- assinaturas
- sucesso
- bem sucedido
- suíte
- ajuda
- .
- sistemas
- adaptados
- Tire
- toma
- tarefas
- imposto
- Profissionais
- equipes
- Tecnologias
- Equipar
- A
- deles
- Thomson Reuters
- Através da
- tempo
- para
- ferramenta
- topo
- Trem
- treinado
- Training
- Transações
- Transformar
- transformações
- transformado
- Viagens
- Tendências
- desencadeado
- confiável
- compreender
- compreensão
- que vai mais à frente
- atualização
- Uso
- usar
- Utilizador
- usuários
- Valioso
- vário
- versão
- via
- visão
- volume
- querido
- Riqueza
- web
- Aplicativos da web
- semanas
- O Quê
- qual
- QUEM
- dentro
- sem
- Atividades:
- trabalhou
- trabalhar
- trabalho
- do mundo
- seria
- escrever
- escrito
- anos
- Vocês
- investimentos
- zefirnet