No primeira postagem Nesta série de três partes, apresentamos uma solução que demonstra como você pode automatizar a detecção de fraude e adulteração de documentos em grande escala usando serviços de IA e machine learning (ML) da AWS para um caso de uso de subscrição de hipotecas.
No segundo post, discutimos uma abordagem para desenvolver um modelo de visão computacional baseado em aprendizagem profunda para detectar e destacar imagens forjadas na subscrição de hipotecas.
Nesta postagem, apresentamos uma solução para automatizar a detecção de fraudes em documentos hipotecários usando um modelo de ML e regras definidas pelo negócio com Detector de fraude da Amazon.
Visão geral da solução
Usamos o Amazon Fraud Detector, um serviço de detecção de fraude totalmente gerenciado, para automatizar a detecção de atividades fraudulentas. Com o objetivo de melhorar a precisão da previsão de fraudes identificando proativamente fraudes documentais e, ao mesmo tempo, melhorando a precisão da subscrição, o Amazon Fraud Detector ajuda você a criar modelos personalizados de detecção de fraudes usando um conjunto de dados históricos, configurar lógica de decisão personalizada usando o mecanismo de regras integrado e orquestrar decisões de risco fluxos de trabalho com o clique de um botão.
O diagrama a seguir representa cada estágio de um pipeline de detecção de fraude em documentos hipotecários.
Iremos agora cobrir o terceiro componente do pipeline de detecção de fraude em documentos hipotecários. As etapas para implantar este componente são as seguintes:
- Carregar dados históricos para Serviço de armazenamento simples da Amazon (Amazônia S3).
- Selecione suas opções e treine o modelo.
- Crie o modelo.
- Revise o desempenho do modelo.
- Implante o modelo.
- Crie um detector.
- Adicione regras para interpretar as pontuações do modelo.
- Implante a API para fazer previsões.
Pré-requisitos
A seguir estão as etapas de pré-requisito para esta solução:
- Inscreva-se para uma conta da AWS.
- Configure permissões que permitam que sua conta da AWS acesse o Amazon Fraud Detector.
- Colete os dados históricos de fraude a serem usados para treinar o modelo de detector de fraude, com os seguintes requisitos:
- Os dados devem estar no formato CSV e ter cabeçalhos.
- Dois cabeçalhos são necessários:
EVENT_TIMESTAMP
eEVENT_LABEL
. - Os dados devem residir no Amazon S3 em uma região da AWS compatível com o serviço.
- É altamente recomendável executar um perfil de dados antes de treinar (use um criador de perfil de dados automatizado para Amazon Fraud Detector).
- Recomenda-se usar pelo menos 3 a 6 meses de dados.
- Leva tempo para a fraude amadurecer; são recomendados dados com 1 a 3 meses (não muito recentes).
- Alguns NULLs e valores ausentes são aceitáveis (mas se forem muitos, a variável será ignorada, conforme discutido em Tipo de variável ausente ou incorreto).
Carregar dados históricos no Amazon S3
Depois de ter os arquivos de dados históricos personalizados para treinar um modelo de detector de fraudes, crie um bucket S3 e faça upload dos dados para o bucket.
Selecione opções e treine o modelo
O próximo passo para construir e treinar um modelo de detector de fraude é definir a atividade empresarial (evento) a ser avaliada quanto à fraude. Definir um evento envolve definir as variáveis no seu conjunto de dados, uma entidade que inicia o evento e os rótulos que classificam o evento.
Conclua as etapas a seguir para definir um evento docfraud para detectar fraude documental, que é iniciada pela entidade requerente da hipoteca, referente a um novo pedido de hipoteca:
- No console do Amazon Fraud Detector, escolha Eventos no painel de navegação.
- Escolha Crie.
- Debaixo Detalhes do tipo de evento, entrar
docfraud
como o nome do tipo de evento e, opcionalmente, insira uma descrição do evento. - Escolha Criar entidade.
- No Criar entidade página, entre
applicant_mortgage
como o nome do tipo de entidade e, opcionalmente, insira uma descrição do tipo de entidade. - Escolha Criar entidade.
- Debaixo Variáveis de evento, Por Escolha como definir as variáveis deste evento, escolha Selecione variáveis de um conjunto de dados de treinamento.
- Escolha Papel do IAM, escolha Criar papel IAM.
- No Criar papel IAM página, insira o nome do bucket S3 com seus dados de exemplo e escolha Criar função.
- Escolha Localização de dados, insira o caminho para seus dados históricos. Este é o caminho do URI do S3 que você salvou após fazer upload dos dados históricos. O caminho é semelhante a
S3://your-bucket-name/example dataset filename.csv
. - Escolha Escolher arquivo.
As variáveis representam elementos de dados que você deseja usar em uma previsão de fraude. Essas variáveis podem ser obtidas do conjunto de dados de eventos que você preparou para treinar seu modelo, das saídas de pontuação de risco do modelo do Amazon Fraud Detector ou de Amazon Sage Maker modelos. Para obter mais informações sobre variáveis obtidas do conjunto de dados de eventos, consulte Obtenha requisitos de conjunto de dados de eventos usando o Data Models Explorer.
- Debaixo Etiquetas – opcional, Por Rótulos, escolha Crie novos rótulos.
- No Criar etiqueta página, entre
fraud
como o nome. Este rótulo corresponde ao valor que representa o pedido de hipoteca fraudulento no conjunto de dados de exemplo. - Escolha Criar etiqueta.
- Crie um segundo rótulo chamado
legit
. Este rótulo corresponde ao valor que representa o pedido de hipoteca legítimo no conjunto de dados de exemplo. - Escolha Criar tipo de evento.
A captura de tela a seguir mostra os detalhes do nosso tipo de evento.
A captura de tela a seguir mostra nossas variáveis.
A captura de tela a seguir mostra nossos rótulos.
Crie o modelo
Depois de carregar os dados históricos e selecionar as opções necessárias para treinar um modelo, conclua as etapas a seguir para criar um modelo:
- No console do Amazon Fraud Detector, escolha Modelos no painel de navegação.
- Escolha Adicionar modelo, e então escolha Criar modelo.
- No Defina os detalhes do modelo página, entre
mortgage_fraud_detection_model
como o nome do modelo e uma descrição opcional do modelo. - Escolha Tipo de modelo, escolha o Informações sobre fraude on-line modelo.
- Escolha Tipo de evento, escolha
docfraud
. Este é o tipo de evento que você criou anteriormente. - No Dados históricos do evento seção, forneça as seguintes informações:
- Escolha Fonte de dados do evento, escolha Dados de eventos armazenados e carregados no S3 (ou AFD).
- Escolha Papel do IAM, escolha a função que você criou anteriormente.
- Escolha Localização dos dados de treinamento, insira o caminho do URI do S3 para seu arquivo de dados de exemplo.
- Escolha Próximo.
- No Entradas de modelo seção, deixe todas as caixas de seleção marcadas. Por padrão, o Amazon Fraud Detector usa todas as variáveis do conjunto de dados de eventos históricos como entradas do modelo.
- No Classificação de rótulo seção, para Rótulos de fraude, escolha
fraud
, que corresponde ao valor que representa eventos fraudulentos no conjunto de dados de exemplo. - Escolha Rótulos legítimos, escolha
legit
, que corresponde ao valor que representa eventos legítimos no conjunto de dados de exemplo. - Escolha Eventos não rotulados, mantenha a seleção padrão Ignorar eventos não rotulados para este conjunto de dados de exemplo.
- Escolha Próximo.
- Revise suas configurações e escolha Criar e treinar modelo.
O Amazon Fraud Detector cria um modelo e começa a treinar uma nova versão do modelo.
No Versões de modelo página, o Status coluna indica o status do treinamento do modelo. O treinamento do modelo que usa o conjunto de dados de exemplo leva aproximadamente 45 minutos para ser concluído. O status muda para Pronto para implantar após a conclusão do treinamento do modelo.
Revise o desempenho do modelo
Após a conclusão do treinamento do modelo, o Amazon Fraud Detector valida o desempenho do modelo usando 15% dos dados que não foram usados para treinar o modelo e fornece diversas ferramentas, incluindo um gráfico de distribuição de pontuação e uma matriz de confusão, para avaliar o desempenho do modelo.
Para visualizar o desempenho do modelo, conclua as etapas a seguir:
- No console do Amazon Fraud Detector, escolha Modelos no painel de navegação.
- Escolha o modelo que você acabou de treinar (
sample_fraud_detection_model
), então escolha 1.0. Esta é a versão que o Amazon Fraud Detector criou do seu modelo. - Reveja a Desempenho do modelo pontuação geral e todas as outras métricas que o Amazon Fraud Detector gerou para este modelo.
Implantar o modelo
Depois de revisar as métricas de desempenho do seu modelo treinado e estar pronto para usá-lo para gerar previsões de fraude, você poderá implantar o modelo:
- No console do Amazon Fraud Detector, escolha Modelos no painel de navegação.
- Escolha o modelo
sample_fraud_detection_model
e escolha a versão do modelo específico que você deseja implantar. Para esta postagem, escolha 1.0. - No Versão do modelo página, no Opções menu, escolha Implantar versão do modelo.
No Versões de modelo página, o Status mostra o status da implantação. O status muda para Ativo quando a implantação for concluída. Isso indica que a versão do modelo está ativada e disponível para gerar previsões de fraude.
Criar um detector
Depois de implantar o modelo, você cria um detector para o docfraud
tipo de evento e adicione o modelo implantado. Conclua as seguintes etapas:
- No console do Amazon Fraud Detector, escolha Detectores no painel de navegação.
- Escolha Criar detector.
- No Definir detalhes do detector página, entre
fraud_detector
para o nome do detector e, opcionalmente, insira uma descrição para o detector, como meu exemplo de detector de fraude. - Escolha Tipo de evento, escolha
docfraud
. Este é o evento que você criou anteriormente. - Escolha Próximo.
Adicione regras para interpretar
Depois de criar o modelo do Amazon Fraud Detector, você poderá usar o console do Amazon Fraud Detector ou a interface de programação de aplicativos (API) para definir regras orientadas aos negócios (condições que informam ao Amazon Fraud Detector como interpretar a pontuação de desempenho do modelo ao avaliar a previsão de fraudes). . Para se alinhar ao processo de subscrição de hipotecas, você pode criar regras para sinalizar solicitações de hipotecas de acordo com os níveis de risco associados e mapeados como fraudulentos, legítimos ou se for necessária uma revisão.
Por exemplo, você pode querer recusar automaticamente pedidos de hipoteca com alto risco de fraude, considerando parâmetros como imagens adulteradas dos documentos exigidos, documentos faltantes, como recibos de pagamento ou requisitos de renda, e assim por diante. Por outro lado, certas aplicações podem precisar de um ser humano no circuito para tomar decisões eficazes.
O Amazon Fraud Detector usa o valor agregado (calculado pela combinação de um conjunto de variáveis brutas) e o valor bruto (o valor fornecido para a variável) para gerar as pontuações do modelo. As pontuações do modelo podem variar entre 0 e 1000, onde 0 indica baixo risco de fraude e 1000 indica alto risco de fraude.
Para adicionar as respectivas regras orientadas aos negócios, conclua as etapas a seguir:
- No console do Amazon Fraud Detector, escolha Regras no painel de navegação.
- Escolha Adicionar regra.
- No Definir uma regra seção, insira fraude no nome da regra e, opcionalmente, insira uma descrição.
- Escolha Expressão, insira a expressão de regra usando a linguagem de expressão de regra simplificada do Amazon Fraud Detector
$docdraud_insightscore >= 900
- Escolha Focados no Negócio, escolha Crie um novo resultado (Um resultado é o resultado de uma previsão de fraude e será retornado se a regra corresponder durante uma avaliação.)
- No Crie um novo resultado seção, insira declínio como o nome do resultado e uma descrição opcional.
- Escolha Salvar resultado
- Escolha Adicionar regra para executar o verificador de validação de regra e salvar a regra.
- Depois de criado, o Amazon Fraud Detector faz o seguinte
high_risk
regra disponível para uso em seu detector.- Nome da regra:
fraud
- Resultado:
decline
- Expression:
$docdraud_insightscore >= 900
- Nome da regra:
- Escolha Adicione outra regrae, em seguida, escolha o Criar regra guia para adicionar 2 regras adicionais conforme abaixo:
- Crie uma
low_risk
regra com os seguintes detalhes:- Nome da regra:
legit
- Resultado:
approve
- Expression:
$docdraud_insightscore <= 500
- Nome da regra:
- Crie uma
medium_risk
regra com os seguintes detalhes:- Nome da regra:
review needed
- Resultado:
review
- Expression:
$docdraud_insightscore <= 900 and docdraud_insightscore >=500
- Nome da regra:
Esses valores são exemplos usados para esta postagem. Ao criar regras para seu próprio detector, use valores apropriados para seu modelo e caso de uso.
- Depois de criar todas as três regras, escolha Próximo.
Implante a API para fazer previsões
Depois que as ações baseadas em regras forem acionadas, você poderá implantar uma API do Amazon Fraud Detector para avaliar as aplicações de empréstimo e prever possíveis fraudes. As previsões podem ser realizadas em lote ou em tempo real.
Integre seu modelo SageMaker (opcional)
Se você já possui um modelo de detecção de fraude no SageMaker, pode integrá-lo ao Amazon Fraud Detector para obter os resultados preferidos.
Isso implica que você pode usar os modelos SageMaker e Amazon Fraud Detector em seu aplicativo para detectar diferentes tipos de fraude. Por exemplo, seu aplicativo pode usar o modelo Amazon Fraud Detector para avaliar o risco de fraude de contas de clientes e, simultaneamente, usar seu modelo PageMaker para verificar o risco de comprometimento da conta.
limpar
Para evitar incorrer em cobranças futuras, exclua os recursos criados para a solução, incluindo o seguinte:
- Caçamba S3
- Endpoint do Amazon Fraud Detector
Conclusão
Esta postagem orientou você em uma solução automatizada e personalizada para detectar fraudes no processo de subscrição de hipotecas. Esta solução permite detectar tentativas fraudulentas mais próximas do momento da ocorrência da fraude e auxilia os subscritores em um processo de tomada de decisão eficaz. Além disso, a flexibilidade da implementação permite definir regras orientadas para os negócios para classificar e capturar as tentativas fraudulentas personalizadas de acordo com as necessidades específicas do negócio.
Para obter mais informações sobre como criar uma solução completa de detecção de fraude em documentos hipotecários, consulte Parte 1 e Parte 2 nesta série.
Sobre os autores
Anup Ravindranath é Arquiteto de Soluções Sênior na Amazon Web Services (AWS) com sede em Toronto, Canadá, trabalhando com organizações de Serviços Financeiros. Ele ajuda os clientes a transformar seus negócios e inovar na nuvem.
Vinnie Saini é Arquiteto de Soluções Sênior na Amazon Web Services (AWS) com sede em Toronto, Canadá. Ela tem ajudado os clientes de serviços financeiros a se transformarem na nuvem, com soluções baseadas em IA e ML baseadas em fortes pilares fundamentais de excelência arquitetônica.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/automate-mortgage-document-fraud-detection-using-an-ml-model-and-business-defined-rules-with-amazon-fraud-detector-part-3/
- :tem
- :é
- :não
- :onde
- $UP
- 100
- 15%
- 7
- 900
- a
- Sobre
- aceitável
- Acesso
- Segundo
- Conta
- Contas
- ações
- atividades
- atividade
- adicionar
- Adicional
- Adicionalmente
- Depois de
- AI
- alinhar
- Todos os Produtos
- permite
- já
- Amazon
- Detector de fraude da Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- e
- Outro
- qualquer
- api
- Aplicação
- aplicações
- abordagem
- apropriado
- aproximadamente
- arquitetônico
- arquitetura
- SOMOS
- AS
- avaliar
- associado
- At
- Tentativas
- automatizar
- Automatizado
- automaticamente
- disponível
- evitar
- AWS
- baseado
- BE
- sido
- antes
- começa
- abaixo
- entre
- ambos
- construir
- Prédio
- construídas em
- negócio
- negócios
- mas a
- botão
- by
- calculado
- chamado
- CAN
- Localização: Canadá
- capturar
- casas
- certo
- Alterações
- acusações
- de cores
- verificar
- verificado
- Escolha
- classificação
- classificar
- clique
- mais próximo
- Na nuvem
- Coluna
- combinando
- completar
- componente
- compromisso
- computador
- Visão de Computador
- conceptual
- condições
- confusão
- considerando
- cônsul
- corresponde
- cobertura
- crio
- criado
- cria
- personalizadas
- cliente
- Clientes
- personalizado
- dados,
- decisão
- Tomada de Decisão
- decisões
- Rejeitar
- profundo
- Padrão
- definir
- definição
- demonstra
- implantar
- implantado
- desenvolvimento
- descrição
- detalhes
- descobrir
- Detecção
- desenvolver
- diagrama
- diferente
- discutido
- distribuição
- documento
- INSTITUCIONAIS
- dirigido
- durante
- cada
- Mais cedo
- Eficaz
- elementos
- end-to-end
- Motor
- Entrar
- entidade
- avaliar
- avaliação
- avaliação
- Evento
- eventos
- exemplo
- exemplos
- Excelência
- expressão
- Envie o
- Arquivos
- financeiro
- serviços financeiros
- Flexibilidade
- seguinte
- segue
- Escolha
- forjado
- formato
- Fundacional
- fraude
- detecção de fraude
- fraudulento
- da
- totalmente
- futuro
- gerar
- gerado
- mão
- Ter
- he
- cabeçalhos
- ajuda
- ajuda
- Alta
- Destaques
- altamente
- histórico
- Como funciona o dobrador de carta de canal
- Como Negociar
- http
- HTTPS
- humano
- identificar
- if
- imagens
- implementação
- melhorar
- melhorar
- in
- Incluindo
- Passiva
- incorreto
- indicam
- INFORMAÇÕES
- iniciado
- inovar
- inputs
- integrar
- Interface
- envolve
- IT
- jpg
- apenas por
- Guarda
- O rótulo
- Rótulos
- colocado
- língua
- aprendizagem
- mínimo
- Deixar
- legítimo
- empréstimo
- níveis
- como
- lógica
- Baixo
- máquina
- aprendizado de máquina
- fazer
- FAZ
- Fazendo
- gerenciados
- muitos
- fósforos
- Matriz
- maduro
- Posso..
- Métrica
- Minutos
- desaparecido
- ML
- modelo
- modelos
- mês
- mais
- Empréstimo
- devo
- my
- nome
- Navegação
- você merece...
- necessário
- Cria
- Novo
- Próximo
- agora
- objetivo
- ocorrência
- of
- Velho
- on
- Opções
- or
- organizações
- Outros
- A Nossa
- Resultado
- outputs
- global
- próprio
- página
- pão
- parâmetros
- parte
- caminho
- atuação
- realizada
- permissões
- pilares
- oleoduto
- platão
- Inteligência de Dados Platão
- PlatãoData
- Publique
- potencial
- predizer
- predição
- Previsões
- preferido
- preparado
- requisito prévio
- presente
- apresentado
- processo
- Perfil
- Programação
- fornecer
- fornecido
- fornece
- Cru
- pronto
- reais
- em tempo real
- recentemente
- Recomenda
- referir
- região
- representar
- representa
- requeridos
- Requisitos
- Recursos
- aqueles
- resultar
- Resultados
- rever
- Comentários
- Risco
- Tipo
- Regra
- regras
- Execute
- sábio
- amostra
- Salvar
- salvo
- Escala
- Ponto
- Segundo
- Seção
- Vejo
- selecionado
- doadores,
- senior
- Série
- serviço
- Serviços
- conjunto
- contexto
- Configurações
- ela
- Shows
- semelhante
- simples
- simultaneamente
- So
- solução
- Soluções
- específico
- Etapa
- Status
- Passo
- Passos
- armazenamento
- armazenadas
- mais forte,
- tal
- Suportado
- tomado
- toma
- dizer
- que
- A
- deles
- então
- Este
- Terceiro
- isto
- três
- Através da
- tempo
- para
- também
- ferramentas
- Toronto
- para
- Trem
- treinado
- Training
- Transformar
- desencadeado
- tipo
- tipos
- underwriting
- carregado
- Upload
- usar
- caso de uso
- usava
- usos
- utilização
- validação
- valor
- Valores
- variável
- vário
- versão
- versões
- Ver
- visão
- caminhou
- queremos
- foi
- we
- web
- serviços web
- quando
- qual
- enquanto
- precisarão
- de
- fluxos de trabalho
- trabalhar
- Vocês
- investimentos
- zefirnet