Avec la croissance de l'adoption des applications en ligne et le nombre croissant d'internautes, la fraude numérique est en augmentation d'année en année. Détecteur de fraude Amazon fournit un service entièrement géré pour vous aider à mieux identifier les activités en ligne potentiellement frauduleuses à l'aide de techniques avancées d'apprentissage automatique (ML) et de plus de 20 ans d'expertise en détection de fraude d'Amazon.
Pour vous aider à détecter plus rapidement la fraude dans plusieurs cas d'utilisation, Amazon Fraud Detector propose des modèles spécifiques avec des algorithmes, des enrichissements et des transformations de fonctionnalités personnalisés. La formation du modèle est entièrement automatisée et sans tracas, et vous pouvez suivre les instructions dans le mode d'emploi ou liés ARTICLES DE BLOGUE pour commencer. Cependant, avec des modèles entraînés, vous devez décider si le modèle est prêt pour le déploiement. Cela nécessite certaines connaissances en ML, en statistiques et en détection de fraude, et il peut être utile de connaître certaines approches typiques.
Cet article vous aidera à diagnostiquer les performances du modèle et à choisir le bon modèle pour le déploiement. Nous parcourons les métriques fournies par Amazon Fraud Detector, vous aidons à diagnostiquer les problèmes potentiels et fournissons des suggestions pour améliorer les performances du modèle. Les approches sont applicables aux modèles de modèles Online Fraud Insights (OFI) et Transaction Fraud Insights (TFI).
Vue d'ensemble de la solution
Cet article fournit un processus de bout en bout pour diagnostiquer les performances de votre modèle. Il présente d'abord toutes les métriques du modèle affichées sur la console Amazon Fraud Detector, y compris l'AUC, la distribution des scores, la matrice de confusion, la courbe ROC et l'importance des variables du modèle. Ensuite, nous présentons une approche en trois étapes pour diagnostiquer les performances du modèle à l'aide de différentes métriques. Enfin, nous fournissons des suggestions pour améliorer les performances du modèle pour les problèmes typiques.
Pré-requis
Avant d'approfondir votre modèle Amazon Fraud Detector, vous devez remplir les conditions préalables suivantes :
- Créez un compte AWS.
- Créer un ensemble de données d'événement pour la formation de modèle.
- Téléchargez vos données à Service de stockage simple Amazon (Amazon S3) ou ingérer vos données d'événement dans Amazon Fraud Detector.
- Créer un modèle Amazon Fraud Detector.
Interpréter les métriques du modèle
Une fois la formation du modèle terminée, Amazon Fraud Detector évalue votre modèle à l'aide d'une partie des données de modélisation qui n'ont pas été utilisées dans la formation du modèle. Il renvoie les métriques d'évaluation sur le Version du modèle page pour ce modèle. Ces métriques reflètent les performances du modèle auxquelles vous pouvez vous attendre sur des données réelles après le déploiement en production.
La capture d'écran suivante montre un exemple de performances de modèle renvoyées par Amazon Fraud Detector. Vous pouvez choisir différents seuils sur la distribution des scores (à gauche) et la matrice de confusion (à droite) est mise à jour en conséquence.
Vous pouvez utiliser les résultats suivants pour vérifier les performances et décider des règles de stratégie :
- AUC (aire sous la courbe) – Les performances globales de ce modèle. Un modèle avec une AUC de 0.50 n'est pas meilleur qu'un lancer de pièce car il représente une chance aléatoire, alors qu'un modèle "parfait" aura un score de 1.0. Plus l'AUC est élevée, plus votre modèle peut faire la distinction entre les fraudeurs et les légitimes.
- Répartition des notes – Un histogramme des distributions des scores du modèle en supposant un exemple de population de 100,000 0 événements. Amazon Fraud Detector génère des scores de modèle entre 1000 et XNUMX, où plus le score est bas, plus le risque de fraude est faible. Une meilleure séparation entre les populations légitimes (vertes) et frauduleuses (bleues) indique généralement un meilleur modèle. Pour plus de détails, voir Scores des modèles.
- Matrice de confusion – Un tableau qui décrit les performances du modèle pour le seuil de score sélectionné, y compris les vrais positifs, les vrais négatifs, les faux positifs, les faux négatifs, le taux de vrais positifs (TPR) et le taux de faux positifs (FPR). Le nombre indiqué dans le tableau suppose un exemple de population de 100,0000 XNUMX événements. Pour plus de détails, voir Métriques de performance du modèle.
- Courbe ROC (Receiver Operator Characteristic) – Un graphique qui illustre la capacité de diagnostic du modèle, comme illustré dans la capture d'écran suivante. Il trace le taux de vrais positifs en fonction du taux de faux positifs sur tous les seuils de score de modèle possibles. Visualisez ce tableau en choisissant Métriques avancées. Si vous avez formé plusieurs versions d'un modèle, vous pouvez sélectionner différents seuils FPR pour vérifier le changement de performances.
- Importance de la variable du modèle – Le rang des variables de modèle en fonction de leur contribution au modèle généré, comme illustré dans la capture d'écran suivante. La variable de modèle avec la valeur la plus élevée est plus importante pour le modèle que les autres variables de modèle dans l'ensemble de données pour cette version de modèle, et est répertoriée en haut par défaut. Pour plus de détails, voir Importance de la variable du modèle.
Diagnostiquer les performances du modèle
Avant de déployer votre modèle en production, vous devez utiliser les métriques renvoyées par Amazon Fraud Detector pour comprendre les performances du modèle et diagnostiquer les problèmes éventuels. Les problèmes courants des modèles ML peuvent être divisés en deux catégories principales : les problèmes liés aux données et les problèmes liés au modèle. Amazon Fraud Detector s'est occupé des problèmes liés au modèle en utilisant soigneusement des ensembles de validation et de test pour évaluer et ajuster votre modèle sur le backend. Vous pouvez effectuer les étapes suivantes pour vérifier si votre modèle est prêt à être déployé ou s'il présente d'éventuels problèmes liés aux données :
- Vérifiez les performances globales du modèle (AUC et distribution des scores).
- Passez en revue les exigences opérationnelles (matrice et tableau de confusion).
- Vérifiez l'importance de la variable de modèle.
Vérifier les performances globales du modèle : AUC et distribution des scores
Une prédiction plus précise des événements futurs est toujours l'objectif principal d'un modèle prédictif. L'AUC renvoyée par Amazon Fraud Detector est calculée sur un ensemble de tests correctement échantillonné non utilisé dans la formation. En général, un modèle avec une AUC supérieure à 0.9 est considéré comme un bon modèle.
Si vous observez un modèle avec des performances inférieures à 0.8, cela signifie généralement que le modèle peut être amélioré (nous discuterons des problèmes courants liés aux faibles performances du modèle plus loin dans cet article). Notez que la définition de « bonnes » performances dépend fortement de votre entreprise et du modèle de référence. Vous pouvez toujours suivre les étapes de cet article pour améliorer votre modèle Amazon Fraud Detector même si son AUC est supérieure à 0.8.
D'un autre côté, si l'AUC est supérieure à 0.99, cela signifie que le modèle peut presque parfaitement séparer la fraude et les événements légitimes sur l'ensemble de test. Il s'agit parfois d'un scénario "trop beau pour être vrai" (nous discutons des problèmes courants liés aux performances très élevées des modèles plus loin dans cet article).
Outre l'ASC globale, la distribution des scores peut également vous indiquer dans quelle mesure le modèle est ajusté. Idéalement, vous devriez voir la majeure partie de la fraude légitime et frauduleuse située aux deux extrémités de l'échelle, ce qui indique que le score du modèle peut classer avec précision les événements sur l'ensemble de test.
Dans l'exemple suivant, la distribution des scores a une AUC de 0.96.
Si la distribution légitime et la distribution frauduleuse se chevauchent ou se concentrent au centre, cela signifie probablement que le modèle ne parvient pas à distinguer les événements frauduleux des événements légitimes, ce qui peut indiquer que la distribution des données historiques a changé ou que vous avez besoin de plus de données ou de fonctionnalités.
Voici un exemple de distribution de score avec une ASC de 0.64.
Si vous pouvez trouver un point de partage qui peut diviser presque parfaitement la fraude et les événements légitimes, il y a de fortes chances que le modèle ait un problème de fuite d'étiquettes ou que les schémas de fraude soient trop faciles à détecter, ce qui devrait attirer votre attention.
Dans l'exemple suivant, la distribution des scores a une AUC de 1.0.
Examiner les exigences métier : matrice et tableau de confusion
Bien que l'AUC soit un indicateur pratique des performances du modèle, il se peut qu'il ne se traduise pas directement par les besoins de votre entreprise. Amazon Fraud Detector fournit également des métriques telles que le taux de capture de fraude (taux de vrais positifs), le pourcentage d'événements légitimes qui sont incorrectement prédits comme des fraudes (taux de faux positifs), et plus encore, qui sont plus couramment utilisés comme exigences commerciales. Après avoir formé un modèle avec une AUC raisonnablement bonne, vous devez comparer le modèle avec les besoins de votre entreprise avec ces métriques.
La matrice et le tableau de confusion vous fournissent une interface pour examiner l'impact et vérifier s'il répond aux besoins de votre entreprise. Notez que les nombres dépendent du seuil du modèle, où les événements avec des scores supérieurs au seuil sont classés comme fraude et les événements avec des scores inférieurs au seuil sont classés comme légitimes. Vous pouvez choisir le seuil à utiliser en fonction des besoins de votre entreprise.
Par exemple, si votre objectif est de capturer 73 % des fraudes, alors (comme indiqué dans l'exemple ci-dessous), vous pouvez choisir un seuil tel que 855, qui vous permet de capturer 73 % de toutes les fraudes. Cependant, le modèle classera également à tort 3 % des événements légitimes comme étant frauduleux. Si ce FPR est acceptable pour votre entreprise, alors le modèle est bon pour le déploiement. Sinon, vous devez améliorer les performances du modèle.
Un autre exemple est que si le coût du blocage ou de la contestation d'un client légitime est extrêmement élevé, vous souhaitez un FPR faible et une précision élevée. Dans ce cas, vous pouvez choisir un seuil de 950, comme illustré dans l'exemple suivant, qui classifiera à tort 1 % des clients légitimes comme frauduleux, et 80 % des fraudes identifiées seront en réalité frauduleuses.
De plus, vous pouvez choisir plusieurs seuils et attribuer différents résultats, tels que bloquer, enquêter, réussir. Si vous ne trouvez pas de seuils et de règles appropriés qui répondent à toutes les exigences de votre entreprise, vous devriez envisager de former votre modèle avec plus de données et d'attributs.
Vérifier l'importance de la variable de modèle
La Importance de la variable du modèle affiche la contribution de chaque variable à votre modèle. Si une variable a une valeur d'importance significativement plus élevée que les autres, cela peut indiquer une fuite d'étiquette ou que les schémas de fraude sont trop faciles à détecter. Notez que l'importance de la variable est agrégée à vos variables d'entrée. Si vous observez une importance légèrement plus élevée de IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
ou SHIPPING_ZIP
, cela pourrait être dû au pouvoir d'enrichissement.
L'exemple suivant montre l'importance de la variable de modèle avec une fuite d'étiquette potentielle à l'aide de investigation_status
.
L'importance des variables du modèle vous donne également des indications sur les variables supplémentaires susceptibles d'apporter une amélioration au modèle. Par exemple, si vous observez une faible AUC et que les fonctionnalités liées au vendeur sont très importantes, vous pouvez envisager de collecter davantage de fonctionnalités de commande telles que SELLER_CATEGORY
, SELLER_ADDRESS
et SELLER_ACTIVE_YEARS
, et ajoutez ces variables à votre modèle.
Problèmes courants liés aux faibles performances du modèle
Dans cette section, nous abordons les problèmes courants que vous pouvez rencontrer concernant les faibles performances du modèle.
Distribution des données historiques modifiée
La dérive de la distribution des données historiques se produit lorsque vous avez un changement dans une grande entreprise ou un problème de collecte de données. Par exemple, si vous avez récemment lancé votre produit sur un nouveau marché, le IP_ADDRESS
, EMAIL
et ADDRESS
les caractéristiques connexes pourraient être complètement différentes et le mode opératoire de la fraude pourrait également changer. Amazon Fraud Detector utilise EVENT_TIMESTAMP
pour diviser les données et évaluer votre modèle sur le sous-ensemble approprié d'événements dans votre ensemble de données. Si la distribution de vos données historiques change de manière significative, l'ensemble d'évaluation peut être très différent des données d'apprentissage et les performances du modèle signalées peuvent être faibles.
Vous pouvez vérifier le problème potentiel de modification de la distribution des données en explorant vos données historiques :
- Utilisez l'option Profileur de données Amazon Fraud Detector outil permettant de vérifier si le taux de fraude et le taux d'étiquette manquante ont évolué dans le temps.
- Vérifiez si la distribution des variables au fil du temps a changé de manière significative, en particulier pour les fonctionnalités ayant une importance variable élevée.
- Vérifiez la distribution des variables dans le temps par variables cibles. Si vous observez beaucoup plus d'événements de fraude d'une catégorie dans les données récentes, vous voudrez peut-être vérifier si le changement est raisonnable en utilisant vos jugements commerciaux.
Si vous trouvez que le taux d'étiquettes manquantes est très élevé ou que le taux de fraude a constamment chuté au cours des dates les plus récentes, cela peut être un indicateur d'étiquettes qui ne sont pas complètement mûries. Vous devez exclure les données les plus récentes ou attendre plus longtemps pour collecter les étiquettes exactes, puis réentraîner votre modèle.
Si vous observez une forte augmentation du taux de fraude et des variables à des dates spécifiques, vous voudrez peut-être revérifier s'il s'agit d'une valeur aberrante ou d'un problème de collecte de données. Dans ce cas, vous devez supprimer ces événements et recycler le modèle.
Si vous trouvez que les données obsolètes ne peuvent pas représenter votre activité actuelle et future, vous devez exclure l'ancienne période de données de la formation. Si vous utilisez des événements stockés dans Amazon Fraud Detector, vous pouvez simplement recycler une nouvelle version et sélectionner la plage de dates appropriée lors de la configuration de la tâche de formation. Cela peut également indiquer que le mode opératoire de la fraude dans votre entreprise change relativement rapidement au fil du temps. Après le déploiement du modèle, vous devrez peut-être réentraîner fréquemment votre modèle.
Mappage de type de variable incorrect
Amazon Fraud Detector enrichit et transforme les données en fonction des types de variables. Il est important que vous mappiez vos variables au type correct afin que le modèle Amazon Fraud Detector puisse prendre la valeur maximale de vos données. Par exemple, si vous mappez IP
à la CATEGORICAL
tapez au lieu de IP_ADDRESS
, vous n'obtenez pas le IP-
enrichissements associés dans le backend.
En général, Amazon Fraud Detector suggère les actions suivantes :
- Mappez vos variables à des types spécifiques, tels que
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
etPHONE_NUMBER
, afin qu'Amazon Fraud Detector puisse extraire et enrichir des informations supplémentaires. - Si vous ne trouvez pas le type de variable spécifique, associez-le à l'un des trois types génériques :
NUMERIC
,CATEGORICAL
ouFREE_FORM_TEXT
. - Si une variable est sous forme de texte et a une cardinalité élevée, telle qu'un avis client ou une description de produit, vous devez la mettre en correspondance avec le
FREE_FORM_TEXT
type de variable afin qu'Amazon Fraud Detector extrait les fonctionnalités de texte et les intégrations sur le backend pour vous. Par exemple, si vous mappezurl_string
àFREE_FORM_TEXT
, il est capable de tokeniser l'URL et d'extraire des informations pour alimenter le modèle en aval, ce qui l'aidera à apprendre davantage de modèles cachés à partir de l'URL.
Si vous constatez que l'un de vos types de variables est mappé de manière incorrecte dans la configuration des variables, vous pouvez modifier votre type de variable, puis recycler le modèle.
Données ou fonctionnalités insuffisantes
Amazon Fraud Detector nécessite au moins 10,000 400 enregistrements pour former un modèle Online Fraud Insights (OFI) ou Transaction Fraud Insights (TFI), avec au moins 100 de ces enregistrements identifiés comme frauduleux. TFI exige également que les enregistrements frauduleux et les enregistrements légitimes proviennent chacun d'au moins XNUMX entités différentes pour garantir la diversité de l'ensemble de données. De plus, Amazon Fraud Detector exige que les données de modélisation aient au moins deux variables. Ce sont les données minimales requises pour créer un modèle Amazon Fraud Detector utile. Cependant, l'utilisation de plus d'enregistrements et de variables aide généralement les modèles ML à mieux apprendre les modèles sous-jacents à partir de vos données. Lorsque vous observez une AUC faible ou que vous ne trouvez pas de seuils qui répondent aux besoins de votre entreprise, vous devez envisager de recycler votre modèle avec plus de données ou d'ajouter de nouvelles fonctionnalités à votre modèle. Généralement, on trouve EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
et DEVICE
les variables connexes sont importantes dans la détection des fraudes.
Une autre cause possible est que certaines de vos variables contiennent trop de valeurs manquantes. Pour voir si cela se produit, consultez les messages de formation du modèle et reportez-vous à Résoudre les problèmes de données d'entraînement pour des suggestions.
Problèmes courants pour des performances de modèle très élevées
Dans cette section, nous discutons des problèmes courants liés aux performances très élevées des modèles.
Fuite d'étiquette
Une fuite d'étiquettes se produit lorsque les ensembles de données d'apprentissage utilisent des informations qui ne devraient pas être disponibles au moment de la prédiction. Il surestime l'utilité du modèle lorsqu'il est exécuté dans un environnement de production.
Une ASC élevée (proche de 1), une distribution de score parfaitement séparée et une importance variable significativement plus élevée d'une variable pourraient être des indicateurs de problèmes potentiels de fuite d'étiquettes. Vous pouvez également vérifier la corrélation entre les caractéristiques et l'étiquette à l'aide de la Profileur de donnéesL’ Corrélation des fonctionnalités et des étiquettes Le graphique montre la corrélation entre chaque caractéristique et l'étiquette. Si une fonctionnalité a une corrélation supérieure à 0.99 avec l'étiquette, vous devez vérifier si la fonctionnalité est utilisée correctement en fonction de jugements commerciaux. Par exemple, pour créer un modèle de risque pour approuver ou refuser une demande de prêt, vous ne devez pas utiliser les fonctionnalités telles que AMOUNT_PAID
, car les paiements interviennent après le processus de souscription. Si une variable n'est pas disponible au moment où vous effectuez la prédiction, vous devez supprimer cette variable de la configuration du modèle et recycler un nouveau modèle.
L'exemple suivant montre la corrélation entre chaque variable et étiquette. investigation_status
a une forte corrélation (proche de 1) avec l'étiquette, vous devez donc revérifier s'il y a un problème de fuite d'étiquette.
Schémas de fraude simples
Lorsque les modèles de fraude dans vos données sont simples, vous pouvez également observer des performances de modèle très élevées. Par exemple, supposons que tous les événements de fraude dans les données de modélisation proviennent du même fournisseur de services interne ; il est simple pour le modèle de choisir le IP-
variables liées et renvoient un modèle "parfait" avec une grande importance de IP
.
Les schémas de fraude simples n'indiquent pas toujours un problème de données. Il se peut que le mode opératoire de la fraude dans votre entreprise soit facile à saisir. Cependant, avant de tirer une conclusion, vous devez vous assurer que les étiquettes utilisées dans la formation du modèle sont exactes et que les données de modélisation couvrent autant de modèles de fraude que possible. Par exemple, si vous étiquetez vos événements de fraude en fonction de règles, telles que l'étiquetage de toutes les applications d'un BILLING_ZIP
plus PRODUCT_CATEGORY
en tant que fraude, le modèle peut facilement détecter ces fraudes en simulant les règles et en obtenant une AUC élevée.
Vous pouvez vérifier la distribution des étiquettes dans différentes catégories ou bacs de chaque fonctionnalité à l'aide de l'outil Profileur de données. Par exemple, si vous observez que la plupart des événements de fraude proviennent d'une ou de quelques catégories de produits, cela peut être un indicateur de modèles de fraude simples, et vous devez confirmer qu'il ne s'agit pas d'une collecte de données ou d'une erreur de traitement. Si la fonctionnalité est comme CUSTOMER_ID
, vous devez exclure la fonctionnalité de l'entraînement du modèle.
L'exemple suivant montre la distribution des étiquettes dans différentes catégories de product_category
. Toutes les fraudes proviennent de deux catégories de produits.
Échantillonnage de données incorrect
Un échantillonnage de données incorrect peut se produire lorsque vous échantillonnez et n'envoyez qu'une partie de vos données à Amazon Fraud Detector. Si les données ne sont pas échantillonnées correctement et ne sont pas représentatives du trafic en production, les performances du modèle signalées seront inexactes et le modèle pourrait être inutile pour la prévision de la production. Par exemple, si tous les événements de fraude dans les données de modélisation sont échantillonnés en Asie et tous les événements légitimes sont échantillonnés aux États-Unis, le modèle peut apprendre à séparer la fraude et la légitimité en fonction de BILLING_COUNTRY
. Dans ce cas, le modèle n'est pas générique pour être appliqué à d'autres populations.
Habituellement, nous suggérons d'envoyer tous les derniers événements sans échantillonnage. En fonction de la taille des données et du taux de fraude, Amazon Fraud Detector effectue un échantillonnage avant la formation du modèle pour vous. Si vos données sont trop volumineuses (plus de 100 Go) et que vous décidez d'échantillonner et d'envoyer uniquement un sous-ensemble, vous devez échantillonner vos données au hasard et vous assurer que l'échantillon est représentatif de l'ensemble de la population. Pour TFI, vous devez échantillonner vos données par entité, ce qui signifie que si une entité est échantillonnée, vous devez inclure tout son historique afin que les agrégats au niveau de l'entité soient calculés correctement. Notez que si vous envoyez uniquement un sous-ensemble de données à Amazon Fraud Detector, les agrégats en temps réel pendant l'inférence peuvent être inexacts si les événements précédents des entités ne sont pas envoyés.
Un autre échantillonnage de données inapproprié pourrait consister à n'utiliser qu'une courte période de données, comme les données d'une journée, pour construire le modèle. Les données peuvent être biaisées, en particulier si votre entreprise ou les attaques frauduleuses ont une saisonnalité. Nous recommandons généralement d'inclure au moins deux cycles (tels que 2 semaines ou 2 mois) de données dans la modélisation pour garantir la diversité des types de fraude.
Conclusion
Après avoir diagnostiqué et résolu tous les problèmes potentiels, vous devriez obtenir un modèle Amazon Fraud Detector utile et avoir confiance en ses performances. Pour la prochaine étape, vous peut créer un détecteur avec le modèle et vos règles métier, et soyez prêt à le déployer en production pour une évaluation en mode fantôme.
Appendice
Comment exclure des variables pour la formation du modèle
Après l'exploration approfondie, vous pouvez identifier une information cible de fuite variable et vouloir l'exclure de la formation du modèle. Vous pouvez réentraîner une version de modèle en excluant les variables que vous ne voulez pas en procédant comme suit :
- Sur la console Amazon Fraud Detector, dans le volet de navigation, choisissez Des modèles photo.
- Sur le Des modèles photo page, choisissez le modèle que vous souhaitez recycler.
- Sur le Actions menu, choisissez Former la nouvelle version.
- Sélectionnez la plage de dates que vous souhaitez utiliser et choisissez Suivant.
- Sur le Configurer la formation , désélectionnez la variable que vous ne souhaitez pas utiliser dans l'entraînement du modèle.
- Spécifiez vos étiquettes de fraude et vos étiquettes légitimes et la manière dont vous souhaitez qu'Amazon Fraud Detector utilise les événements sans étiquette, puis choisissez Suivant.
- Passez en revue la configuration du modèle et choisissez Créer et former un modèle.
Comment changer le type de variable d'événement
Les variables représentent les éléments de données utilisés dans la prévention de la fraude. Dans Amazon Fraud Detector, toutes les variables sont globales et partagées par tous les événements et modèles, ce qui signifie qu'une variable peut être utilisée dans plusieurs événements. Par exemple, IP peut être associé à des événements de connexion, et il peut également être associé à des événements de transaction. Naturellement, Amazon Fraud Detector a verrouillé le type de variable et le type de données une fois qu'une variable est créée. Pour supprimer une variable existante, vous devez d'abord supprimer tous les types d'événements et modèles associés. Vous pouvez vérifier les ressources associées à la variable spécifique en accédant à Amazon Fraud Detector, en choisissant Variables dans le volet de navigation, et en choisissant le nom de la variable et Ressources associées.
Supprimer la variable et tous les types d'événements associés
Pour supprimer la variable, procédez comme suit :
- Sur la console Amazon Fraud Detector, dans le volet de navigation, choisissez Variables.
- Choisissez la variable que vous souhaitez supprimer.
- Selectionnez Ressources associées pour afficher une liste de tous les types d'événements utilisés pour cette variable.
Vous devez supprimer ces types d'événements associés avant de supprimer la variable. - Choisissez les types d'événement dans la liste pour accéder à la page du type d'événement associé.
- Selectionnez Événements enregistrés pour vérifier si des données sont stockées sous ce type d'événement.
- Si des événements sont stockés dans Amazon Fraud Detector, choisissez Supprimer les événements stockés pour supprimer les événements enregistrés.
Lorsque la tâche de suppression est terminée, le message "Les événements stockés pour ce type d'événement ont été supprimés avec succès" s'affiche. - Selectionnez Ressources associées.
Si des détecteurs et des modèles sont associés à ce type d'événement, vous devez d'abord supprimer ces ressources. - Si des détecteurs sont associés, procédez comme suit pour supprimer tous les détecteurs associés :
- Choisissez le détecteur pour accéder au Détails du détecteur .
- Dans le Versions des modèles volet, choisissez la version du détecteur.
- Sur la page de version du détecteur, choisissez Actions.
- Si la version du détecteur est active, choisissez Désactiver, choisissez Désactiver cette version de détecteur sans la remplacer par une autre versionet choisissez Désactiver la version du détecteur.
- Une fois la version du détecteur désactivée, choisissez Actions et alors Supprimer.
- Répétez ces étapes pour supprimer toutes les versions de détecteur.
- Sur le Détails du détecteur page, choisissez Règles associées.
- Choisissez la règle à supprimer.
- Selectionnez Actions ainsi que Supprimer la version de la règle.
- Entrez le nom de la règle pour confirmer et choisissez Supprimer la version.
- Répétez ces étapes pour supprimer toutes les règles associées.
- Une fois toutes les versions de détecteurs et les règles associées supprimées, accédez à Détails du détecteur page, choisissez Actionset choisissez Supprimer le détecteur.
- Entrez le nom du détecteur et choisissez Supprimer le détecteur.
- Répétez ces étapes pour supprimer le détecteur suivant.
- Si des modèles sont associés au type d'événement, procédez comme suit pour les supprimer :
- Choisissez le nom du modèle.
- Dans le Versions des modèles volet, choisissez la version.
- Si le statut du modèle est
Active
, choisissez Actions ainsi que Annuler le déploiement de la version du modèle. - Entrer
undeploy
pour confirmer et choisir Annuler le déploiement de la version du modèle.
Le statut passe àUndeploying
. Le processus prend quelques minutes. - Après que le statut devient
Ready to deploy
, choisissez Actions et Supprimer. - Répétez ces étapes pour supprimer toutes les versions de modèle.
- Sur la page Détails du modèle, choisissez Actions et Supprimer le modèle.
- Entrez le nom du modèle et choisissez Supprimer le modèle.
- Répétez ces étapes pour supprimer le modèle suivant.
- Une fois tous les détecteurs et modèles associés supprimés, choisissez Actions ainsi que Supprimer le type d'événement sur le Détails de l'événement .
- Entrez le nom du type d'événement et choisissez Supprimer le type d'événement.
- Dans le volet de navigation, choisissez Variables, et choisissez la variable que vous souhaitez supprimer.
- Répétez les étapes précédentes pour supprimer tous les types d'événements associés à la variable.
- Sur le Détails variables page, choisissez Actions ainsi que Supprimer.
- Entrez le nom de la variable et choisissez Supprimer la variable.
Créer une nouvelle variable avec le type de variable correct
Après avoir supprimé la variable et tous les types d'événements associés, les événements stockés, les modèles et les détecteurs d'Amazon Fraud Detector, vous pouvez créer une nouvelle variable du même nom et la mapper au type de variable correct.
- Sur la console Amazon Fraud Detector, dans le volet de navigation, choisissez Variables.
- Selectionnez Création.
- Entrez le nom de la variable que vous souhaitez modifier (celui que vous avez supprimé précédemment).
- Sélectionnez le type de variable correct que vous souhaitez modifier.
- Selectionnez Créer une variable.
Télécharger des données et recycler le modèle
Après avoir mis à jour le type de variable, vous pouvez à nouveau télécharger les données et former un nouveau modèle. Pour obtenir des instructions, reportez-vous à Détectez la fraude aux transactions en ligne avec les nouvelles fonctionnalités d'Amazon Fraud Detector.
Comment ajouter de nouvelles variables à un type d'événement existant
Pour ajouter de nouvelles variables au type d'événement existant, procédez comme suit :
- Ajoutez les nouvelles variables au fichier CVS de formation précédent.
- Chargez le nouveau fichier de données d'entraînement dans un compartiment S3. Notez l'emplacement Amazon S3 de votre fichier de formation (par exemple,
s3://bucketname/path/to/some/object.csv
) et votre nom de rôle. - Sur la console Amazon Fraud Detector, dans le volet de navigation, choisissez Événements.
- Sur le Types d'événements page, choisissez le nom du type d'événement auquel vous souhaitez ajouter des variables.
- Sur le Type d'événement page de détails, choisissez Actions, puis Ajouter des variables.
- Sous Choisissez comment définir les variables de cet événement, choisissez Sélectionnez des variables dans un ensemble de données d'entraînement.
- Pour le rôle IAM, sélectionnez un rôle IAM existant ou créez un nouveau rôle pour accéder aux données dans Amazon S3.
- Pour Emplacement des données, entrez l'emplacement S3 du nouveau fichier de formation et choisissez Upload.
Les nouvelles variables non présentes dans le type d'événement existant doivent apparaître dans la liste.
- Selectionnez Ajouter des variables.
Maintenant, les nouvelles variables ont été ajoutées au type d'événement existant. Si vous utilisez des événements stockés dans Amazon Fraud Detector, les nouvelles variables des événements stockés sont toujours manquantes. Vous devez importer les données de formation avec les nouvelles variables dans Amazon Fraud Detector, puis recycler une nouvelle version de modèle. Lors du téléchargement des nouvelles données d'entraînement avec le même EVENT_ID
ainsi que EVENT_TIMESTAMP
, les nouvelles variables d'événement remplacent les variables d'événement précédentes stockées dans Amazon Fraud Detector.
À propos des auteurs
Julia Xu est chercheur scientifique chez Amazon Fraud Detector. Elle est passionnée par la résolution des problèmes des clients à l'aide de techniques d'apprentissage automatique. Dans ses temps libres, elle aime faire de la randonnée, peindre et explorer de nouveaux cafés.
Hao Zhou est chercheur scientifique chez Amazon Fraud Detector. Il est titulaire d'un doctorat en génie électrique de la Northwestern University, aux États-Unis. Il est passionné par l'application de techniques d'apprentissage automatique pour lutter contre la fraude et les abus.
Abishek Ravi est chef de produit senior chez Amazon Fraud Detector. Il est passionné par l'exploitation des capacités techniques pour créer des produits qui ravissent les clients.
- Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
- Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
- CryptoHawk. Radar Altcoins. Essai gratuit.
- Source : https://aws.amazon.com/blogs/machine-learning/diagnose-model-performance-before-deployment-for-amazon-fraud-detector/
- "
- 000
- 10
- 100
- 20 ans
- 9
- a
- capacité
- À propos
- accès
- en conséquence
- Compte
- Avec cette connaissance vient le pouvoir de prendre
- à travers
- actes
- infection
- activités
- ajoutée
- ajout
- Supplémentaire
- Adoption
- Avancée
- algorithmes
- Tous
- permet
- toujours
- Amazon
- en vigueur
- Candidature
- applications
- appliqué
- Application
- une approche
- approches
- approprié
- approuver
- Réservé
- Asie
- associé
- précaution
- attributs
- Automatisation
- disponibles
- AWS
- Baseline
- car
- before
- ci-dessous
- Améliorée
- jusqu'à XNUMX fois
- Block
- frontière
- apporter
- construire
- la performance des entreprises
- calculé
- capacités
- capturer
- les soins
- maisons
- cas
- Attraper
- Catégories
- Causes
- certaines
- globaux
- difficile
- Change
- Selectionnez
- classifié
- Café
- Coin
- recueillir
- Collecte
- collection
- lutter contre la
- comment
- Commun
- complet
- complètement
- compléter
- confiance
- configuration
- confusion
- Considérer
- Console
- Pratique
- pourriez
- engendrent
- créée
- Courant
- courbe
- des clients
- Clients
- données
- Dates
- profond
- Selon
- dépend
- déployer
- déployer
- déploiement
- la description
- détails
- Détection
- différent
- numérique
- directement
- discuter
- affiche
- distribution
- distributions
- Diversité
- Ne fait pas
- chuté
- pendant
- chacun
- même
- éléments
- end-to-end
- se termine
- ENGINEERING
- enrichir
- Entrer
- entités
- entité
- Environment
- notamment
- évaluer
- évaluation
- événement
- événements
- exemple
- à l'exclusion
- existant
- attendre
- attendu
- nous a permis de concevoir
- Extraits
- plus rapide
- Fonctionnalité
- Fonctionnalités:
- finalement
- Prénom
- suivre
- Abonnement
- formulaire
- fraude
- Test d'anglais
- de
- fonction
- avenir
- Général
- généré
- Global
- objectif
- Bien
- plus grand
- Vert
- Croissance
- arriver
- aider
- utile
- aide
- Haute
- augmentation
- très
- historique
- Histoire
- détient
- Comment
- How To
- Cependant
- HTTPS
- identifier
- Impact
- importance
- important
- améliorer
- amélioration
- comprendre
- Y compris
- indiquer
- d'information
- contribution
- idées.
- Interfaces
- Internet
- enquêter
- IP
- aide
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- Emploi
- jugements
- Savoir
- spécialisées
- Libellé
- l'étiquetage
- Etiquettes
- gros
- plus importantes
- Nouveautés
- lancé
- fuite
- APPRENTISSAGE
- apprentissage
- Niveau
- en tirant parti
- Liste
- Listé
- emplacement
- fermé
- click
- machine learning
- faire
- Fabrication
- gérés
- manager
- Localisation
- Marché
- Matrice
- veux dire
- messages
- Métrique
- pourrait
- minimum
- ML
- modèle
- numériques jumeaux (digital twin models)
- mois
- PLUS
- (en fait, presque toutes)
- plusieurs
- navigation
- Navigation
- Besoins
- négatif
- Nouvelles fonctionnalités
- New Market
- next
- nombre
- numéros
- Offres Speciales
- en ligne
- opérateur
- de commander
- Autre
- autrement
- global
- partie
- passionné
- Paiements
- pourcentage
- performant
- période
- Point
- population
- positif
- possible
- défaillances
- power
- prédiction
- représentent
- Prévention
- précédent
- primaire
- d'ouvrabilité
- processus
- Produit
- Vidéo
- Produits
- fournir
- à condition de
- de voiture.
- fournit
- vite.
- gamme
- en temps réel
- raisonnable
- récent
- récemment
- recommander
- Articles
- refléter
- en ce qui concerne
- représentent
- représentant
- représente
- Exigences
- a besoin
- un article
- Ressources
- retourner
- Retours
- Avis
- hausse
- Analyse
- Rôle
- Courir
- même
- Escaliers intérieurs
- Scientifique
- choisi
- service
- set
- Shadow
- commun
- magasins
- Shorts
- montrer
- montré
- étapes
- Taille
- So
- solide
- Résoudre
- quelques
- groupe de neurones
- scission
- j'ai commencé
- statistiques
- Statut
- Encore
- storage
- de Marketing
- Avec succès
- Target
- Technique
- techniques
- modèles
- tester
- Essais
- La
- trois
- порог
- Avec
- fiable
- outil
- top
- TPR
- circulation
- Train
- Formation
- transaction
- transformations
- types
- typiquement
- sous
- comprendre
- université
- Mises à jour
- us
- États-Unis
- utilisé
- utilisateurs
- d'habitude
- utilitaire
- validation
- Plus-value
- version
- Voir
- attendez
- Quoi
- que
- tout en
- sans
- vaut
- pourra
- an
- années
- Votre