Con la crescita dell'adozione di applicazioni online e il numero crescente di utenti Internet, le frodi digitali sono in aumento anno dopo anno. Amazon Fraud Detector fornisce un servizio completamente gestito per aiutarti a identificare meglio le attività online potenzialmente fraudolente utilizzando tecniche avanzate di machine learning (ML) e oltre 20 anni di esperienza nel rilevamento delle frodi di Amazon.
Per aiutarti a individuare le frodi più velocemente in più casi d'uso, Amazon Fraud Detector offre modelli specifici con algoritmi, arricchimenti e trasformazioni di funzionalità personalizzati. L'addestramento del modello è completamente automatizzato e senza problemi e puoi seguire le istruzioni nel guida utente o correlati post del blog per iniziare. Tuttavia, con i modelli addestrati, è necessario decidere se il modello è pronto per la distribuzione. Ciò richiede una certa conoscenza di ML, statistiche e rilevamento delle frodi e potrebbe essere utile conoscere alcuni approcci tipici.
Questo post ti aiuterà a diagnosticare le prestazioni del modello e scegliere il modello giusto per la distribuzione. Esaminiamo i parametri forniti da Amazon Fraud Detector, ti aiutiamo a diagnosticare potenziali problemi e forniamo suggerimenti per migliorare le prestazioni del modello. Gli approcci sono applicabili sia ai modelli di modello Online Fraud Insights (OFI) che Transaction Fraud Insights (TFI).
Panoramica della soluzione
Questo post fornisce un processo end-to-end per diagnosticare le prestazioni del tuo modello. Introduce innanzitutto tutte le metriche del modello mostrate sulla console Amazon Fraud Detector, inclusi AUC, distribuzione del punteggio, matrice di confusione, curva ROC e importanza della variabile del modello. Quindi presentiamo un approccio in tre fasi per diagnosticare le prestazioni del modello utilizzando diverse metriche. Infine, forniamo suggerimenti per migliorare le prestazioni del modello per problemi tipici.
Prerequisiti
Prima di approfondire il tuo modello Amazon Fraud Detector, devi completare i seguenti prerequisiti:
- Crea un account AWS.
- Crea un set di dati di eventi per la formazione del modello.
- Carica i tuoi dati a Servizio di archiviazione semplice Amazon (Amazon S3) o importa i dati degli eventi in Amazon Fraud Detector.
- Costruisci un modello di Amazon Fraud Detector.
Interpretare le metriche del modello
Al termine dell'addestramento del modello, Amazon Fraud Detector valuta il tuo modello utilizzando parte dei dati di modellazione che non sono stati utilizzati nell'addestramento del modello. Restituisce le metriche di valutazione sul Versione modello pagina per quel modello. Tali metriche riflettono le prestazioni del modello che puoi aspettarti sui dati reali dopo la distribuzione in produzione.
Lo screenshot seguente mostra le prestazioni del modello di esempio restituite da Amazon Fraud Detector. Puoi scegliere diverse soglie sulla distribuzione del punteggio (a sinistra) e la matrice di confusione (a destra) viene aggiornata di conseguenza.
È possibile utilizzare i seguenti risultati per verificare le prestazioni e decidere le regole della strategia:
- AUC (area sotto la curva) – Le prestazioni complessive di questo modello. Un modello con AUC di 0.50 non è migliore di un lancio di una moneta perché rappresenta una possibilità casuale, mentre un modello "perfetto" avrà un punteggio di 1.0. Maggiore è l'AUC, migliore è il tuo modello in grado di distinguere tra frodi e legittimi.
- Distribuzione del punteggio – Un istogramma delle distribuzioni dei punteggi del modello presupponendo una popolazione di esempio di 100,000 eventi. Amazon Fraud Detector genera punteggi del modello compresi tra 0 e 1000, dove minore è il punteggio, minore è il rischio di frode. Una migliore separazione tra le popolazioni legittime (verdi) e fraudolente (blu) indica in genere un modello migliore. Per maggiori dettagli, vedere Punteggi del modello.
- Matrice di confusione – Una tabella che descrive le prestazioni del modello per la soglia di punteggio specificata selezionata, inclusi il tasso di veri positivi, i veri negativi, i falsi positivi, i falsi negativi, i veri positivi (TPR) e il tasso di falsi positivi (FPR). Il conteggio sulla tabella presuppone una popolazione di esempio di 100,0000 eventi. Per maggiori dettagli, vedere Metriche delle prestazioni del modello.
- Curva ROC (Receiver Operator Characteristic). – Un grafico che illustra la capacità diagnostica del modello, come mostrato nella schermata seguente. Traccia il tasso di veri positivi in funzione del tasso di falsi positivi su tutte le possibili soglie di punteggio del modello. Visualizza questo grafico scegliendo Metriche avanzate. Se hai addestrato più versioni di un modello, puoi selezionare diverse soglie FPR per verificare la modifica delle prestazioni.
- Importanza variabile del modello – Il rango delle variabili del modello in base al loro contributo al modello generato, come mostrato nella schermata seguente. La variabile del modello con il valore più alto è più importante per il modello rispetto alle altre variabili del modello nel set di dati per quella versione del modello ed è elencata in alto per impostazione predefinita. Per maggiori dettagli, vedere Importanza variabile del modello.
Diagnosticare le prestazioni del modello
Prima di distribuire il tuo modello in produzione, dovresti utilizzare le metriche restituite da Amazon Fraud Detector per comprendere le prestazioni del modello e diagnosticare i possibili problemi. I problemi comuni dei modelli ML possono essere suddivisi in due categorie principali: problemi relativi ai dati e problemi relativi ai modelli. Amazon Fraud Detector si è occupato dei problemi relativi al modello utilizzando con attenzione i set di convalida e test per valutare e ottimizzare il tuo modello sul back-end. È possibile completare i seguenti passaggi per verificare se il modello è pronto per la distribuzione o presenta possibili problemi relativi ai dati:
- Controllare le prestazioni complessive del modello (AUC e distribuzione del punteggio).
- Rivedere i requisiti aziendali (matrice e tabella di confusione).
- Controllare l'importanza della variabile del modello.
Controllare le prestazioni complessive del modello: AUC e distribuzione del punteggio
Una previsione più accurata degli eventi futuri è sempre l'obiettivo principale di un modello predittivo. L'AUC restituito da Amazon Fraud Detector viene calcolato su un set di test opportunamente campionato non utilizzato nella formazione. In generale, un modello con una AUC maggiore di 0.9 è considerato un buon modello.
Se osservi un modello con prestazioni inferiori a 0.8, di solito significa che il modello ha margini di miglioramento (discutiamo problemi comuni per prestazioni del modello basse più avanti in questo post). Tieni presente che la definizione di prestazioni "buone" dipende in larga misura dalla tua attività e dal modello di base. Puoi comunque seguire i passaggi in questo post per migliorare il tuo modello Amazon Fraud Detector anche se il suo AUC è maggiore di 0.8.
D'altra parte, se l'AUC è superiore a 0.99, significa che il modello può separare quasi perfettamente la frode e gli eventi legittimi sul set di test. Questo a volte è uno scenario "troppo bello per essere vero" (discutiamo problemi comuni per prestazioni del modello molto elevate più avanti in questo post).
Oltre all'AUC generale, la distribuzione del punteggio può anche dirti quanto bene è montato il modello. Idealmente, dovresti vedere la maggior parte degli eventi legittimi e fraudolenti situati alle due estremità della scala, il che indica che il punteggio del modello può classificare accuratamente gli eventi sul set di test.
Nell'esempio seguente, la distribuzione del punteggio ha un AUC di 0.96.
Se la distribuzione legittima e fraudolenta si sovrappone o si concentra nel centro, probabilmente significa che il modello non funziona bene nel distinguere gli eventi di frode dagli eventi legittimi, il che potrebbe indicare che la distribuzione dei dati storici è cambiata o che sono necessari più dati o funzionalità.
Quello che segue è un esempio di distribuzione del punteggio con un AUC di 0.64.
Se riesci a trovare un punto di divisione che può dividere quasi perfettamente frode ed eventi legittimi, c'è un'alta probabilità che il modello abbia un problema di perdita di etichetta o che i modelli di frode siano troppo facili da rilevare, il che dovrebbe attirare la tua attenzione.
Nell'esempio seguente, la distribuzione del punteggio ha un AUC di 1.0.
Esaminare i requisiti aziendali: matrice e tabella di confusione
Sebbene l'AUC sia un comodo indicatore delle prestazioni del modello, potrebbe non tradursi direttamente nei requisiti aziendali. Amazon Fraud Detector fornisce anche parametri come il tasso di cattura delle frodi (tasso di veri positivi), la percentuale di eventi legittimi che sono erroneamente previsti come frode (tasso di falsi positivi) e altro, che sono più comunemente usati come requisiti aziendali. Dopo aver addestrato un modello con un AUC ragionevolmente buono, è necessario confrontare il modello con i requisiti aziendali con tali metriche.
La matrice e la tabella di confusione forniscono un'interfaccia per esaminare l'impatto e verificare se soddisfa le esigenze aziendali. Si noti che i numeri dipendono dalla soglia del modello, in cui gli eventi con punteggi superiori alla soglia sono classificati come frode e gli eventi con punteggi inferiori alla soglia sono classificati come legittimi. Puoi scegliere quale soglia utilizzare in base alle tue esigenze aziendali.
Ad esempio, se il tuo obiettivo è catturare il 73% delle frodi, (come mostrato nell'esempio seguente) puoi scegliere una soglia come 855, che ti consente di catturare il 73% di tutte le frodi. Tuttavia, il modello classificherà erroneamente anche il 3% di eventi legittimi come fraudolenti. Se questo FPR è accettabile per la tua azienda, il modello è adatto per la distribuzione. In caso contrario, è necessario migliorare le prestazioni del modello.
Un altro esempio è se il costo per bloccare o sfidare un cliente legittimo è estremamente elevato, allora si desidera un FPR basso e un'elevata precisione. In tal caso, puoi scegliere una soglia di 950, come mostrato nell'esempio seguente, che classificherà erroneamente l'1% dei clienti legittimi come frode e l'80% delle frodi identificate sarà effettivamente fraudolento.
Inoltre, puoi scegliere più soglie e assegnare diversi esiti, come blocco, indagine, superamento. Se non riesci a trovare soglie e regole adeguate che soddisfino tutti i tuoi requisiti aziendali, dovresti considerare di addestrare il tuo modello con più dati e attributi.
Controllare l'importanza della variabile del modello
I Importanza variabile del modello il riquadro mostra come ciascuna variabile contribuisce al tuo modello. Se una variabile ha un valore di importanza significativamente maggiore rispetto alle altre, potrebbe indicare una perdita di etichette o che i modelli di frode sono troppo facili da rilevare. Si noti che l'importanza della variabile viene aggregata alle variabili di input. Se si osserva un'importanza leggermente maggiore di IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
, o SHIPPING_ZIP
, potrebbe a causa del potere di arricchimento.
L'esempio seguente mostra l'importanza della variabile del modello con una potenziale perdita di etichetta utilizzando investigation_status
.
L'importanza della variabile del modello fornisce anche suggerimenti su quali variabili aggiuntive potrebbero potenzialmente apportare un miglioramento al modello. Ad esempio, se osservi un AUC basso e le funzionalità relative al venditore mostrano un'elevata importanza, potresti prendere in considerazione la possibilità di raccogliere più funzionalità degli ordini come SELLER_CATEGORY
, SELLER_ADDRESS
e SELLER_ACTIVE_YEARS
e aggiungi quelle variabili al tuo modello.
Problemi comuni per le basse prestazioni del modello
In questa sezione, discutiamo dei problemi comuni che potresti incontrare per quanto riguarda le basse prestazioni del modello.
La distribuzione dei dati storici è cambiata
La deriva della distribuzione dei dati storici si verifica quando si verifica un grande cambiamento aziendale o un problema di raccolta dei dati. Ad esempio, se di recente hai lanciato il tuo prodotto in un nuovo mercato, il IP_ADDRESS
, EMAIL
e ADDRESS
le caratteristiche correlate potrebbero essere completamente diverse e anche il modus operandi della frode potrebbe cambiare. Utilizza Amazon Fraud Detector EVENT_TIMESTAMP
per dividere i dati e valutare il tuo modello sul sottoinsieme appropriato di eventi nel tuo set di dati. Se la distribuzione dei dati storici cambia in modo significativo, il set di valutazione potrebbe essere molto diverso dai dati di addestramento e le prestazioni del modello riportate potrebbero essere basse.
Puoi verificare il potenziale problema di modifica della distribuzione dei dati esplorando i tuoi dati storici:
- Usa il Profilo dei dati di Amazon Fraud Detector strumento per verificare se il tasso di frode e il tasso di mancanza dell'etichetta sono cambiati nel tempo.
- Verificare se la distribuzione delle variabili nel tempo è cambiata in modo significativo, soprattutto per le funzionalità con un'importanza variabile elevata.
- Controllare la distribuzione delle variabili nel tempo per variabili target. Se osservi un numero significativamente maggiore di eventi di frode da una categoria nei dati recenti, potresti voler verificare se la modifica è ragionevole utilizzando i tuoi giudizi aziendali.
Se ritieni che il tasso di perdita dell'etichetta sia molto alto o che il tasso di frode sia costantemente diminuito durante le date più recenti, potrebbe essere un indicatore di etichette non completamente mature. È necessario escludere i dati più recenti o attendere più a lungo per raccogliere le etichette accurate, quindi riqualificare il modello.
Se osservi un forte aumento del tasso di frode e delle variabili in date specifiche, potresti voler ricontrollare se si tratta di un problema di raccolta dati o anomalo. In tal caso, è necessario eliminare quegli eventi e riqualificare il modello.
Se ritieni che i dati obsoleti non possano rappresentare la tua attività attuale e futura, dovresti escludere il vecchio periodo di dati dalla formazione. Se utilizzi gli eventi archiviati in Amazon Fraud Detector, puoi semplicemente riqualificare una nuova versione e selezionare l'intervallo di date corretto durante la configurazione del processo di addestramento. Ciò potrebbe anche indicare che il modus operandi della frode nella tua azienda cambia in modo relativamente rapido nel tempo. Dopo la distribuzione del modello, potrebbe essere necessario riqualificare frequentemente il modello.
Mappatura errata del tipo di variabile
Amazon Fraud Detector arricchisce e trasforma i dati in base ai tipi di variabili. È importante mappare le variabili sul tipo corretto in modo che il modello Amazon Fraud Detector possa assumere il valore massimo dei dati. Ad esempio, se esegui la mappatura IP
Vai all’email CATEGORICAL
tipo invece di IP_ADDRESS
, non ottieni il IP-
relativi arricchimenti nel backend.
In generale, Amazon Fraud Detector suggerisce le seguenti azioni:
- Mappa le tue variabili su tipi specifici, come
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
ePHONE_NUMBER
, in modo che Amazon Fraud Detector possa estrarre e arricchire ulteriori informazioni. - Se non riesci a trovare il tipo di variabile specifico, associalo a uno dei tre tipi generici:
NUMERIC
,CATEGORICAL
, oFREE_FORM_TEXT
. - Se una variabile è in formato testo e ha un'elevata cardinalità, come una recensione di un cliente o una descrizione di un prodotto, dovresti mapparla al
FREE_FORM_TEXT
tipo di variabile in modo che Amazon Fraud Detector estragga per te le funzionalità di testo e gli incorporamenti sul back-end. Ad esempio, se esegui la mappaturaurl_string
aFREE_FORM_TEXT
, è in grado di tokenizzare l'URL ed estrarre informazioni da inserire nel modello a valle, il che lo aiuterà a imparare più pattern nascosti dall'URL.
Se trovi che uno dei tuoi tipi di variabile è mappato in modo errato nella configurazione delle variabili, puoi cambiare il tuo tipo di variabile e quindi addestrare nuovamente il modello.
Dati o funzionalità insufficienti
Amazon Fraud Detector richiede almeno 10,000 record per addestrare un modello Online Fraud Insights (OFI) o Transaction Fraud Insights (TFI), con almeno 400 di tali record identificati come fraudolenti. TFI richiede inoltre che sia i record fraudolenti che quelli legittimi provengano da almeno 100 entità diverse ciascuno per garantire la diversità del set di dati. Inoltre, Amazon Fraud Detector richiede che i dati di modellazione abbiano almeno due variabili. Questi sono i requisiti minimi di dati per creare un modello utile di Amazon Fraud Detector. Tuttavia, l'utilizzo di più record e variabili di solito aiuta i modelli ML ad apprendere meglio i modelli sottostanti dai tuoi dati. Quando osservi un AUC basso o non riesci a trovare soglie che soddisfino i tuoi requisiti aziendali, dovresti considerare di riqualificare il tuo modello con più dati o aggiungere nuove funzionalità al tuo modello. Di solito, troviamo EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
e DEVICE
variabili correlate sono importanti nel rilevamento delle frodi.
Un'altra possibile causa è che alcune delle tue variabili contengono troppi valori mancanti. Per vedere se ciò sta accadendo, controlla i messaggi di addestramento del modello e fai riferimento a Risolvere i problemi relativi ai dati di addestramento per i suggerimenti.
Problemi comuni per prestazioni del modello molto elevate
In questa sezione verranno discussi problemi comuni relativi alle prestazioni del modello molto elevate.
Perdita di etichetta
La perdita di etichette si verifica quando i set di dati di addestramento utilizzano informazioni che non dovrebbero essere disponibili al momento della previsione. Sovrastima l'utilità del modello quando viene eseguito in un ambiente di produzione.
Un'elevata AUC (vicino a 1), una distribuzione del punteggio perfettamente separata e un'importanza variabile significativamente maggiore di una variabile potrebbero essere indicatori di potenziali problemi di perdita di etichette. Puoi anche verificare la correlazione tra le caratteristiche e l'etichetta utilizzando il Profilo dati. Correlazione delle caratteristiche e dell'etichetta plot mostra la correlazione tra ciascuna caratteristica e l'etichetta. Se una funzione ha una correlazione superiore a 0.99 con l'etichetta, è necessario verificare se la funzione viene utilizzata correttamente in base ai giudizi aziendali. Ad esempio, per creare un modello di rischio per approvare o rifiutare una richiesta di prestito, non dovresti utilizzare le funzionalità come AMOUNT_PAID
, perché i pagamenti avvengono dopo il processo di sottoscrizione. Se una variabile non è disponibile al momento della previsione, è necessario rimuovere tale variabile dalla configurazione del modello e riqualificare un nuovo modello.
L'esempio seguente mostra la correlazione tra ogni variabile ed etichetta. investigation_status
ha un'alta correlazione (vicino a 1) con l'etichetta, quindi dovresti ricontrollare se c'è un problema di perdita dell'etichetta.
Semplici schemi di frode
Quando i modelli di frode nei tuoi dati sono semplici, potresti anche osservare prestazioni del modello molto elevate. Ad esempio, supponiamo che tutti gli eventi di frode nei dati di modellazione provengano dallo stesso fornitore di servizi interno; è semplice per il modello scegliere il IP-
variabili correlate e restituiscono un modello “perfetto” con elevata importanza di IP
.
Semplici schemi di frode non sempre indicano un problema con i dati. Potrebbe essere vero che il modus operandi di frode nella tua azienda è facile da catturare. Tuttavia, prima di trarre una conclusione, è necessario assicurarsi che le etichette utilizzate nell'addestramento del modello siano accurate e che i dati di modellazione coprano il maggior numero possibile di modelli di frode. Ad esempio, se etichetti i tuoi eventi di frode in base a regole, come etichettare tutte le applicazioni da uno specifico BILLING_ZIP
più PRODUCT_CATEGORY
come frode, il modello può facilmente intercettare tali frodi simulando le regole e ottenendo un AUC elevato.
Puoi controllare la distribuzione dell'etichetta tra diverse categorie o contenitori di ciascuna funzione utilizzando il Profilo dati. Ad esempio, se osservi che la maggior parte degli eventi di frode proviene da una o più categorie di prodotti, potrebbe essere un indicatore di semplici schemi di frode e devi confermare che non si tratta di una raccolta di dati o di un errore di elaborazione. Se la funzione è come CUSTOMER_ID
, dovresti escludere la funzione nell'addestramento del modello.
L'esempio seguente mostra la distribuzione delle etichette tra diverse categorie di product_category
. Tutte le frodi provengono da due categorie di prodotti.
Campionamento improprio dei dati
Il campionamento dei dati non corretto può verificarsi quando hai campionato e inviato solo una parte dei tuoi dati ad Amazon Fraud Detector. Se i dati non vengono campionati correttamente e non sono rappresentativi del traffico in produzione, le prestazioni del modello riportate saranno imprecise e il modello potrebbe essere inutile per la previsione della produzione. Ad esempio, se tutti gli eventi di frode nei dati di modellazione vengono campionati dall'Asia e tutti gli eventi legittimi vengono campionati dagli Stati Uniti, il modello potrebbe imparare a separare frode e legit in base a BILLING_COUNTRY
. In tal caso, il modello non è generico da applicare ad altre popolazioni.
Di solito, suggeriamo di inviare tutti gli ultimi eventi senza campionamento. In base alla dimensione dei dati e al tasso di frode, Amazon Fraud Detector esegue il campionamento prima dell'addestramento del modello per te. Se i tuoi dati sono troppo grandi (oltre 100 GB) e decidi di campionare e inviare solo un sottoinsieme, dovresti campionare i tuoi dati in modo casuale e assicurarti che il campione sia rappresentativo dell'intera popolazione. Per TFI, dovresti campionare i tuoi dati per entità, il che significa che se un'entità viene campionata, dovresti includere tutta la sua cronologia in modo che gli aggregati a livello di entità siano calcolati correttamente. Tieni presente che se invii solo un sottoinsieme di dati ad Amazon Fraud Detector, gli aggregati in tempo reale durante l'inferenza potrebbero essere imprecisi se gli eventi precedenti delle entità non vengono inviati.
Un altro campionamento improprio dei dati potrebbe consistere nell'utilizzare solo un breve periodo di dati, come i dati di un giorno, per costruire il modello. I dati potrebbero essere distorti, soprattutto se la tua attività o gli attacchi di frode hanno stagionalità. Di solito consigliamo di includere almeno due cicli (ad esempio 2 settimane o 2 mesi) di dati nella modellazione per garantire la diversità dei tipi di frode.
Conclusione
Dopo aver diagnosticato e risolto tutti i potenziali problemi, dovresti ottenere un utile modello Amazon Fraud Detector ed essere sicuro delle sue prestazioni. Per il prossimo passo, tu può creare un rilevatore con il modello e le regole aziendalie preparati a distribuirlo in produzione per una valutazione in modalità ombra.
Appendice
Come escludere variabili per l'addestramento del modello
Dopo l'immersione profonda, è possibile identificare un'informazione sull'obiettivo di perdita variabile e volerla escludere dall'addestramento del modello. È possibile riqualificare una versione del modello escludendo le variabili non desiderate completando i seguenti passaggi:
- Nella console Amazon Fraud Detector, nel riquadro di navigazione, scegli Modelli.
- Sulla Modelli pagina, scegli il modello che desideri riqualificare.
- Sulla Azioni menù, scegliere Allena la nuova versione.
- Seleziona l'intervallo di date che desideri utilizzare e scegli Avanti.
- Sulla Configura la formazione pagina, deseleziona la variabile che non vuoi usare nell'addestramento del modello.
- Specifica le etichette di frode e le etichette legittime e come desideri che Amazon Fraud Detector utilizzi gli eventi senza etichetta, quindi scegli Avanti.
- Rivedi la configurazione del modello e scegli Crea e addestra il modello.
Come modificare il tipo di variabile evento
Le variabili rappresentano elementi di dati utilizzati nella prevenzione delle frodi. In Amazon Fraud Detector, tutte le variabili sono globali e condivise tra tutti gli eventi e i modelli, il che significa che una variabile può essere utilizzata in più eventi. Ad esempio, l'IP potrebbe essere associato a eventi di accesso e potrebbe anche essere associato a eventi di transazione. Naturalmente, Amazon Fraud Detector ha bloccato il tipo di variabile e il tipo di dati una volta creata una variabile. Per eliminare una variabile esistente, devi prima eliminare tutti i tipi e i modelli di eventi associati. Puoi controllare le risorse associate alla variabile specifica navigando su Amazon Fraud Detector, scegliendo Variabili nel riquadro di navigazione e scegliendo il nome della variabile e Risorse associate.
Elimina la variabile e tutti i tipi di eventi associati
Per eliminare la variabile, completare i seguenti passaggi:
- Nella console Amazon Fraud Detector, nel riquadro di navigazione, scegli Variabili.
- Scegli la variabile che desideri eliminare.
- Scegli Risorse associate per visualizzare un elenco di tutti i tipi di evento utilizzato questa variabile.
È necessario eliminare quei tipi di eventi associati prima di eliminare la variabile. - Scegli i tipi di evento nell'elenco per andare alla pagina del tipo di evento associato.
- Scegli Eventi memorizzati per verificare se i dati sono archiviati in questo tipo di evento.
- Se sono presenti eventi archiviati in Amazon Fraud Detector, scegli Elimina gli eventi memorizzati per eliminare gli eventi memorizzati.
Al termine del processo di eliminazione, viene visualizzato il messaggio "Gli eventi memorizzati per questo tipo di evento sono stati eliminati con successo". - Scegli Risorse associate.
Se rilevatori e modelli sono associati a questo tipo di evento, è necessario eliminare prima tali risorse. - Se sono associati dei rilevatori, completare i seguenti passaggi per eliminare tutti i rilevatori associati:
- Scegli il rilevatore su cui andare Dettagli del rivelatore .
- Nel Versioni del modello pannello, scegliere la versione del rilevatore.
- Nella pagina della versione del rivelatore, scegli Azioni.
- Se la versione del rivelatore è attiva, scegliere Disattivarescegli Disattivare questa versione del rivelatore senza sostituirla con una versione diversae scegli Disattiva versione rivelatore.
- Dopo che la versione del rivelatore è stata disattivata, scegliere Azioni e poi Elimina.
- Ripetere questi passaggi per eliminare tutte le versioni del rilevatore.
- Sulla Dettagli del rivelatore pagina, scegli Regole associate.
- Scegli la regola da eliminare.
- Scegli Azioni ed Elimina la versione della regola.
- Immettere il nome della regola per confermare e scegliere Elimina versione.
- Ripetere questi passaggi per eliminare tutte le regole associate.
- Dopo che tutte le versioni del rilevatore e le regole associate sono state eliminate, passare a Dettagli del rivelatore pagina, scegli Azionie scegli Elimina rilevatore.
- Immettere il nome del rilevatore e scegliere Elimina rilevatore.
- Ripetere questi passaggi per eliminare il rilevatore successivo.
- Se alcuni modelli sono associati al tipo di evento, completare i seguenti passaggi per eliminarli:
- Scegli il nome del modello.
- Nel Versioni del modello riquadro, scegli la versione.
- Se lo stato del modello è
Active
scegli Azioni ed Annulla la distribuzione della versione del modello. - entrare
undeploy
per confermare e scegliere Annulla la distribuzione della versione del modello.
Lo stato cambia inUndeploying
. Il completamento del processo richiede alcuni minuti. - Dopo che lo stato diventa
Ready to deploy
, scegli Azioni ed Elimina. - Ripetere questi passaggi per eliminare tutte le versioni del modello.
- Nella pagina Dettagli modello, scegli Azioni ed Elimina modello.
- Inserisci il nome del modello e scegli Elimina modello.
- Ripetere questi passaggi per eliminare il modello successivo.
- Dopo che tutti i rilevatori e i modelli associati sono stati eliminati, scegliere Azioni ed Elimina tipo di evento sul Dettagli evento .
- Inserisci il nome del tipo di evento e scegli Elimina tipo di evento.
- Nel pannello di navigazione, scegli Variabilie scegli la variabile che desideri eliminare.
- Ripetere i passaggi precedenti per eliminare tutti i tipi di evento associati alla variabile.
- Sulla Dettagli variabili pagina, scegli Azioni ed Elimina.
- Immettere il nome della variabile e scegliere Elimina variabile.
Crea una nuova variabile con il tipo di variabile corretto
Dopo aver eliminato la variabile e tutti i tipi di eventi associati, gli eventi memorizzati, i modelli e i rilevatori da Amazon Fraud Detector, puoi creare una nuova variabile con lo stesso nome e mapparla al tipo di variabile corretto.
- Nella console Amazon Fraud Detector, nel riquadro di navigazione, scegli Variabili.
- Scegli Creare.
- Inserisci il nome della variabile che desideri modificare (quello che hai eliminato in precedenza).
- Seleziona il tipo di variabile corretto in cui desideri modificare.
- Scegli Crea variabile.
Carica i dati e riqualifica il modello
Dopo aver aggiornato il tipo di variabile, puoi caricare di nuovo i dati e addestrare un nuovo modello. Per istruzioni, fare riferimento a Rileva le frodi nelle transazioni online con le nuove funzionalità di Amazon Fraud Detector.
Come aggiungere nuove variabili a un tipo di evento esistente
Per aggiungere nuove variabili al tipo di evento esistente, completare i seguenti passaggi:
- Aggiungi le nuove variabili al file CVS di addestramento precedente.
- Carica il nuovo file di dati di addestramento in un bucket S3. Prendi nota della posizione Amazon S3 del tuo file di addestramento (ad esempio,
s3://bucketname/path/to/some/object.csv
) e il nome del tuo ruolo. - Nella console Amazon Fraud Detector, nel riquadro di navigazione, scegli Eventi.
- Sulla Tipi di eventi pagina, scegli il nome del tipo di evento a cui vuoi aggiungere le variabili.
- Sulla Tipo di evento pagina dei dettagli, scegli Azioni, poi Aggiungi variabili.
- Sotto Scegli come definire le variabili di questo eventoscegli Seleziona le variabili da un set di dati di addestramento.
- Per il ruolo IAM, seleziona un ruolo IAM esistente o crea un nuovo ruolo per accedere ai dati in Amazon S3.
- Nel Posizione dei dati, inserisci la posizione S3 del nuovo file di allenamento e scegli Carica.
Le nuove variabili non presenti nel tipo di evento esistente dovrebbero essere visualizzate nell'elenco.
- Scegli Aggiungi variabili.
Ora, le nuove variabili sono state aggiunte al tipo di evento esistente. Se utilizzi gli eventi archiviati in Amazon Fraud Detector, mancano ancora le nuove variabili degli eventi archiviati. Devi importare i dati di addestramento con le nuove variabili in Amazon Fraud Detector e quindi addestrare nuovamente una nuova versione del modello. Quando si caricano i nuovi dati di allenamento con lo stesso EVENT_ID
ed EVENT_TIMESTAMP
, le nuove variabili evento sovrascrivono le variabili evento precedenti archiviate in Amazon Fraud Detector.
Informazioni sugli autori
Giulia Xu è un ricercatore con Amazon Fraud Detector. È appassionata di risolvere le sfide dei clienti utilizzando le tecniche di Machine Learning. Nel tempo libero le piace fare escursioni, dipingere ed esplorare nuove caffetterie.
HaoZhou è un ricercatore con Amazon Fraud Detector. Ha conseguito un dottorato di ricerca in ingegneria elettrica presso la Northwestern University, USA. È appassionato di applicare tecniche di apprendimento automatico per combattere frodi e abusi.
Abhishek Ravi è Senior Product Manager con Amazon Fraud Detector. È appassionato di sfruttare le capacità tecniche per creare prodotti che soddisfino i clienti.
- Coinsmart. Il miglior scambio di bitcoin e criptovalute d'Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. ACCESSO LIBERO.
- Criptofalco. Radar Altcoin. Prova gratuita.
- Fonte: https://aws.amazon.com/blogs/machine-learning/diagnose-model-performance-before-deployment-for-amazon-fraud-detector/
- "
- 000
- 10
- 100
- 20 anni
- 9
- a
- capacità
- Chi siamo
- accesso
- di conseguenza
- Il mio account
- preciso
- operanti in
- azioni
- attivo
- attività
- aggiunto
- aggiunta
- aggiuntivo
- Adozione
- Avanzate
- Algoritmi
- Tutti
- consente
- sempre
- Amazon
- applicabile
- Applicazioni
- applicazioni
- applicato
- AMMISSIONE
- approccio
- approcci
- opportuno
- approvare
- RISERVATA
- Asia
- associato
- attenzione
- gli attributi
- Automatizzata
- disponibile
- AWS
- Linea di base
- perché
- prima
- sotto
- Meglio
- fra
- Bloccare
- sistema
- portare
- costruire
- affari
- calcolato
- funzionalità
- catturare
- che
- Custodie
- casi
- lotta
- Categoria
- Causare
- certo
- sfide
- impegnativo
- il cambiamento
- Scegli
- classificato
- Caffè
- Moneta
- raccogliere
- Raccolta
- collezione
- combattere
- Venire
- Uncommon
- completamento di una
- completamente
- completando
- fiducioso
- Configurazione
- confusione
- Prendere in considerazione
- consolle
- Comodo
- potuto
- creare
- creato
- Corrente
- curva
- cliente
- Clienti
- dati
- Date
- deep
- Dipendente
- dipende
- schierare
- distribuzione
- deployment
- descrizione
- dettagli
- rivelazione
- diverso
- digitale
- direttamente
- discutere
- display
- distribuzione
- distribuzioni
- Diversità
- non
- caduto
- durante
- ogni
- facilmente
- elementi
- da un capo all'altro
- finisce
- Ingegneria
- arricchire
- entrare
- entità
- entità
- Ambiente
- particolarmente
- valutare
- valutazione
- Evento
- eventi
- esempio
- esclusa
- esistente
- attenderti
- previsto
- competenza
- estratti
- più veloce
- caratteristica
- Caratteristiche
- Infine
- Nome
- seguire
- i seguenti
- modulo
- frode
- Gratis
- da
- function
- futuro
- Generale
- generato
- globali
- scopo
- buono
- maggiore
- Green
- Crescita
- accadere
- Aiuto
- utile
- aiuta
- Alta
- superiore
- vivamente
- storico
- storia
- detiene
- Come
- Tutorial
- Tuttavia
- HTTPS
- identificare
- Impact
- importanza
- importante
- competenze
- miglioramento
- includere
- Compreso
- indicare
- informazioni
- ingresso
- intuizioni
- Interfaccia
- Internet
- indagare
- IP
- problema
- sicurezza
- IT
- Lavoro
- sentenze
- Sapere
- conoscenze
- Discografica
- etichettatura
- per il tuo brand
- grandi
- superiore, se assunto singolarmente.
- con i più recenti
- lanciato
- perdita
- IMPARARE
- apprendimento
- Livello
- leveraging
- Lista
- elencati
- località
- bloccato
- macchina
- machine learning
- make
- Fare
- gestito
- direttore
- carta geografica
- Rappresentanza
- Matrice
- si intende
- messaggi
- Metrica
- forza
- ordine
- ML
- modello
- modelli
- mese
- Scopri di più
- maggior parte
- multiplo
- navigazione
- Navigazione
- esigenze
- negativo.
- Nuove funzionalità
- New Market
- GENERAZIONE
- numero
- numeri
- Offerte
- online
- operatore
- minimo
- Altro
- altrimenti
- complessivo
- parte
- appassionato
- pagamenti
- percentuale
- performance
- periodo
- punto
- popolazione
- positivo
- possibile
- potenziale
- energia
- predizione
- presenti
- Frodi
- precedente
- primario
- problemi
- processi
- Prodotto
- Produzione
- Prodotti
- fornire
- purché
- fornitore
- fornisce
- rapidamente
- gamma
- tempo reale
- ragionevole
- recente
- recentemente
- raccomandare
- record
- riflettere
- per quanto riguarda
- rappresentare
- rappresentante
- rappresenta
- Requisiti
- richiede
- riparazioni
- Risorse
- ritorno
- problemi
- recensioni
- crescita
- Rischio
- Ruolo
- norme
- Correre
- stesso
- Scala
- Scienziato
- selezionato
- servizio
- set
- Shadow
- condiviso
- negozi
- Corti
- mostrare attraverso le sue creazioni
- mostrato
- Un'espansione
- Taglia
- So
- solido
- Soluzione
- alcuni
- specifico
- dividere
- iniziato
- statistica
- Stato dei servizi
- Ancora
- conservazione
- Strategia
- Con successo
- Target
- Consulenza
- tecniche
- modelli
- test
- Testing
- I
- tre
- soglia
- Attraverso
- tempo
- top
- TPR
- traffico
- Treni
- Training
- delle transazioni
- trasformazioni
- Tipi di
- tipicamente
- per
- capire
- Università
- Aggiornanento
- us
- USA
- uso
- utenti
- generalmente
- utilità
- convalida
- APPREZZIAMO
- versione
- Visualizza
- aspettare
- Che
- se
- while
- senza
- valore
- sarebbe
- anno
- anni
- Trasferimento da aeroporto a Sharm