Verkkosovellusten käyttöönoton ja Internetin käyttäjien määrän kasvun myötä digitaaliset petokset ovat kasvussa vuosi vuodelta. Amazonin petosilmaisin tarjoaa täysin hallitun palvelun, joka auttaa sinua tunnistamaan paremmin mahdolliset petolliset online-toiminnot käyttämällä kehittyneitä koneoppimistekniikoita (ML) ja yli 20 vuoden petosten havaitsemisen asiantuntemusta Amazonilta.
Amazon Fraud Detector tarjoaa erityisiä malleja räätälöidyillä algoritmeilla, lisäyksillä ja ominaisuuksien muunnoksilla, jotta voit havaita petoksia nopeammin useissa käyttötapauksissa. Mallin koulutus on täysin automatisoitua ja vaivatonta, ja voit seurata ohjeita käyttöohjeet tai siihen liittyviä blogikirjoituksia aloittaaksesi. Koulutettujen mallien kanssa sinun on kuitenkin päätettävä, onko malli käyttövalmis. Tämä edellyttää tiettyä tietämystä ML:stä, tilastoista ja petosten havaitsemisesta, ja voi olla hyödyllistä tuntea joitain tyypillisiä lähestymistapoja.
Tämä viesti auttaa sinua diagnosoimaan mallin suorituskyvyn ja valitsemaan oikean mallin käyttöönottoa varten. Käymme läpi Amazon Fraud Detectorin tarjoamat tiedot, autamme sinua diagnosoimaan mahdolliset ongelmat ja tarjoamme ehdotuksia mallin suorituskyvyn parantamiseksi. Lähestymistavat soveltuvat sekä Online Fraud Insights (OFI) että Transaction Fraud Insights (TFI) mallimalleihin.
Ratkaisun yleiskatsaus
Tämä viesti tarjoaa täydellisen prosessin mallin suorituskyvyn diagnosoimiseksi. Se esittelee ensin kaikki Amazon Fraud Detector -konsolissa näkyvät mallimittarit, mukaan lukien AUC, tulosjakauma, sekavuusmatriisi, ROC-käyrä ja mallimuuttujien tärkeys. Sitten esittelemme kolmivaiheisen lähestymistavan mallin suorituskyvyn diagnosoimiseksi eri mittareilla. Lopuksi tarjoamme ehdotuksia mallin suorituskyvyn parantamiseksi tyypillisissä ongelmissa.
Edellytykset
Ennen kuin sukellat syvälle Amazon Fraud Detector -malliisi, sinun on täytettävä seuraavat edellytykset:
- Luo AWS-tili.
- Luo tapahtumatietojoukko mallikoulutukseen.
- Lataa tietosi että Amazonin yksinkertainen tallennuspalvelu (Amazon S3) tai syöttää tapahtumatietosi Amazon Fraud Detectoriin.
- Rakenna Amazon Fraud Detector -malli.
Tulkitse mallin mittareita
Kun mallin koulutus on valmis, Amazon Fraud Detector arvioi mallisi käyttämällä osaa mallinnustiedoista, joita ei käytetty mallikoulutuksessa. Se palauttaa arviointitiedot Malliversio sivu kyseiselle mallille. Nämä mittarit kuvastavat mallin suorituskykyä, jota voit odottaa todellisista tiedoista tuotantoon käyttöönoton jälkeen.
Seuraava kuvakaappaus näyttää esimerkkimallin suorituskyvyn, jonka Amazon Fraud Detector palauttaa. Voit valita eri kynnysarvoja pistejakaumassa (vasemmalla), ja hämmennysmatriisi (oikealla) päivitetään vastaavasti.
Seuraavien havaintojen avulla voit tarkistaa suorituskyvyn ja päättää strategiasäännöistä:
- AUC (käyrän alla oleva pinta-ala) – Tämän mallin yleinen suorituskyky. Malli, jonka AUC on 0.50, ei ole parempi kuin kolikonheitto, koska se edustaa satunnaista sattumaa, kun taas "täydellisen" mallin pistemäärä on 1.0. Mitä korkeampi AUC, sitä paremmin mallisi pystyy erottamaan petokset ja lailliset.
- Pisteiden jakautuminen – Mallin tulosjakauman histogrammi, jossa oletetaan 100,000 0 tapahtuman esimerkkipopulaatiota. Amazon Fraud Detector luo mallipisteet välillä 1000–XNUMX, jolloin mitä pienempi pistemäärä, sitä pienempi petosriski. Parempi ero laillisten (vihreiden) ja petosten (sininen) välillä osoittaa tyypillisesti parempaa mallia. Katso lisätietoja Mallin pisteet.
- Hämmennysmatriisi – Taulukko, joka kuvaa mallin suorituskykyä valitulla pistekynnyksellä, mukaan lukien tosi positiivinen, tosi negatiivinen, väärä positiivinen, väärä negatiivinen, tosi positiivinen osuus (TPR) ja väärä positiivinen määrä (FPR). Taulukon laskenta olettaa 100,0000 XNUMX tapahtuman esimerkkipopulaatiota. Katso lisätietoja Mallin suorituskykymittarit.
- ROC (Receiver Operator Characteristic) -käyrä – Kaavio, joka havainnollistaa mallin diagnostiikkakykyä seuraavan kuvakaappauksen mukaisesti. Se piirtää todellisen positiivisen määrän väärän positiivisen määrän funktiona kaikkien mahdollisten mallin pistekynnysten yli. Katso tämä kaavio valitsemalla Lisätiedot. Jos olet kouluttanut useita versioita yhdestä mallista, voit valita eri FPR-kynnykset tarkistaaksesi suorituskyvyn muutoksen.
- Mallin muuttujan tärkeys – Mallin muuttujien järjestys sen mukaan, miten ne vaikuttavat luotuun malliin, kuten seuraavassa kuvakaappauksessa näkyy. Suurimman arvon omaava mallimuuttuja on mallille tärkeämpi kuin muut kyseisen malliversion tietojoukon mallimuuttujat, ja se luetellaan oletuksena yläreunassa. Katso lisätietoja Mallin muuttujan tärkeys.
Diagnosoi mallin suorituskyky
Ennen kuin otat mallin käyttöön tuotantoon, sinun tulee käyttää Amazon Fraud Detectorin palauttamia mittareita mallin suorituskyvyn ymmärtämiseksi ja mahdollisten ongelmien diagnosoimiseksi. ML-mallien yleiset ongelmat voidaan jakaa kahteen pääluokkaan: dataan liittyvät ongelmat ja malliin liittyvät ongelmat. Amazon Fraud Detector on huolehtinut malliin liittyvistä ongelmista käyttämällä huolellisesti validointi- ja testaussarjoja mallin arvioimiseen ja virittämiseen taustalla. Voit suorittaa seuraavat vaiheet tarkistaaksesi, onko mallisi käyttövalmis vai onko siinä mahdollisia dataan liittyviä ongelmia:
- Tarkista mallin yleinen suorituskyky (AUC ja tulosjakauma).
- Tarkista liiketoiminnan vaatimukset (sekoitusmatriisi ja -taulukko).
- Tarkista mallin muuttujan tärkeys.
Tarkista mallin yleinen suorituskyky: AUC ja tulosjakauma
Tulevien tapahtumien tarkempi ennustaminen on aina ennakoivan mallin ensisijainen tavoite. Amazon Fraud Detectorin palauttama AUC lasketaan oikein otetusta testisarjasta, jota ei käytetä koulutuksessa. Yleensä mallia, jonka AUC on suurempi kuin 0.9, pidetään hyvänä mallina.
Jos havaitset mallin, jonka suorituskyky on alle 0.8, se tarkoittaa yleensä sitä, että mallissa on parantamisen varaa (keskustelemme mallin heikon suorituskyvyn yleisistä ongelmista myöhemmin tässä viestissä). Huomaa, että "hyvän" suorituskyvyn määritelmä riippuu suuresti yrityksestäsi ja perusmallista. Voit edelleen seurata tämän viestin vaiheita parantaaksesi Amazon Fraud Detector -malliasi, vaikka sen AUC on suurempi kuin 0.8.
Toisaalta, jos AUC on yli 0.99, se tarkoittaa, että malli pystyy lähes täydellisesti erottamaan petokset ja lailliset tapahtumat testijoukossa. Tämä on joskus "liian hyvää ollakseen totta" -skenaario (keskustelemme mallin erittäin korkean suorituskyvyn yleisistä ongelmista myöhemmin tässä viestissä).
Yleisen AUC:n lisäksi pistejakauma voi myös kertoa, kuinka hyvin malli on sovitettu. Ihannetapauksessa sinun pitäisi nähdä suurin osa laillisista ja petoksista asteikon molemmissa päissä, mikä osoittaa, että mallipisteet voivat luokitella tapahtumat tarkasti testisarjassa.
Seuraavassa esimerkissä pistejakauman AUC on 0.96.
Jos laillinen ja petosjakauma ovat päällekkäisiä tai keskittyneet keskelle, se todennäköisesti tarkoittaa, että malli ei eroa hyvin petostapahtumia laillisista tapahtumista, mikä saattaa viitata historiallisten tietojen jakautumisen muuttumiseen tai siihen, että tarvitset lisää tietoja tai ominaisuuksia.
Seuraavassa on esimerkki tulosjakaumasta, jonka AUC on 0.64.
Jos löydät jakokohdan, joka voi melkein täydellisesti jakaa petokset ja lailliset tapahtumat, on suuri mahdollisuus, että mallissa on etiketin vuotoongelma tai petosmallit ovat liian helposti havaittavissa, minkä pitäisi kiinnittää huomiosi.
Seuraavassa esimerkissä pistejakauman AUC on 1.0.
Tarkista liiketoiminnan vaatimukset: Sekaannusmatriisi ja -taulukko
Vaikka AUC on kätevä indikaattori mallin suorituskyvystä, se ei välttämättä vastaa suoraan yrityksesi vaatimuksia. Amazon Fraud Detector tarjoaa myös mittareita, kuten petosten talteenottoprosentti (todellinen positiivinen osuus), virheellisesti petoksiksi ennustettujen laillisten tapahtumien prosenttiosuus (väärä positiivinen osuus) ja paljon muuta, joita käytetään yleisemmin liiketoimintavaatimuksina. Kun olet kouluttanut mallin, jolla on kohtuullisen hyvä AUC, sinun on verrattava mallia yrityksesi vaatimuksiin näillä mittareilla.
Sekaannusmatriisi ja -taulukko tarjoavat käyttöliittymän, jonka avulla voit tarkastella vaikutuksia ja tarkistaa, vastaako se yrityksesi tarpeita. Huomaa, että luvut riippuvat mallin kynnysarvosta, jossa tapahtumat, joiden pistemäärä on suurempi kuin kynnysarvo, luokitellaan petoksiksi ja tapahtumat, joiden pistemäärä on pienempi kuin kynnysarvo, luokitellaan laillisiksi. Voit valita käytettävän kynnyksen yrityksesi vaatimusten mukaan.
Jos tavoitteesi on esimerkiksi saada kiinni 73 % petoksista, voit (kuten alla olevassa esimerkissä näkyy) valita kynnyksen, kuten 855, jonka avulla voit siepata 73 % kaikista petoksista. Malli luokittelee kuitenkin myös 3 % laillisista tapahtumista väärin vilpillisiksi. Jos tämä FPR on hyväksyttävä yrityksellesi, malli on hyvä käyttöönotettavaksi. Muussa tapauksessa sinun on parannettava mallin suorituskykyä.
Toinen esimerkki on, jos laillisen asiakkaan estämisen tai haastamisen kustannukset ovat erittäin korkeat, haluat alhaisen FPR:n ja suuren tarkkuuden. Siinä tapauksessa voit valita kynnysarvon 950, kuten seuraavassa esimerkissä näkyy, mikä jättää 1 % laillisista asiakkaista luokittelematta petoksiksi ja 80 % tunnistetuista petoksista on todella petollisia.
Lisäksi voit valita useita kynnysarvoja ja määrittää erilaisia tuloksia, kuten estää, tutkia, läpäistä. Jos et löydä oikeita kynnysarvoja ja sääntöjä, jotka täyttävät kaikki liiketoimintasi vaatimukset, sinun kannattaa harkita mallin kouluttamista lisäämällä tietoja ja attribuutteja.
Tarkista mallin muuttujan tärkeys
- Mallin muuttujan tärkeys ruutu näyttää, kuinka kukin muuttuja vaikuttaa malliisi. Jos jollakin muuttujalla on huomattavasti suurempi tärkeysarvo kuin muilla, se voi viitata etikettivuotoon tai siihen, että huijauskuvioita on liian helppo havaita. Huomaa, että muuttujan tärkeys kootaan takaisin syötemuuttujiisi. Jos huomaat hieman suurempaa merkitystä IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
tai SHIPPING_ZIP
, se saattaa johtua rikastusvoimasta.
Seuraava esimerkki näyttää mallin muuttuvan tärkeyden mahdollisen etiketin vuodon kanssa investigation_status
.
Mallin muuttujan tärkeys antaa myös vihjeitä siitä, mitkä lisämuuttujat voisivat mahdollisesti tuoda malliin nostetta. Jos esimerkiksi havaitset alhaisen AUC:n ja myyjään liittyvät ominaisuudet ovat erittäin tärkeitä, voit harkita tilausominaisuuksien, kuten esim. SELLER_CATEGORY
, SELLER_ADDRESS
ja SELLER_ACTIVE_YEARS
, ja lisää nämä muuttujat malliisi.
Yleisiä ongelmia mallin alhaisessa suorituskyvyssä
Tässä osiossa käsittelemme yleisiä ongelmia, joita saatat kohdata mallin heikon suorituskyvyn suhteen.
Historiallisen tiedon jakautuminen muuttui
Historiallinen tiedonjakelun ajautuminen tapahtuu, kun sinulla on suuri liiketoimintamuutos tai tiedonkeruuongelma. Jos esimerkiksi julkaisit äskettäin tuotteesi uusilla markkinoilla, IP_ADDRESS
, EMAIL
ja ADDRESS
liittyvät ominaisuudet voivat olla täysin erilaisia, ja myös petosten toimintatapa voi muuttua. Amazon Fraud Detector käyttää EVENT_TIMESTAMP
jakaa tiedot ja arvioida mallisi tietojoukon tapahtumien asianmukaisen osajoukon perusteella. Jos historiallisten tietojen jakautuminen muuttuu merkittävästi, arviointijoukko voi olla hyvin erilainen kuin harjoitustiedot ja raportoitu mallin suorituskyky voi olla alhainen.
Voit tarkistaa mahdollisen tietojen jakelun muutosongelman tutkimalla historiallisia tietojasi:
- Käytä Amazon Fraud Detector Data Profiler työkalu tarkistaaksesi, ovatko petosten määrä ja tarran puuttuva määrä muuttuneet ajan myötä.
- Tarkista, onko muuttujan jakauma muuttunut merkittävästi ajan mittaan, erityisesti ominaisuuksissa, joilla on suuri muuttuva merkitys.
- Tarkista muuttujan jakautuminen ajan kuluessa kohdemuuttujien mukaan. Jos havaitset viimeaikaisissa tiedoissa huomattavasti enemmän petostapahtumia yhdestä luokasta, sinun kannattaa tarkistaa, onko muutos kohtuullinen liiketoimintasi harkinnan perusteella.
Jos huomaat, että tarran puuttuva osuus on erittäin korkea tai petosten määrä on jatkuvasti laskenut viimeisimpien päivämäärien aikana, se saattaa olla merkki tarroista, jotka eivät ole täysin kypsyneet. Jätä uusimmat tiedot pois tai odota pidempään tarkkojen tarrojen keräämistä ja kouluta sitten mallisi uudelleen.
Jos havaitset petosten ja muuttujien jyrkän piikkien tiettyinä päivinä, sinun kannattaa tarkistaa, onko kyseessä poikkeava vai tiedonkeruuongelma. Siinä tapauksessa sinun tulee poistaa tapahtumat ja kouluttaa malli uudelleen.
Jos huomaat, että vanhentuneet tiedot eivät voi edustaa nykyistä ja tulevaa liiketoimintaasi, sinun tulee jättää vanhat tiedot pois koulutuksesta. Jos käytät tallennettuja tapahtumia Amazon Fraud Detectorissa, voit yksinkertaisesti kouluttaa uuden version ja valita oikean ajanjakson samalla kun määrität koulutustyötä. Tämä voi myös viitata siihen, että yrityksesi petostapa muuttuu suhteellisen nopeasti ajan myötä. Mallin käyttöönoton jälkeen saatat joutua kouluttamaan mallisi uudelleen usein.
Virheellinen muuttujatyyppikartoitus
Amazon Fraud Detector rikastaa ja muuntaa tietoja muuttujatyyppien perusteella. On tärkeää, että kartoitat muuttujat oikeaan tyyppiin, jotta Amazon Fraud Detector -malli voi ottaa suurimman arvon tiedoistasi. Esimerkiksi jos kartoitat IP
että CATEGORICAL
tyyppi sijaan IP_ADDRESS
, et ymmärrä IP-
liittyvät lisäykset taustassa.
Yleisesti ottaen Amazon Fraud Detector ehdottaa seuraavia toimia:
- Kartoita muuttujasi tiettyihin tyyppeihin, kuten
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
jaPHONE_NUMBER
, jotta Amazon Fraud Detector voi poimia ja rikastaa lisätietoja. - Jos et löydä tiettyä muuttujatyyppiä, yhdistä se johonkin kolmesta yleisestä tyypistä:
NUMERIC
,CATEGORICAL
taiFREE_FORM_TEXT
. - Jos muuttuja on tekstimuodossa ja sillä on suuri kardinaliteetti, kuten asiakasarvostelu tai tuotekuvaus, se tulee yhdistää
FREE_FORM_TEXT
muuttujatyyppiä, jotta Amazon Fraud Detector poimii taustan tekstiominaisuudet ja upotukset puolestasi. Esimerkiksi jos kartoitaturl_string
ettäFREE_FORM_TEXT
, se pystyy tokenisoimaan URL-osoitteen ja poimimaan tiedot syötettäväksi alavirran malliin, mikä auttaa sitä oppimaan lisää piilotettuja malleja URL-osoitteesta.
Jos huomaat, että jokin muuttujatyypeistäsi on kartoitettu väärin muuttujakokoonpanossa, voit muuttaa muuttujatyyppiäsi ja kouluttaa mallin uudelleen.
Riittämättömät tiedot tai ominaisuudet
Amazon Fraud Detector vaatii vähintään 10,000 400 tietuetta Online Fraud Insights (OFI)- tai Transaction Fraud Insights (TFI) -mallin kouluttamiseen, ja vähintään 100 näistä tietueista on tunnistettu vilpillisiksi. TFI edellyttää myös, että sekä vilpilliset tietueet että lailliset tietueet tulevat vähintään XNUMX:lta eri taholta, jotta voidaan varmistaa tietojoukon monimuotoisuus. Lisäksi Amazon Fraud Detector edellyttää, että mallinnustiedoissa on vähintään kaksi muuttujaa. Nämä ovat vähimmäistietovaatimukset hyödyllisen Amazon Fraud Detector -mallin rakentamiseksi. Useampien tietueiden ja muuttujien käyttäminen auttaa kuitenkin yleensä ML-malleja oppimaan paremmin taustalla olevat mallit tiedoistasi. Kun havaitset alhaisen AUC-arvon tai et löydä liiketoimintavaatimuksiasi vastaavia kynnysarvoja, sinun kannattaa harkita mallin uudelleenkouluttamista lisäämällä tietoja tai lisätä malliisi uusia ominaisuuksia. Yleensä löydämme EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
ja DEVICE
liittyvät muuttujat ovat tärkeitä petosten havaitsemisessa.
Toinen mahdollinen syy on se, että jotkin muuttujistasi sisältävät liian monta puuttuvaa arvoa. Tarkista mallin harjoitusviestit ja katso, tapahtuuko näin Harjoitustietojen ongelmien vianmääritys ehdotuksia varten.
Yleisiä ongelmia erittäin korkean mallin suorituskyvyn kannalta
Tässä osiossa käsittelemme yleisiä ongelmia, jotka liittyvät erittäin korkeaan mallin suorituskykyyn.
Etiketin vuoto
Tarravuoto tapahtuu, kun harjoitustietojoukot käyttävät tietoja, joita ei odoteta olevan saatavilla ennustehetkellä. Se yliarvioi mallin hyödyllisyyden tuotantoympäristössä ajettaessa.
Korkea AUC (lähellä 1), täysin erillinen pistejakauma ja yhden muuttujan merkittävästi suurempi muuttujan merkitys voivat olla indikaattoreita mahdollisista etiketin vuoto-ongelmista. Voit myös tarkistaa ominaisuuksien ja tarran välisen korrelaation käyttämällä Data Profiler. Ominaisuuden ja etiketin korrelaatio plot näyttää korrelaation kunkin ominaisuuden ja etiketin välillä. Jos jollakin ominaisuudella on yli 0.99 korrelaatio tunnisteen kanssa, sinun tulee tarkistaa, käytetäänkö ominaisuutta oikein liiketoiminnan harkinnan perusteella. Jos esimerkiksi haluat rakentaa riskimallin lainahakemuksen hyväksymiseksi tai hylkäämiseksi, sinun ei pitäisi käyttää ominaisuuksia, kuten AMOUNT_PAID
, koska maksut tapahtuvat merkintäprosessin jälkeen. Jos muuttuja ei ole käytettävissä, kun teet ennusteen, sinun tulee poistaa kyseinen muuttuja mallin kokoonpanosta ja kouluttaa uusi malli.
Seuraava esimerkki näyttää korrelaation kunkin muuttujan ja tunnisteen välillä. investigation_status
on korkea korrelaatio (lähes 1) etiketin kanssa, joten sinun tulee tarkistaa, onko etiketissä vuotoongelma.
Yksinkertaiset petosmallit
Kun tietojesi huijauskuviot ovat yksinkertaisia, saatat myös havaita mallin erittäin korkean suorituskyvyn. Oletetaan esimerkiksi, että kaikki mallinnustietojen petostapahtumat tulevat saman sisäisen palveluntarjoajan kautta; mallin on helppo valita IP-
liittyvät muuttujat ja palauttavat "täydellisen" mallin, jolla on suuri merkitys IP
.
Yksinkertaiset petosmallit eivät aina viittaa tietoongelmiin. Voi olla totta, että yrityksesi petostapa on helppo havaita. Ennen kuin teet johtopäätöksen, sinun on kuitenkin varmistettava, että mallikoulutuksessa käytetyt tarrat ovat tarkkoja ja mallinnusdata kattaa mahdollisimman monta petosmallia. Jos esimerkiksi merkitset petostapahtumasi sääntöjen perusteella, kuten merkitset kaikki tietyn sovellukset BILLING_ZIP
plus PRODUCT_CATEGORY
petoksena malli voi helposti saada nämä petokset kiinni simuloimalla sääntöjä ja saavuttamalla korkean AUC-arvon.
Voit tarkistaa tarran jakautumisen kunkin ominaisuuden eri luokkiin tai lokeroihin käyttämällä Data Profiler. Jos esimerkiksi huomaat, että useimmat petostapahtumat ovat peräisin yhdestä tai muutamasta tuoteluokasta, se voi olla merkki yksinkertaisista petosmalleista, ja sinun on varmistettava, että kyseessä ei ole tiedonkeruu- tai prosessivirhe. Jos ominaisuus on kuin CUSTOMER_ID
, sinun tulee jättää ominaisuus pois mallikoulutuksesta.
Seuraava esimerkki näyttää tarran jakautumisen eri luokkiin product_category
. Kaikki petokset tulevat kahdesta tuoteryhmästä.
Virheellinen datanäytteenotto
Virheellistä datanäytteenottoa voi tapahtua, kun otat näytteen ja lähetit vain osan tiedoistasi Amazon Fraud Detectorille. Jos dataa ei oteta oikein eivätkä ne edusta tuotannon liikennettä, raportoitu mallin suorituskyky on epätarkka ja malli voi olla hyödytön tuotannon ennustamisessa. Jos esimerkiksi kaikki mallinnustietojen petostapahtumat on otettu Aasiasta ja kaikki lailliset tapahtumat Yhdysvalloista, malli saattaa oppia erottamaan petokset ja lailliset tapahtumat BILLING_COUNTRY
. Siinä tapauksessa malli ei ole yleinen käytettäväksi muihin populaatioihin.
Yleensä suosittelemme kaikkien uusimpien tapahtumien lähettämistä ilman näytteenottoa. Tietojen koon ja petosten määrän perusteella Amazon Fraud Detector ottaa näytteen ennen mallikoulutusta puolestasi. Jos tietosi ovat liian suuria (yli 100 Gt) ja päätät ottaa otoksen ja lähettää vain osajoukon, ota tiedoistasi satunnainen näyte ja varmista, että otanta edustaa koko populaatiota. TFI:n tiedoista tulee ottaa otos entiteetin mukaan, mikä tarkoittaa, että jos yhdestä entiteetistä otetaan otos, sinun tulee sisällyttää kaikki sen historia, jotta entiteettitason aggregaatit lasketaan oikein. Huomaa, että jos lähetät vain osan tiedoista Amazon Fraud Detectorille, reaaliaikaiset aggregaatit päättelyn aikana voivat olla epätarkkoja, jos entiteettien aiempia tapahtumia ei lähetetä.
Toinen virheellinen tietojen otos voi olla vain lyhyen ajanjakson data, kuten yhden päivän data, käyttäminen mallin rakentamiseen. Tiedot voivat olla puolueellisia, varsinkin jos yrityksesi tai petoshyökkäykset ovat kausiluonteisia. Suosittelemme yleensä vähintään kahden syklin (kuten 2 viikon tai 2 kuukauden) datan sisällyttämistä mallinnukseen, jotta voidaan varmistaa petostyyppien monimuotoisuus.
Yhteenveto
Kun olet diagnosoinut ja ratkaissut kaikki mahdolliset ongelmat, sinun pitäisi hankkia hyödyllinen Amazon Fraud Detector -malli ja olla varma sen suorituskyvystä. Seuraavaa vaihetta varten sinä voi luoda ilmaisimen mallilla ja yrityksesi säännöillä, ja ole valmis ottamaan sen tuotantoon varjotilan arviointia varten.
Liite
Muuttujien jättäminen pois mallikoulutuksesta
Syväsukelluksen jälkeen saatat tunnistaa muuttuvan vuotokohteen tiedot ja haluta jättää ne mallikoulutuksen ulkopuolelle. Voit opettaa malliversion uudelleen jättämällä pois muuttujat, joita et halua, suorittamalla seuraavat vaiheet:
- Valitse Amazon Fraud Detector -konsolin navigointiruudusta Mallit.
- On Mallit sivulla, valitse malli, jonka haluat kouluttaa uudelleen.
- On Toiminnot valikosta, valitse Treenaa uusi versio.
- Valitse ajanjakso, jota haluat käyttää, ja valitse seuraava.
- On Määritä koulutus -sivulla poista sen muuttujan valinta, jota et halua käyttää mallikoulutuksessa.
- Määritä petostunnisteet ja lailliset tarrat ja kuinka haluat Amazon Fraud Detectorin käyttävän merkitsemättömiä tapahtumia, ja valitse sitten seuraava.
- Tarkista mallin kokoonpano ja valitse Luo ja kouluta malli.
Kuinka muuttaa tapahtumamuuttujan tyyppiä
Muuttujat edustavat petostentorjuntaan käytettyjä tietoelementtejä. Amazon Fraud Detectorissa kaikki muuttujat ovat globaaleja ja jaetaan kaikille tapahtumille ja malleille, mikä tarkoittaa, että yhtä muuttujaa voidaan käyttää useissa tapahtumissa. Esimerkiksi IP-osoite voidaan liittää sisäänkirjautumistapahtumiin, ja se voidaan liittää myös tapahtumatapahtumiin. Luonnollisesti Amazon Fraud Detector lukitsi muuttujan tyypin ja tietotyypin, kun muuttuja on luotu. Jos haluat poistaa olemassa olevan muuttujan, sinun on ensin poistettava kaikki siihen liittyvät tapahtumatyypit ja mallit. Voit tarkistaa tiettyyn muuttujaan liittyvät resurssit siirtymällä kohtaan Amazon Fraud Detector ja valitsemalla Muuttujat navigointiruudussa ja valitsemalla muuttujan nimi ja Liittyvät resurssit.
Poista muuttuja ja kaikki siihen liittyvät tapahtumatyypit
Voit poistaa muuttujan suorittamalla seuraavat vaiheet:
- Valitse Amazon Fraud Detector -konsolin navigointiruudusta Muuttujat.
- Valitse muuttuja, jonka haluat poistaa.
- Valita Liittyvät resurssit nähdäksesi luettelon kaikista tämän muuttujan käyttämistä tapahtumatyypeistä.
Sinun on poistettava kyseiset tapahtumatyypit ennen muuttujan poistamista. - Valitse luettelosta tapahtumatyypit, niin pääset niihin liittyvälle tapahtumatyyppisivulle.
- Valita Tallennetut tapahtumat tarkistaaksesi, onko tähän tapahtumatyyppiin tallennettu tietoja.
- Jos Amazon Fraud Detectoriin on tallennettu tapahtumia, valitse Poista tallennetut tapahtumat poistaaksesi tallennetut tapahtumat.
Kun poistotyö on valmis, näyttöön tulee viesti "Tämän tapahtumatyypin tallennetut tapahtumat on poistettu onnistuneesti". - Valita Liittyvät resurssit.
Jos tunnistimet ja mallit liittyvät tähän tapahtumatyyppiin, sinun on ensin poistettava kyseiset resurssit. - Jos ilmaisimia on liitetty, poista kaikki liittyvät ilmaisimet suorittamalla seuraavat vaiheet:
- Valitse ilmaisin siirtyäksesi kohtaan Ilmaisimen tiedot sivu.
- In Mallin versiot ruudussa, valitse ilmaisimen versio.
- Valitse ilmaisimen versiosivulta Toiminnot.
- Jos ilmaisimen versio on aktiivinen, valitse Poista käytöstä, valitse Poista tämä ilmaisinversio käytöstä korvaamatta sitä toisella versiolla, ja valitse Deaktivoi ilmaisimen versio.
- Kun ilmaisimen versio on poistettu käytöstä, valitse Toiminnot ja sitten Poista.
- Toista nämä vaiheet poistaaksesi kaikki ilmaisinversiot.
- On Ilmaisimen tiedot sivu, valitse Liittyvät säännöt.
- Valitse poistettava sääntö.
- Valita Toiminnot ja Poista säännön versio.
- Anna säännön nimi vahvistaaksesi ja valitsemalla Poista versio.
- Toista nämä vaiheet poistaaksesi kaikki liittyvät säännöt.
- Kun kaikki ilmaisinversiot ja niihin liittyvät säännöt on poistettu, siirry kohtaan Ilmaisimen tiedot sivu, valitse Toiminnot, ja valitse Poista ilmaisin.
- Syötä ilmaisimen nimi ja valitse Poista ilmaisin.
- Toista nämä vaiheet poistaaksesi seuraavan ilmaisimen.
- Jos tapahtumatyyppiin liittyy malleja, poista ne seuraavasti:
- Valitse mallin nimi.
- In Mallin versiot ruudussa, valitse versio.
- Jos mallin tila on
Active
, valitse Toiminnot ja Poista malliversion käyttöönotto. - enter
undeploy
vahvistaaksesi ja valitaksesi Poista malliversion käyttöönotto.
Tila vaihtuu muotoonUndeploying
. Prosessi kestää muutaman minuutin. - Kun tila tulee
Ready to deploy
, valitse Toiminnot ja Poista. - Toista nämä vaiheet poistaaksesi kaikki malliversiot.
- Valitse Mallin tiedot -sivulla Toiminnot ja Poista malli.
- Kirjoita mallin nimi ja valitse Poista malli.
- Toista nämä vaiheet poistaaksesi seuraavan mallin.
- Kun kaikki liittyvät ilmaisimet ja mallit on poistettu, valitse Toiminnot ja Poista tapahtumatyyppi på den Tapahtuman Yksityiskohdat sivu.
- Kirjoita tapahtumatyypin nimi ja valitse Poista tapahtumatyyppi.
- Valitse siirtymisruudussa Muuttujatja valitse muuttuja, jonka haluat poistaa.
- Toista aikaisemmat vaiheet poistaaksesi kaikki muuttujaan liittyvät tapahtumatyypit.
- On Vaihtuvia yksityiskohtia sivu, valitse Toiminnot ja Poista.
- Syötä muuttujan nimi ja valitse Poista muuttuja.
Luo uusi muuttuja oikealla muuttujatyypillä
Kun olet poistanut muuttujan ja kaikki siihen liittyvät tapahtumatyypit, tallentaneet tapahtumat, mallit ja ilmaisimet Amazon Fraud Detectorista, voit luoda uuden samannimisen muuttujan ja yhdistää sen oikeaan muuttujatyyppiin.
- Valitse Amazon Fraud Detector -konsolin navigointiruudusta Muuttujat.
- Valita luoda.
- Anna muuttujan nimi, jota haluat muokata (se, jonka poistit aiemmin).
- Valitse oikea muuttujatyyppi, johon haluat vaihtaa.
- Valita Luo muuttuja.
Lataa tiedot ja kouluta malli uudelleen
Kun olet päivittänyt muuttujan tyypin, voit ladata tiedot uudelleen ja kouluttaa uuden mallin. Katso ohjeet kohdasta Tunnista verkkotapahtumapetokset uusilla Amazon Fraud Detector -ominaisuuksilla.
Kuinka lisätä uusia muuttujia olemassa olevaan tapahtumatyyppiin
Voit lisätä uusia muuttujia olemassa olevaan tapahtumatyyppiin suorittamalla seuraavat vaiheet:
- Lisää uudet muuttujat edelliseen harjoitus-CVS-tiedostoon.
- Lataa uusi harjoitustietotiedosto S3-ämpäriin. Huomaa harjoitustiedostosi Amazon S3 -sijainti (esim.
s3://bucketname/path/to/some/object.csv
) ja roolinimesi. - Valitse Amazon Fraud Detector -konsolin navigointiruudusta Tapahtumat.
- On Tapahtumatyypit -sivulla, valitse tapahtumatyypin nimi, johon haluat lisätä muuttujia.
- On Tapahtumatyyppi tietosivu, valitse Toiminnot, sitten Lisää muuttujia.
- Alle Valitse miten määritetään tämän tapahtuman muuttujat, valitse Valitse muuttujat harjoitustietojoukosta.
- Valitse IAM-roolia varten olemassa oleva IAM-rooli tai luo uusi rooli, jotta voit käyttää tietoja Amazon S3:ssa.
- varten Tietojen sijainti, kirjoita uuden harjoitustiedoston S3-sijainti ja valitse Lataa.
Uusien muuttujien, joita ei ole olemassa olevassa tapahtumatyypissä, pitäisi näkyä luettelossa.
- Valita Lisää muuttujia.
Nyt uudet muuttujat on lisätty olemassa olevaan tapahtumatyyppiin. Jos käytät tallennettuja tapahtumia Amazon Fraud Detectorissa, tallennettujen tapahtumien uudet muuttujat puuttuvat edelleen. Sinun on tuotava koulutustiedot uusilla muuttujilla Amazon Fraud Detectoriin ja koulutettava sitten uusi malliversio. Kun lataat uusia harjoitustietoja samalla EVENT_ID
ja EVENT_TIMESTAMP
, uudet tapahtumamuuttujat korvaavat aiemmat tapahtumamuuttujat, jotka on tallennettu Amazon Fraud Detectoriin.
Tietoja Tekijät
Julia Xu on tutkija, jolla on Amazon Fraud Detector. Hän on intohimoinen asiakkaiden haasteiden ratkaisemiseen koneoppimistekniikoiden avulla. Vapaa-ajallaan hän harrastaa patikointia, maalaamista ja uusiin kahviloihin tutustumista.
Hao Zhou on tutkija, jolla on Amazon Fraud Detector. Hän on valmistunut sähkötekniikan tohtoriksi Northwestern Universitystä, USA:sta. Hän on intohimoinen koneoppimistekniikoiden soveltamisesta petosten ja väärinkäytösten torjuntaan.
Abhishek Ravi on vanhempi tuotepäällikkö Amazon Fraud Detectorissa. Hän on intohimoinen teknisten valmiuksien hyödyntämiseen asiakkaiden ilahduttavien tuotteiden rakentamisessa.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/diagnose-model-performance-before-deployment-for-amazon-fraud-detector/
- "
- 000
- 10
- 100
- 20 vuotta
- 9
- a
- kyky
- Meistä
- pääsy
- sen mukaisesti
- Tili
- tarkka
- poikki
- toimet
- aktiivinen
- toiminta
- lisä-
- Lisäksi
- lisä-
- Hyväksyminen
- kehittynyt
- algoritmit
- Kaikki
- mahdollistaa
- aina
- Amazon
- sovelletaan
- Hakemus
- sovellukset
- sovellettu
- Hakeminen
- lähestymistapa
- lähestymistavat
- sopiva
- hyväksyä
- ALUE
- Aasia
- liittyvä
- huomio
- attribuutteja
- Automatisoitu
- saatavissa
- AWS
- Lähtötilanne
- koska
- ennen
- alle
- Paremmin
- välillä
- Tukkia
- reunus
- tuoda
- rakentaa
- liiketoiminta
- laskettu
- kyvyt
- kaapata
- joka
- tapaus
- tapauksissa
- paini
- Kategoria
- Aiheuttaa
- tietty
- haasteet
- haastava
- muuttaa
- Valita
- luokiteltu
- kahvi
- Kolikko
- kerätä
- Kerääminen
- kokoelma
- torjumiseksi
- Tulla
- Yhteinen
- täydellinen
- täysin
- Suoritettuaan
- luottavainen
- Konfigurointi
- sekaannus
- Harkita
- Console
- Mukava
- voisi
- luoda
- luotu
- Nykyinen
- käyrä
- asiakas
- Asiakkaat
- tiedot
- Päivämäärät
- syvä
- Riippuen
- riippuu
- sijoittaa
- levityspinnalta
- käyttöönotto
- kuvaus
- yksityiskohdat
- Detection
- eri
- digitaalinen
- suoraan
- pohtia
- näytöt
- jakelu
- Jakaumat
- Monimuotoisuus
- ei
- putosi
- aikana
- kukin
- helposti
- elementtejä
- päittäin
- päättyy
- Tekniikka
- rikastuttaa
- enter
- yksiköt
- kokonaisuus
- ympäristö
- erityisesti
- arvioida
- arviointi
- tapahtuma
- Tapahtumat
- esimerkki
- lukuun ottamatta
- olemassa
- odottaa
- odotettu
- asiantuntemus
- otteet
- nopeampi
- Ominaisuus
- Ominaisuudet
- Vihdoin
- Etunimi
- seurata
- jälkeen
- muoto
- petos
- Ilmainen
- alkaen
- toiminto
- tulevaisuutta
- general
- syntyy
- Global
- tavoite
- hyvä
- suurempi
- Vihreä
- Kasvu
- tapahtua
- auttaa
- hyödyllinen
- auttaa
- Korkea
- korkeampi
- erittäin
- historiallinen
- historia
- pitää
- Miten
- Miten
- Kuitenkin
- HTTPS
- tunnistaa
- Vaikutus
- merkitys
- tärkeä
- parantaa
- parannus
- sisältää
- Mukaan lukien
- osoittaa
- tiedot
- panos
- oivalluksia
- liitäntä
- Internet
- tutkia
- IP
- kysymys
- kysymykset
- IT
- Job
- tuomiot
- Tietää
- tuntemus
- Merkki
- merkinnät
- tarrat
- suuri
- suurempi
- uusin
- käynnistettiin
- vuotaa
- OPPIA
- oppiminen
- Taso
- vipuvaikutuksen
- Lista
- lueteltu
- sijainti
- lukittu
- kone
- koneoppiminen
- tehdä
- Tekeminen
- onnistui
- johtaja
- kartta
- markkinat
- Matriisi
- välineet
- viestien
- Metrics
- ehkä
- minimi
- ML
- malli
- mallit
- kk
- lisää
- eniten
- moninkertainen
- navigointi
- suunnistus
- tarpeet
- negatiivinen
- Uudet ominaisuudet
- Uusi markkinat
- seuraava
- numero
- numerot
- Tarjoukset
- verkossa
- operaattori
- tilata
- Muut
- muuten
- yleinen
- osa
- intohimoinen
- maksut
- osuus
- suorituskyky
- aika
- Kohta
- väestö
- positiivinen
- mahdollinen
- mahdollinen
- teho
- ennustus
- esittää
- Ehkäisy
- edellinen
- ensisijainen
- ongelmia
- prosessi
- Tuotteet
- tuotanto
- Tuotteemme
- toimittaa
- mikäli
- toimittaja
- tarjoaa
- nopeasti
- alue
- reaaliaikainen
- kohtuullinen
- äskettäinen
- äskettäin
- suositella
- asiakirjat
- heijastaa
- suhteen
- edustaa
- edustaja
- edustaa
- vaatimukset
- Vaatii
- tutkimus
- Esittelymateriaalit
- palata
- Tuotto
- arviot
- nouseva
- Riski
- Rooli
- säännöt
- ajaa
- sama
- Asteikko
- Tiedemies
- valittu
- palvelu
- setti
- varjo
- yhteinen
- kaupat
- Lyhyt
- näyttää
- esitetty
- Yksinkertainen
- Koko
- So
- vankka
- Solving
- jonkin verran
- erityinen
- jakaa
- alkoi
- tilasto
- Tila
- Yhä
- Levytila
- Strategia
- Onnistuneesti
- Kohde
- Tekninen
- tekniikat
- malleja
- testi
- Testaus
- -
- kolmella
- kynnys
- Kautta
- aika
- työkalu
- ylin
- TPR
- liikenne
- Juna
- koulutus
- kauppa
- muunnokset
- tyypit
- tyypillisesti
- varten
- ymmärtää
- yliopisto
- Päivitykset
- us
- USA
- käyttää
- Käyttäjät
- yleensä
- hyödyllisyys
- validointi
- arvo
- versio
- Näytä
- odottaa
- Mitä
- onko
- vaikka
- ilman
- arvoinen
- olisi
- vuosi
- vuotta
- Sinun