Tuvastage petturlikud tehingud, kasutades Amazon SageMakeri masinõpet

Ettevõtted võivad pahatahtlike kasutajate ja petturlike tehingute tõttu igal aastal kaotada miljardeid dollareid. Kuna üha rohkem äritehinguid liigub veebis, kasvab ka pettus ja kuritarvitamine võrgusüsteemides. Internetipettuste vastu võitlemiseks on paljud ettevõtted kasutanud reeglipõhiseid pettuste tuvastamise süsteeme.

Traditsioonilised pettuste tuvastamise süsteemid tuginevad aga inimspetsialistide käsitsi koostatud reeglitele ja filtritele. Filtrid võivad sageli olla rabedad ja reeglid ei pruugi hõlmata kogu petturlike signaalide spektrit. Lisaks, kuigi petturlik käitumine areneb pidevalt, muudab eelmääratletud reeglite ja filtrite staatiline olemus traditsiooniliste pettuste tuvastamise süsteemide tõhusa hooldamise ja täiustamise keeruliseks.

Selles postituses näitame teile, kuidas luua dünaamiline, iseparanev ja hooldatav krediitkaardipettuste tuvastamise süsteem masinõppe (ML) abil. Amazon SageMaker.

Teise võimalusena, kui otsite täielikult hallatud teenust kohandatud pettuste tuvastamise mudelite loomiseks ilma koodi kirjutamata, soovitame vaadata Amazoni pettusedetektor. Amazon Fraud Detector võimaldab klientidel, kellel pole ML-i kogemust, automatiseerida nende andmetele kohandatud pettuste tuvastamise mudelite loomist, kasutades ära rohkem kui 20 aastat pettuste tuvastamise kogemusi AWS-ilt ja Amazon.com-ilt.

Lahenduse ülevaade

See lahendus loob SageMakeri abil krediitkaardipettuste tuvastamise süsteemi tuumiku. Alustuseks treenime algoritmi kasutades järelevalveta anomaalia tuvastamise mudelit Juhuslikult lõigatud mets (RCF). Seejärel treenime algoritmi kasutades kahte juhendatud klassifitseerimismudelit XGBoost, millest üks on lähtemudel ja teine ​​​​ennustuste tegemiseks, kasutades erinevaid strateegiaid andmete äärmusliku klasside tasakaalustamatuse lahendamiseks. Lõpuks treenime optimaalset XGBoosti mudelit hüperparameetrite optimeerimine (HPO) mudeli jõudluse edasiseks parandamiseks.

Näidisandmestiku jaoks kasutame avalikke anonüümseid krediitkaarditehinguid andmestik mis ilmus algselt osana a teadustöö koostöö Worldline'i ja ULB masinõpperühm (Université Libre de Bruxelles). Läbivaatuses käsitleme ka seda, kuidas saate kohandada lahendust oma andmete kasutamiseks.

Lahenduse väljundid on järgmised:

• Järelevalveta SageMaker RCF mudel. Mudel väljastab iga tehingu kohta anomaalia skoori. Madal skoori väärtus näitab, et tehingut peetakse normaalseks (mittepettuseks). Kõrge väärtus näitab, et tehing on petturlik. Madala ja kõrge määratlused sõltuvad rakendusest, kuid levinud tava näitab, et kolmest standardhälbest keskmisest skoorist kõrgemaid skoore peetakse anomaalseteks.
• Järelevalve all SageMaker XGBoost mudel, mis on koolitatud kasutades selle sisseehitatud kaalumisskeemi, et lahendada väga tasakaalustamata andmeprobleem.
• Järelevalvega SageMaker XGBoost mudel, mis on koolitatud kasutades Süteetilise vähemuse üleproovivõtmise tehnika (SMOTE).
• Koolitatud SageMaker XGBoost mudel HPO-ga.
• Iga tehingu pettuse tõenäosuse ennustused. Kui tehingu hinnanguline tõenäosus ületab läve, klassifitseeritakse see petturlikuks.

Et näidata, kuidas saate seda lahendust oma olemasolevates äriinfrastruktuurides kasutada, lisame ka näite REST API-kõnede tegemisest juurutatud mudeli lõpp-punktile, kasutades AWS Lambda nii RCF-i kui ka XGBoosti mudeli käivitamiseks.

Järgnev diagramm illustreerib lahenduse arhitektuuri.

Eeldused

Lahenduse proovimiseks oma kontol veenduge, et teil oleks paigas järgmine.

Kui Studio eksemplar on valmis, saate käivitada Studio ja pääseda juurde JumpStartile. KiirStardi lahendused pole SageMakeri sülearvuti eksemplarides saadaval ja te ei pääse neile juurde SageMakeri API-de või AWS-i käsurea liides (AWS CLI).

Käivitage lahendus

Lahenduse käivitamiseks toimige järgmiselt.

1. Avage KiirStart, kasutades rakenduses KiirStart käivitajat Alustamine või valides vasakpoolsel külgribal ikooni KiirStart.
2. alla Lahendused, vali Tuvastage pahatahtlikud kasutajad ja tehingud lahenduse avamiseks mõnel muul vahekaardil Studio.
   
3. Valige vahekaardil Lahendus Algatama lahenduse käivitamiseks.
   
   Lahenduse ressursid on ette nähtud ja avaneb teine ​​vahekaart, mis näitab juurutamise edenemist. Kui juurutamine on lõppenud, an Avage märkmik ilmub nupp.
4. Vali Avage märkmik lahenduse märkmiku avamiseks Studios.
   

Uurige ja töötlege andmeid

Vaikeandmekogum sisaldab ainult numbrilisi tunnuseid, kuna algsed funktsioonid on teisendatud kasutades Põhikomponentide analüüs (PCA), et kaitsta kasutaja privaatsust. Selle tulemusena sisaldab andmekogum 28 PCA komponenti V1–V28 ja kahte funktsiooni, mida pole muudetud, summa ja aeg. Summa viitab tehingu summale ja aeg on sekundid, mis on möödunud andmetes oleva mis tahes tehingu ja esimese tehingu vahel.

Veerg Klass vastab sellele, kas tehing on petturlik või mitte.

Näeme, et suurem osa on mittepettused, sest kokku 284,807 492 näitest on petturlikud vaid 0.173 (XNUMX%). See on äärmusliku klassi tasakaalustamatuse juhtum, mis on pettuste tuvastamise stsenaariumide puhul tavaline.

Seejärel valmistame oma andmed ette laadimiseks ja treenimiseks. Jagasime andmed rongikomplektiks ja katsekomplektiks, kasutades esimest koolitamiseks ja teist meie mudeli toimivuse hindamiseks. Enne klasside tasakaalustamatuse leevendamiseks kasutatavate tehnikate rakendamist on oluline andmed osadeks jagada. Vastasel juhul võime lekkida teavet katsekomplektist rongikomplekti ja kahjustada mudeli jõudlust.

Kui soovite tuua oma treeningandmeid, veenduge, et need on tabeliandmed CSV-vormingus, laadige andmed üles Amazoni lihtne salvestusteenus (Amazon S3) ämbrisse ja muutke märkmiku koodis S3 objekti teed.

Kui teie andmed sisaldavad mittenumbriliste väärtustega kategoorilisi veerge, peate need väärtused ühekordselt kodeerima (kasutades näiteks sklearni OneHotEncoder), kuna XGBoosti algoritm toetab ainult arvandmeid.

Treenige järelevalveta Random Cut Foresti mudelit

Pettuste tuvastamise stsenaariumi korral on meil tavaliselt väga vähe märgistatud näiteid ning pettuse märgistamine võib võtta palju aega ja vaeva. Seetõttu tahame saada teavet ka olemasolevatest märgistamata andmetest. Teeme seda anomaaliate tuvastamise algoritmi abil, kasutades ära suurt andmetasakaalu, mis on levinud pettuste tuvastamise andmekogumites.

Anomaaliate tuvastamine on järelevalveta õppimise vorm, mille käigus püüame tuvastada anomaalseid näiteid ainult nende tunnuste põhjal. Random Cut Forest on kaasaegne anomaaliate tuvastamise algoritm, mis on nii täpne kui ka skaleeritav. Iga andmenäite puhul seostab RCF anomaalia skoori.

Kasutame SageMakeri sisseehitatud RCF-algoritmi, et treenida oma koolitusandmestiku anomaaliate tuvastamise mudelit ja seejärel teha prognoose oma testiandmestiku kohta.

Esiteks uurime ja joonistame eraldi positiivsete (pettuslike) ja negatiivsete (mittepettuslike) näidete prognoositud anomaalia skoorid, kuna positiivsete ja negatiivsete näidete arv erineb oluliselt. Eeldame, et positiivsetel (pettuslikel) näidetel on suhteliselt kõrged anomaaliate skoorid ja negatiivsetel (mittepettuslikel) näidetel on madal anomaaliate skoor. Histogrammide põhjal näeme järgmisi mustreid:

• Peaaegu pooltel positiivsetel näidetel (vasakul histogrammil) on anomaaliate skoor suurem kui 0.9, samas kui enamikul negatiivsetel näidetel (parempoolne histogramm) on kõrvalekalde skoor alla 0.85.
• Järelevalveta õppealgoritmil RCF on petturlike ja mittepettuste näidete täpseks tuvastamiseks piirangud. Põhjus on selles, et märgistuse teavet ei kasutata. Selle probleemi lahendamiseks kogume siltide teavet ja kasutame hilisemates etappides juhendatud õppealgoritmi.

Seejärel eeldame reaalsemat stsenaariumi, kus klassifitseerime iga testinäite selle anomaalia skoori põhjal positiivseks (pettuslik) või negatiivseks (mittepettus). Joonistame kõigi testinäidete skoori histogrammi järgmiselt, valides klassifitseerimiseks piirskooriks 1.0 (histogrammil näidatud mustri alusel). Täpsemalt, kui näite anomaalia skoor on väiksem kui 1.0 või sellega võrdne, liigitatakse see negatiivseks (mittepettuslik). Vastasel juhul liigitatakse näide positiivseks (petuseks).

Lõpuks võrdleme klassifitseerimise tulemust põhitõemärgistega ja arvutame hindamismõõdikud. Kuna meie andmestik on tasakaalustamata, kasutame hindamismõõdikuid tasakaalustatud täpsus, Coheni Kappa skoori, F1 skoorja ROC AUC, sest nad võtavad andmetes arvesse iga klassi sagedust. Kõigi nende mõõdikute puhul näitab suurem väärtus paremat prognoositavat toimivust. Pange tähele, et selles etapis ei saa me ROC AUC veel arvutada, kuna iga näite puhul puudub RCF-mudeli positiivsete ja negatiivsete klasside hinnanguline tõenäosus. Arvutame selle mõõdiku hilisemates etappides, kasutades juhendatud õppealgoritme.

.	RCF
Tasakaalustatud täpsus	0.560023
Coheni Kappa	0.003917
F1	0.007082
ROC AUC	-

Sellest sammust näeme, et järelevalveta mudel võib juba saavutada klasside vahel teatud eraldatuse, kusjuures kõrgemad anomaaliaskoorid on korrelatsioonis pettuste näidetega.

Treenige XGBoosti mudelit sisseehitatud kaalumisskeemiga

Kui oleme kogunud piisava hulga märgistatud treeningandmeid, saame funktsioonide ja klasside vaheliste seoste avastamiseks kasutada juhendatud õppealgoritmi. Valime algoritmi XGBoost, kuna sellel on tõestatud kogemus, see on hästi skaleeritav ja suudab tegeleda puuduvate andmetega. Seekord peame tegelema andmete tasakaalustamatusega, vastasel juhul domineerib õppes enamusklass (mittepettused või negatiivsed näited).

Koolitame ja juurutame oma esimese järelevalve all oleva mudeli, kasutades SageMakeri sisseehitatud XGBoost algoritmi konteinerit. See on meie baasmudel. Andmete tasakaalustamatuse käsitlemiseks kasutame hüperparameetrit scale_pos_weight, mis võrdleb positiivsete klassinäidete kaalu negatiivsete klassinäidetega. Kuna andmestik on väga kallutatud, määrame selle hüperparameetri konservatiivse väärtuse: sqrt(num_nonfraud/num_fraud).

Koolitame ja rakendame mudelit järgmiselt:

1. Tooge SageMaker XGBoost konteineri URI.
2. Määrake hüperparameetrid, mida tahame mudelikoolituse jaoks kasutada, sealhulgas see, mida me mainisime ja mis käsitleb andmete tasakaalustamatust, scale_pos_weight.
3. Looge XGBoosti hindaja ja treenige seda meie rongiandmestiku abil.
4. Juurutage koolitatud XGBoosti mudel SageMakeri hallatavasse lõpp-punkti.
5. Hinnake seda baasmudelit meie testandmestiku abil.

Seejärel hindame oma mudelit sama nelja mõõdikuga, nagu mainiti viimases etapis. Seekord saame arvutada ka ROC AUC mõõdiku.

.	RCF	XGBoost
Tasakaalustatud täpsus	0.560023	0.847685
Coheni Kappa	0.003917	0.743801
F1	0.007082	0.744186
ROC AUC	-	0.983515

Näeme, et juhendatud õppemeetod XGBoost koos kaalumisskeemiga (kasutades hüperparameetrit scale_pos_weight) saavutab oluliselt parema jõudluse kui juhendamata õppemeetod RCF. Siiski on veel ruumi jõudlust parandada. Eelkõige oleks Coheni Kappa skoori tõstmine üle 0.8 üldiselt väga soodne.

Lisaks ühe väärtusega mõõdikutele on kasulik vaadata ka mõõdikuid, mis näitavad toimivust klassi kohta. Näiteks segaduste maatriks, klassipõhine täpsus, tagasikutsumine ja F1-skoor võivad anda rohkem teavet meie mudeli jõudluse kohta.

.	täpsus	tagasikutsumine	f1-skoor	toetama
mittepettus	1.00	1.00	1.00	28435
pettus	0.80	0.70	0.74	46

Jätkake testliikluse saatmist lõpp-punkti Lambda kaudu

Et demonstreerida, kuidas oma mudeleid tootmissüsteemis kasutada, ehitasime koos REST API Amazon API värav ja lambda funktsioon. Kui klientrakendused saadavad HTTP järelduspäringud REST API-le, mis käivitab funktsiooni Lambda, mis omakorda kutsub esile RCF-i ja XGBoosti mudeli lõpp-punktid ning tagastab mudelite prognoosid. Lambda funktsiooni koodi saate lugeda ja kutseid jälgida Lambda konsoolil.

Samuti lõime Pythoni skripti, mis teeb REST API-le HTTP-järelduspäringuid, kasutades sisendandmetena meie testandmeid. Et näha, kuidas seda tehti, kontrollige generate_endpoint_traffic.py faili lahenduse lähtekoodis. Prognooside väljundid logitakse S3 ämbrisse an-i kaudu Amazon Kinesis Data Firehose kohaletoimetamise voog. Sihtkoha S3 ämbri nime leiate Kinesis Data Firehose'i konsoolilt ja ennustuste tulemusi saate vaadata S3 ämbrist.

Treenige XGBoosti mudelit SMOTE ülevalimistehnikaga

Nüüd, kui meil on XGBoosti kasutav baasmudel, näeme, kas spetsiaalselt tasakaalustamata probleemide jaoks loodud proovivõtutehnikad võivad mudeli jõudlust parandada. Me kasutame Süteetilise vähemuse üleproovimine (SMOTE), mis valib vähemusklassi üle, interpoleerides uusi andmepunkte olemasolevate vahel.

Sammud on järgmised:

1. Kasutage meie rongide andmestiku vähemusklassi (petuklassi) ülevalimimiseks SMOTE. SMOTE ületab vähemusklassi ülevalimi umbes 0.17–50%. Pange tähele, et see on vähemusklassi äärmise ülevalimise juhtum. Alternatiiviks oleks kasutada väiksemat kordusvalimi suhet, näiteks iga vähemusklassi valim sqrt(non_fraud/fraud) enamusvalimi või täiustatud resamplingu tehnikate abil. Lisateavet üleproovimise võimaluste kohta vaadake jaotisest Võrrelge üleproovivõtmisega proovivõtjaid.
2. Määratlege teise XGBoosti treenimise hüperparameetrid, nii et scale_pos_weight eemaldatakse ja teised hüperparameetrid jäävad samaks, mis XGBoosti algmudeli treenimisel. Me ei pea enam selle hüperparameetriga andmete tasakaalustamatust käsitlema, sest oleme seda SMOTE-ga juba teinud.
3. Treenige teist XGBoosti mudelit SMOTE töödeldud rongiandmestiku uute hüperparameetritega.
4. Juurutage uus XGBoost mudel SageMakeri hallatavasse lõpp-punkti.
5. Hinnake uut mudelit testandmestikuga.

Uut mudelit hinnates näeme, et SMOTE-ga saavutab XGBoost parema jõudluse tasakaalustatud täpsuse osas, kuid mitte Coheni Kappa ja F1 skoorides. Selle põhjuseks on asjaolu, et SMOTE on pettuste klassi valinud nii palju, et see on suurendanud funktsiooniruumi kattumist mittepettustega juhtumitega. Kuna Coheni Kappa annab valepositiivsetele rohkem kaalu kui tasakaalustatud täpsus, langeb mõõdik märkimisväärselt, nagu ka pettusejuhtumite täpsus ja F1 skoor.

.	RCF	XGBoost	XGBoost SMOTE
Tasakaalustatud täpsus	0.560023	0.847685	0.912657
Coheni Kappa	0.003917	0.743801	0.716463
F1	0.007082	0.744186	0.716981
ROC AUC	-	0.983515	0.967497

Mõõdikute vahelise tasakaalu saame aga tagasi tuua, kohandades klassifitseerimisläve. Seni oleme kasutanud läve 0.5, et märgistada, kas andmepunkt on petlik või mitte. Pärast erinevate lävedega 0.1–0.9 katsetamist näeme, et Coheni Kappa kasvab koos lävega, ilma et tasakaalustatud täpsus oluliselt väheneks.

See lisab meie mudelile kasuliku kalibreerimise. Võime kasutada madalat läve, kui meie prioriteediks on mitte ühegi petturliku juhtumi (valenegatiivsuse) vahelejätmine, või võime läve suurendada, et viia valepositiivsete juhtumite arv miinimumini.

Treenige HPO-ga optimaalset XGBoosti mudelit

Selles etapis näitame, kuidas parandada mudeli jõudlust, koolitades meie kolmandat XGBoosti mudelit hüperparameetrite optimeerimisega. Keeruliste ML-süsteemide ehitamisel on kõigi võimalike hüperparameetrite väärtuste kombinatsioonide käsitsi uurimine ebapraktiline. SageMakeri HPO funktsioon võib teie tootlikkust kiirendada, proovides teie nimel paljusid mudeli variatsioone. See otsib automaatselt parimat mudelit, keskendudes kõige lootustandvamatele hüperparameetrite väärtuste kombinatsioonidele teie määratud vahemikes.

HPO protsess vajab valideerimisandmestikku, seega jagasime esmalt oma koolitusandmed koolitus- ja valideerimisandmekomplektideks, kasutades kihiline valim. Andmete tasakaalustamatuse probleemi lahendamiseks kasutame uuesti XGBoosti kaalumisskeemi, määrates scale_pos_weight hüperparameeter kuni sqrt(num_nonfraud/num_fraud).

Loome XGBoosti hindaja, kasutades SageMakeri sisseehitatud XGBoost algoritmi konteinerit, ning määrame objektiivse hindamise mõõdiku ja hüperparameetrite vahemikud, mille piires soovime katsetada. Nendega loome siis a Hüperparameetri tuuner ja käivitage HPO häälestustöö, mis treenib paralleelselt mitut mudelit, otsides optimaalseid hüperparameetrite kombinatsioone.

Kui häälestustöö on lõpetatud, näeme selle analüütilist aruannet ja kontrollime iga mudeli hüperparameetreid, koolitustööde teavet ja selle toimivust võrreldes objektiivse hindamismõõdikuga.

Seejärel võtame kasutusele parima mudeli ja hindame seda oma testandmestikuga.

Hinnake ja võrrelge kõigi mudelite toimivust samade katseandmete põhjal

Nüüd on meil kõigi nelja mudeli hindamistulemused: RCF, XGBoost baasjoon, XGBoost koos SMOTE-ga ja XGBoost koos HPO-ga. Võrdleme nende jõudlust.

.	RCF	XGBoost	XGBoost koos SMOTE-ga	XGBoost koos HPO-ga
Tasakaalustatud täpsus	0.560023	0.847685	0.912657	0.902156
Coheni Kappa	0.003917	0.743801	0.716463	0.880778
F1	0.007082	0.744186	0.716981	0.880952
ROC AUC	-	0.983515	0.967497	0.981564

Näeme, et XGBoost HPO-ga saavutab veelgi parema jõudluse kui SMOTE-meetodi puhul. Eelkõige on Coheni Kappa skoor ja F1 üle 0.8, mis näitab optimaalset mudeli jõudlust.

Koristage

Kui olete selle lahendusega lõpetanud, kustutage kindlasti kõik soovimatud AWS-i ressursid, et vältida soovimatuid tasusid. Aastal Kustuta lahendus Lahenduste vahekaardil jaotises valige Kustutage kõik ressursid selle lahenduse käivitamisel automaatselt loodud ressursside kustutamiseks.

Teise võimalusena võite kasutada ka AWS CloudFormation kustutada kõik lahenduse ja sülearvuti poolt automaatselt loodud standardressursid. Selle lähenemisviisi kasutamiseks otsige AWS CloudFormationi konsoolist üles CloudFormationi virn, mille kirjeldus sisaldab pettuste tuvastamise masinõpet, ja kustutage see. See on ülemvirn ja selle virna kustutamise valimisel kustutatakse pesastatud virnad automaatselt.

Mõlema lähenemisviisi korral peate siiski käsitsi kustutama kõik lisaressursid, mille olete selles märkmikus loonud. Mõned näited hõlmavad täiendavaid S3 ämbreid (lisaks lahenduse vaikeämbrile), täiendavaid SageMakeri lõpp-punkte (kasutades kohandatud nime) ja täiendavaid Amazoni elastsete konteinerite register (Amazon ECR) hoidlad.

Järeldus

Selles postituses näitasime teile, kuidas luua dünaamilise, isetäiendava ja hooldatava krediitkaardipettuste tuvastamise süsteemi tuum, kasutades ML-i koos SageMakeriga. Ehitasime, koolitasime ja juurutasime järelevalveta RCF-anomaalia tuvastamise mudeli, järelevalvega XGBoosti mudeli lähtetasemena, teise järelevalvega XGBoosti mudeli koos SMOTE-ga andmete tasakaalustamatuse probleemi lahendamiseks ja lõpliku XGBoosti mudeli, mis on optimeeritud HPO-ga. Arutasime, kuidas käsitleda andmete tasakaalustamatust ja kasutada lahenduses enda andmeid. Lisasime ka API Gateway ja Lambda näidisrakenduse REST API, et näidata, kuidas süsteemi oma olemasolevas äriinfrastruktuuris kasutada.

Ise proovimiseks avage SageMakeri stuudio ja käivitage lahendus KiirStart. Lahenduse kohta lisateabe saamiseks vaadake seda GitHubi hoidla.

---

Autoritest

Xiaoli Shen on lahenduste arhitekti ja masinõppe tehnilise valdkonna kogukonna (TFC) liige ettevõttes Amazon Web Services. Ta on keskendunud pilvearhitektuuri klientide abistamisele ja AWS-i teenuste võimendamisele äriväärtuse saamiseks. Enne AWS-iga liitumist oli ta tehnikajuht ja vaneminsener, kes ehitas pilves andmemahukaid hajutatud süsteeme.

Dr Xin Huang on Amazon SageMaker JumpStarti ja Amazon SageMakeri sisseehitatud algoritmide rakendusteadlane. Ta keskendub skaleeritavate masinõppe algoritmide arendamisele. Tema uurimishuvid on seotud loomuliku keele töötlemise, tabeliandmete seletatava süvaõppe ja mitteparameetrilise aegruumi klastrite tugeva analüüsiga. Ta on avaldanud palju artikleid ACL-i, ICDM-i, KDD konverentsidel ja Royal Statistical Society: Series A ajakirjas.

Vedant Jain on Sr. AI/ML Specialist Solutions Architect, kes aitab klientidel saada väärtust AWS-i masinõppe ökosüsteemist. Enne AWS-iga liitumist on Vedant töötanud ML/Data Science Specialty ametikohtadel erinevates ettevõtetes, nagu Databricks, Hortonworks (nüüd Cloudera) ja JP Morgan Chase. Väljaspool oma tööd on Vedant kirglik muusika tegemine, teaduse kasutamine tähendusrikka elu elamiseks ja maitsva taimetoidu avastamine kogu maailmast.