See on külalispostitus Andy Whittle'ilt, The Very Groupi rakendus- ja töökindlusraamistike peainsenerilt.
At Väga rühm, mis opereerib digitaalset jaemüüjat Väga, turvalisus on miljonite klientide andmete töötlemisel esmatähtis. Osa sellest, kuidas The Very Group äritegevust turvab ja jälgib, on tegevuste logimine ärisüsteemide vahel (näiteks klienditellimuse etappide lõikes). See on kriitiline töönõue ja võimaldab The Very Groupil jälgida vahejuhtumeid ning ennetavalt tuvastada probleeme ja suundumusi. See võib aga tähendada kliendiandmete töötlemist isikut tuvastava teabe (PII) kujul seoses selliste tegevustega nagu ostmine, tagastamine, paindlike maksevõimaluste kasutamine ja kontohaldus.
Selles postituses näitab The Very Group, kuidas nad kasutavad Amazoni mõistmine lisada poliitikale täiendav automatiseeritud kaitsekiht, et kavandada ohtude modelleerimine kõigis süsteemides, et vältida isikuandmete saatmist logiandmetes Elasticsearchi indekseerimiseks. Amazon Comprehend on täielikult hallatav ja pidevalt koolitatud loomuliku keele töötlemise (NLP) teenus, mis võimaldab saada ülevaate dokumendi või teksti sisust.
Ülevaade lahendusest
The Very Groupi insenerimeeskonna peamine eesmärk oli takistada isikuandmete tuvastamise andmete jõudmist Elasticsearchi dokumentidele. Selle saavutamiseks ja PII automatiseerimiseks miljonitest tuvastatud kirjetest päevas lõi The Very Groupi insenerimeeskond Terraformis rakenduste jälgitavuse mooduli. See moodul rakendab jälgitavuse lahendust, sealhulgas rakenduste logisid, rakenduse jõudluse jälgimist (APM) ja mõõdikuid. Mooduli sees kasutas meeskond Amazon Comprehendi, et tõsta esile PII logiandmetes koos võimalusega need enne Elasticsearchi saatmist eemaldada.
Amazon Comprehend tuvastati osana sisemise platvormi projekteerimise algatusest, et uurida, kuidas AWS AI teenuseid saab kasutada korduva äritegevuse tõhususe parandamiseks ja riskide vähendamiseks. Very Groupi õppimise ja katsetamise kultuur tähendas, et Amazon Comprehend vaadati üle Java-rakenduse abil, et saada teada, kuidas see PII testandmetega töötab. Meeskond kasutas dokumentatsioonis koodinäiteid, et kiirendada kontseptsiooni tõestamist ja tõestas kiiresti potentsiaali ühe päeva jooksul.
Insenerimeeskond töötas välja skeemi, mis näitab, kuidas isikuandmete muutmise teenus saab integreerida The Very Groupi logimisega. See hõlmas mikroteenuse väljatöötamist helistage Amazon Comprehendile, et tuvastada isikuandmete tuvastamine. Lahendus töötas, edastades The Very Groupi logiandmed läbi töötava Logstashi eksemplari AWS Fargate, mis puhastab andmed, kasutades teist Fargate'i hostitud pii-logstash-redaktsiooni teenust, mis põhineb Spring Boot Java rakendusel, mis helistab Amazon Comprehendile isikuandmete eemaldamiseks. Järgmine diagramm illustreerib seda arhitektuuri.
Very Groupi lahendus võtab logid alates Amazon CloudWatch ja Amazoni elastsete konteinerite teenus (Amazon ECS) ja edastab puhastatud versioonid indekseerimiseks Elasticsearchile. Amazon kinesis kasutatakse lahenduses palkide lühiajaliseks jäädvustamiseks ja salvestamiseks, kusjuures Logstash tõmbab logid iga paari sekundi tagant alla.
Logid pärinevad paljudest äriprotsessidest, sealhulgas tellimine, tagastamine ja finantsteenused. Need sisaldavad enam kui 200 Amazon ECS-i rakenduse logisid Fargate'i test- ja tootmiskeskkondades, mis suruvad logid Logstashi. Teine allikas on AWS Lambda palgid, mis tõmmatakse Kinesisesse ja seejärel tõmmatakse Logstashi. Lõpuks tõmbab Filebeati eraldiseisev eksemplar logianalüüsi ja lisab need CloudWatchi ja seejärel Logstashi. Tulemuseks on see, et paljud logide allikad tõmmatakse või lükatakse Logstashi ja töödeldakse rakenduse vaatlusmooduli ja Amazon Comprehendi poolt enne nende salvestamist Elasticsearchi.
Eraldi Terraformi moodul pakub kogu infrastruktuuri, mis on vajalik Logstashi teenuse püstitamiseks, mis suudab eksportida logisid CloudWatchi logirühmadest Elasticsearchi. AWS PrivateLink VPC lõpp-punkt. Logstashi teenust saab integreerida ka Amazon ECS-iga a firelensi logi konfiguratsioon, kus Amazon ECS loob ühenduse üle an Amazoni tee 53 rekord. Skaleeritavus on sisse ehitatud Kinesise nõudmisel skaleerimisega (kuigi meeskond alustas fikseeritud kildudega, kuid lülitub nüüd üle nõudmisel kasutamisele) ja Logstash skaleerib täiendavaid Amazon Elastic Compute Cloud (Amazon EC2) on Filebeati kasutatavate protokollide tõttu NLB taga ja võimaldab Logstashil Kinesisest logisid tõhusamalt tõmmata.
Lõpuks koosneb Logstashi teenus ülesande määratlusest, mis sisaldab Logstashi konteinerit ja PII redigeerimiskonteinerit, mis tagab PII eemaldamise enne Elasticsearchi eksportimist.
Tulemused
Insenerimeeskond suutis lahenduse nädala jooksul luua ja testida, ilma et oleks vaja aru saada masinõppest (ML) või tehisintellekti toimimisest. Amazon Comprehendi videojuhised, API viitedokumentatsioonja näite kood. Olles äriväärtust nii kiiresti näidanud, on äritoodete omanikud hakanud teenuse kasutamiseks uusi kasutusjuhtumeid välja töötama. Lahenduse võimaldamiseks tuli teha mõned otsused. Kuigi platvormi insenerimeeskond teadis, et nad saavad andmeid redigeerida, soovisid nad praeguse lahenduse logid kinni püüda (põhineb Fluent Biti külgkorvil, et suunata logid lõpp-punkti). Nad otsustasid võtta kasutusele Logstashi, et võimaldada logiväljade pealtkuulamist torujuhtmete kaudu, et integreerida nende isikuandmete tuvastamise teenus (mis sisaldab moodulit Terraform ja Java teenust).
Logstashi kasutuselevõtt toimus algselt sujuvalt. Very Groupi inseneride meeskonnad kasutavad nüüd teenust otse API lõpp-punkti kaudu, et sisestada logid otse Elasticsearchi. See on võimaldanud neil vahetada oma lõpp-punkti külgkorvilt uuele lõpp-punktile ja juurutada seda Terraformi mooduli kaudu. Ainus probleem, mis meeskonnal oli, tulenes esialgsetest testidest, mis näitasid tippkoormusega testimisel kiirusprobleeme. Sellest saadi üle Java koodi kohandamisega.
Järgmine kood näitab, kuidas The Very Group kasutab Amazon Comprehendi logisõnumitest isikuandmete eemaldamiseks. See tuvastab kõik isikuandmed ja loob salvestatavate olemitüüpide loendi. Arengu kiirendamiseks võeti kood AWS-i dokumentatsioonist ja kohandati kasutamiseks Fargate'is juurutatud Java rakendusteenuses.
Järgmine ekraanipilt näitab Elasticsearchile PII redigeerimisprotsessi osana saadetud väljundit. Teenus genereerib 1 miljon kirjet päevas, genereerides kirje iga kord, kui parandus tehakse.
Logiteade redigeeritakse ja väli redacted_entities sisaldab sõnumis leitud olemitüüpide loendit. Sel juhul leidis näide URL-i, kuid see oleks võinud tuvastada mis tahes tüüpi isikut tuvastavad andmed, mis põhinevad suures osas sisseehitatud isikuandmete tuvastamise tüüpidel. Amazon Comprehendi kaudu lisati kliendikonto numbri jaoks täiendav eritellimusel PII tüüp, kuid seda pole seni vaja läinud. Insenerirühma tasemel alistamised on GitHubis dokumenteeritud nende kasutamise kohta.
Järeldus
See projekt võimaldas The Very Groupil rakendada kiiret ja lihtsat lahendust tundlike isikuandmete kustutamiseks logides. Inseneride meeskond lisas täiendavat paindlikkust, võimaldades olemitüüpide alistamist, kasutades Amazon Comprehendi, et pakkuda paindlikkust isikuandmete muutmiseks vastavalt ettevõtte vajadustele. Tulevikus uurib insenerimeeskond, kuidas koolitada üksikuid Amazon Comprehendi üksusi, et redigeerida stringe, nagu meie kliendi ID-d.
Lahenduse tulemuseks on see, et The Very Groupil on vabadus ilma muretsemata palke läbi viia. See jõustab poliitika, mille kohaselt ei tohi PII-d logidesse salvestada, vähendades seeläbi riske ja parandades vastavust. Lisaks teatatakse redigeeritavatest metaandmetest ettevõttele Elasticsearchi armatuurlaua kaudu, mis võimaldab hoiatusi ja edasisi toiminguid.
Võtke aega AWS AI/ML teenuste hindamiseks, mida teie organisatsioon pole veel kasutanud, ja edendage eksperimenteerimiskultuuri. Lihtsa alustamine võib kiiresti tuua ärikasu, nagu The Very Group tõestas.
Teave Autor
Andy Whittle on platvormi peainsener – rakendus- ja töökindlusraamistikud ettevõttes The Very Group, mis opereerib Ühendkuningriigis asuvat digitaalset jaemüüjat Very. Andy aitab tagada jõudluse jälgimist kõigi organisatsiooni hõimude vahel ning on eriti huvitatud rakenduste jälgimisest, jälgitavusest ja jõudlusest. Alates Veryga liitumisest 1998. aastal on Andy täitnud mitmesuguseid rolle, mis hõlmavad sisuhaldust ja kataloogide tootmist, laohaldust, tootmistuge, DevOpsi ja fusiooni vahevara. Viimased 4 aastat on ta olnud osa platvormi inseneride meeskonnast.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Võimalik
- MEIST
- kiirendama
- konto
- konto haldamine
- üle
- tegevus
- tegevus
- tegevus
- lisatud
- Täiendavad lisad
- vastu võtma
- Vastuvõtmine
- ADEelis
- AI
- AI teenused
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- Kuigi
- Amazon
- Amazoni mõistmine
- Amazon EC2
- analüüs
- ja
- Teine
- API
- taotlus
- apps
- arhitektuur
- automatiseerima
- Automatiseeritud
- AWS
- tagasi
- põhineb
- enne
- taga
- on
- kasu
- vahel
- Natuke
- ehitama
- ehitatud
- sisseehitatud
- äri
- Kutsub
- võimeline
- lüüa
- juhul
- juhtudel
- kataloog
- kood
- Vastavus
- mõista
- Arvutama
- mõiste
- Side
- Konteiner
- sisaldab
- sisu
- võiks
- kattes
- loodud
- loob
- kriitiline
- kultuur
- Praegune
- klient
- kliendi andmed
- Kliendid
- armatuurlaud
- andmed
- päev
- otsustatud
- otsused
- kaitse
- tarnima
- Nõudlus
- Näidatud
- näidates
- juurutada
- lähetatud
- Disain
- arendama
- arenenud
- arenev
- & Tarkvaraarendus
- digitaalne
- otse
- dokument
- dokumentatsioon
- dokumendid
- alla
- iga
- tõhusalt
- efektiivsus
- võimaldama
- võimaldab
- võimaldades
- Lõpp-punkt
- insener
- Inseneriteadus
- tagades
- üksuste
- üksus
- keskkondades
- asutades
- näide
- näited
- eksperiment
- väljavõte
- vähe
- väli
- Valdkonnad
- Lõpuks
- finants-
- finantsteenused
- fikseeritud
- Paindlikkus
- paindlik
- Järel
- vorm
- Soodustama
- avastatud
- raamistikud
- Vabadus
- Alates
- täielikult
- edasi
- Pealegi
- fusioon
- tulevik
- genereerib
- teeniva
- GitHub
- eesmärk
- Grupp
- Grupi omad
- külaline
- Külaline Postitus
- Käsitsemine
- võttes
- aitab
- Esile tõstma
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- tuvastatud
- identifitseerima
- rakendada
- tööriistad
- parandama
- Paranemist
- in
- sisaldama
- Kaasa arvatud
- eraldi
- info
- Infrastruktuur
- esialgne
- esialgu
- algatus
- ülevaade
- Näiteks
- integreerima
- integreeritud
- huvi
- sisemine
- uurima
- seotud
- probleem
- IT
- Java
- liitumine
- Labels
- keel
- suurelt jaolt
- kiht
- viima
- Õppida
- õppimine
- nimekiri
- saadetised
- otsin
- masin
- masinõpe
- tehtud
- TEEB
- juhitud
- juhtimine
- palju
- sõnum
- kirjad
- Metaandmed
- Meetrika
- miljon
- miljonid
- ML
- modelleerimine
- moodulid
- järelevalve
- rohkem
- Natural
- Natural Language Processing
- vajav
- vajadustele
- Uus
- nlp
- number
- tegutseb
- tegutsevad
- Operations
- valik
- Valikud
- et
- organisatsioon
- Ületada
- ülimuslik
- omanikud
- osa
- eriline
- möödub
- Mööduv
- minevik
- makse
- tipp
- jõudlus
- perioodid
- Isiklikult
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Poliitika
- poliitika
- post
- potentsiaal
- vältida
- Peamine
- Eelnev
- prioriteet
- era-
- probleeme
- protsess
- Töödeldud
- Protsessid
- töötlemine
- Toode
- Produktsioon
- projekt
- tõend
- tõendi mõiste
- protokollid
- tõestatud
- anda
- annab
- tõmmates
- Tõmbab
- Ostud
- Lükkama
- lükatakse
- panema
- Paneb
- Kiire
- kiiresti
- rekord
- andmed
- suunata
- vähendama
- vähendamine
- seos
- usaldusväärsus
- eemaldamine
- kõrvaldama
- eemaldades
- Teatatud
- taotleda
- nõutav
- nõue
- vastus
- kaasa
- jaemüüja
- tagasipöördumine
- Tulu
- Revealed
- -Läbi
- Oht
- rollid
- Marsruut
- jooksmine
- Skaalautuvus
- Kaalud
- ketendamine
- sujuvalt
- sekundit
- Tagab
- turvalisus
- saatmine
- tundlik
- teenus
- Teenused
- Lühike
- Näitused
- lihtne
- alates
- So
- nii kaugel
- lahendus
- mõned
- allikas
- Allikad
- kiirus
- kevad
- kevadine saabas
- etappidel
- seisma
- standalone
- alustatud
- Käivitus
- varu
- salvestada
- ladustatud
- otse
- selline
- toetama
- Lüliti
- süsteemid
- Võtma
- võtab
- Ülesanne
- meeskond
- Terraform
- test
- Testimine
- testid
- .
- oma
- sellega
- oht
- Läbi
- aeg
- et
- ülemine
- Jälg
- Kauplemine
- koolitatud
- koolitus
- Trends
- liigid
- Uk
- mõistma
- URL
- Kasutus
- kasutama
- väärtus
- sort
- kaudu
- Video
- tagaotsitav
- nädal
- mis
- lai
- jooksul
- ilma
- töötas
- töö
- aastat
- Sinu
- sephyrnet