Tämä on The Very Groupin sovellus- ja luotettavuuskehysten pääinsinöörin Andy Whittlen vieraspostaus.
At Hyvin ryhmä, joka harjoittaa digitaalista jälleenmyyjää. Very, turvallisuus on ensisijainen prioriteetti miljoonien asiakkaiden tietojen käsittelyssä. Osa siitä, kuinka The Very Group turvaa ja seuraa liiketoimintaa, on toimintojen kirjaaminen liiketoimintajärjestelmien välillä (esimerkiksi asiakastilauksen eri vaiheissa). Se on kriittinen toiminnallinen vaatimus, ja sen avulla The Very Group pystyy jäljittämään tapahtumia ja tunnistamaan ennakoivasti ongelmia ja trendejä. Tämä voi kuitenkin tarkoittaa asiakastietojen käsittelyä henkilökohtaisesti tunnistettavien tietojen (PII) muodossa liittyen toimintoihin, kuten ostoihin, palautuksiin, joustavien maksuvaihtoehtojen käyttöön ja tilinhallintaan.
Tässä viestissä The Very Group näyttää, kuinka he käyttävät Amazonin käsitys lisätä automaattisen suojan lisäkerroksen käytäntöjen päälle, jotta voidaan suunnitella uhkamallinnus kaikkiin järjestelmiin, jotta henkilökohtaisia tunnistetietoja ei lähetetä lokitietoina Elasticsearchiin indeksointia varten. Amazon Comprehend on täysin hallittu ja jatkuvasti koulutettu luonnollisen kielen käsittelypalvelu (NLP), joka voi saada tietoa asiakirjan tai tekstin sisällöstä.
Katsaus ratkaisuun
The Very Groupin suunnittelutiimin päätavoitteena oli estää henkilökohtaisten tunnistetietojen pääsy asiakirjoihin Elasticsearchissa. Tämän saavuttamiseksi ja henkilökohtaisten tunnistetietojen poistamisen automatisoimiseksi miljoonista tunnistetuista tietueista päivässä The Very Groupin suunnittelutiimi loi Terraformiin Application Observability -moduulin. Tämä moduuli toteuttaa havainnointiratkaisun, joka sisältää sovelluslokit, sovellusten suorituskyvyn valvonnan (APM) ja mittarit. Moduulin sisällä tiimi käytti Amazon Comprehendia korostaakseen henkilökohtaisia tunnistetietoja lokitiedoissa ja mahdollisuutta poistaa ne ennen lähettämistä Elasticsearchiin.
Amazon Comprehend tunnistettiin osaksi sisäistä alustasuunnittelualoitetta, jonka tarkoituksena on tutkia, kuinka AWS AI -palveluita voidaan käyttää tehokkuuden parantamiseen ja riskien vähentämiseen toistuvissa liiketoiminnoissa. Very Groupin oppimis- ja kokeilukulttuuri tarkoitti, että Amazon Comprehendin soveltuvuus tarkistettiin Java-sovelluksella, jotta opittiin, miten se toimii PII-testitietojen kanssa. Tiimi käytti dokumentaatiossa olevia koodiesimerkkejä nopeuttaakseen konseptin todistamista ja osoitti nopeasti potentiaalin päivässä.
Suunnittelutiimi kehitti kaavion, joka osoittaa, kuinka henkilökohtaisten tunnistetietojen muokkauspalvelu voi integroitua The Very Groupin kirjaamiseen. Se sisälsi mikropalvelun kehittämisen soita Amazon Comprehendille tunnistaaksesi henkilökohtaisia tunnistetietoja. Ratkaisu toimi välittämällä The Very Groupin lokitiedot käynnissä olevan Logstash-instanssin läpi AWS-veljeskunta, joka puhdistaa tiedot toisella Fargaten isännöimällä pii-logstash-redaction-palvelulla, joka perustuu Spring Boot Java -sovellukseen, joka soittaa Amazon Comprehendille poistaakseen henkilökohtaisia tunnistetietoja. Seuraava kaavio havainnollistaa tätä arkkitehtuuria.
Very Groupin ratkaisu ottaa lokit osoitteesta amazonin pilvikello ja Amazonin elastisten säiliöiden palvelu (Amazon ECS) ja välittää puhdistetut versiot Elasticsearchille indeksoitavaksi. Amazon kinesis Ratkaisussa käytetään tukkien kaappaamiseen ja tallentamiseen lyhyitä aikoja, jolloin Logstash vetää lokit alas muutaman sekunnin välein.
Lokit hankitaan useista liiketoimintaprosesseista, mukaan lukien tilaukset, palautukset ja rahoituspalvelut. Ne sisältävät lokit yli 200 Amazon ECS -sovelluksesta Fargaten testi- ja tuotantoympäristöissä, jotka työntävät lokit Logstashiin. Toinen lähde on AWS Lambda tukit, jotka vedetään Kinesikseen ja vedetään sitten Logstashiin. Lopuksi erillinen Filebeatin erillinen esiintymä vetää lokianalyysin ja siirtää ne CloudWatchiin ja sitten Logstashiin. Tuloksena on, että monet lokilähteet vedetään tai työnnetään Logstashiin, ja Application Observability -moduuli ja Amazon Comprehend käsittelevät ne ennen kuin ne tallennetaan Elasticsearchiin.
Erillinen Terraform-moduuli tarjoaa kaiken tarvittavan infrastruktuurin, jotta Logstash-palvelu pystyy viemään lokit CloudWatch-lokiryhmistä Elasticsearchiin AWS PrivateLink VPC-päätepiste. Logstash-palvelu voidaan myös integroida Amazon ECS:ään a firelens-lokin kokoonpano, jossa Amazon ECS muodostaa yhteyden Amazon-reitti 53 ennätys. Skaalautuvuus on sisäänrakennettu Kinesis-skaalauksella tarpeen mukaan (vaikka tiimi aloitti kiinteillä sirpaleilla, mutta siirtyy nyt on-demand -käyttöön), ja Logstash skaalautuu ylimääräisillä Amazonin elastinen laskentapilvi (Amazon EC2) esiintyy NLB:n takana Filebeatin käyttämien protokollien vuoksi ja mahdollistaa Logstashin noutaa lokit tehokkaammin Kinesisistä.
Lopuksi Logstash-palvelu koostuu tehtävämäärittelystä, joka sisältää Logstash-säilön ja henkilökohtaisten tunnistetietojen muokkaussäiliön, mikä varmistaa henkilökohtaisten tunnistetietojen poistamisen ennen vientiä Elasticsearchiin.
tulokset
Suunnittelutiimi pystyi rakentamaan ja testaamaan ratkaisun viikossa ilman koneoppimista (ML) tai tekoälyn toimintaa. Amazon Comprehend -videoopastus, API-viitedokumentaatioja esimerkkikoodi. Liiketoiminnan arvon niin nopeasti osoittaneet yritystuotteiden omistajat ovat alkaneet kehittää uusia käyttötapoja palvelun hyödyntämiseksi. Joitakin päätöksiä piti tehdä ratkaisun mahdollistamiseksi. Vaikka alustan suunnittelutiimi tiesi pystyvänsä poistamaan tiedot, he halusivat siepata lokit nykyisestä ratkaisusta (perustuu Fluent Bit -sivuvaunuun lokien ohjaamiseksi päätepisteeseen). He päättivät ottaa Logstash käyttöön, jotta lokikentät voidaan siepata putkien kautta integroidakseen PII-palveluunsa (joka sisältää Terraform-moduulin ja Java-palvelun).
Logstashin käyttöönotto sujui alun perin saumattomasti. Very Group-insinööriryhmät käyttävät nyt palvelua suoraan API-päätepisteen kautta lokien lisäämiseen suoraan Elasticsearchiin. Tämä on antanut heille mahdollisuuden vaihtaa päätepisteensä sivuvaunusta uuteen päätepisteeseen ja ottaa sen käyttöön Terraform-moduulin kautta. Ainoa ongelma, joka tiimillä oli, oli alkutesteistä, jotka paljastivat nopeusongelman testattaessa huippukuormitusta. Tämä selvisi Java-koodin muutoksilla.
Seuraava koodi näyttää, kuinka The Very Group käyttää Amazon Comprehendia henkilökohtaisten tunnistetietojen poistamiseen lokiviesteistä. Se havaitsee mahdolliset henkilötiedot ja luo luettelon tallennettavista entiteettityypeistä. Kehityksen nopeuttamiseksi koodi otettiin AWS-dokumentaatiosta ja mukautettiin käytettäväksi Fargaten Java-sovelluspalvelussa.
Seuraavassa kuvakaappauksessa näkyy tulos, joka lähetettiin Elasticsearchille osana henkilökohtaisten tunnistetietojen muokkausprosessia. Palvelu luo miljoona tietuetta päivässä ja luo tietueen joka kerta, kun muokkaus tehdään.
Lokiviesti on redaktoitu, ja redacted_entities -kenttä sisältää luettelon viestissä olevista entiteettityypeistä. Tässä tapauksessa esimerkki löysi URL-osoitteen, mutta se olisi voinut tunnistaa minkä tahansa tyyppisiä henkilökohtaisia tunnistetietoja suurelta osin sisäänrakennettujen henkilökohtaisten tunnistetyyppien perusteella. Amazon Comprehendin kautta lisättiin räätälöity ylimääräinen PII-tyyppi asiakastilinumerolle, mutta sitä ei ole toistaiseksi tarvittu. Suunnitteluryhmätason ohitukset on dokumentoitu GitHubissa niiden käytöstä.
Yhteenveto
Tämä projekti antoi The Very Groupille mahdollisuuden ottaa käyttöön nopean ja yksinkertaisen ratkaisun arkaluonteisten henkilötietojen poistamiseen lokeista. Suunnittelutiimi lisäsi joustavuutta mahdollistaen entiteettityyppien ohitukset käyttämällä Amazon Comprehendia, joka tarjoaa joustavuutta henkilökohtaisten tunnistetietojen muokkaamiseen liiketoiminnan tarpeiden mukaan. Jatkossa suunnittelutiimi aikoo kouluttaa yksittäisiä Amazon Comprehend -yksiköitä muokkaamaan merkkijonoja, kuten asiakastunnuksiamme.
Ratkaisun tuloksena The Very Groupilla on vapaus pukea tukkeja ilman huolta. Se noudattaa käytäntöä, jonka mukaan henkilökohtaisia tunnistetietoja ei tallenneta lokeihin, mikä vähentää riskiä ja parantaa vaatimustenmukaisuutta. Lisäksi poistettavat metatiedot raportoidaan yritykselle Elasticsearch-hallintapaneelin kautta, mikä mahdollistaa hälytykset ja jatkotoimenpiteet.
Varaa aikaa arvioidaksesi AWS AI/ML -palveluita, joita organisaatiosi ei ole vielä käyttänyt, ja edistä kokeilukulttuuria. Yksinkertainen aloittaminen voi johtaa nopeasti liiketoimintahyötyihin, kuten The Very Group osoitti.
kirjailijasta
Andy Whittle on pääalusta-insinööri – Sovellus- ja luotettavuuskehykset The Very Groupissa, joka operoi Isossa-Britanniassa sijaitsevaa digitaalista jälleenmyyjää Very. Andy auttaa toimittamaan suorituskyvyn seurantaa organisaation eri heimoille, ja on erityisen kiinnostunut sovellusten seurannasta, havainnoitavuudesta ja suorituskyvystä. Siitä lähtien, kun Andy liittyi Veryiin vuonna 1998, hän on toiminut monenlaisissa rooleissa, jotka kattavat sisällönhallinnan ja luettelotuotannon, varastonhallinnan, tuotannon tuen, DevOpsin ja Fusion Middlewaren. Viimeiset 4 vuotta hän on ollut osa alustan suunnittelutiimiä.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- pystyy
- Meistä
- kiihdyttää
- Tili
- tilin hallinta
- poikki
- Toiminta
- toiminta
- toiminta
- lisä-
- lisä-
- hyväksyä
- Hyväksyminen
- Etu
- AI
- Tekoälyn palvelut
- AI / ML
- Kaikki
- Salliminen
- Vaikka
- Amazon
- Amazonin käsitys
- Amazon EC2
- analyysi
- ja
- Toinen
- api
- Hakemus
- sovellukset
- arkkitehtuuri
- automatisoida
- Automatisoitu
- AWS
- takaisin
- perustua
- ennen
- takana
- ovat
- hyödyttää
- välillä
- Bitti
- rakentaa
- rakennettu
- sisäänrakennettu
- liiketoiminta
- Puhelut
- kykenee
- kaapata
- tapaus
- tapauksissa
- luettelo
- koodi
- noudattaminen
- ymmärtää
- Laskea
- käsite
- Liitännät
- Kontti
- sisältää
- pitoisuus
- voisi
- päällyste
- luotu
- luo
- kriittinen
- Kulttuuri
- Nykyinen
- asiakas
- asiakastiedot
- Asiakkaat
- kojelauta
- tiedot
- päivä
- päätti
- päätökset
- Puolustus
- toimittaa
- Kysyntä
- osoittivat
- esittelyssä
- sijoittaa
- käyttöön
- Malli
- kehittää
- kehitetty
- kehittämällä
- Kehitys
- digitaalinen
- suoraan
- asiakirja
- dokumentointi
- asiakirjat
- alas
- kukin
- tehokkaasti
- tehokkuus
- mahdollistaa
- mahdollistaa
- mahdollistaa
- päätepiste
- insinööri
- Tekniikka
- varmistamalla
- yksiköt
- kokonaisuus
- ympäristöissä
- perustamisesta
- esimerkki
- Esimerkit
- kokeilu
- uute
- harvat
- ala
- Fields
- Vihdoin
- taloudellinen
- rahoituspalvelut
- kiinteä
- Joustavuus
- joustava
- jälkeen
- muoto
- Edistää
- löytyi
- puitteet
- Vapaus
- alkaen
- täysin
- edelleen
- Lisäksi
- fuusio
- tulevaisuutta
- synnyttää
- tuottaa
- GitHub
- tavoite
- Ryhmä
- Ryhmän
- vieras
- vieras Lähetä
- Käsittely
- ottaa
- auttaa
- Korostaa
- Miten
- Miten
- Kuitenkin
- HTML
- HTTPS
- tunnistettu
- tunnistaa
- toteuttaa
- työkoneet
- parantaa
- parantaminen
- in
- sisältää
- Mukaan lukien
- henkilökohtainen
- tiedot
- Infrastruktuuri
- ensimmäinen
- ensin
- aloite
- tietoa
- esimerkki
- yhdistää
- integroitu
- korko
- sisäinen
- tutkia
- osallistuva
- kysymys
- IT
- Jaava
- tuloaan
- tarrat
- Kieli
- suureksi osaksi
- kerros
- johtaa
- OPPIA
- oppiminen
- Lista
- kuormat
- näköinen
- kone
- koneoppiminen
- tehty
- TEE
- onnistui
- johto
- monet
- viesti
- viestien
- Metadata
- Metrics
- miljoona
- miljoonia
- ML
- mallintaminen
- Moduulit
- seuranta
- lisää
- Luonnollinen
- Luonnollinen kielen käsittely
- tarvitsevat
- tarpeet
- Uusi
- NLP
- numero
- toimii
- toiminta
- Operations
- Vaihtoehto
- Vaihtoehdot
- tilata
- organisaatio
- Voittaa
- ensisijainen
- omistajat
- osa
- erityinen
- kulkee
- Ohimenevä
- Ohi
- maksu
- Peak
- suorituskyky
- aikoja
- Henkilökohtaisesti
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- politiikka
- Kirje
- mahdollinen
- estää
- Pääasiallinen
- Aikaisempi
- prioriteetti
- yksityinen
- ongelmia
- prosessi
- Käsitelty
- Prosessit
- käsittely
- Tuotteet
- tuotanto
- projekti
- todiste
- todiste käsitteestä
- protokollat
- osoittautui
- toimittaa
- tarjoaa
- vetämällä
- Vetää
- ostot
- Työnnä
- työntää
- laittaa
- puts
- nopea
- nopeasti
- ennätys
- asiakirjat
- kääntää
- vähentää
- vähentämällä
- suhde
- luotettavuus
- poistaminen
- poistaa
- poistamalla
- raportoitu
- pyyntö
- tarvitaan
- vaatimus
- vastaus
- johtua
- jälleenmyyjä
- palata
- Tuotto
- Revealed
- tarkistetaan
- Riski
- roolit
- Reitti
- juoksu
- skaalautuvuus
- asteikot
- skaalaus
- saumattomasti
- sekuntia
- Turvaa
- turvallisuus
- lähettäminen
- sensible
- palvelu
- Palvelut
- Lyhyt
- Näytä
- Yksinkertainen
- koska
- So
- niin kaukana
- ratkaisu
- jonkin verran
- lähde
- Lähteet
- nopeus
- kevät
- kevätkenkä
- vaiheissa
- seistä
- itsenäinen
- alkoi
- Aloita
- Varastossa
- verkkokaupasta
- tallennettu
- suoraan
- niin
- tuki
- Vaihtaa
- järjestelmät
- ottaa
- vie
- Tehtävä
- joukkue-
- terraform
- testi
- Testaus
- testit
- -
- heidän
- siten
- uhkaus
- Kautta
- aika
- että
- ylin
- Jäljittää
- kaupankäynti
- koulutettu
- koulutus
- Trendit
- tyypit
- Uk
- ymmärtää
- URL
- Käyttö
- käyttää
- arvo
- lajike
- kautta
- Video
- halusi
- viikko
- joka
- leveä
- sisällä
- ilman
- työskenteli
- työskentely
- vuotta
- Sinun
- zephyrnet