Aceasta este o postare a invitaților lui Andy Whittle, inginer principal de platformă – Cadre de aplicații și fiabilitate la The Very Group.
At Însuși Grupul, care operează retailerul digital Very, securitatea este o prioritate de top în gestionarea datelor pentru milioane de clienți. O parte a modului în care The Very Group securizează și urmărește operațiunile de afaceri este prin înregistrarea activității între sistemele de afaceri (de exemplu, în etapele unei comenzi de client). Este o cerință operațională critică și permite The Very Group să urmărească incidentele și să identifice în mod proactiv problemele și tendințele. Cu toate acestea, aceasta poate însemna prelucrarea datelor clienților sub formă de informații de identificare personală (PII) în legătură cu activități precum achiziții, retururi, utilizarea opțiunilor de plată flexibile și gestionarea contului.
În această postare, The Very Group arată cum folosesc Amazon Comprehend pentru a adăuga un alt nivel de apărare automată pe lângă politici pentru a proiecta modelarea amenințărilor în toate sistemele, pentru a preveni trimiterea PII în datele de jurnal către Elasticsearch pentru indexare. Amazon Comprehend este un serviciu de procesare a limbajului natural (NLP) complet gestionat și instruit continuu, care poate extrage informații despre conținutul unui document sau text.
Prezentare generală a soluției
Scopul primordial pentru echipa de inginerie a The Very Group a fost să împiedice orice date PII să ajungă la documentele din Elasticsearch. Pentru a realiza acest lucru și a automatiza eliminarea PII din milioane de înregistrări identificate pe zi, echipa de inginerie a The Very Group a creat un modul de observabilitate a aplicației în Terraform. Acest modul implementează o soluție de observabilitate, inclusiv jurnalele aplicației, monitorizarea performanței aplicației (APM) și metrici. În cadrul modulului, echipa a folosit Amazon Comprehend pentru a evidenția PII în datele de jurnal, cu opțiunea de a le elimina înainte de a le trimite către Elasticsearch.
Amazon Comprehend a fost identificat ca parte a unei inițiative interne de inginerie a platformei pentru a investiga modul în care serviciile AWS AI pot fi utilizate pentru a îmbunătăți eficiența și a reduce riscul în activitățile comerciale repetitive. Cultura Very Group de a învăța și de a experimenta a însemnat că Amazon Comprehend a fost revizuit pentru aplicabilitate folosind o aplicație Java pentru a afla cum funcționează cu datele PII de testare. Echipa a folosit exemple de cod în documentație pentru a accelera demonstrarea conceptului și a dovedit rapid potențialul într-o zi.
Echipa de ingineri a dezvoltat o schemă care demonstrează modul în care un serviciu de redactare a PII s-ar putea integra cu înregistrarea The Very Group. A implicat dezvoltarea unui microserviciu pentru apelați Amazon Comprehend pentru a detecta datele PII. Soluția a funcționat prin trecerea datelor de jurnal ale The Very Group printr-o instanță Logstash care rulează AWS Fargate, care curăță datele folosind un alt serviciu pii-logstash-redaction găzduit de Fargate, bazat pe o aplicație Java Spring Boot care face apeluri către Amazon Comprehend pentru a elimina informațiile personale. Următoarea diagramă ilustrează această arhitectură.
Soluția Very Group preia jurnalele de la Amazon CloudWatch și Serviciul Amazon de containere elastice (Amazon ECS) și transmite versiunile curățate către Elasticsearch pentru a fi indexate. Amazon Kinesis este folosit în soluția de a captura și stoca jurnale pentru perioade scurte, Logstash trăgând jurnalele la fiecare câteva secunde.
Jurnalele sunt obținute din numeroasele procese de afaceri, inclusiv comenzi, retururi și servicii financiare. Acestea includ jurnalele de la peste 200 de aplicații Amazon ECS din mediile de testare și producție din Fargate, care împing jurnale în Logstash. O altă sursă este AWS Lambdas busteni care sunt trase în Kinesis și apoi trase în Logstash. În cele din urmă, o instanță autonomă separată a Filebeat extrage analiza jurnalului și le introduce în CloudWatch și apoi în Logstash. Rezultatul este că multe surse de jurnale sunt extrase sau împinse în Logstash și procesate de modulul Application Observability și Amazon Comprehend înainte de a fi stocate în Elasticsearch.
Un modul separat Terraform oferă toată infrastructura necesară pentru a susține un serviciu Logstash capabil să exporte jurnale din grupurile de jurnal CloudWatch în Elasticsearch printr-un AWS PrivateLink Punct final VPC. Serviciul Logstash poate fi integrat și cu Amazon ECS prin a configurarea jurnalului firelens, cu Amazon ECS stabilind conectivitate prin intermediul unui Ruta Amazonului 53 record. Scalabilitatea este încorporată cu scalarea Kinesis la cerere (deși echipa a început cu fragmente fixe, dar acum trece la utilizarea la cerere), iar Logstash se extinde cu suplimentare Cloud Elastic de calcul Amazon (Amazon EC2) în spatele unui NLB datorită protocoalelor utilizate de Filebeat și permite Logstash să extragă mai eficient jurnalele din Kinesis.
În cele din urmă, serviciul Logstash constă într-o definiție a sarcinii care conține un container Logstash și un container de redactare a PII, asigurând eliminarea PII înainte de exportul către Elasticsearch.
REZULTATE
Echipa de ingineri a putut să construiască și să testeze soluția în decurs de o săptămână, fără a fi nevoie să înțeleagă învățarea automată (ML) sau funcționarea AI, folosind Îndrumări video Amazon Comprehend, Documentație de referință API, și exemplu de cod. După ce au demonstrat valoarea afacerii atât de repede, proprietarii de produse de afaceri au început să dezvolte noi cazuri de utilizare pentru a profita de serviciu. A trebuit luate unele decizii pentru a permite soluția. Deși echipa de inginerie a platformei știa că pot redacta datele, au vrut să intercepteze jurnalele din soluția actuală (pe baza unui sidecar Fluent Bit pentru a redirecționa jurnalele către un punct final). Ei au decis să adopte Logstash pentru a permite interceptarea câmpurilor de jurnal prin conducte pentru a se integra cu serviciul lor PII (cuprinzând modulul Terraform și serviciul Java).
Adoptarea Logstash s-a făcut inițial fără probleme. Echipele de inginerie Very Group folosesc acum serviciul direct printr-un punct final API pentru a pune jurnalele direct în Elasticsearch. Acest lucru le-a permis să-și schimbe punctul final de la sidecar la noul punct final și să-l implementeze prin modulul Terraform. Singura problemă pe care a avut-o echipa a fost de la testele inițiale care au relevat o problemă de viteză la testarea cu sarcini de tranzacționare de vârf. Acest lucru a fost depășit prin ajustări ale codului Java.
Următorul cod arată cum The Very Group folosește Amazon Comprehend pentru a elimina informațiile personale din mesajele de jurnal. Detectează orice PII și creează o listă de tipuri de entități de înregistrat. Pentru a accelera dezvoltarea, codul a fost preluat din documentația AWS și adaptat pentru utilizare în serviciul de aplicații Java implementat pe Fargate.
Următoarea captură de ecran arată rezultatul trimis către Elasticsearch ca parte a procesului de redactare a PII. Serviciul generează 1 milion de înregistrări pe zi, generând o înregistrare de fiecare dată când se face o redactare.
Mesajul jurnal este redactat, iar câmpul redacted_entities conține o listă cu tipurile de entități găsite în mesaj. În acest caz, exemplul a găsit o adresă URL, dar ar fi putut identifica orice tip de date PII pe baza tipurilor de PII încorporate. A fost adăugat un tip suplimentar de PII personalizat pentru numărul de cont de client prin Amazon Comprehend, dar nu a fost necesar până acum. Depășirile la nivel de echipă de inginerie sunt documentate în GitHub despre cum să le folosești.
Concluzie
Acest proiect a permis The Very Group să implementeze o soluție rapidă și simplă pentru a redacta PII sensibile în jurnale. Echipa de ingineri a adăugat o flexibilitate suplimentară, permițând înlocuiri pentru tipurile de entități, folosind Amazon Comprehend pentru a oferi flexibilitatea de a redacta IPI în funcție de nevoile afacerii. În viitor, echipa de inginerie se uită la pregătirea entităților Amazon Comprehend individuale pentru a redacta șiruri, cum ar fi ID-urile clienților noștri.
Rezultatul soluției este că The Very Group are libertatea de a trece bușteni fără a fi nevoie să vă faceți griji. Implementează politica de a nu avea PII stocate în jurnale, reducând astfel riscul și îmbunătățind conformitatea. În plus, metadatele în curs de redactare sunt raportate companiei printr-un tablou de bord Elasticsearch, permițând alerte și acțiuni ulterioare.
Fă-ți timp pentru a evalua serviciile AWS AI/ML pe care organizația ta nu le-a folosit încă și promovează o cultură a experimentării. Începerea simplă poate duce rapid la beneficii de afaceri, așa cum a demonstrat The Very Group.
Despre autor
Andy Whittle este Principal Platform Engineer – Application & Reliability Frameworks la The Very Group, care operează retailerul digital Very din Marea Britanie. Andy ajută la furnizarea de monitorizare a performanței în triburile organizației și are un interes deosebit în monitorizarea, observabilitatea și performanța aplicațiilor. De când s-a alăturat lui Very în 1998, Andy și-a asumat o mare varietate de roluri, incluzând managementul conținutului și producția de catalog, managementul stocurilor, suport de producție, DevOps și Fusion Middleware. În ultimii 4 ani, a făcut parte din echipa de inginerie a platformei.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Capabil
- Despre Noi
- accelera
- Cont
- managementul contului
- peste
- Acțiune
- activităţi de
- activitate
- adăugat
- Suplimentar
- adopta
- Adoptare
- Avantaj
- AI
- Servicii AI
- AI / ML
- TOATE
- Permiterea
- Cu toate ca
- Amazon
- Amazon Comprehend
- Amazon EC2
- analiză
- și
- O alta
- api
- aplicație
- Apps
- arhitectură
- automatizarea
- Automata
- AWS
- înapoi
- bazat
- înainte
- în spatele
- fiind
- beneficia
- între
- Pic
- construi
- construit
- construit-in
- afaceri
- apeluri
- capabil
- captura
- caz
- cazuri
- catalog
- cod
- conformitate
- înţelege
- Calcula
- concept
- Suport conectare
- Recipient
- conține
- conţinut
- ar putea
- acoperire
- a creat
- creează
- critic
- Cultură
- Curent
- client
- datele despre consumator
- clienţii care
- tablou de bord
- de date
- zi
- hotărât
- Deciziile
- Apărare
- livra
- Cerere
- demonstrat
- demonstrând
- implementa
- dislocate
- Amenajări
- dezvolta
- dezvoltat
- în curs de dezvoltare
- Dezvoltare
- digital
- direct
- document
- documentaţie
- documente
- jos
- fiecare
- în mod eficient
- eficiență
- permite
- permite
- permițând
- Punct final
- inginer
- Inginerie
- asigurare
- entități
- entitate
- medii
- stabilirea
- exemplu
- exemple
- experiment
- extrage
- puțini
- camp
- Domenii
- În cele din urmă
- financiar
- Servicii financiare
- fixată
- Flexibilitate
- flexibil
- următor
- formă
- Foster
- găsit
- cadre
- Libertate
- din
- complet
- mai mult
- În plus
- fuziune
- viitor
- generează
- generator
- GitHub
- scop
- grup
- Grupului
- Oaspete
- Vizitator Mesaj
- Manipularea
- având în
- ajută
- Evidențiați
- Cum
- Cum Pentru a
- Totuși
- HTML
- HTTPS
- identificat
- identifica
- punerea în aplicare a
- ustensile
- îmbunătăţi
- îmbunătățirea
- in
- include
- Inclusiv
- individ
- informații
- Infrastructură
- inițială
- inițial
- Inițiativă
- înţelegere
- instanță
- integra
- integrate
- interes
- intern
- investiga
- implicat
- problema
- IT
- Java
- aderarea
- etichete
- limbă
- în mare măsură
- strat
- conduce
- AFLAȚI
- învăţare
- Listă
- loturile
- cautati
- maşină
- masina de învățare
- făcut
- FACE
- gestionate
- administrare
- multe
- mesaj
- mesaje
- Metadata
- Metrici
- milion
- milioane
- ML
- modelare
- Module
- Monitorizarea
- mai mult
- Natural
- Procesarea limbajului natural
- au nevoie
- nevoilor
- Nou
- nlp
- număr
- opereaza
- de operare
- Operațiuni
- Opțiune
- Opţiuni
- comandă
- organizație
- Învinge
- primordial
- Proprietarii
- parte
- special
- trece
- Care trece
- trecut
- plată
- Vârf
- performanță
- perioadele
- Personal
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Politicile
- Politica
- Post
- potenţial
- împiedica
- Principal
- anterior
- prioritate
- privat
- probleme
- proces
- Procesat
- procese
- prelucrare
- Produs
- producere
- proiect
- dovadă
- dovada de concept
- protocoale
- s-au dovedit
- furniza
- furnizează
- trăgând
- Trage
- achiziții
- Împinge
- împins
- pune
- puts
- Rapid
- repede
- record
- înregistrări
- redirecționa
- reduce
- reducerea
- relație
- încredere
- îndepărtare
- scoate
- eliminarea
- Raportat
- solicita
- necesar
- cerință
- răspuns
- rezultat
- vânzător cu amănuntul
- reveni
- Returnează
- Dezvăluit
- revizuite
- Risc
- rolurile
- Traseul
- funcţionare
- scalabilitate
- cântare
- scalare
- perfect
- secunde
- Securizeaza
- securitate
- trimitere
- sensibil
- serviciu
- Servicii
- Pantaloni scurți
- Emisiuni
- simplu
- întrucât
- So
- până acum
- soluţie
- unele
- Sursă
- Surse
- viteză
- primăvară
- cizmă de primăvară
- Stadiile
- stand
- standalone
- început
- Pornire
- stoc
- stoca
- stocate
- drept
- astfel de
- a sustine
- Intrerupator
- sisteme
- Lua
- ia
- Sarcină
- echipă
- Terraform
- test
- Testarea
- teste
- lor
- astfel
- amenințare
- Prin
- timp
- la
- top
- Urmă
- Trading
- dresat
- Pregătire
- Tendinţe
- Tipuri
- Uk
- înţelege
- URL-ul
- Folosire
- utilizare
- valoare
- varietate
- de
- Video
- dorit
- săptămână
- care
- larg
- în
- fără
- a lucrat
- de lucru
- ani
- Ta
- zephyrnet