To je gostujoča objava Andyja Whittlea, glavnega inženirja platforme – Application & Reliability Frameworks pri The Very Group.
At Zelo skupina, ki upravlja digitalno trgovino Very, je varnost glavna prednostna naloga pri ravnanju s podatki za milijone strank. Del tega, kako The Very Group varuje in sledi poslovnim operacijam, je beleženje dejavnosti med poslovnimi sistemi (na primer med stopnjami naročila stranke). To je kritična operativna zahteva in skupini The Very Group omogoča sledenje incidentom ter proaktivno prepoznavanje težav in trendov. Vendar pa to lahko pomeni obdelavo podatkov o strankah v obliki osebno določljivih informacij (PII) v zvezi z dejavnostmi, kot so nakupi, vračila, uporaba prilagodljivih možnosti plačila in upravljanje računa.
V tej objavi The Very Group prikazuje, kako uporabljajo Amazonsko razumevanje dodati nadaljnjo plast avtomatizirane obrambe poleg politik za načrtovanje modeliranja groženj v vse sisteme, da se prepreči pošiljanje PII v dnevniških podatkih v Elasticsearch za indeksiranje. Amazon Comprehend je v celoti upravljana in nenehno izobražena storitev za obdelavo naravnega jezika (NLP), ki lahko pridobi vpogled v vsebino dokumenta ali besedila.
Pregled rešitve
Najpomembnejši cilj inženirske ekipe The Very Group je bil preprečiti, da bi kakršni koli podatki, ki omogočajo osebno prepoznavo, dosegli dokumente znotraj Elasticsearch. Da bi to dosegli in avtomatizirali odstranjevanje PII iz milijonov identificiranih zapisov na dan, je inženirska ekipa The Very Group ustvarila modul Application Observability v Terraform. Ta modul implementira rešitev za opazovanje, vključno z dnevniki aplikacij, spremljanjem zmogljivosti aplikacij (APM) in metrikami. Znotraj modula je ekipa uporabila Amazon Comprehend za označevanje PII v dnevniških podatkih z možnostjo odstranitve pred pošiljanjem v Elasticsearch.
Amazon Comprehend je bil identificiran kot del notranje pobude za inženiring platforme za raziskovanje, kako je mogoče storitve umetne inteligence AWS uporabiti za izboljšanje učinkovitosti in zmanjšanje tveganja pri ponavljajočih se poslovnih dejavnostih. Kultura skupine Very Group za učenje in eksperimentiranje je pomenila, da je bil Amazon Comprehend pregledan glede uporabnosti z uporabo aplikacije Java, da bi izvedeli, kako deluje s testnimi podatki PII. Ekipa je uporabila primere kode v dokumentaciji, da bi pospešila dokaz koncepta in hitro dokazala potencial v enem dnevu.
Inženirska ekipa je razvila shemo, ki prikazuje, kako bi se lahko storitev redigiranja PII integrirala z beleženjem The Very Group. Vključevalo je razvoj mikrostoritve za pokličite Amazon Comprehend, da zaznate podatke PII. Rešitev je delovala tako, da je podatke dnevnika The Very Group posredovala prek primerka Logstash, ki se izvaja naprej AWS Fargate, ki čisti podatke z drugo storitvijo pii-logstash-redaction, ki jo gosti Fargate in temelji na aplikaciji Spring Boot Java, ki kliče Amazon Comprehend za odstranitev PII. Naslednji diagram ponazarja to arhitekturo.
Rešitev Very Group vzame dnevnike iz amazoncloudwatch in Amazonska storitev za kontejnerje z elastiko (Amazon ECS) in posreduje očiščene različice v Elasticsearch za indeksiranje. Amazon Kinesis se v rešitvi uporablja za zajemanje in shranjevanje dnevnikov za kratka obdobja, pri čemer Logstash potegne dnevnike vsakih nekaj sekund.
Dnevniki izvirajo iz številnih poslovnih procesov, vključno z naročanjem, vračili in finančnimi storitvami. Vključujejo dnevnike iz več kot 200 aplikacij Amazon ECS v preskusnih in proizvodnih okoljih v Fargateu, ki potiskajo dnevnike v Logstash. Drugi vir je AWS Lambda hlodi, ki se potegnejo v Kinesis in nato v Logstash. Nazadnje, ločen samostojni primerek Filebeat potegne analizo dnevnika in jih postavi v CloudWatch in nato v Logstash. Posledica tega je, da se številni viri dnevnikov povlečejo ali potisnejo v Logstash in obdelajo z modulom Application Observability in Amazon Comprehend, preden se shranijo v Elasticsearch.
Ločen modul Terraform zagotavlja vso infrastrukturo, ki je potrebna za postavitev storitve Logstash, ki lahko izvaža dnevnike iz skupin dnevnikov CloudWatch v Elasticsearch prek AWS PrivateLink Končna točka VPC. Storitev Logstash je mogoče integrirati tudi z Amazon ECS prek a konfiguracija dnevnika Firelens, pri čemer Amazon ECS vzpostavlja povezljivost prek Amazonska pot 53 zapis. Razširljivost je vgrajena s skaliranjem Kinesis na zahtevo (čeprav je ekipa začela s fiksnimi drobci, zdaj pa prehaja na uporabo na zahtevo), Logstash pa se poveča z dodatnimi Amazonski elastični računalniški oblak (Amazon EC2) instance za NLB zaradi protokolov, ki jih uporablja Filebeat, in omogoča Logstashu učinkovitejše črpanje dnevnikov iz Kinesis.
Storitev Logstash je sestavljena iz definicije naloge, ki vsebuje vsebnik Logstash in vsebnik za urejanje PII, ki zagotavlja odstranitev PII pred izvozom v Elasticsearch.
Rezultati
Inženirski ekipi je uspelo zgraditi in preizkusiti rešitev v enem tednu, ne da bi morali razumeti strojno učenje (ML) ali delovanje AI z uporabo Video navodila Amazon Comprehend, API referenčna dokumentacijain primer kode. Ker so lastniki poslovnih izdelkov tako hitro dokazali poslovno vrednost, so začeli razvijati nove primere uporabe za izkoriščanje storitve. Za rešitev je bilo treba sprejeti nekaj odločitev. Čeprav je inženirska ekipa platforme vedela, da lahko popravi podatke, je želela prestreči dnevnike iz trenutne rešitve (na podlagi Fluent Bit sidecar za preusmeritev dnevnikov na končno točko). Odločili so se sprejeti Logstash, da bi omogočili prestrezanje polj dnevnika prek cevovodov za integracijo s svojo storitvijo PII (ki obsega modul Terraform in storitev Java).
Sprejetje Logstasha je sprva potekalo nemoteno. Inženirski oddelki skupine Very Group zdaj uporabljajo storitev neposredno prek končne točke API, da dnevnike shranijo naravnost v Elasticsearch. To jim je omogočilo, da svojo končno točko zamenjajo s stranske prikolice na novo končno točko in jo razmestijo prek modula Terraform. Edina težava, ki jo je imela ekipa, je bila zaradi začetnih testov, ki so razkrili težavo s hitrostjo pri testiranju z največjimi obremenitvami trgovanja. To je bilo premagano s prilagoditvami kode Java.
Naslednja koda prikazuje, kako The Very Group uporablja Amazon Comprehend za odstranjevanje PII iz dnevniških sporočil. Zazna vse podatke, ki omogočajo osebno prepoznavo, in ustvari seznam vrst entitet za beleženje. Za pospešitev razvoja je bila koda vzeta iz dokumentacije AWS in prilagojena za uporabo v aplikacijski storitvi Java, nameščeni na Fargate.
Naslednji posnetek zaslona prikazuje izhodne podatke, poslane v Elasticsearch kot del postopka redakcije PII. Storitev ustvari 1 milijon zapisov na dan, pri čemer ustvari zapis vsakič, ko je narejena redakcija.
Sporočilo dnevnika je redigirano, polje redacted_entities pa vsebuje seznam tipov entitet, najdenih v sporočilu. V tem primeru je primer našel URL, vendar bi lahko identificiral katero koli vrsto podatkov PII, ki v veliki meri temelji na vgrajenih vrstah PII. Prek Amazon Comprehend je bila dodana dodatna vrsta PII po meri za številko računa stranke, vendar do zdaj ni bila potrebna. Preglasitve na ravni inženirske ekipe so dokumentirane v GitHubu o tem, kako jih uporabljati.
zaključek
Ta projekt je The Very Group omogočil implementacijo hitre in preproste rešitve za urejanje občutljivih PII v dnevnikih. Inženirska ekipa je dodala dodatno prilagodljivost, ki je omogočila preglasitve za tipe entitet, z uporabo Amazon Comprehend za zagotavljanje prilagodljivosti za urejanje PII na podlagi poslovnih potreb. V prihodnosti si inženirska ekipa prizadeva za usposabljanje posameznih entitet Amazon Comprehend za redigiranje nizov, kot so naši ID-ji strank.
Rezultat rešitve je, da lahko skupina The Very Group svobodno posreduje dnevnike brez skrbi. Uveljavlja politiko, da osebnih podatkov ni shranjenih v dnevnikih, s čimer se zmanjša tveganje in izboljša skladnost. Poleg tega se metapodatki, ki so redigirani, poročajo podjetju prek nadzorne plošče Elasticsearch, kar omogoča opozorila in nadaljnje ukrepanje.
Vzemite si čas za oceno storitev AWS AI/ML, ki jih vaša organizacija še ni uporabljala, in spodbujajte kulturo eksperimentiranja. Če začnete preprosto, lahko hitro prinesete poslovne koristi, kot je dokazal The Very Group.
O Author
Andy Whittle je glavni inženir platforme – Application & Reliability Frameworks v The Very Group, ki upravlja digitalno trgovino Very s sedežem v Veliki Britaniji. Andy pomaga izvajati spremljanje uspešnosti v plemenih organizacije in se posebej zanima za spremljanje aplikacij, opazljivost in učinkovitost. Odkar se je leta 1998 pridružil podjetju Very, je Andy opravljal najrazličnejše vloge, ki zajemajo upravljanje vsebine in proizvodnjo katalogov, upravljanje zalog, podporo proizvodnji, DevOps in Fusion Middleware. Zadnja 4 leta je bil del inženirske ekipe platforme.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Sposobna
- O meni
- pospeši
- Račun
- vodenje računa
- čez
- Ukrep
- dejavnosti
- dejavnost
- dodano
- Dodatne
- sprejme
- Sprejetje
- Prednost
- AI
- Storitve AI
- AI / ML
- vsi
- Dovoli
- Čeprav
- Amazon
- Amazonsko razumevanje
- Amazon EC2
- Analiza
- in
- Še ena
- API
- uporaba
- aplikacije
- Arhitektura
- avtomatizirati
- Avtomatizirano
- AWS
- nazaj
- temeljijo
- pred
- zadaj
- počutje
- koristi
- med
- Bit
- izgradnjo
- zgrajena
- vgrajeno
- poslovni
- poziva
- lahko
- zajemanje
- primeru
- primeri
- Katalog
- Koda
- skladnost
- razumeti
- Izračunajte
- Koncept
- Povezovanje
- Posoda
- Vsebuje
- vsebina
- bi
- kritje
- ustvaril
- ustvari
- kritično
- Kultura
- Trenutna
- stranka
- podatki o strankah
- Stranke, ki so
- Armaturna plošča
- datum
- dan
- odločil
- odločitve
- Defense
- poda
- Povpraševanje
- Dokazano
- dokazuje
- razporedi
- razporejeni
- Oblikovanje
- Razvoj
- razvili
- razvoju
- Razvoj
- digitalni
- neposredno
- dokument
- Dokumentacija
- Dokumenti
- navzdol
- vsak
- učinkovito
- učinkovitosti
- omogočajo
- omogoča
- omogočanje
- Končna točka
- inženir
- Inženiring
- zagotoviti
- subjekti
- entiteta
- okolja
- vzpostavitev
- Primer
- Primeri
- poskus
- ekstrakt
- Nekaj
- Polje
- Področja
- končno
- finančna
- finančne storitve
- Všita
- prilagodljivost
- prilagodljiv
- po
- obrazec
- Spodbujati
- je pokazala,
- okviri
- Svoboda
- iz
- v celoti
- nadalje
- Poleg tega
- fuzija
- Prihodnost
- ustvarja
- ustvarjajo
- GitHub
- Cilj
- skupina
- Skupine
- Gost
- Gost Prispevek
- Ravnanje
- ob
- Pomaga
- Označite
- Kako
- Kako
- Vendar
- HTML
- HTTPS
- identificirati
- identificirati
- izvajati
- izvedbe
- izboljšanje
- izboljšanju
- in
- vključujejo
- Vključno
- individualna
- Podatki
- Infrastruktura
- začetna
- na začetku
- pobuda
- vpogled
- primer
- integrirati
- integrirana
- obresti
- notranji
- razišče
- vključeni
- vprašanje
- IT
- Java
- pridružil
- Oznake
- jezik
- v veliki meri
- plast
- vodi
- UČITE
- učenje
- Seznam
- obremenitve
- si
- stroj
- strojno učenje
- je
- IZDELA
- upravlja
- upravljanje
- več
- Sporočilo
- sporočil
- metapodatki
- Meritve
- milijonov
- milijoni
- ML
- modeliranje
- Moduli
- spremljanje
- več
- naravna
- Obdelava Natural Language
- potrebujejo
- potrebe
- Novo
- nlp
- Številka
- deluje
- deluje
- operacije
- Možnost
- možnosti
- Da
- Organizacija
- Premagajte
- premoč
- Lastniki
- del
- zlasti
- vozovnice
- Podaje
- preteklosti
- Plačilo
- Peak
- performance
- obdobja
- Osebno
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- politika
- Prispevek
- potencial
- preprečiti
- , ravnateljica
- Predhodna
- prednostna naloga
- zasebna
- Težave
- Postopek
- Predelano
- Procesi
- obravnavati
- Izdelek
- proizvodnja
- Projekt
- dokazilo
- dokaz koncepta
- protokoli
- dokazano
- zagotavljajo
- zagotavlja
- vlečenje
- Potegne
- nakupi
- Push
- potisnilo
- dal
- Postavlja
- Hitro
- hitro
- zapis
- evidence
- preusmeriti
- zmanjša
- zmanjšanje
- Razmerje
- zanesljivost
- odstranitev
- odstrani
- odstranjevanje
- Prijavljeno
- zahteva
- obvezna
- zahteva
- Odgovor
- povzroči
- trgovec na drobno
- vrnitev
- vrne
- Razkrito
- Pregledal
- Tveganje
- vloge
- Pot
- tek
- Prilagodljivost
- luske
- skaliranje
- brez težav
- sekund
- Varno
- varnost
- pošiljanja
- občutljiva
- Storitev
- Storitve
- Kratke Hlače
- Razstave
- Enostavno
- saj
- So
- doslej
- Rešitev
- nekaj
- vir
- Viri
- hitrost
- pomlad
- vzmetni čevelj
- postopka
- stati
- samostojna
- začel
- Začetek
- zaloge
- trgovina
- shranjeni
- naravnost
- taka
- podpora
- Preklop
- sistemi
- Bodite
- meni
- Naloga
- skupina
- Terraform
- Test
- Testiranje
- testi
- O
- njihove
- s tem
- Grožnja
- skozi
- čas
- do
- vrh
- Trace
- Trgovanje
- usposobljeni
- usposabljanje
- Trends
- Vrste
- Uk
- razumeli
- URL
- Uporaba
- uporaba
- vrednost
- raznolikost
- preko
- Video
- hotel
- teden
- ki
- široka
- v
- brez
- delal
- deluje
- let
- Vaša rutina za
- zefirnet