Αυτή είναι η δημοσίευση επισκέπτη από τον Andy Whittle, Κύριο Μηχανικό Πλατφόρμας – Πλαίσια Εφαρμογών & Αξιοπιστίας στο The Very Group.
At Η Ομάδα πολύ, που διαχειρίζεται το ψηφιακό κατάστημα λιανικής Πολύ, η ασφάλεια είναι κορυφαία προτεραιότητα στο χειρισμό δεδομένων για εκατομμύρια πελάτες. Μέρος του τρόπου με τον οποίο το The Very Group διασφαλίζει και παρακολουθεί τις επιχειρηματικές δραστηριότητες είναι μέσω της καταγραφής δραστηριοτήτων μεταξύ επιχειρηματικών συστημάτων (για παράδειγμα, στα στάδια μιας παραγγελίας πελάτη). Είναι μια κρίσιμη απαίτηση λειτουργίας και επιτρέπει στο The Very Group να εντοπίζει συμβάντα και να εντοπίζει προληπτικά προβλήματα και τάσεις. Ωστόσο, αυτό μπορεί να σημαίνει επεξεργασία δεδομένων πελατών με τη μορφή προσωπικών πληροφοριών (PII) σε σχέση με δραστηριότητες όπως αγορές, επιστροφές, χρήση ευέλικτων επιλογών πληρωμής και διαχείριση λογαριασμού.
Σε αυτήν την ανάρτηση, το The Very Group δείχνει πώς χρησιμοποιούν Κατανοήστε το Amazon για να προσθέσετε ένα επιπλέον επίπεδο αυτοματοποιημένης άμυνας πάνω από τις πολιτικές για το σχεδιασμό μοντελοποίησης απειλών σε όλα τα συστήματα, για να αποτρέψετε την αποστολή PII σε δεδομένα καταγραφής στο Elasticsearch για ευρετηρίαση. Το Amazon Comprehend είναι μια πλήρως διαχειριζόμενη και συνεχώς εκπαιδευμένη υπηρεσία επεξεργασίας φυσικής γλώσσας (NLP) που μπορεί να εξάγει πληροφορίες σχετικά με το περιεχόμενο ενός εγγράφου ή κειμένου.
Επισκόπηση της λύσης
Ο πρωταρχικός στόχος για την ομάδα μηχανικών του The Very Group ήταν να εμποδίσει τυχόν δεδομένα PII να φτάσουν σε έγγραφα εντός του Elasticsearch. Για να επιτευχθεί αυτό και να αυτοματοποιηθεί η αφαίρεση PII από εκατομμύρια αναγνωρισμένες εγγραφές ανά ημέρα, η ομάδα μηχανικών του The Very Group δημιούργησε μια ενότητα Application Observability στο Terraform. Αυτή η ενότητα υλοποιεί μια λύση παρατηρητικότητας, συμπεριλαμβανομένων των αρχείων καταγραφής εφαρμογών, της παρακολούθησης απόδοσης εφαρμογών (APM) και των μετρήσεων. Εντός της ενότητας, η ομάδα χρησιμοποίησε το Amazon Comprehend για να επισημάνει τα PII μέσα στα δεδομένα καταγραφής με την επιλογή να τα αφαιρέσει πριν τα στείλει στο Elasticsearch.
Το Amazon Comprehend αναγνωρίστηκε ως μέρος μιας πρωτοβουλίας μηχανικής εσωτερικής πλατφόρμας για τη διερεύνηση του τρόπου με τον οποίο μπορούν να χρησιμοποιηθούν οι υπηρεσίες AWS AI για τη βελτίωση της αποτελεσματικότητας και τη μείωση του κινδύνου σε επαναλαμβανόμενες επιχειρηματικές δραστηριότητες. Η κουλτούρα του The Very Group για μάθηση και πειραματισμό σήμαινε ότι το Amazon Comprehend ελέγχθηκε ως προς τη δυνατότητα εφαρμογής χρησιμοποιώντας μια εφαρμογή Java για να μάθει πώς λειτουργούσε με δεδομένα PII δοκιμής. Η ομάδα χρησιμοποίησε παραδείγματα κώδικα στην τεκμηρίωση για να επιταχύνει την απόδειξη της ιδέας και γρήγορα απέδειξε ότι είναι δυνατό μέσα σε μια μέρα.
Η ομάδα μηχανικών ανέπτυξε ένα σχηματικό που δείχνει πώς μια υπηρεσία επεξεργασίας PII θα μπορούσε να ενσωματωθεί με την καταγραφή του The Very Group. Περιλάμβανε την ανάπτυξη μιας μικρουπηρεσίας για καλέστε το Amazon Comprehend για να εντοπίσετε δεδομένα PII. Η λύση λειτούργησε μεταβιβάζοντας τα δεδομένα καταγραφής του The Very Group μέσω μιας παρουσίας Logstash που εκτελείται AWS Fargate, το οποίο καθαρίζει τα δεδομένα χρησιμοποιώντας μια άλλη υπηρεσία pii-logstash-redaction που φιλοξενείται από το Fargate που βασίζεται σε μια εφαρμογή Spring Boot Java που πραγματοποιεί κλήσεις στο Amazon Comprehend για κατάργηση PII. Το παρακάτω διάγραμμα απεικονίζει αυτήν την αρχιτεκτονική.
Η λύση του The Very Group προέρχεται από αρχεία καταγραφής amazoncloudwatch και Υπηρεσία ελαστικών εμπορευματοκιβωτίων Amazon (Amazon ECS) και περνά τις καθαρισμένες εκδόσεις στο Elasticsearch για ευρετηρίαση. Amazon Kinesis χρησιμοποιείται στη λύση για τη σύλληψη και αποθήκευση αρχείων καταγραφής για σύντομα χρονικά διαστήματα, με το Logstash να τραβάει τα αρχεία καταγραφής κάθε λίγα δευτερόλεπτα.
Τα αρχεία καταγραφής προέρχονται από πολλές επιχειρηματικές διαδικασίες, συμπεριλαμβανομένων των παραγγελιών, των επιστροφών και των χρηματοοικονομικών υπηρεσιών. Περιλαμβάνουν αρχεία καταγραφής από περισσότερες από 200 εφαρμογές Amazon ECS σε περιβάλλοντα δοκιμής και παραγωγής στο Fargate που ωθούν τα αρχεία καταγραφής στο Logstash. Μια άλλη πηγή είναι AWS Lambda κούτσουρα που σύρονται στο Kinesis και στη συνέχεια σύρονται στο Logstash. Τέλος, μια ξεχωριστή αυτόνομη παρουσία του Filebeat τραβάει την ανάλυση αρχείων καταγραφής και τα τοποθετεί στο CloudWatch και μετά στο Logstash. Το αποτέλεσμα είναι ότι πολλές πηγές αρχείων καταγραφής έλκονται ή προωθούνται στο Logstash και υποβάλλονται σε επεξεργασία από τη λειτουργική μονάδα Παρατηρησιμότητας Εφαρμογών και το Amazon Comprehend πριν αποθηκευτούν στο Elasticsearch.
Μια ξεχωριστή ενότητα Terraform παρέχει όλη την υποδομή που απαιτείται για την ανάπτυξη μιας υπηρεσίας Logstash ικανή να εξάγει αρχεία καταγραφής από ομάδες καταγραφής CloudWatch στο Elasticsearch μέσω AWS PrivateLink Τελικό σημείο VPC. Η υπηρεσία Logstash μπορεί επίσης να ενσωματωθεί με το Amazon ECS μέσω α διαμόρφωση αρχείου καταγραφής firelens, με το Amazon ECS να δημιουργεί συνδεσιμότητα μέσω ενός Η διαδρομή του Αμαζονίου 53 Ρεκόρ. Η επεκτασιμότητα είναι ενσωματωμένη με την κλιμάκωση Kinesis κατ' απαίτηση (αν και η ομάδα ξεκίνησε με σταθερά θραύσματα, αλλά τώρα μεταβαίνει στη χρήση κατ' απαίτηση) και το Logstash μειώνεται με επιπλέον Amazon Elastic Compute Cloud (Amazon EC2) εμφανίζονται πίσω από ένα NLB λόγω πρωτοκόλλων που χρησιμοποιούνται από το Filebeat και επιτρέπει στο Logstash να τραβάει πιο αποτελεσματικά αρχεία καταγραφής από το Kinesis.
Τέλος, η υπηρεσία Logstash αποτελείται από έναν ορισμό εργασιών που περιέχει ένα κοντέινερ Logstash και ένα κοντέινερ επεξεργασίας PII, διασφαλίζοντας την αφαίρεση των PII πριν από την εξαγωγή στο Elasticsearch.
Αποτελέσματα
Η ομάδα μηχανικών μπόρεσε να κατασκευάσει και να δοκιμάσει τη λύση μέσα σε μια εβδομάδα, χωρίς να χρειάζεται να κατανοήσει τη μηχανική μάθηση (ML) ή τη λειτουργία του AI, χρησιμοποιώντας Οδηγίες βίντεο Amazon Comprehend, Τεκμηρίωση αναφοράς API, να παράδειγμα κώδικα. Έχοντας αποδείξει την επιχειρηματική αξία τόσο γρήγορα, οι ιδιοκτήτες επιχειρηματικών προϊόντων έχουν αρχίσει να αναπτύσσουν νέες περιπτώσεις χρήσης για να επωφεληθούν από την υπηρεσία. Έπρεπε να ληφθούν κάποιες αποφάσεις για να καταστεί δυνατή η λύση. Παρόλο που η ομάδα μηχανικών πλατφόρμας γνώριζε ότι μπορούσε να επεξεργαστεί τα δεδομένα, ήθελε να υποκλέψει τα αρχεία καταγραφής από την τρέχουσα λύση (με βάση ένα Fluent Bit sidecar για να ανακατευθύνει τα αρχεία καταγραφής σε ένα τελικό σημείο). Αποφάσισαν να υιοθετήσουν το Logstash για να επιτρέψουν την παρακολούθηση πεδίων καταγραφής μέσω αγωγών για να ενσωματωθούν με την υπηρεσία PII τους (που περιλαμβάνει τη μονάδα Terraform και την υπηρεσία Java).
Η υιοθέτηση του Logstash έγινε αρχικά απρόσκοπτα. Οι ομάδες μηχανικών της Very Group χρησιμοποιούν τώρα την υπηρεσία απευθείας μέσω ενός τερματικού σημείου API για να τοποθετήσουν αρχεία καταγραφής κατευθείαν στο Elasticsearch. Αυτό τους επέτρεψε να αλλάξουν το τελικό σημείο τους από το πλαϊνό καρέ στο νέο τελικό σημείο και να το αναπτύξουν μέσω της μονάδας Terraform. Το μόνο πρόβλημα που είχε η ομάδα ήταν από τις αρχικές δοκιμές που αποκάλυψαν ένα πρόβλημα ταχύτητας κατά τη δοκιμή με φορτία αιχμής συναλλαγών. Αυτό ξεπεράστηκε μέσω προσαρμογών στον κώδικα Java.
Ο παρακάτω κώδικας δείχνει πώς το The Very Group χρησιμοποιεί το Amazon Comprehend για να αφαιρέσει PII από μηνύματα καταγραφής. Ανιχνεύει οποιοδήποτε PII και δημιουργεί μια λίστα τύπων οντοτήτων για εγγραφή. Για να επιταχυνθεί η ανάπτυξη, ο κώδικας ελήφθη από την τεκμηρίωση του AWS και προσαρμόστηκε για χρήση στην υπηρεσία εφαρμογής Java που έχει αναπτυχθεί στο Fargate.
Το ακόλουθο στιγμιότυπο οθόνης δείχνει την έξοδο που αποστέλλεται στο Elasticsearch ως μέρος της διαδικασίας επεξεργασίας PII. Η υπηρεσία δημιουργεί 1 εκατομμύριο εγγραφές την ημέρα, δημιουργώντας ένα ρεκόρ κάθε φορά που γίνεται μια επεξεργασία.
Το μήνυμα καταγραφής έχει διαγραφεί και το πεδίο redacted_entities περιέχει μια λίστα με τους τύπους οντοτήτων που βρίσκονται στο μήνυμα. Σε αυτήν την περίπτωση, το παράδειγμα βρήκε μια διεύθυνση URL, αλλά θα μπορούσε να έχει προσδιορίσει οποιονδήποτε τύπο δεδομένων PII σε μεγάλο βαθμό με βάση τους ενσωματωμένους τύπους PII. Ένας επιπλέον ειδικός τύπος PII για τον αριθμό λογαριασμού πελάτη προστέθηκε μέσω του Amazon Comprehend, αλλά δεν έχει χρειαστεί μέχρι στιγμής. Οι παρακάμψεις σε επίπεδο ομάδας μηχανικών τεκμηριώνονται στο GitHub σχετικά με τον τρόπο χρήσης τους.
Συμπέρασμα
Αυτό το έργο επέτρεψε στο The Very Group να εφαρμόσει μια γρήγορη και απλή λύση για τη διόρθωση ευαίσθητων PII σε αρχεία καταγραφής. Η ομάδα μηχανικών πρόσθεσε περαιτέρω ευελιξία επιτρέποντας παρακάμψεις για τύπους οντοτήτων, χρησιμοποιώντας το Amazon Comprehend για να παρέχει την ευελιξία για τη διόρθωση PII με βάση τις επιχειρηματικές ανάγκες. Στο μέλλον, η ομάδα μηχανικών εξετάζει την εκπαίδευση μεμονωμένων οντοτήτων του Amazon Comprehend για τη διόρθωση συμβολοσειρών όπως τα αναγνωριστικά πελατών μας.
Το αποτέλεσμα της λύσης είναι ότι το The Very Group έχει την ελευθερία να πραγματοποιεί αρχεία καταγραφής χωρίς να χρειάζεται να ανησυχεί. Επιβάλλει την πολιτική της μη αποθήκευσης PII σε αρχεία καταγραφής, μειώνοντας έτσι τον κίνδυνο και βελτιώνοντας τη συμμόρφωση. Επιπλέον, τα μεταδεδομένα που διορθώνονται αναφέρονται στην επιχείρηση μέσω ενός πίνακα ελέγχου του Elasticsearch, επιτρέποντας ειδοποιήσεις και περαιτέρω ενέργειες.
Αφιερώστε χρόνο για να αξιολογήσετε τις υπηρεσίες AWS AI/ML που δεν έχει χρησιμοποιήσει ακόμη ο οργανισμός σας και καλλιεργήστε μια κουλτούρα πειραματισμού. Το να ξεκινήσετε απλά μπορεί γρήγορα να οδηγήσει σε επιχειρηματικά οφέλη, όπως απέδειξε η The Very Group.
Σχετικά με το Συγγραφέας
Άντι Γουίτλ είναι Κύριος Μηχανικός Πλατφόρμας – Πλαίσια Εφαρμογών & Αξιοπιστίας στο The Very Group, το οποίο λειτουργεί το ψηφιακό κατάστημα λιανικής Very με έδρα το Ηνωμένο Βασίλειο. Ο Andy βοηθά στην παροχή παρακολούθησης απόδοσης σε όλες τις φυλές του οργανισμού και έχει ιδιαίτερο ενδιαφέρον για την παρακολούθηση, την παρατηρησιμότητα και την απόδοση εφαρμογών. Από τότε που έγινε μέλος της Very το 1998, ο Andy έχει αναλάβει μια μεγάλη ποικιλία ρόλων που καλύπτουν τη διαχείριση περιεχομένου και την παραγωγή καταλόγων, τη διαχείριση αποθεμάτων, την υποστήριξη παραγωγής, το DevOps και το Fusion Middleware. Τα τελευταία 4 χρόνια, είναι μέλος της ομάδας μηχανικών πλατφόρμας.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Ικανός
- Σχετικά
- επιταχύνουν
- Λογαριασμός
- διαχείριση λογαριασμών
- απέναντι
- Ενέργειες
- δραστηριοτήτων
- δραστηριότητα
- προστιθέμενη
- Πρόσθετος
- ενστερνίζομαι
- Υιοθεσία
- Πλεονέκτημα
- AI
- Υπηρεσίες AI
- AI / ML
- Όλα
- Επιτρέποντας
- Αν και
- Amazon
- Κατανοήστε το Amazon
- Amazon EC2
- ανάλυση
- και
- Άλλος
- api
- Εφαρμογή
- εφαρμογές
- αρχιτεκτονική
- αυτοματοποίηση
- Αυτοματοποιημένη
- AWS
- πίσω
- βασίζονται
- πριν
- πίσω
- είναι
- όφελος
- μεταξύ
- Κομμάτι
- χτίζω
- χτισμένο
- ενσωματωμένο
- επιχείρηση
- κλήσεις
- ικανός
- πιάνω
- περίπτωση
- περιπτώσεις
- κατάλογος
- κωδικός
- Συμμόρφωση
- κατανοώ
- Υπολογίστε
- έννοια
- Συνδεσιμότητα
- Δοχείο
- Περιέχει
- περιεχόμενο
- θα μπορούσε να
- κάλυμμα
- δημιουργήθηκε
- δημιουργεί
- κρίσιμης
- κουλτούρα
- Ρεύμα
- πελάτης
- στοιχεία πελάτη
- Πελάτες
- ταμπλό
- ημερομηνία
- ημέρα
- αποφάσισε
- αποφάσεις
- Άμυνα
- παραδώσει
- Ζήτηση
- κατέδειξε
- αποδεικνύοντας
- παρατάσσω
- αναπτυχθεί
- Υπηρεσίες
- ανάπτυξη
- αναπτύχθηκε
- ανάπτυξη
- Ανάπτυξη
- ψηφιακό
- κατευθείαν
- έγγραφο
- τεκμηρίωση
- έγγραφα
- κάτω
- κάθε
- αποτελεσματικά
- αποδοτικότητα
- ενεργοποιήσετε
- δίνει τη δυνατότητα
- ενεργοποίηση
- Τελικό σημείο
- μηχανικός
- Μηχανική
- εξασφαλίζοντας
- οντότητες
- οντότητα
- περιβάλλοντα
- δημιουργία
- παράδειγμα
- παραδείγματα
- πείραμα
- εκχύλισμα
- λίγοι
- πεδίο
- Πεδία
- Τελικά
- οικονομικός
- των χρηματοπιστωτικών υπηρεσιών
- καθορίζεται
- Ευελιξία
- εύκαμπτος
- Εξής
- μορφή
- Προώθηση
- Βρέθηκαν
- πλαισίων
- Ελευθερία
- από
- πλήρως
- περαιτέρω
- Επί πλέον
- συγχώνευση
- μελλοντικός
- δημιουργεί
- παραγωγής
- GitHub
- γκολ
- Group
- Ομάδα
- Επισκέπτης
- Κείμενο
- Χειρισμός
- που έχει
- βοηθά
- Επισημάνετε
- Πως
- Πώς να
- Ωστόσο
- HTML
- HTTPS
- προσδιορίζονται
- προσδιορίσει
- εφαρμογή
- υλοποιεί
- βελτίωση
- βελτίωση
- in
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- ατομικές
- πληροφορίες
- Υποδομή
- αρχικός
- αρχικά
- Πρωτοβουλία
- διορατικότητα
- παράδειγμα
- ενσωματώσει
- ενσωματωθεί
- τόκος
- εσωτερικός
- διερευνήσει
- συμμετέχουν
- ζήτημα
- IT
- Java
- ενώνει
- Ετικέτες
- Γλώσσα
- σε μεγάλο βαθμό
- στρώμα
- οδηγήσει
- ΜΑΘΑΊΝΩ
- μάθηση
- Λίστα
- φορτία
- κοιτάζοντας
- μηχανή
- μάθηση μηχανής
- που
- ΚΑΝΕΙ
- διαχειρίζεται
- διαχείριση
- πολοί
- μήνυμα
- μηνύματα
- Μεταδεδομένα
- Metrics
- εκατομμύριο
- εκατομμύρια
- ML
- πρίπλασμα
- Μονάδα μέτρησης
- παρακολούθηση
- περισσότερο
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- χρειάζονται
- ανάγκες
- Νέα
- nlp
- αριθμός
- λειτουργεί
- λειτουργίας
- λειτουργίες
- Επιλογή
- Επιλογές
- τάξη
- επιχειρήσεις
- Ξεπεράστε
- υπερισχύουσα
- ιδιοκτήτες
- μέρος
- Ειδικότερα
- περάσματα
- Πέρασμα
- Το παρελθόν
- πληρωμή
- Κορυφή
- επίδοση
- έμμηνα
- Προσωπικά
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Πολιτικές
- πολιτική
- Θέση
- δυναμικού
- πρόληψη
- Κύριος
- Πριν
- προτεραιότητα
- ιδιωτικός
- προβλήματα
- διαδικασια μας
- Επεξεργασμένο
- Διεργασίες
- μεταποίηση
- Προϊόν
- παραγωγή
- σχέδιο
- απόδειξη
- απόδειξη της έννοιας
- πρωτόκολλα
- αποδείχθηκε
- παρέχουν
- παρέχει
- τραβώντας
- Τραβά
- ψώνια
- Σπρώξτε
- πίεσε
- βάζω
- Βάζει
- Γρήγορα
- γρήγορα
- ρεκόρ
- αρχεία
- διευθύνω πάλιν
- μείωση
- μείωση
- σχέση
- αξιοπιστία
- αφαίρεση
- αφαιρέστε
- αφαίρεση
- αναφέρθηκαν
- ζητήσει
- απαιτείται
- απαίτηση
- απάντησης
- αποτέλεσμα
- έμπορος λιανικής
- απόδοση
- Επιστροφές
- Αποκαλυφθε'ντα
- αξιολόγηση
- Κίνδυνος
- ρόλους
- Διαδρομή
- τρέξιμο
- Απεριόριστες δυνατότητες
- Ζυγός
- απολέπιση
- άψογα
- δευτερόλεπτα
- Ασφαλείς
- ασφάλεια
- αποστολή
- ευαίσθητος
- υπηρεσία
- Υπηρεσίες
- Κοντά
- Δείχνει
- Απλούς
- αφού
- So
- μέχρι τώρα
- λύση
- μερικοί
- Πηγή
- Πηγές
- ταχύτητα
- άνοιξη
- μπότα άνοιξη
- στάδια
- σταθεί
- αυτόνομο
- ξεκίνησε
- Ξεκινήστε
- στοκ
- κατάστημα
- αποθηκεύονται
- ευθεία
- τέτοιος
- υποστήριξη
- διακόπτης
- συστήματα
- Πάρτε
- παίρνει
- Έργο
- Terraform
- δοκιμή
- Δοκιμές
- δοκιμές
- Η
- τους
- εκ τούτου
- απειλή
- Μέσω
- ώρα
- προς την
- κορυφή
- Ιχνος
- Διαπραγμάτευσης
- εκπαιδευμένο
- Εκπαίδευση
- Τάσεις
- τύποι
- Uk
- καταλαβαίνω
- URL
- Χρήση
- χρήση
- αξία
- ποικιλία
- μέσω
- Βίντεο
- ήθελε
- εβδομάδα
- Ποιό
- ευρύς
- εντός
- χωρίς
- εργάστηκαν
- εργαζόμενος
- χρόνια
- Σας
- zephyrnet