Ini adalah posting tamu oleh Andy Whittle, Insinyur Platform Utama – Kerangka Kerja Aplikasi & Keandalan di The Very Group.
At Kelompok Sangat, yang mengoperasikan peritel digital Very, keamanan menjadi prioritas utama dalam menangani data bagi jutaan pelanggan. Bagian dari cara The Very Group mengamankan dan melacak operasi bisnis adalah melalui pencatatan aktivitas antar sistem bisnis (misalnya, di seluruh tahapan pesanan pelanggan). Ini adalah persyaratan operasi yang penting dan memungkinkan The Very Group untuk melacak insiden dan secara proaktif mengidentifikasi masalah dan tren. Namun, ini dapat berarti memproses data pelanggan dalam bentuk informasi identitas pribadi (PII) sehubungan dengan aktivitas seperti pembelian, pengembalian, penggunaan opsi pembayaran fleksibel, dan pengelolaan akun.
Dalam postingan ini, The Very Group menunjukkan bagaimana mereka menggunakannya Amazon Comprehend untuk menambahkan lapisan pertahanan otomatis lebih lanjut di atas kebijakan untuk merancang pemodelan ancaman ke dalam semua sistem, untuk mencegah PII dikirim dalam data log ke Elasticsearch untuk pengindeksan. Amazon Comprehend adalah layanan pemrosesan bahasa alami (NLP) yang dikelola sepenuhnya dan terus dilatih yang dapat mengekstrak wawasan tentang konten dokumen atau teks.
Ikhtisar solusi
Tujuan utama tim teknik The Very Group adalah untuk mencegah data PII mencapai dokumen dalam Elasticsearch. Untuk mencapai hal ini dan mengotomatiskan penghapusan PII dari jutaan rekaman yang teridentifikasi per hari, tim teknis The Very Group membuat modul Application Observability di Terraform. Modul ini mengimplementasikan solusi observabilitas, termasuk log aplikasi, pemantauan kinerja aplikasi (APM), dan metrik. Di dalam modul, tim menggunakan Amazon Comprehend untuk menyorot PII dalam data log dengan opsi untuk menghapusnya sebelum dikirim ke Elasticsearch.
Amazon Comprehend diidentifikasi sebagai bagian dari inisiatif rekayasa platform internal untuk menyelidiki bagaimana layanan AI AWS dapat digunakan untuk meningkatkan efisiensi dan mengurangi risiko dalam aktivitas bisnis berulang. Budaya Very Group untuk belajar dan bereksperimen berarti Amazon Comprehend ditinjau untuk penerapan menggunakan aplikasi Java untuk mempelajari cara kerjanya dengan data uji PII. Tim menggunakan contoh kode dalam dokumentasi untuk mempercepat pembuktian konsep dan dengan cepat membuktikan potensi dalam satu hari.
Tim teknik mengembangkan skema yang mendemonstrasikan bagaimana layanan redaksi PII dapat berintegrasi dengan logging The Very Group. Ini melibatkan pengembangan layanan mikro untuk hubungi Amazon Comprehend untuk mendeteksi data PII. Solusinya bekerja dengan meneruskan data log The Very Group melalui instance Logstash yang sedang berjalan Fargate AWS, yang membersihkan data menggunakan layanan pii-logstash-redaction lain yang dihosting Fargate berdasarkan aplikasi Spring Boot Java yang melakukan panggilan ke Amazon Comprehend untuk menghapus PII. Diagram berikut mengilustrasikan arsitektur ini.
Solusi Very Group mengambil log dari amazoncloudwatch dan Layanan Kontainer Amazon Elastic (Amazon ECS) dan meneruskan versi yang dibersihkan ke Elasticsearch untuk diindeks. Amazon Kinesis digunakan dalam solusi untuk menangkap dan menyimpan log dalam waktu singkat, dengan Logstash menarik log setiap beberapa detik.
Log bersumber dari banyak proses bisnis, termasuk pemesanan, pengembalian, dan Layanan Keuangan. Mereka menyertakan log dari lebih dari 200 aplikasi Amazon ECS di seluruh lingkungan pengujian dan prod di Fargate yang mendorong log ke Logstash. Sumber lain adalah AWS Lambda log yang ditarik ke Kinesis dan kemudian ditarik ke Logstash. Terakhir, instance terpisah dari Filebeat menarik analisis log dan memasukkannya ke CloudWatch lalu ke Logstash. Hasilnya adalah banyak sumber log ditarik atau didorong ke Logstash dan diproses oleh modul Application Observability dan Amazon Comprehend sebelum disimpan di Elasticsearch.
Modul Terraform terpisah menyediakan semua infrastruktur yang diperlukan untuk menjalankan layanan Logstash yang mampu mengekspor log dari grup log CloudWatch ke Elasticsearch melalui Tautan Pribadi AWS titik akhir VPC. Layanan Logstash juga dapat diintegrasikan dengan Amazon ECS melalui a konfigurasi log firelens, dengan Amazon ECS membangun konektivitas melalui Amazon Route 53 catatan. Skalabilitas dibangun dengan penskalaan Kinesis sesuai permintaan (meskipun tim memulai dengan pecahan tetap, tetapi sekarang beralih ke penggunaan sesuai permintaan), dan Logstash menskalakan dengan tambahan Cloud komputasi elastis Amazon (Amazon EC2) di balik NLB karena protokol yang digunakan oleh Filebeat dan memungkinkan Logstash menarik log dari Kinesis dengan lebih efektif.
Terakhir, layanan Logstash terdiri dari definisi tugas yang berisi wadah Logstash dan wadah redaksi PII, memastikan penghapusan PII sebelum mengekspor ke Elasticsearch.
Hasil
Tim teknik dapat membangun dan menguji solusi dalam waktu seminggu, tanpa perlu memahami pembelajaran mesin (ML) atau cara kerja AI, menggunakan Panduan video Amazon Comprehend, dokumentasi referensi API, dan contoh kode. Setelah mendemonstrasikan nilai bisnis dengan sangat cepat, pemilik produk bisnis mulai mengembangkan kasus penggunaan baru untuk memanfaatkan layanan ini. Beberapa keputusan harus dibuat untuk mengaktifkan solusi. Meskipun tim rekayasa platform mengetahui bahwa mereka dapat menyunting data, mereka ingin mencegat log dari solusi saat ini (berdasarkan sidecar Fluent Bit untuk mengalihkan log ke titik akhir). Mereka memutuskan untuk mengadopsi Logstash guna mengaktifkan intersepsi bidang log melalui pipeline untuk diintegrasikan dengan layanan PII mereka (terdiri dari modul Terraform dan layanan Java).
Adopsi Logstash awalnya dilakukan dengan mulus. Regu teknik Very Group sekarang menggunakan layanan ini secara langsung melalui titik akhir API untuk memasukkan log langsung ke Elasticsearch. Ini memungkinkan mereka untuk mengalihkan titik akhir mereka dari sidecar ke titik akhir baru dan menyebarkannya melalui modul Terraform. Satu-satunya masalah yang dimiliki tim adalah dari pengujian awal yang mengungkapkan masalah kecepatan saat pengujian dengan beban perdagangan puncak. Ini diatasi melalui penyesuaian kode Java.
Kode berikut menunjukkan bagaimana The Very Group menggunakan Amazon Comprehend untuk menghapus PII dari pesan log. Ini mendeteksi PII apa pun dan membuat daftar jenis entitas untuk direkam. Untuk mempercepat pengembangan, kode diambil dari dokumentasi AWS dan diadaptasi untuk digunakan dalam layanan aplikasi Java yang diterapkan di Fargate.
Tangkapan layar berikut menampilkan output yang dikirim ke Elasticsearch sebagai bagian dari proses redaksi PII. Layanan menghasilkan 1 juta catatan per hari, menghasilkan catatan setiap kali redaksi dibuat.
Pesan log disunting, dan bidang redacted_entities berisi daftar jenis entitas yang ditemukan dalam pesan. Dalam hal ini, contoh tersebut menemukan URL, tetapi dapat mengidentifikasi semua jenis data PII yang sebagian besar didasarkan pada jenis PII bawaan. Jenis PII pesanan tambahan untuk nomor akun pelanggan telah ditambahkan melalui Amazon Comprehend, tetapi sejauh ini belum diperlukan. Pengesampingan tingkat regu teknik didokumentasikan di GitHub tentang cara menggunakannya.
Kesimpulan
Proyek ini memungkinkan The Very Group menerapkan solusi cepat dan sederhana untuk menyunting PII sensitif dalam log. Tim teknik menambahkan fleksibilitas lebih lanjut yang memungkinkan penggantian untuk jenis entitas, menggunakan Amazon Comprehend untuk memberikan fleksibilitas untuk menyunting PII berdasarkan kebutuhan bisnis. Di masa mendatang, tim teknis sedang mempertimbangkan untuk melatih entitas individu Amazon Comprehend untuk menyunting string seperti ID pelanggan kami.
Hasil dari solusi tersebut adalah The Very Group memiliki kebebasan untuk memasukkan log tanpa perlu khawatir. Ini memberlakukan kebijakan untuk tidak menyimpan PII dalam log, sehingga mengurangi risiko dan meningkatkan kepatuhan. Selain itu, metadata yang sedang disunting dilaporkan kembali ke bisnis melalui dasbor Elasticsearch, mengaktifkan peringatan dan tindakan lebih lanjut.
Luangkan waktu untuk menilai layanan AI/ML AWS yang belum digunakan organisasi Anda dan kembangkan budaya eksperimen. Memulai dengan sederhana dapat dengan cepat menghasilkan keuntungan bisnis, seperti yang dibuktikan oleh The Very Group.
tentang Penulis
Andy Whittle adalah Principal Platform Engineer – Application & Reliability Frameworks di The Very Group, yang mengoperasikan peritel digital Very yang berbasis di Inggris. Andy membantu menyampaikan pemantauan kinerja di seluruh suku organisasi, dan memiliki minat khusus dalam pemantauan aplikasi, keteramatan, dan kinerja. Sejak bergabung dengan Very pada tahun 1998, Andy telah melakukan berbagai macam peran yang mencakup manajemen konten dan produksi katalog, manajemen stok, dukungan produksi, DevOps, dan Fusion Middleware. Selama 4 tahun terakhir, dia telah menjadi bagian dari tim rekayasa platform.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Sanggup
- Tentang Kami
- mempercepat
- Akun
- manajemen akun
- di seluruh
- Tindakan
- kegiatan
- kegiatan
- menambahkan
- Tambahan
- mengambil
- Adopsi
- Keuntungan
- AI
- Layanan AI
- AI / ML
- Semua
- Membiarkan
- Meskipun
- Amazon
- Amazon Comprehend
- Amazon EC2
- analisis
- dan
- Lain
- api
- Aplikasi
- aplikasi
- arsitektur
- mengotomatisasikan
- Otomatis
- AWS
- kembali
- berdasarkan
- sebelum
- di belakang
- makhluk
- manfaat
- antara
- Bit
- membangun
- dibangun di
- built-in
- bisnis
- Panggilan
- mampu
- menangkap
- kasus
- kasus
- katalog
- kode
- pemenuhan
- memahami
- menghitung
- konsep
- Konektivitas
- Wadah
- mengandung
- Konten
- bisa
- penutup
- dibuat
- menciptakan
- kritis
- budaya
- terbaru
- pelanggan
- data pelanggan
- pelanggan
- dasbor
- data
- hari
- memutuskan
- keputusan
- Pertahanan
- menyampaikan
- Permintaan
- menunjukkan
- menunjukkan
- menyebarkan
- dikerahkan
- Mendesain
- mengembangkan
- dikembangkan
- berkembang
- Pengembangan
- digital
- langsung
- dokumen
- dokumentasi
- dokumen
- turun
- setiap
- efektif
- efisiensi
- aktif
- memungkinkan
- memungkinkan
- Titik akhir
- insinyur
- Teknik
- memastikan
- entitas
- entitas
- lingkungan
- membangun
- contoh
- contoh
- eksperimen
- ekstrak
- beberapa
- bidang
- Fields
- Akhirnya
- keuangan
- jasa keuangan
- tetap
- keluwesan
- fleksibel
- berikut
- bentuk
- Membantu perkembangan
- ditemukan
- kerangka
- Kebebasan
- dari
- sepenuhnya
- lebih lanjut
- Selanjutnya
- fusi
- masa depan
- menghasilkan
- menghasilkan
- GitHub
- tujuan
- Kelompok
- Grup
- Tamu
- tamu Post
- Penanganan
- memiliki
- membantu
- Menyoroti
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- HTTPS
- diidentifikasi
- mengenali
- melaksanakan
- mengimplementasikan
- memperbaiki
- meningkatkan
- in
- memasukkan
- Termasuk
- sendiri-sendiri
- informasi
- Infrastruktur
- mulanya
- mulanya
- Prakarsa
- wawasan
- contoh
- mengintegrasikan
- terpadu
- bunga
- intern
- menyelidiki
- terlibat
- isu
- IT
- Jawa
- bergabung
- Label
- bahasa
- sebagian besar
- lapisan
- memimpin
- BELAJAR
- pengetahuan
- Daftar
- beban
- mencari
- mesin
- Mesin belajar
- terbuat
- MEMBUAT
- berhasil
- pengelolaan
- banyak
- pesan
- pesan
- Metadata
- Metrik
- juta
- jutaan
- ML
- pemodelan
- Modul
- pemantauan
- lebih
- Alam
- Pengolahan Bahasa alami
- membutuhkan
- kebutuhan
- New
- nLP
- jumlah
- beroperasi
- operasi
- Operasi
- pilihan
- Opsi
- urutan
- organisasi
- Mengatasi
- utama
- pemilik
- bagian
- tertentu
- melewati
- Lewat
- lalu
- pembayaran
- Puncak
- prestasi
- periode
- Sendiri
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Kebijakan
- kebijaksanaan
- Pos
- potensi
- mencegah
- Utama
- Sebelumnya
- prioritas
- swasta
- masalah
- proses
- Diproses
- proses
- pengolahan
- Produk
- Produksi
- proyek
- bukti
- bukti konsep
- protokol
- terbukti
- memberikan
- menyediakan
- menarik
- Menarik
- pembelian
- Dorong
- terdorong
- menempatkan
- Menempatkan
- Cepat
- segera
- catatan
- arsip
- redirect
- menurunkan
- mengurangi
- hubungan
- keandalan
- pemindahan
- menghapus
- menghapus
- Dilaporkan
- permintaan
- wajib
- kebutuhan
- tanggapan
- mengakibatkan
- pengecer
- kembali
- Pengembalian
- Terungkap
- review jurnal
- Risiko
- peran
- Rute
- berjalan
- Skalabilitas
- sisik
- skala
- mulus
- detik
- Mengamankan
- keamanan
- mengirim
- peka
- layanan
- Layanan
- Pendek
- Pertunjukkan
- Sederhana
- sejak
- So
- sejauh ini
- larutan
- beberapa
- sumber
- sumber
- kecepatan
- musim semi
- sepatu bot musim semi
- magang
- berdiri
- standalone
- mulai
- Mulai
- saham
- menyimpan
- tersimpan
- lurus
- seperti itu
- mendukung
- Beralih
- sistem
- Mengambil
- Dibutuhkan
- tugas
- tim
- Terraform
- uji
- pengujian
- tes
- Grafik
- mereka
- dengan demikian
- ancaman
- Melalui
- waktu
- untuk
- puncak
- Jejak
- Trading
- terlatih
- Pelatihan
- Tren
- jenis
- Uk
- memahami
- URL
- penggunaan
- menggunakan
- nilai
- variasi
- melalui
- Video
- ingin
- minggu
- yang
- lebar
- dalam
- tanpa
- bekerja
- kerja
- tahun
- Anda
- zephyrnet.dll