Bu, The Very Group'ta Uygulama ve Güvenilirlik Çerçeveleri - Baş Platform Mühendisi Andy Whittle'ın konuk gönderisidir.
At Çok GrupDijital perakendeci Very'i işleten , güvenlik, milyonlarca müşteri için verilerin işlenmesinde en önemli önceliktir. The Very Group'un iş operasyonlarını nasıl güvence altına aldığı ve takip ettiğinin bir kısmı, iş sistemleri arasında (örneğin, bir müşteri siparişinin aşamaları boyunca) etkinlik günlüğü tutmaktır. Kritik bir işletim gereksinimidir ve The Very Group'un olayları izlemesine ve proaktif olarak sorunları ve eğilimleri belirlemesine olanak tanır. Ancak bu, satın almalar, iadeler, esnek ödeme seçeneklerinin kullanımı ve hesap yönetimi gibi faaliyetlerle ilgili olarak kişisel olarak tanımlanabilir bilgiler (PII) biçimindeki müşteri verilerinin işlenmesi anlamına gelebilir.
Bu gönderide, The Very Group nasıl kullandıklarını gösteriyor Amazon Kavramak tüm sistemlerde tehdit modellemesi tasarlamak için politikaların üstüne başka bir otomatik savunma katmanı eklemek, günlük verilerinde PII'nin indeksleme için Elasticsearch'e gönderilmesini önlemek. Amazon Comprehend, bir belgenin veya metnin içeriği hakkında fikir edinebilen, tam olarak yönetilen ve sürekli olarak eğitilen bir doğal dil işleme (NLP) hizmetidir.
Çözüme genel bakış
The Very Group'un mühendislik ekibinin öncelikli hedefi, herhangi bir PII verisinin Elasticsearch içindeki belgelere ulaşmasını engellemekti. The Very Group'un mühendislik ekibi, bunu başarmak ve her gün tanımlanmış milyonlarca kayıttan PII'nin kaldırılmasını otomatikleştirmek için Terraform'da bir Uygulama Gözlemlenebilirliği modülü oluşturdu. Bu modül, uygulama günlükleri, uygulama performansı izleme (APM) ve ölçümler dahil olmak üzere bir gözlemlenebilirlik çözümü uygular. Modül içinde ekip, Elasticsearch'e göndermeden önce kaldırma seçeneğiyle birlikte günlük verileri içindeki PII'yi vurgulamak için Amazon Comprehend'i kullandı.
Amazon Comprehend, AWS AI hizmetlerinin verimliliği artırmak ve tekrarlayan iş faaliyetlerinde riski azaltmak için nasıl kullanılabileceğini araştırmak için dahili bir platform mühendisliği girişiminin parçası olarak belirlendi. Very Group'un öğrenme ve deneme kültürü, Amazon Comprehend'in test PII verileriyle nasıl çalıştığını öğrenmek için bir Java uygulaması kullanılarak uygulanabilirlik açısından incelendiği anlamına geliyordu. Ekip, kavram ispatını hızlandırmak ve potansiyeli bir gün içinde hızla kanıtlamak için belgelerdeki kod örneklerini kullandı.
Mühendislik ekibi, bir PII redaksiyon hizmetinin The Very Group'un günlük kaydıyla nasıl bütünleşebileceğini gösteren bir şema geliştirdi. için bir mikro hizmet geliştirmeyi içeriyordu. PII verilerini algılamak için Amazon Comprehend'i arayın. Çözüm, The Very Group'un günlük verilerini üzerinde çalışan bir Logstash örneği aracılığıyla geçirerek işe yaradı. AWS FargatePII'yi kaldırmak için Amazon Comprehend'e çağrı yapan bir Spring Boot Java uygulamasına dayalı, Fargate tarafından barındırılan başka bir pii-logstash-redaksiyon hizmetini kullanarak verileri temizleyen. Aşağıdaki diyagram bu mimariyi göstermektedir.
Very Group'un çözümü, günlükleri şu adresten alır: Amazon Bulut İzleme ve Amazon Elastik Konteyner Hizmeti (Amazon ECS) ve temizlenmiş sürümleri dizine eklenmesi için Elasticsearch'e iletir. Amazon Kinesis Logstash'in günlükleri birkaç saniyede bir aşağı çekmesiyle, günlükleri kısa süreler için yakalamak ve depolamak için çözümde kullanılır.
Günlükler, sipariş, iadeler ve Finansal Hizmetler dahil olmak üzere birçok iş sürecinden kaynaklanır. Günlükleri Logstash'a gönderen Fargate'teki test ve üretim ortamlarındaki 200'den fazla Amazon ECS uygulamasından alınan günlükleri içerir. Diğer bir kaynak ise AWS Lambda Kinesis'e çekilen ve ardından Logstash'a çekilen günlükler. Son olarak, ayrı bir bağımsız Filebeat örneği, günlük analizini çeker ve bu onları CloudWatch'a ve ardından Logstash'a yerleştirir. Sonuç olarak, birçok günlük kaynağı, Elasticsearch'te depolanmadan önce Logstash'a çekilir veya gönderilir ve Application Observability modülü ve Amazon Comprehend tarafından işlenir.
Ayrı bir Terraform modülü, CloudWatch günlük gruplarından günlükleri bir ağ aracılığıyla Elasticsearch'e aktarabilen bir Logstash hizmeti oluşturmak için gereken tüm altyapıyı sağlar. AWS Özel Bağlantı VPC uç noktası. Logstash hizmeti ayrıca Amazon ECS ile entegre edilebilir. firelens günlük yapılandırması, Amazon ECS'nin bir ağ üzerinden bağlantı kurmasıyla Amazon Rota 53 kayıt. Ölçeklenebilirlik, Kinesis isteğe bağlı ölçeklendirme ile yerleşiktir (ekip sabit parçalarla başlamış olsa da şimdi isteğe bağlı kullanıma geçiyor) ve Logstash ek özelliklerle ölçekleniyor Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) Filebeat tarafından kullanılan protokoller nedeniyle bir NLB'nin arkasındaki bulut sunucuları ve Logstash'ın Kinesis'ten günlükleri daha etkili bir şekilde çekmesini sağlar.
Son olarak, Logstash hizmeti, Elasticsearch'e dışa aktarmadan önce PII'nin kaldırılmasını sağlayan bir Logstash kabı ve PII redaksiyon kabı içeren bir görev tanımından oluşur.
Sonuçlar
Mühendislik ekibi, makine öğrenimini (ML) veya yapay zekanın çalışmasını anlamaya gerek kalmadan çözümü bir hafta içinde oluşturup test edebildi. Amazon Comprehend video rehberliği, API referans belgeleri, ve örnek kod. İş değerini bu kadar çabuk kanıtlayan işletme ürünü sahipleri, hizmetten yararlanmak için yeni kullanım durumları geliştirmeye başladılar. Çözümü sağlamak için bazı kararlar alınması gerekiyordu. Platform mühendislik ekibi verileri yeniden düzenleyebileceklerini bilmelerine rağmen, mevcut çözümden günlükleri yakalamak istediler (günlükleri bir uç noktaya yönlendirmek için bir Fluent Bit sepetine dayalı olarak). PII hizmetleriyle (Terraform modülü ve Java hizmetini içerir) entegre olacak şekilde işlem hatları aracılığıyla günlük alanlarının ele geçirilmesini sağlamak için Logstash'ı benimsemeye karar verdiler.
Logstash'ın benimsenmesi başlangıçta sorunsuz bir şekilde yapıldı. Very Group mühendislik ekipleri, günlükleri doğrudan Elasticsearch'e koymak için artık hizmeti doğrudan bir API uç noktası aracılığıyla kullanıyor. Bu, uç noktalarını sepetten yeni uç noktaya değiştirmelerine ve onu Terraform modülü aracılığıyla dağıtmalarına izin verdi. Ekibin sahip olduğu tek sorun, en yüksek ticari yüklerle test edilirken bir hız sorununu ortaya çıkaran ilk testlerden kaynaklanıyordu. Bu, Java kodunda yapılan ayarlamalarla aşıldı.
Aşağıdaki kod, The Very Group'un günlük mesajlarından kişisel bilgileri kaldırmak için Amazon Comprehend'i nasıl kullandığını gösterir. Herhangi bir PII'yi algılar ve kaydedilecek varlık türlerinin bir listesini oluşturur. Geliştirmeyi hızlandırmak için kod, AWS belgelerinden alınmış ve Fargate üzerinde dağıtılan Java uygulama hizmetinde kullanılmak üzere uyarlanmıştır.
Aşağıdaki ekran görüntüsü, PII redaksiyon sürecinin bir parçası olarak Elasticsearch'e gönderilen çıktıyı göstermektedir. Hizmet günde 1 milyon kayıt üreterek her düzeltme yapıldığında bir kayıt oluşturur.
Günlük mesajı yeniden düzenlenir ve redacted_entities alanı, mesajda bulunan varlık türlerinin bir listesini içerir. Bu durumda, örnek bir URL buldu, ancak büyük ölçüde yerleşik PII türlerine dayalı olarak herhangi bir türde PII verisi tanımlayabilirdi. Amazon Comprehend aracılığıyla müşteri hesap numarası için ek bir ısmarlama PII türü eklendi, ancak şu ana kadar ihtiyaç duyulmadı. Mühendislik ekibi düzeyinde geçersiz kılmalar, bunların nasıl kullanılacağına ilişkin GitHub'da belgelenmiştir.
Sonuç
Bu proje, The Very Group'un günlüklerdeki hassas PII'yi çıkarmak için hızlı ve basit bir çözüm uygulamasına izin verdi. Mühendislik ekibi, Amazon Comprehend'i kullanarak varlık türleri için geçersiz kılma işlemlerine izin vererek daha fazla esneklik ekledi ve iş gereksinimlerine göre PII'yi yeniden düzenleme esnekliği sağladı. Gelecekte mühendislik ekibi, müşteri kimliklerimiz gibi dizeleri yeniden düzenlemek için bireysel Amazon Comprehend varlıklarını eğitmeyi düşünüyor.
Çözümün sonucu, The Very Group'un endişelenmeye gerek duymadan günlükleri işleme özgürlüğüne sahip olmasıdır. Günlüklerde PII saklanmaması politikasını uygular, böylece riski azaltır ve uyumluluğu geliştirir. Ayrıca, yeniden düzenlenmekte olan meta veriler bir Elasticsearch panosu aracılığıyla işletmeye geri bildirilerek uyarılara ve daha fazla eyleme olanak sağlanır.
Kuruluşunuzun henüz kullanmadığı AWS AI/ML hizmetlerini değerlendirmek için zaman ayırın ve bir deneme kültürü geliştirin. The Very Group'un kanıtladığı gibi, basit bir başlangıç hızla ticari fayda sağlayabilir.
Yazar Hakkında
Andy Whittle'ın Birleşik Krallık merkezli dijital perakendeci Very'i işleten The Very Group'ta Uygulama ve Güvenilirlik Çerçeveleri Baş Platform Mühendisidir. Andy, kuruluşun kabileleri genelinde performans izlemenin sağlanmasına yardımcı olur ve uygulama izleme, gözlemlenebilirlik ve performansa özel bir ilgi duyar. 1998'de Very'e katıldığından beri Andy, içerik yönetimi ve katalog üretimi, stok yönetimi, üretim desteği, DevOps ve Fusion Middleware'i kapsayan çok çeşitli roller üstlendi. Son 4 yıldır platform mühendislik ekibinin bir parçası.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Yapabilmek
- Hakkımızda
- hızlandırmak
- Hesap
- hesap Yönetimi
- karşısında
- Action
- faaliyetler
- etkinlik
- katma
- Ek
- benimsemek
- Benimseme
- avantaj
- AI
- AI hizmetleri
- AI / ML
- Türkiye
- Izin
- Rağmen
- Amazon
- Amazon Kavramak
- Amazon EC2
- analiz
- ve
- Başka
- api
- Uygulama
- uygulamalar
- mimari
- otomatikleştirmek
- Otomatik
- AWS
- Arka
- merkezli
- önce
- arkasında
- olmak
- yarar
- arasında
- Bit
- inşa etmek
- yapılı
- yerleşik
- iş
- aramalar
- yetenekli
- ele geçirmek
- dava
- durumlarda
- katalog
- kod
- uyma
- idrak
- hesaplamak
- kavram
- Bağlantı
- Konteyner
- içeren
- içerik
- olabilir
- kaplama
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- kritik
- Kültür
- akım
- müşteri
- müşteri bilgisi
- Müşteriler
- gösterge paneli
- veri
- gün
- karar
- kararlar
- Savunma
- teslim etmek
- Talep
- gösterdi
- tasviridir
- dağıtmak
- konuşlandırılmış
- Dizayn
- geliştirmek
- gelişmiş
- gelişen
- gelişme
- dijital
- direkt olarak
- belge
- belgeleme
- evraklar
- aşağı
- her
- etkili bir şekilde
- verim
- etkinleştirmek
- sağlar
- etkinleştirme
- Son nokta
- mühendis
- Mühendislik
- sağlanması
- kişiler
- varlık
- ortamları
- kurulması
- örnek
- örnekler
- deneme
- çıkarmak
- az
- alan
- Alanlar
- Nihayet
- mali
- finansal hizmetler
- sabit
- Esneklik
- esnek
- takip etme
- Airdrop Formu
- Beslemek
- bulundu
- çerçeveler
- Freedom
- itibaren
- tamamen
- daha fazla
- Ayrıca
- füzyon
- gelecek
- üretir
- üreten
- GitHub
- gol
- grup
- Grubun
- Konuk
- Misafir Mesaj
- kullanma
- sahip olan
- yardımcı olur
- Vurgulamak
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- HTTPS
- tespit
- belirlemek
- uygulamak
- uygular
- iyileştirmek
- geliştirme
- in
- dahil
- Dahil olmak üzere
- bireysel
- bilgi
- Altyapı
- ilk
- başlangıçta
- Girişim
- kavrama
- örnek
- entegre
- entegre
- faiz
- iç
- araştırmak
- ilgili
- konu
- IT
- Java
- birleştirme
- Etiketler
- dil
- çok
- tabaka
- öncülük etmek
- ÖĞRENİN
- öğrenme
- Liste
- yükler
- bakıyor
- makine
- makine öğrenme
- yapılmış
- YAPAR
- yönetilen
- yönetim
- çok
- mesaj
- mesajları
- Metadata
- Metrikleri
- milyon
- milyonlarca
- ML
- modelleme
- modül
- izleme
- Daha
- Doğal (Madenden)
- Doğal Dil İşleme
- gerek
- ihtiyaçlar
- yeni
- nlp
- numara
- faaliyet
- işletme
- Operasyon
- seçenek
- Opsiyonlar
- sipariş
- kuruluşlar
- Üstesinden gelmek
- ağır basan
- sahipleri
- Bölüm
- belirli
- geçer
- Geçen
- geçmiş
- ödeme
- zirve
- performans
- dönemleri
- Şahsen
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- politikaları
- politika
- Çivi
- potansiyel
- önlemek
- Anapara
- Önceki
- öncelik
- özel
- sorunlar
- süreç
- İşlenmiş
- Süreçler
- işleme
- PLATFORM
- üretim
- proje
- kanıt
- kavramın ispatı
- protokolleri
- kanıtladı
- sağlamak
- sağlar
- çeken
- Çekiyor
- alımları
- Itmek
- itti
- koymak
- koyar
- Hızlı
- hızla
- kayıt
- kayıtlar
- yönlendirme
- azaltmak
- azaltarak
- ilişki
- güvenilirlik
- giderme
- Kaldır
- kaldırma
- Bildirilen
- talep
- gereklidir
- gereklilik
- yanıt
- sonuç
- perakendeci
- dönüş
- İade
- Açığa
- Yorumlar
- Risk
- rolleri
- Rota
- koşu
- ölçeklenebilirlik
- terazi
- ölçekleme
- sorunsuz
- saniye
- Korur
- güvenlik
- gönderme
- hassas
- hizmet
- Hizmetler
- kısa
- Gösteriler
- Basit
- beri
- So
- şu ana kadar
- çözüm
- biraz
- Kaynak
- kaynaklar
- hız
- bahar
- bahar çizme
- aşamaları
- durmak
- bağımsız
- başladı
- XNUMX dakika içinde!
- Stok
- mağaza
- saklı
- düz
- böyle
- destek
- anahtar
- Sistemler
- Bizi daha iyi tanımak için
- alır
- Görev
- takım
- Terraform
- test
- Test yapmak
- testleri
- The
- ve bazı Asya
- böylece
- tehdit
- İçinden
- zaman
- için
- üst
- Iz
- Trading
- eğitilmiş
- Eğitim
- Trendler
- türleri
- Uk
- anlamak
- URL
- kullanım
- kullanım
- değer
- çeşitlilik
- üzerinden
- Video
- aranan
- hafta
- hangi
- geniş
- içinde
- olmadan
- işlenmiş
- çalışma
- yıl
- zefirnet