هذا منشور ضيف بواسطة آندي ويتل ، مهندس النظام الأساسي الرئيسي - أطر عمل التطبيق والموثوقية في The Very Group.
At المجموعة جدا، التي تدير شركة البيع بالتجزئة الرقمية جدًا ، يمثل الأمان أولوية قصوى في معالجة البيانات لملايين العملاء. جزء من كيفية تأمين The Very Group للعمليات التجارية وتتبعها هو من خلال تسجيل النشاط بين أنظمة الأعمال (على سبيل المثال ، عبر مراحل طلب العميل). إنه مطلب تشغيلي حاسم ويمكّن The Very Group من تتبع الحوادث وتحديد المشكلات والاتجاهات بشكل استباقي. ومع ذلك ، يمكن أن يعني هذا معالجة بيانات العملاء في شكل معلومات التعريف الشخصية (PII) فيما يتعلق بأنشطة مثل المشتريات والمرتجعات واستخدام خيارات الدفع المرنة وإدارة الحساب.
في هذا المنشور ، تُظهر The Very Group كيفية استخدامها فهم الأمازون لإضافة طبقة أخرى من الدفاع الآلي فوق السياسات لتصميم نمذجة التهديدات في جميع الأنظمة ، لمنع إرسال معلومات PII في بيانات السجل إلى Elasticsearch للفهرسة. Amazon Comprehend هي خدمة معالجة لغة طبيعية (NLP) مُدارة بالكامل ومُدرَّبة بشكل مستمر يمكنها استخلاص نظرة ثاقبة حول محتوى مستند أو نص.
نظرة عامة على الحل
كان الهدف الرئيسي لفريق The Very Group الهندسي هو منع أي بيانات PII من الوصول إلى المستندات داخل Elasticsearch. لإنجاز ذلك وأتمتة إزالة معلومات تحديد الهوية الشخصية من ملايين السجلات المحددة يوميًا ، أنشأ الفريق الهندسي في The Very Group وحدة مراقبة التطبيق في Terraform. تنفذ هذه الوحدة حلاً قابلاً للملاحظة ، بما في ذلك سجلات التطبيق ومراقبة أداء التطبيق (APM) والمقاييس. ضمن الوحدة ، استخدم الفريق خدمة Amazon Comprehend لتسليط الضوء على معلومات تحديد الهوية الشخصية داخل بيانات السجل مع خيار إزالتها قبل إرسالها إلى Elasticsearch.
تم تحديد Amazon Comprehend كجزء من مبادرة هندسة النظام الأساسي الداخلية للتحقيق في كيفية استخدام خدمات AWS AI لتحسين الكفاءة وتقليل المخاطر في أنشطة الأعمال المتكررة. تعني ثقافة The Very Group للتعلم والتجربة أن Amazon Comprehend قد تمت مراجعته من أجل قابلية التطبيق باستخدام تطبيق Java لمعرفة كيفية عمله مع بيانات اختبار PII. استخدم الفريق أمثلة التعليمات البرمجية في الوثائق لتسريع إثبات المفهوم وأثبت إمكاناته بسرعة في غضون يوم واحد.
طور الفريق الهندسي مخططًا يوضح كيف يمكن أن تتكامل خدمة تنقيح معلومات تحديد الهوية الشخصية مع تسجيل مجموعة The Very Group. أنها تنطوي على تطوير خدمة مصغرة ل اتصل بـ Amazon Comprehend لاكتشاف بيانات PII. نجح الحل عن طريق تمرير بيانات سجل The Very Group عبر مثيل Logstash قيد التشغيل AWS فارجيت، الذي ينظف البيانات باستخدام خدمة تنقيح pii-logstash-redaction أخرى تستضيفها Fargate استنادًا إلى تطبيق Spring Boot Java الذي يقوم بإجراء مكالمات إلى Amazon Comprehend لإزالة PII. الرسم البياني التالي يوضح هذه العمارة.
يأخذ حل The Very Group سجلات من الأمازون CloudWatch و خدمة الأمازون المرنة للحاويات (Amazon ECS) ويمرر الإصدارات التي تم تنظيفها إلى Elasticsearch ليتم فهرستها. أمازون كينسيس يستخدم في الحل لالتقاط السجلات وتخزينها لفترات قصيرة ، مع Logstash يسحب السجلات لأسفل كل بضع ثوانٍ.
يتم الحصول على السجلات عبر العديد من العمليات التجارية ، بما في ذلك الطلبات والمرتجعات والخدمات المالية. وهي تتضمن سجلات من أكثر من 200 تطبيق Amazon ECS عبر بيئات الاختبار والانتاج في Fargate التي تدفع السجلات إلى Logstash. مصدر آخر هو AWS لامدا السجلات التي يتم سحبها إلى جهاز Kinesis ثم يتم سحبها إلى Logstash. أخيرًا ، يسحب مثيل منفصل مستقل من Filebeat تحليل السجل ويضعهم في CloudWatch ثم في Logstash. والنتيجة هي أن العديد من مصادر السجلات يتم سحبها أو دفعها إلى Logstash ومعالجتها بواسطة وحدة مراقبة التطبيق و Amazon Comprehend قبل تخزينها في Elasticsearch.
توفر وحدة Terraform المنفصلة كل البنية التحتية المطلوبة للوقوف على خدمة Logstash القادرة على تصدير السجلات من مجموعات سجل CloudWatch إلى Elasticsearch عبر AWS الرابط الخاص نقطة نهاية VPC. يمكن أيضًا دمج خدمة Logstash مع Amazon ECS عبر ملف تكوين سجل firelens، مع إنشاء Amazon ECS للاتصال عبر نطاق الأمازون الطريق 53 سجل. تم دمج قابلية التوسع من خلال توسيع Kinesis عند الطلب (على الرغم من أن الفريق بدأ بقطع ثابتة ، ولكنه يتحول الآن إلى الاستخدام عند الطلب) ، ويتوسع Logstash مع المزيد الأمازون الحوسبة المرنة السحابية مثيلات (Amazon EC2) خلف NLB بسبب البروتوكولات المستخدمة بواسطة Filebeat وتمكن Logstash من سحب السجلات بشكل أكثر فعالية من Kinesis.
أخيرًا ، تتكون خدمة Logstash من تعريف مهمة يحتوي على حاوية Logstash وحاوية تنقيح PII ، مما يضمن إزالة معلومات PII قبل التصدير إلى Elasticsearch.
النتائج
تمكن الفريق الهندسي من بناء واختبار الحل في غضون أسبوع ، دون الحاجة إلى فهم التعلم الآلي (ML) أو عمل الذكاء الاصطناعي ، باستخدام دليل Amazon Comprehend بالفيديو, وثائق مرجعية APIو رمز المثال. بعد أن أظهروا قيمة العمل بسرعة كبيرة ، بدأ أصحاب منتجات الأعمال في تطوير حالات استخدام جديدة للاستفادة من الخدمة. كان لابد من اتخاذ بعض القرارات لتمكين الحل. على الرغم من أن فريق هندسة النظام الأساسي كان يعلم أنه بإمكانه تنقيح البيانات ، إلا أنهم أرادوا اعتراض السجلات من الحل الحالي (استنادًا إلى Fluent Bit sidecar لإعادة توجيه السجلات إلى نقطة نهاية). قرروا اعتماد Logstash لتمكين اعتراض حقول السجل عبر خطوط الأنابيب للتكامل مع خدمة معلومات تحديد الهوية الشخصية (التي تشمل وحدة Terraform وخدمة Java).
تم اعتماد Logstash في البداية بسلاسة. تستخدم فرق الهندسة في Very Group الخدمة الآن مباشرةً من خلال نقطة نهاية API لوضع السجلات مباشرة في Elasticsearch. وقد سمح لهم ذلك بتبديل نقطة النهاية الخاصة بهم من السيارة الجانبية إلى نقطة النهاية الجديدة ونشرها من خلال وحدة Terraform. المشكلة الوحيدة التي واجهها الفريق كانت من الاختبارات الأولية التي كشفت عن مشكلة في السرعة عند الاختبار بأحمال تداول ذروة. تم التغلب على هذا من خلال التعديلات على كود جافا.
يوضح الكود التالي كيف تستخدم The Very Group Amazon Comprehend لإزالة معلومات PII من رسائل السجل. يكتشف أي معلومات PII وينشئ قائمة بأنواع الكيانات لتسجيلها. لتسريع التطوير ، تم أخذ الكود من وثائق AWS وتكييفه للاستخدام في خدمة تطبيق Java المنشورة في Fargate.
تُظهر لقطة الشاشة التالية الإخراج المرسل إلى Elasticsearch كجزء من عملية تنقيح معلومات PII. تقوم الخدمة بإنشاء مليون سجل يوميًا ، مما يؤدي إلى إنشاء سجل في كل مرة يتم فيها إجراء تنقيح.
تم تنقيح رسالة السجل ، ويحتوي الحقل redacted_entities على قائمة بأنواع الكيانات الموجودة في الرسالة. في هذه الحالة ، وجد المثال عنوان URL ، ولكن كان من الممكن أن يحدد أي نوع من بيانات PII التي تعتمد بشكل كبير على الأنواع المضمنة لمعلومات PII. تمت إضافة نوع PII إضافي مخصص لرقم حساب العميل من خلال Amazon Comprehend ، ولكن لم تكن هناك حاجة إليه حتى الآن. تم توثيق التجاوزات على مستوى الفريق الهندسي في GitHub حول كيفية استخدامها.
وفي الختام
سمح هذا المشروع لشركة The Very Group بتنفيذ حل سريع وبسيط لتنقيح معلومات تحديد الهوية الشخصية الحساسة في السجلات. أضاف الفريق الهندسي مزيدًا من المرونة للسماح بالتجاوزات لأنواع الكيانات ، باستخدام Amazon Comprehend لتوفير المرونة لتنقيح معلومات تحديد الهوية الشخصية بناءً على احتياجات العمل. في المستقبل ، يبحث الفريق الهندسي في تدريب كيانات Amazon Comprehend الفردية على تنقيح سلاسل مثل معرفات العملاء لدينا.
نتيجة الحل هي أن The Very Group تتمتع بحرية وضع السجلات دون الحاجة إلى القلق. إنه يفرض سياسة عدم تخزين معلومات تحديد الهوية الشخصية في السجلات ، وبالتالي تقليل المخاطر وتحسين الامتثال. علاوة على ذلك ، يتم الإبلاغ عن البيانات الوصفية التي يتم تنقيحها إلى الأعمال التجارية من خلال لوحة معلومات Elasticsearch ، مما يتيح التنبيهات والمزيد من الإجراءات.
خصص وقتًا لتقييم خدمات AWS AI / ML التي لم تستخدمها مؤسستك بعد وتعزيز ثقافة التجربة. يمكن أن يؤدي البدء البسيط إلى فائدة الأعمال بسرعة ، تمامًا كما أثبتت The Very Group.
عن المؤلف
آندي ويتل هو مهندس المنصة الرئيسي - أطر عمل التطبيق والموثوقية في The Very Group ، التي تدير متاجر التجزئة الرقمية جدًا في المملكة المتحدة. يساعد Andy في تقديم مراقبة الأداء عبر قبائل المؤسسة ، وله اهتمام خاص بمراقبة التطبيق ، والملاحظة ، والأداء. منذ انضمامه إلى Very في 1998 ، تولى Andy مجموعة متنوعة من الأدوار التي تغطي إدارة المحتوى وإنتاج الكتالوجات ، وإدارة المخزون ، ودعم الإنتاج ، و DevOps ، و Fusion Middleware. على مدار السنوات الأربع الماضية ، كان جزءًا من فريق هندسة المنصات.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- ماهرون
- من نحن
- تسريع
- حسابي
- ادارة الحساب
- في
- اكشن
- أنشطة
- نشاط
- وأضاف
- إضافي
- تبنى
- تبني
- مميزات
- AI
- خدمات الذكاء الاصطناعي
- AI / ML
- الكل
- السماح
- بالرغم ان
- أمازون
- فهم الأمازون
- Amazon EC2
- تحليل
- و
- آخر
- API
- تطبيق
- التطبيقات
- هندسة معمارية
- أتمتة
- الآلي
- AWS
- الى الخلف
- على أساس
- قبل
- وراء
- يجري
- تستفيد
- ما بين
- قطعة
- نساعدك في بناء
- بنيت
- مدمج
- الأعمال
- دعوات
- قادر على
- أسر
- حقيبة
- الحالات
- الأقسام
- الكود
- الالتزام
- فهم
- إحصاء
- مفهوم
- الإتصال
- وعاء
- يحتوي
- محتوى
- استطاع
- تغطية
- خلق
- يخلق
- حرج
- ثقافة
- حالياًّ
- زبون
- بيانات العميل
- العملاء
- لوحة أجهزة القياس
- البيانات
- يوم
- قررت
- القرارات
- الدفاع
- نقل
- الطلب
- تظاهر
- التظاهر
- نشر
- نشر
- تصميم
- تطوير
- المتقدمة
- تطوير
- التطوير التجاري
- رقمي
- مباشرة
- وثيقة
- توثيق
- وثائق
- إلى أسفل
- كل
- على نحو فعال
- كفاءة
- تمكين
- تمكن
- تمكين
- نقطة النهاية
- مهندس
- الهندسة
- ضمان
- الكيانات
- كيان
- البيئات
- تأسيس
- مثال
- أمثلة
- تجربة
- استخراج
- قليل
- حقل
- مجال
- أخيرا
- مالي
- الخدمات المالية
- ثابت
- مرونة
- مرن
- متابعيك
- النموذج المرفق
- فوستر
- وجدت
- الأطر
- حرية
- تبدأ من
- تماما
- إضافي
- علاوة على ذلك
- انصهار
- مستقبل
- يولد
- توليد
- GitHub جيثب:
- هدف
- تجمع
- مجموعات
- ضيف
- زائر رد
- معالجة
- وجود
- يساعد
- تسليط الضوء
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- محدد
- تحديد
- تنفيذ
- الأدوات
- تحسن
- تحسين
- in
- تتضمن
- بما فيه
- فرد
- معلومات
- البنية التحتية
- في البداية
- في البداية
- مبادرة
- تبصر
- مثل
- دمج
- المتكاملة
- مصلحة
- داخلي
- بحث
- المشاركة
- قضية
- IT
- جافا
- انضمام
- ملصقات
- لغة
- إلى حد كبير
- طبقة
- قيادة
- تعلم
- تعلم
- قائمة
- الأحمال
- أبحث
- آلة
- آلة التعلم
- صنع
- يصنع
- تمكن
- إدارة
- كثير
- الرسالة
- رسائل
- البيانات الوصفية
- المقاييس
- مليون
- ملايين
- ML
- تصميم
- وحدة
- مراقبة
- الأكثر من ذلك
- طبيعي
- معالجة اللغات الطبيعية
- الحاجة
- إحتياجات
- جديد
- البرمجة اللغوية العصبية
- عدد
- تعمل
- تعمل
- عمليات
- خيار
- مزيد من الخيارات
- طلب
- منظمة
- تغلب
- التجاوز
- أصحاب
- جزء
- خاص
- يمر
- مرور
- الماضي
- وسائل الدفع
- قمة
- أداء
- فترات
- شخصيا
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسات الخصوصية والبيع
- سياسة
- منشور
- محتمل
- منع
- رئيسي
- قبل
- الأولوية
- خاص
- مشاكل
- عملية المعالجة
- معالجتها
- العمليات
- معالجة
- منتج
- الإنتــاج
- تنفيذ المشاريع
- دليل
- دليل على المفهوم
- البروتوكولات
- ثبت
- تزود
- ويوفر
- سحب
- تسحب
- مشتريات
- دفع
- دفع
- وضع
- يضع
- سريع
- بسرعة
- سجل
- تسجيل
- إعادة توجيه
- تخفيض
- تقليص
- علاقة
- الموثوقية
- إزالة
- إزالة
- إزالة
- وذكرت
- طلب
- مطلوب
- المتطلبات
- استجابة
- نتيجة
- متاجر التجزئة
- عائد أعلى
- عائدات
- أظهرت
- استعرض
- المخاطرة
- الأدوار
- طريق
- تشغيل
- التدرجية
- النطاقات
- التحجيم
- بسلاسة
- ثواني
- يؤمن
- أمن
- إرسال
- حساس
- الخدمة
- خدمات
- قصير
- يظهر
- الاشارات
- منذ
- So
- حتى الآن
- حل
- بعض
- مصدر
- مصادر
- سرعة
- الربيع
- التمهيد الربيع
- مراحل
- موقف
- مستقل
- بدأت
- ابتداء
- مخزون
- متجر
- تخزين
- مستقيم
- هذه
- الدعم
- مفاتيح
- أنظمة
- أخذ
- يأخذ
- مهمة
- فريق
- Terraform
- تجربه بالعربي
- الاختبار
- اختبارات
- •
- من مشاركة
- وبالتالي
- التهديد
- عبر
- الوقت
- إلى
- تيشرت
- أثر
- تجارة
- متدرب
- قادة الإيمان
- جديد الموضة
- أنواع
- Uk
- فهم
- URL
- الأستعمال
- تستخدم
- قيمنا
- تشكيلة
- بواسطة
- فيديو
- مطلوب
- أسبوع
- التي
- واسع
- في غضون
- بدون
- عمل
- عامل
- سنوات
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت