یہ اینڈی وائٹل، پرنسپل پلیٹ فارم انجینئر - دی ویری گروپ میں ایپلیکیشن اینڈ ریلائیبلٹی فریم ورکس کی گیسٹ پوسٹ ہے۔
At بہت گروپ, جو ڈیجیٹل ریٹیلر چلاتا ہے بہت، لاکھوں صارفین کے ڈیٹا کو سنبھالنے میں سیکورٹی اولین ترجیح ہے۔ The Very Group کس طرح کاروباری آپریشنز کو محفوظ اور ٹریک کرتا ہے اس کا ایک حصہ کاروباری نظاموں کے درمیان سرگرمی لاگنگ کے ذریعے ہے (مثال کے طور پر، کسٹمر آرڈر کے مراحل میں)۔ یہ آپریٹنگ کی ایک اہم ضرورت ہے اور The Very Group کو واقعات کا سراغ لگانے اور مسائل اور رجحانات کو فعال طور پر شناخت کرنے کے قابل بناتا ہے۔ تاہم، اس کا مطلب خریداری، واپسی، لچکدار ادائیگی کے اختیارات کا استعمال، اور اکاؤنٹ مینجمنٹ جیسی سرگرمیوں کے سلسلے میں ذاتی طور پر قابل شناخت معلومات (PII) کی شکل میں کسٹمر ڈیٹا پر کارروائی کرنا ہو سکتا ہے۔
اس پوسٹ میں، The Very Group دکھاتا ہے کہ وہ کس طرح استعمال کرتے ہیں۔ ایمیزون کی تعریف تمام سسٹمز میں تھریٹ ماڈلنگ ڈیزائن کرنے کے لیے پالیسیوں کے اوپر خودکار دفاع کی مزید پرت شامل کرنے کے لیے، PII کو لاگ ڈیٹا میں ایلسٹک سرچ کو اشاریہ سازی کے لیے بھیجے جانے سے روکنے کے لیے۔ Amazon Comprehend ایک مکمل طور پر منظم اور مسلسل تربیت یافتہ قدرتی لینگویج پروسیسنگ (NLP) سروس ہے جو کسی دستاویز یا متن کے مواد کے بارے میں بصیرت نکال سکتی ہے۔
حل کا جائزہ
The Very Group کی انجینئرنگ ٹیم کا سب سے بڑا ہدف Elasticsearch کے اندر کسی بھی PII ڈیٹا کو دستاویزات تک پہنچنے سے روکنا تھا۔ اس کو پورا کرنے اور روزانہ لاکھوں شناخت شدہ ریکارڈز سے PII کو خودکار طریقے سے ہٹانے کے لیے، The Very Group کی انجینئرنگ ٹیم نے Terraform میں ایک Application Observability ماڈیول بنایا۔ یہ ماڈیول مشاہداتی حل کو لاگو کرتا ہے، بشمول ایپلیکیشن لاگز، ایپلیکیشن پرفارمنس مانیٹرنگ (APM)، اور میٹرکس۔ ماڈیول کے اندر، ٹیم نے لاگ ڈیٹا کے اندر PII کو نمایاں کرنے کے لیے Amazon Comprehend کا استعمال کیا اور اسے Elasticsearch کو بھیجنے سے پہلے ہٹانے کے اختیار کے ساتھ استعمال کیا۔
Amazon Comprehend کی شناخت ایک داخلی پلیٹ فارم انجینئرنگ اقدام کے ایک حصے کے طور پر کی گئی تھی تاکہ اس بات کی تحقیق کی جا سکے کہ کس طرح AWS AI خدمات کو کارکردگی کو بہتر بنانے اور دہرائی جانے والی کاروباری سرگرمیوں میں خطرے کو کم کرنے کے لیے استعمال کیا جا سکتا ہے۔ سیکھنے اور تجربہ کرنے کے لیے ویری گروپ کے کلچر کا مطلب یہ ہے کہ جاوا ایپلیکیشن کا استعمال کرتے ہوئے قابل اطلاق ہونے کے لیے Amazon Comprehend کا جائزہ لیا گیا تاکہ یہ معلوم کیا جا سکے کہ اس نے ٹیسٹ PII ڈیٹا کے ساتھ کیسے کام کیا۔ ٹیم نے تصور کے ثبوت کو تیز کرنے کے لیے دستاویزات میں کوڈ کی مثالیں استعمال کیں اور ایک دن کے اندر تیزی سے ممکنہ ثابت کر دیا۔
انجینئرنگ ٹیم نے ایک منصوبہ بندی تیار کی جس میں یہ ظاہر کیا گیا کہ کس طرح PII ریڈیکشن سروس The Very Group کی لاگنگ کے ساتھ ضم ہو سکتی ہے۔ اس میں ایک مائیکرو سروس تیار کرنا شامل ہے۔ PII ڈیٹا کا پتہ لگانے کے لیے Amazon Comprehend کو کال کریں۔. اس حل نے دی ویری گروپ کے لاگ ڈیٹا کو لاگ اسٹاش مثال کے ذریعے منتقل کرکے کام کیا۔ اے ڈبلیو ایس فارگیٹ، جو اسپرنگ بوٹ جاوا ایپلیکیشن پر مبنی ایک اور Fargate کی میزبانی والی pii-logstash-redaction سروس کا استعمال کرتے ہوئے ڈیٹا کو صاف کرتا ہے جو PII کو ہٹانے کے لیے Amazon Comprehend کو کال کرتا ہے۔ مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔
بہت گروپ کا حل لاگ ان سے لیتا ہے۔ ایمیزون کلاؤڈ واچ اور ایمیزون لچکدار کنٹینر سروس (ایمیزون ای سی ایس) اور انڈیکس کرنے کے لیے صاف شدہ ورژن Elasticsearch کو منتقل کرتا ہے۔ ایمیزون کنیسیس لاگ اسٹاش ہر چند سیکنڈ میں لاگز کو نیچے کھینچنے کے ساتھ، مختصر مدت کے لیے لاگز کو کیپچر اور اسٹور کرنے کے حل میں استعمال کیا جاتا ہے۔
لاگز بہت سے کاروباری عملوں میں حاصل کیے جاتے ہیں، بشمول آرڈرنگ، ریٹرن، اور فنانشل سروسز۔ ان میں 200 سے زیادہ Amazon ECS ایپس کے لاگز شامل ہیں جو فارگیٹ میں ٹیسٹ اور پروڈ ماحول میں لاگ اسٹاش میں لاگز کو آگے بڑھاتے ہیں۔ ایک اور ذریعہ ہے۔ او ڈبلیو ایس لامبڈا۔ لاگز جو Kinesis میں کھینچے جاتے ہیں اور پھر Logstash میں کھینچے جاتے ہیں۔ آخر میں، فائل بیٹ کی ایک الگ الگ مثال لاگ تجزیہ کو کھینچتی ہے اور یہ انہیں CloudWatch اور پھر Logstash میں ڈال دیتی ہے۔ نتیجہ یہ ہے کہ لاگز کے بہت سے ذرائع کو Logstash میں کھینچا یا دھکیل دیا جاتا ہے اور Elasticsearch میں ذخیرہ کیے جانے سے پہلے Application Observability ماڈیول اور Amazon Comprehend کے ذریعے اس پر کارروائی کی جاتی ہے۔
ایک علیحدہ Terraform ماڈیول ایک Logstash سروس کو کھڑا کرنے کے لیے درکار تمام انفراسٹرکچر فراہم کرتا ہے جو CloudWatch لاگ گروپس سے لاگز کو Elasticsearch کے ذریعے برآمد کرنے کے قابل ہو AWS پرائیویٹ لنک VPC اختتامی نقطہ۔ Logstash سروس کو Amazon ECS کے ساتھ a کے ذریعے بھی ضم کیا جا سکتا ہے۔ فائر لینس لاگ کنفیگریشن, Amazon ECS کے ساتھ ایک پر کنیکٹوٹی قائم کر رہا ہے۔ ایمیزون روٹ 53 ریکارڈ اسکیل ایبلٹی کو کائنیسس اسکیلنگ آن ڈیمانڈ کے ساتھ بنایا گیا ہے (اگرچہ ٹیم نے فکسڈ شارڈز کے ساتھ شروعات کی تھی، لیکن اب آن ڈیمانڈ استعمال کی طرف جا رہی ہے)، اور Logstash اضافی کے ساتھ اسکیل کرتا ہے۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (Amazon EC2) NLB کے پیچھے Filebeat کے استعمال کردہ پروٹوکولز کی وجہ سے اور Logstash کو Kinesis سے لاگز کو زیادہ مؤثر طریقے سے کھینچنے کے قابل بناتا ہے۔
آخر میں، Logstash سروس ایک ٹاسک ڈیفینیشن پر مشتمل ہوتی ہے جس میں Logstash کنٹینر اور PII ریڈیکشن کنٹینر ہوتا ہے، جو Elasticsearch کو ایکسپورٹ کرنے سے پہلے PII کو ہٹانے کو یقینی بناتا ہے۔
نتائج کی نمائش
انجینئرنگ ٹیم مشین لرننگ (ML) یا AI کے کام کو سمجھنے کی ضرورت کے بغیر، ایک ہفتے کے اندر حل تیار کرنے اور جانچنے میں کامیاب رہی۔ ایمیزون سمجھیں ویڈیو رہنمائی, API حوالہ دستاویزات، اور مثال کوڈ. اتنی تیزی سے کاروباری قدر کا مظاہرہ کرنے کے بعد، کاروباری مصنوعات کے مالکان نے سروس سے فائدہ اٹھانے کے لیے نئے استعمال کے کیسز تیار کرنا شروع کر دیے ہیں۔ حل کو فعال کرنے کے لیے کچھ فیصلے کرنے پڑے۔ اگرچہ پلیٹ فارم انجینئرنگ ٹیم کو معلوم تھا کہ وہ ڈیٹا کو ری ڈییکٹ کر سکتے ہیں، لیکن وہ موجودہ حل سے لاگز کو روکنا چاہتے تھے (ایک فلوئنٹ بٹ سائڈ کار کی بنیاد پر لاگز کو اینڈ پوائنٹ پر ری ڈائریکٹ کرنے کے لیے)۔ انہوں نے اپنی PII سروس (ٹیرافارم ماڈیول اور جاوا سروس پر مشتمل) کے ساتھ مربوط ہونے کے لیے پائپ لائنوں کے ذریعے لاگ فیلڈز کو روکنے کے لیے لاگ اسٹاش کو اپنانے کا فیصلہ کیا۔
لاگسٹاش کو اپنانا شروع میں بغیر کسی رکاوٹ کے کیا گیا تھا۔ ویری گروپ انجینئرنگ اسکواڈز اب سروس کو براہ راست ایک API اینڈ پوائنٹ کے ذریعے استعمال کر رہے ہیں تاکہ لاگز سیدھے Elasticsearch میں ڈال سکیں۔ اس نے انہیں اپنے اینڈ پوائنٹ کو سائڈ کار سے نئے اینڈ پوائنٹ پر تبدیل کرنے اور اسے ٹیرافارم ماڈیول کے ذریعے تعینات کرنے کی اجازت دی ہے۔ ٹیم کے پاس صرف ایک مسئلہ ابتدائی ٹیسٹوں سے تھا جس میں چوٹی ٹریڈنگ بوجھ کے ساتھ جانچ کرتے وقت رفتار کا مسئلہ سامنے آیا۔ جاوا کوڈ میں ایڈجسٹمنٹ کے ذریعے اس پر قابو پایا گیا۔
درج ذیل کوڈ سے پتہ چلتا ہے کہ کس طرح The Very Group Amazon Comprehend کو لاگ پیغامات سے PII کو ہٹانے کے لیے استعمال کرتا ہے۔ یہ کسی بھی PII کا پتہ لگاتا ہے اور ریکارڈ کرنے کے لیے ہستی کی اقسام کی فہرست بناتا ہے۔ ترقی کو تیز کرنے کے لیے، کوڈ کو AWS دستاویزات سے لیا گیا اور اسے Fargate پر تعینات جاوا ایپلیکیشن سروس میں استعمال کے لیے ڈھال لیا گیا۔
مندرجہ ذیل اسکرین شاٹ PII ریڈیکشن کے عمل کے حصے کے طور پر Elasticsearch کو بھیجے گئے آؤٹ پٹ کو دکھاتا ہے۔ یہ سروس روزانہ 1 ملین ریکارڈز تیار کرتی ہے، ہر بار ترمیم کرنے پر ایک ریکارڈ تیار کرتی ہے۔
لاگ میسج کو رییکٹ کیا جاتا ہے، اور فیلڈ redacted_entities پیغام میں پائی جانے والی ہستی کی اقسام کی فہرست پر مشتمل ہے۔ اس معاملے میں، مثال میں ایک URL ملا، لیکن یہ کسی بھی قسم کے PII ڈیٹا کی شناخت کر سکتا ہے جو بڑی حد تک PII کی پہلے سے موجود اقسام پر مبنی ہے۔ Amazon Comprehend کے ذریعے کسٹمر اکاؤنٹ نمبر کے لیے ایک اضافی bespoke PII قسم شامل کی گئی تھی، لیکن اب تک اس کی ضرورت نہیں ہے۔ انجینئرنگ اسکواڈ کی سطح کے اوور رائیڈز کو GitHub میں دستاویز کیا جاتا ہے کہ انہیں کیسے استعمال کیا جائے۔
نتیجہ
اس پروجیکٹ نے The Very Group کو لاگز میں حساس PII کو درست کرنے کے لیے ایک فوری اور آسان حل کو نافذ کرنے کی اجازت دی۔ انجینئرنگ ٹیم نے کاروباری ضروریات کی بنیاد پر PII کو تبدیل کرنے کے لیے لچک فراہم کرنے کے لیے Amazon Comprehend کا استعمال کرتے ہوئے، ہستی کی قسموں کو اوور رائیڈ کرنے کی اجازت دیتے ہوئے مزید لچک شامل کی۔ مستقبل میں، انجینئرنگ ٹیم انفرادی Amazon Comprehend اداروں کو سٹرنگز جیسے کہ ہمارے کسٹمر آئی ڈیز کو درست کرنے کے لیے تربیت دے رہی ہے۔
حل کا نتیجہ یہ ہے کہ The Very Group کو بغیر فکر کیے لاگ ان کرنے کی آزادی ہے۔ یہ لاگز میں PII کو ذخیرہ نہ کرنے کی پالیسی کو نافذ کرتا ہے، اس طرح خطرے کو کم کرتا ہے اور تعمیل کو بہتر بناتا ہے۔ مزید برآں، میٹا ڈیٹا کو دوبارہ ترتیب دیا جا رہا ہے جس کی اطلاع ایک Elasticsearch ڈیش بورڈ کے ذریعے کاروبار کو دی جا رہی ہے، جو الرٹس اور مزید کارروائی کو قابل بناتا ہے۔
AWS AI/ML خدمات کا اندازہ لگانے کے لیے وقت نکالیں جنہیں آپ کی تنظیم نے ابھی تک استعمال نہیں کیا ہے اور تجربات کی ثقافت کو فروغ دیں۔ سادہ شروع کرنا تیزی سے کاروباری فائدے کا باعث بن سکتا ہے، جیسا کہ The Very Group نے ثابت کیا۔
مصنف کے بارے میں
اینڈی وہٹل پرنسپل پلیٹ فارم انجینئر ہے - دی ویری گروپ میں ایپلیکیشن اور ریلائیبلٹی فریم ورکس، جو یوکے میں قائم ڈیجیٹل ریٹیلر ویری کو چلاتا ہے۔ اینڈی تنظیم کے تمام قبائل میں کارکردگی کی نگرانی فراہم کرنے میں مدد کرتا ہے، اور ایپلیکیشن کی نگرانی، مشاہدے اور کارکردگی میں خاص دلچسپی رکھتا ہے۔ 1998 میں Very میں شامل ہونے کے بعد سے، Andy نے مواد کے انتظام اور کیٹلاگ پروڈکشن، اسٹاک مینجمنٹ، پروڈکشن سپورٹ، DevOps، اور Fusion Middleware کا احاطہ کرنے والے مختلف قسم کے کردار ادا کیے ہیں۔ پچھلے 4 سالوں سے، وہ پلیٹ فارم انجینئرنگ ٹیم کا حصہ رہا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- قابلیت
- ہمارے بارے میں
- رفتار کو تیز تر
- اکاؤنٹ
- اکاؤنٹ مینجمنٹ
- کے پار
- عمل
- سرگرمیوں
- سرگرمی
- شامل کیا
- ایڈیشنل
- اپنانے
- منہ بولابیٹا بنانے
- فائدہ
- AI
- AI خدمات
- AI / ML
- تمام
- اجازت دے رہا ہے
- اگرچہ
- ایمیزون
- ایمیزون کی تعریف
- ایمیزون EC2
- تجزیہ
- اور
- ایک اور
- اے پی آئی
- درخواست
- ایپس
- فن تعمیر
- خود کار طریقے سے
- آٹومیٹڈ
- AWS
- واپس
- کی بنیاد پر
- اس سے پہلے
- پیچھے
- کیا جا رہا ہے
- فائدہ
- کے درمیان
- بٹ
- تعمیر
- تعمیر
- تعمیر میں
- کاروبار
- کالز
- صلاحیت رکھتا
- قبضہ
- کیس
- مقدمات
- کیٹلوگ
- کوڈ
- تعمیل
- سمجھو
- کمپیوٹنگ
- تصور
- رابطہ
- کنٹینر
- پر مشتمل ہے
- مواد
- سکتا ہے
- ڈھکنے
- بنائی
- پیدا
- اہم
- ثقافت
- موجودہ
- گاہک
- کسٹمر کا ڈیٹا
- گاہکوں
- ڈیش بورڈ
- اعداد و شمار
- دن
- فیصلہ کیا
- فیصلے
- دفاع
- نجات
- ڈیمانڈ
- demonstrated,en
- مظاہرین
- تعیناتی
- تعینات
- ڈیزائن
- ترقی
- ترقی یافتہ
- ترقی
- ترقی
- ڈیجیٹل
- براہ راست
- دستاویز
- دستاویزات
- دستاویزات
- نیچے
- ہر ایک
- مؤثر طریقے
- کارکردگی
- کو چالو کرنے کے
- کے قابل بناتا ہے
- کو فعال کرنا
- اختتام پوائنٹ
- انجینئر
- انجنیئرنگ
- کو یقینی بنانے ہے
- اداروں
- ہستی
- ماحول
- قیام
- مثال کے طور پر
- مثال کے طور پر
- تجربہ
- نکالنے
- چند
- میدان
- قطعات
- آخر
- مالی
- مالیاتی خدمات
- مقرر
- لچک
- لچکدار
- کے بعد
- فارم
- رضاعی
- ملا
- فریم ورک
- آزادی
- سے
- مکمل طور پر
- مزید
- مزید برآں
- فیوژن
- مستقبل
- پیدا ہوتا ہے
- پیدا کرنے والے
- GitHub کے
- مقصد
- گروپ
- گروپ کا
- مہمان
- مہمان پوسٹ
- ہینڈلنگ
- ہونے
- مدد کرتا ہے
- نمایاں کریں
- کس طرح
- کیسے
- تاہم
- HTML
- HTTPS
- کی نشاندہی
- شناخت
- پر عملدرآمد
- عمل
- کو بہتر بنانے کے
- کو بہتر بنانے کے
- in
- شامل
- سمیت
- انفرادی
- معلومات
- انفراسٹرکچر
- ابتدائی
- ابتدائی طور پر
- انیشی ایٹو
- بصیرت
- مثال کے طور پر
- ضم
- ضم
- دلچسپی
- اندرونی
- کی تحقیقات
- ملوث
- مسئلہ
- IT
- اعلی درجے کا Java
- شمولیت
- لیبل
- زبان
- بڑے پیمانے پر
- پرت
- قیادت
- جانیں
- سیکھنے
- لسٹ
- بوجھ
- تلاش
- مشین
- مشین لرننگ
- بنا
- بناتا ہے
- میں کامیاب
- انتظام
- بہت سے
- پیغام
- پیغامات
- میٹا ڈیٹا
- پیمائش کا معیار
- دس لاکھ
- لاکھوں
- ML
- ماڈلنگ
- ماڈیول
- نگرانی
- زیادہ
- قدرتی
- قدرتی زبان عملیات
- ضرورت ہے
- ضروریات
- نئی
- ویزا
- تعداد
- چل رہا ہے
- کام
- آپریشنز
- اختیار
- آپشنز کے بھی
- حکم
- تنظیم
- پر قابو پانے
- زیر اثر
- مالکان
- حصہ
- خاص طور پر
- گزرتا ہے
- پاسنگ
- گزشتہ
- ادائیگی
- چوٹی
- کارکردگی
- ادوار
- ذاتی طور پر
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پالیسیاں
- پالیسی
- پوسٹ
- ممکنہ
- کی روک تھام
- پرنسپل
- پہلے
- ترجیح
- نجی
- مسائل
- عمل
- عملدرآمد
- عمل
- پروسیسنگ
- مصنوعات
- پیداوار
- منصوبے
- ثبوت
- تصور کا ثبوت
- پروٹوکول
- ثابت ہوا
- فراہم
- فراہم کرتا ہے
- ھیںچو
- ھیںچتی
- خریداریوں
- پش
- دھکیل دیا
- ڈال
- رکھتا ہے
- فوری
- جلدی سے
- ریکارڈ
- ریکارڈ
- ری ڈائریکٹ
- کو کم
- کو کم کرنے
- سلسلے
- وشوسنییتا
- ہٹانے
- ہٹا
- کو ہٹانے کے
- اطلاع دی
- درخواست
- ضرورت
- ضرورت
- جواب
- نتیجہ
- خوردہ فروش
- واپسی
- واپسی
- انکشاف
- -جائزہ لیا
- رسک
- کردار
- روٹ
- چل رہا ہے
- اسکیل ایبلٹی
- ترازو
- سکیلنگ
- بغیر کسی رکاوٹ کے
- سیکنڈ
- محفوظ
- سیکورٹی
- بھیجنا
- حساس
- سروس
- سروسز
- مختصر
- شوز
- سادہ
- بعد
- So
- اب تک
- حل
- کچھ
- ماخذ
- ذرائع
- تیزی
- موسم بہار
- بہار بوٹ
- مراحل
- کھڑے ہیں
- اسٹینڈ
- شروع
- شروع
- اسٹاک
- ذخیرہ
- ذخیرہ
- براہ راست
- اس طرح
- حمایت
- سوئچ کریں
- سسٹمز
- لے لو
- لیتا ہے
- ٹاسک
- ٹیم
- ٹرافیفار
- ٹیسٹ
- ٹیسٹنگ
- ٹیسٹ
- ۔
- ان
- اس طرح
- خطرہ
- کے ذریعے
- وقت
- کرنے کے لئے
- سب سے اوپر
- ٹریس
- ٹریڈنگ
- تربیت یافتہ
- ٹریننگ
- رجحانات
- اقسام
- Uk
- سمجھ
- URL
- استعمال
- استعمال کی شرائط
- قیمت
- مختلف اقسام کے
- کی طرف سے
- ویڈیو
- چاہتے تھے
- ہفتے
- جس
- وسیع
- کے اندر
- بغیر
- کام کیا
- کام کر
- سال
- اور
- زیفیرنیٹ