این پست مهمان توسط اندی ویتل، مهندس اصلی پلتفرم – چارچوبهای کاربردی و قابلیت اطمینان در The Very Group است.
At گروه بسیار، که خرده فروش دیجیتال را اداره می کند، امنیت در مدیریت داده ها برای میلیون ها مشتری اولویت اصلی است. بخشی از نحوه ایمن سازی و ردیابی عملیات تجاری The Very Group از طریق ثبت فعالیت بین سیستم های تجاری (به عنوان مثال، در سراسر مراحل سفارش مشتری) است. این یک نیاز عملیاتی حیاتی است و گروه Very را قادر میسازد تا حوادث را ردیابی کند و به طور فعال مشکلات و روندها را شناسایی کند. با این حال، این می تواند به معنای پردازش داده های مشتری در قالب اطلاعات شناسایی شخصی (PII) در رابطه با فعالیت هایی مانند خرید، بازگشت، استفاده از گزینه های پرداخت انعطاف پذیر و مدیریت حساب باشد.
در این پست، The Very Group نحوه استفاده آنها را نشان می دهد درک آمازون برای افزودن یک لایه بیشتر از دفاع خودکار در بالای سیاستها برای طراحی مدلسازی تهدید در همه سیستمها، برای جلوگیری از ارسال PII در دادههای گزارش به Elasticsearch برای نمایهسازی. Amazon Comprehend یک سرویس پردازش زبان طبیعی (NLP) کاملاً مدیریت شده و آموزشدیده است که میتواند بینشی درباره محتوای یک سند یا متن استخراج کند.
بررسی اجمالی راه حل
هدف اصلی تیم مهندسی The Very Group جلوگیری از دسترسی هر گونه داده PII به اسناد در Elasticsearch بود. برای انجام این کار و حذف خودکار PII از میلیون ها رکورد شناسایی شده در روز، تیم مهندسی The Very Group یک ماژول Application Observability در Terraform ایجاد کرد. این ماژول یک راه حل مشاهده پذیری را پیاده سازی می کند، از جمله گزارش های برنامه، نظارت بر عملکرد برنامه (APM) و معیارها. در داخل ماژول، تیم از Amazon Comprehend برای برجسته کردن PII در دادههای گزارش با گزینه حذف آن قبل از ارسال به Elasticsearch استفاده کرد.
Amazon Comprehend به عنوان بخشی از یک ابتکار مهندسی پلتفرم داخلی برای بررسی نحوه استفاده از خدمات هوش مصنوعی AWS برای بهبود کارایی و کاهش ریسک در فعالیتهای تجاری تکراری شناسایی شد. فرهنگ The Very Group برای یادگیری و آزمایش به این معنی بود که Amazon Comprehend از نظر قابلیت اجرا با استفاده از یک برنامه جاوا برای یادگیری نحوه عملکرد آن با دادههای PII آزمایشی بررسی شد. این تیم از نمونههای کد در مستندات برای تسریع در اثبات مفهوم استفاده کردند و به سرعت پتانسیل را در یک روز ثابت کردند.
تیم مهندسی طرحی را ایجاد کردند که نشان میدهد چگونه یک سرویس ویرایش PII میتواند با گزارشهای The Very Group یکپارچه شود. این شامل توسعه یک میکروسرویس برای برای شناسایی داده های PII با Amazon Comprehend تماس بگیرید. این راه حل با ارسال داده های گزارش The Very Group از طریق یک نمونه Logstash در حال اجرا کار کرد AWS Fargate، که داده ها را با استفاده از سرویس ویرایش pii-logstash-redaction دیگری با میزبانی Fargate بر اساس برنامه Spring Boot Java که برای حذف PII با Amazon Comprehend تماس می گیرد، پاک می کند. نمودار زیر این معماری را نشان می دهد.
راه حل The Very Group از سیاهه های مربوط می گیرد CloudWatch آمازون و سرویس کانتینر الاستیک آمازون (Amazon ECS) و نسخه های پاک شده را به Elasticsearch ارسال می کند تا ایندکس شوند. آمازون کینسیس در راه حل برای ضبط و ذخیره سیاهههای مربوط برای دوره های کوتاه، با Logstash کشیدن سیاهههای مربوط به پایین هر چند ثانیه استفاده می شود.
گزارشها در بسیاری از فرآیندهای تجاری، از جمله سفارشدهی، بازگرداندن و خدمات مالی به دست میآیند. آنها شامل گزارشهایی از بیش از 200 برنامه ECS آمازون در محیطهای آزمایشی و تولیدی در Fargate هستند که لاگها را به Logstash منتقل میکنند. منبع دیگر است AWS لامبدا لاگ هایی که به Kinesis کشیده می شوند و سپس به Logstash کشیده می شوند. در نهایت، یک نمونه مستقل جداگانه از Filebeat تجزیه و تحلیل log را انجام می دهد و آنها را در CloudWatch و سپس به Logstash قرار می دهد. نتیجه این است که بسیاری از منابع گزارشها قبل از ذخیرهسازی در Elasticsearch توسط ماژول Application Observability و Amazon Comprehend به Logstash کشیده یا فشار داده میشوند.
یک ماژول جداگانه Terraform تمام زیرساخت های مورد نیاز برای ایجاد یک سرویس Logstash را فراهم می کند که می تواند گزارش ها را از گروه های گزارش CloudWatch به Elasticsearch صادر کند. AWS PrivateLink نقطه پایانی VPC. سرویس Logstash همچنین می تواند با آمازون ECS از طریق a ادغام شود پیکربندی لاگ firelens، با آمازون ECS که اتصال را از طریق یک مسیر آمازون 53 رکورد. مقیاسپذیری با مقیاسبندی Kinesis در صورت تقاضا ساخته شده است (اگرچه تیم با خردههای ثابت شروع به کار کرد، اما اکنون به استفاده بر اساس تقاضا تغییر میکند)، و Logstash با مقیاسهای اضافی کاهش مییابد. ابر محاسبه الاستیک آمازون (Amazon EC2) به دلیل پروتکلهای استفاده شده توسط Filebeat در پشت NLB قرار میگیرد و Logstash را قادر میسازد تا لاگها را به طور موثرتری از Kinesis بکشد.
در نهایت، سرویس Logstash شامل یک تعریف وظیفه شامل یک ظرف Logstash و محفظه ویرایش PII است که از حذف PII قبل از صادرات به Elasticsearch اطمینان می دهد.
نتایج
تیم مهندسی توانست بدون نیاز به درک یادگیری ماشین (ML) یا عملکرد هوش مصنوعی، راه حل را ظرف یک هفته بسازد و آزمایش کند. راهنمای ویدیویی آمازون Comprehend, اسناد مرجع APIو کد نمونه. با نشان دادن ارزش تجاری به سرعت، صاحبان محصولات تجاری شروع به توسعه موارد استفاده جدید برای استفاده از خدمات کرده اند. برخی تصمیمات باید گرفته می شد تا راه حل فراهم شود. اگرچه تیم مهندسی پلتفرم میدانست که میتوانند دادهها را ویرایش کنند، اما میخواستند گزارشها را از راهحل فعلی رهگیری کنند (بر اساس یک فلوئنت بیت کناری برای هدایت کردن گزارشها به نقطه پایانی). آنها تصمیم گرفتند Logstash را برای رهگیری فیلدهای گزارش از طریق خطوط لوله برای ادغام با سرویس PII خود (شامل ماژول Terraform و سرویس جاوا) اتخاذ کنند.
پذیرش Logstash در ابتدا به صورت یکپارچه انجام شد. گروههای مهندسی Very Group اکنون مستقیماً از طریق یک نقطه پایانی API از این سرویس استفاده میکنند تا لاگها را مستقیماً در Elasticsearch قرار دهند. این به آنها این امکان را میدهد تا نقطه پایانی خود را از کناری به نقطه پایانی جدید تغییر دهند و آن را از طریق ماژول Terraform مستقر کنند. تنها مشکلی که این تیم داشت مربوط به آزمایشهای اولیه بود که هنگام آزمایش با بارهای اوج معاملات، مشکل سرعت را آشکار کرد. این از طریق تنظیمات کد جاوا برطرف شد.
کد زیر نشان می دهد که چگونه The Very Group از Amazon Comprehend برای حذف PII از پیام های گزارش استفاده می کند. هر PII را شناسایی می کند و لیستی از انواع موجودیت برای ضبط ایجاد می کند. برای تسریع توسعه، کد از مستندات AWS گرفته شد و برای استفاده در سرویس برنامه کاربردی جاوا که در Fargate مستقر شده است، سازگار شد.
تصویر زیر خروجی ارسال شده به Elasticsearch را به عنوان بخشی از فرآیند ویرایش PII نشان می دهد. این سرویس روزانه 1 میلیون رکورد تولید می کند و هر بار که یک ویرایش انجام می شود یک رکورد ایجاد می کند.
پیام گزارش ویرایش شده است و فیلد redacted_entities حاوی لیستی از انواع موجودیت موجود در پیام است. در این مورد، مثال یک URL پیدا کرد، اما میتوانست هر نوع داده PII را عمدتاً بر اساس انواع داخلی PII شناسایی کند. یک نوع PII سفارشی اضافی برای شماره حساب مشتری از طریق Amazon Comprehend اضافه شد، اما تا کنون مورد نیاز نبوده است. نادیده گرفتن سطح تیم مهندسی در GitHub در مورد نحوه استفاده از آنها مستند شده است.
نتیجه
این پروژه به The Very Group اجازه داد تا یک راه حل سریع و ساده برای ویرایش PII حساس در لاگ ها پیاده سازی کند. تیم مهندسی با استفاده از Amazon Comprehend انعطاف بیشتری برای ویرایش PII بر اساس نیازهای کسبوکار فراهم میآورد که امکان لغو برای انواع موجودیت را فراهم میکند. در آینده، تیم مهندسی به دنبال آموزش نهادهای آمازون Comprehend برای ویرایش رشتههایی مانند شناسه مشتری ما هستند.
نتیجه راه حل این است که The Very Group می تواند بدون نیاز به نگرانی، لاگ ها را وارد کند. این سیاست عدم ذخیره PII در گزارشها را اعمال میکند و در نتیجه ریسک را کاهش میدهد و انطباق را بهبود میبخشد. علاوه بر این، ابردادههایی که ویرایش میشوند از طریق داشبورد Elasticsearch به کسبوکار گزارش میشوند و هشدارها و اقدامات بعدی را ممکن میسازد.
برای ارزیابی خدمات AWS AI/ML که سازمان شما هنوز از آنها استفاده نکرده است، وقت بگذارید و فرهنگ آزمایش را تقویت کنید. همانطور که The Very Group ثابت کرد، شروع ساده می تواند به سرعت به سود تجاری منجر شود.
درباره نویسنده
اندی ویتل مهندس اصلی پلتفرم – چارچوبهای کاربردی و قابلیت اطمینان در The Very Group است که خردهفروش دیجیتالی مستقر در بریتانیا Very را اداره میکند. اندی به ارائه نظارت بر عملکرد در سراسر قبیله های سازمان کمک می کند و علاقه خاصی به نظارت، مشاهده و عملکرد برنامه دارد. از زمان پیوستن به Very در سال 1998، اندی نقش های متنوعی را در زمینه مدیریت محتوا و تولید کاتالوگ، مدیریت سهام، پشتیبانی تولید، DevOps و Fusion Middleware بر عهده گرفته است. در 4 سال گذشته او بخشی از تیم مهندسی سکو بوده است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- قادر
- درباره ما
- شتاب دادن
- حساب
- مدیریت حساب
- در میان
- عمل
- فعالیت ها
- فعالیت
- اضافه
- اضافی
- اتخاذ
- اتخاذ
- مزیت - فایده - سود - منفعت
- AI
- خدمات هوش مصنوعی
- AI / ML
- معرفی
- اجازه دادن
- هر چند
- آمازون
- درک آمازون
- آمازون EC2
- تحلیل
- و
- دیگر
- API
- کاربرد
- برنامه های
- معماری
- خودکار بودن
- خودکار
- AWS
- به عقب
- مستقر
- قبل از
- پشت سر
- بودن
- سود
- میان
- بیت
- ساختن
- ساخته
- ساخته شده در
- کسب و کار
- تماس ها
- توانا
- گرفتن
- مورد
- موارد
- کاتالوگ
- رمز
- انطباق
- درک
- محاسبه
- مفهوم
- اتصال
- ظرف
- شامل
- محتوا
- میتوانست
- پوشش
- ایجاد شده
- ایجاد
- بحرانی
- فرهنگ
- جاری
- مشتری
- اطلاعات مشتری
- مشتریان
- داشبورد
- داده ها
- روز
- مصمم
- تصمیم گیری
- دفاع
- ارائه
- تقاضا
- نشان
- نشان دادن
- گسترش
- مستقر
- طرح
- توسعه
- توسعه
- در حال توسعه
- پروژه
- دیجیتال
- مستقیما
- سند
- مستندات
- اسناد و مدارک
- پایین
- هر
- به طور موثر
- بهره وری
- قادر ساختن
- را قادر می سازد
- را قادر می سازد
- نقطه پایانی
- مهندس
- مهندسی
- حصول اطمینان از
- اشخاص
- موجودیت
- محیط
- ایجاد
- مثال
- مثال ها
- تجربه
- عصاره
- کمی از
- رشته
- زمینه
- سرانجام
- مالی
- خدمات مالی
- ثابت
- انعطاف پذیری
- قابل انعطاف
- پیروی
- فرم
- پرورش دادن
- یافت
- چارچوب
- آزادی
- از جانب
- کاملا
- بیشتر
- بعلاوه
- ادغام
- آینده
- تولید می کند
- مولد
- GitHub
- هدف
- گروه
- گروه ها
- مهمان
- پست مهمان
- اداره
- داشتن
- کمک می کند
- نماد
- چگونه
- چگونه
- اما
- HTML
- HTTPS
- شناسایی
- شناسایی
- انجام
- پیاده سازی می کند
- بهبود
- بهبود
- in
- شامل
- از جمله
- فرد
- اطلاعات
- شالوده
- اول
- در ابتدا
- ابتکار عمل
- بینش
- نمونه
- ادغام
- یکپارچه
- علاقه
- داخلی
- بررسی
- گرفتار
- موضوع
- IT
- جاوه
- پیوستن
- برچسب ها
- زبان
- تا حد زیادی
- لایه
- رهبری
- یاد گرفتن
- یادگیری
- فهرست
- بارهای
- به دنبال
- دستگاه
- فراگیری ماشین
- ساخته
- باعث می شود
- اداره می شود
- مدیریت
- بسیاری
- پیام
- پیام
- متاداده
- متریک
- میلیون
- میلیون ها نفر
- ML
- مدل سازی
- ماژول ها
- نظارت بر
- بیش
- طبیعی
- پردازش زبان طبیعی
- نیازمند
- نیازهای
- جدید
- nlp
- عدد
- عمل می کند
- عملیاتی
- عملیات
- گزینه
- گزینه
- سفارش
- کدام سازمان ها
- غلبه بر
- مهم
- صاحبان
- بخش
- ویژه
- عبور می کند
- عبور
- گذشته
- پرداخت
- اوج
- کارایی
- دوره ها
- شخصا
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- سیاست
- پست
- پتانسیل
- جلوگیری از
- اصلی
- قبلا
- اولویت
- خصوصی
- مشکلات
- روند
- فرآوری شده
- فرآیندهای
- در حال پردازش
- محصول
- تولید
- پروژه
- اثبات
- اثبات مفهوم
- پروتکل
- ثابت
- ارائه
- فراهم می کند
- کشیدن
- کشد
- خرید
- فشار
- تحت فشار قرار دادند
- قرار دادن
- قرار می دهد
- سریع
- به سرعت
- رکورد
- سوابق
- تغییر مسیر
- كاهش دادن
- کاهش
- ارتباط
- قابلیت اطمینان
- برداشت
- برداشتن
- از بین بردن
- گزارش
- درخواست
- ضروری
- نیاز
- پاسخ
- نتیجه
- خرده فروش
- برگشت
- بازده
- نشان داد
- بررسی
- خطر
- نقش
- مسیر
- در حال اجرا
- مقیاس پذیری
- مقیاس ها
- مقیاس گذاری
- یکپارچه
- ثانیه
- امن
- تیم امنیت لاتاری
- در حال ارسال
- حساس
- سرویس
- خدمات
- کوتاه
- نشان می دهد
- ساده
- پس از
- So
- تا حالا
- راه حل
- برخی از
- منبع
- منابع
- سرعت
- بهار
- چکمه بهاری
- مراحل
- ایستادن
- مستقل
- آغاز شده
- راه افتادن
- موجودی
- opbevare
- ذخیره شده
- راست
- چنین
- پشتیبانی
- گزینه
- سیستم های
- گرفتن
- طول می کشد
- کار
- تیم
- Terraform
- آزمون
- تست
- تست
- La
- شان
- در نتیجه
- تهدید
- از طریق
- زمان
- به
- بالا
- پی گیری
- تجارت
- آموزش دیده
- آموزش
- روند
- انواع
- Uk
- فهمیدن
- URL
- استفاده
- استفاده کنید
- ارزش
- تنوع
- از طريق
- تصویری
- خواسته
- هفته
- که
- وسیع
- در داخل
- بدون
- مشغول به کار
- کارگر
- سال
- شما
- زفیرنت