זהו פוסט אורח מאת אנדי וויטל, מהנדס פלטפורמה ראשי - מסגרות יישום ואמינות ב-The Very Group.
At הקבוצה מאוד, המפעילה קמעונאית דיגיטלית מאוד, אבטחה היא בראש סדר העדיפויות בטיפול בנתונים עבור מיליוני לקוחות. חלק מהאופן שבו The Very Group מאבטחת ועוקבת אחר הפעילות העסקית היא באמצעות רישום פעילות בין מערכות עסקיות (לדוגמה, על פני שלבי הזמנת הלקוח). זוהי דרישה תפעולית קריטית ומאפשרת ל-Very Group להתחקות אחר תקריות ולזהות באופן יזום בעיות ומגמות. עם זאת, משמעות הדבר עשויה להיות עיבוד נתוני לקוחות בצורה של מידע אישי מזהה (PII) ביחס לפעילויות כגון רכישות, החזרות, שימוש באפשרויות תשלום גמישות וניהול חשבון.
בפוסט זה, The Very Group מראה כיצד הם משתמשים אמזון להתבונן להוסיף שכבה נוספת של הגנה אוטומטית על גבי מדיניות לתכנון מודל איומים לכל המערכות, כדי למנוע שליחת PII בנתוני יומן אל Elasticsearch לצורך הוספת אינדקס. Amazon Comprehend הוא שירות עיבוד שפה טבעית (NLP) מנוהל במלואו ומאומן באופן רציף שיכול להוציא תובנות לגבי התוכן של מסמך או טקסט.
סקירה כללית של הפיתרון
המטרה העליונה של צוות ההנדסה של The Very Group הייתה למנוע מכל נתוני PII להגיע למסמכים בתוך Elasticsearch. כדי להשיג זאת ולהסרה אוטומטית של PII ממיליוני רשומות מזוהות ביום, צוות ההנדסה של The Very Group יצר מודול Application Observability ב-Terraform. מודול זה מיישם פתרון צפייה, כולל יומני יישומים, ניטור ביצועי יישומים (APM) ומדדים. בתוך המודול, הצוות השתמש ב- Amazon Comprehend כדי להדגיש PII בתוך נתוני יומן עם אפשרות להסיר אותם לפני השליחה אל Elasticsearch.
Amazon Comprehend זוהתה כחלק מיוזמת הנדסת פלטפורמה פנימית כדי לחקור כיצד ניתן להשתמש בשירותי AI של AWS כדי לשפר את היעילות ולהפחית סיכונים בפעילויות עסקיות חוזרות ונשנות. התרבות של Very Group ללמוד ולהתנסות פירושה ש- Amazon Comprehend נבדקה לגבי ישימות באמצעות אפליקציית Java כדי ללמוד כיצד זה עובד עם נתוני PII מבחן. הצוות השתמש בדוגמאות קוד בתיעוד כדי להאיץ את הוכחת הרעיון והוכיח במהירות פוטנציאל תוך יום.
צוות ההנדסה פיתח סכימה המדגימה כיצד שירות עריכת PII יכול להשתלב ברישום של The Very Group. זה כלל פיתוח שירות מיקרו ל התקשר ל- Amazon Comprehend כדי לזהות נתוני PII. הפתרון עבד על ידי העברת נתוני היומן של The Very Group דרך מופע של Logstash הפועל על AWS פרגייט, אשר מנקה את הנתונים באמצעות שירות pii-logstash-redaction אחר המתארח ב-Fargate המבוסס על אפליקציית Spring Boot Java שמבצעת שיחות לאמזון Comprehend כדי להסיר PII. התרשים הבא ממחיש ארכיטקטורה זו.
הפתרון של Very Group לוקח ממנו יומנים אמזון CloudWatch ו שירות מיכלים אלסטי של אמזון (Amazon ECS) ומעביר גרסאות נקיות ל-Elasticsearch כדי להוסף לאינדקס. אמזון קינסי משמש בפתרון ללכידה ואחסון יומנים לתקופות קצרות, כאשר Logstash מושך יומנים למטה כל כמה שניות.
יומנים מקורם בתהליכים עסקיים רבים, כולל הזמנות, החזרות ושירותים פיננסיים. הם כוללים יומנים של יותר מ-200 אפליקציות אמזון ECS ברחבי סביבות בדיקה ופרוד ב-Fargate שדוחפות יומנים ל-Logstash. מקור נוסף הוא AWS למבדה יומנים שנמשכים לתוך Kinesis ולאחר מכן נמשכים לתוך Logstash. לבסוף, מופע עצמאי נפרד של Filebeat מושך ניתוח יומן וזה מכניס אותם ל-CloudWatch ולאחר מכן ל-Logstash. התוצאה היא שמקורות רבים של יומנים נמשכים או נדחפים לתוך Logstash ומעובדים על ידי מודול Application Observability ו-Amazon Comprehend לפני שהם מאוחסנים ב- Elasticsearch.
מודול Terraform נפרד מספק את כל התשתית הנדרשת כדי לעמוד בשירות Logstash המסוגל לייצא יומנים מקבוצות יומן של CloudWatch אל Elasticsearch באמצעות AWS PrivateLink נקודת קצה VPC. ניתן לשלב את שירות Logstash עם Amazon ECS באמצעות a תצורת יומן firelens, עם אמזון ECS שמקימה קישוריות דרך כביש אמזון 53 תקליט. מדרגיות מובנית עם קנה מידה של Kinesis לפי דרישה (למרות שהצוות התחיל עם רסיסים קבועים, אבל עכשיו עוברים לשימוש לפי דרישה), ו-Logstash מתרחב עם תוספת ענן מחשוב אלסטי של אמזון (Amazon EC2) מופעים מאחורי NLB עקב פרוטוקולים בשימוש של Filebeat ומאפשר ל-Logstash למשוך יומנים ביעילות רבה יותר מ-Kinesis.
לבסוף, שירות Logstash מורכב מהגדרת משימה המכילה מיכל Logstash ומיכל עריכת PII, מה שמבטיח הסרה של PII לפני ייצוא אל Elasticsearch.
תוצאות
צוות ההנדסה הצליח לבנות ולבדוק את הפתרון תוך שבוע, ללא צורך בהבנת למידת מכונה (ML) או את פעולת הבינה המלאכותית, באמצעות הדרכה וידאו של Amazon Comprehend, תיעוד עזר ל-API, ו קוד דוגמה. לאחר שהוכיחו ערך עסקי כל כך מהר, בעלי המוצרים העסקיים החלו לפתח מקרי שימוש חדשים כדי לנצל את השירות. היו צריכים לקבל כמה החלטות כדי לאפשר את הפתרון. למרות שצוות הנדסת הפלטפורמה ידע שהם יכולים לתקן את הנתונים, הם רצו ליירט את היומנים מהפתרון הנוכחי (מבוסס על לוח צד של Fluent Bit כדי להפנות יומנים לנקודת קצה). הם החליטו לאמץ את Logstash כדי לאפשר יירוט של שדות יומן דרך צינורות לשילוב עם שירות ה-PII שלהם (הכולל את מודול Terraform ושירות Java).
האימוץ של Logstash נעשה בתחילה בצורה חלקה. חוליות ההנדסה של Very Group משתמשות כעת בשירות ישירות דרך נקודת קצה של API כדי להכניס יומנים ישר לתוך Elasticsearch. זה איפשר להם להחליף את נקודת הקצה שלהם מהרכב הצד לנקודת הקצה החדשה ולפרוס אותה דרך מודול Terraform. הבעיה היחידה שהיתה לצוות הייתה מבדיקות ראשוניות שחשפו בעיית מהירות בעת בדיקה עם עומסי מסחר שיא. זה התגבר באמצעות התאמות לקוד Java.
הקוד הבא מראה כיצד The Very Group משתמשת ב- Amazon Comprehend כדי להסיר PII מהודעות יומן. זה מזהה כל PII ויוצר רשימה של סוגי ישויות להקלטה. כדי להאיץ את הפיתוח, הקוד נלקח מתיעוד AWS והותאם לשימוש בשירות יישומי Java שנפרס על Fargate.
צילום המסך הבא מציג את הפלט שנשלח אל Elasticsearch כחלק מתהליך העריכה של PII. השירות מייצר מיליון רשומות ביום, ומייצר רשומה בכל פעם שמבוצעת עריכה.
הודעת היומן נמחקת, והשדה redacted_entities מכיל רשימה של סוגי הישויות שנמצאו בהודעה. במקרה זה, הדוגמה מצאה כתובת URL, אך היא יכלה לזהות כל סוג של נתוני PII בעיקר בהתבסס על הסוגים המובנים של PII. סוג PII נוסף בהתאמה אישית למספר חשבון לקוח נוסף דרך Amazon Comprehend, אך לא היה צורך בו עד כה. עקיפות ברמת צוות ההנדסה מתועדות ב-GitHub כיצד להשתמש בהן.
סיכום
פרויקט זה אפשר ל-The Very Group ליישם פתרון מהיר ופשוט לתיקון PII רגיש ביומנים. צוות ההנדסה הוסיף גמישות נוספת המאפשרת עקיפות עבור סוגי ישויות, תוך שימוש ב-Amazon Comprehend כדי לספק את הגמישות לעיבוד PII בהתבסס על הצרכים העסקיים. בעתיד, צוות ההנדסה בוחן להכשיר ישויות בודדות של Amazon Comprehend לשינוי מחרוזות כגון מזהי הלקוחות שלנו.
התוצאה של הפתרון היא של-The Very Group יש חופש להעביר יומנים בלי צורך לדאוג. הוא אוכף את המדיניות של אי אחסון PII ביומנים, ובכך מפחית את הסיכון ומשפר את התאימות. יתרה מזאת, מטא-נתונים שנמחקים מדווחים בחזרה לעסק באמצעות לוח מחוונים של Elasticsearch, המאפשר התראות ופעולות נוספות.
הקדישו זמן להערכת שירותי AI/ML של AWS שהארגון שלכם עדיין לא השתמש בהם ולטפח תרבות של ניסויים. התחלה פשוטה יכולה להוביל במהירות לתועלת עסקית, בדיוק כפי שהוכיחה The Very Group.
על המחבר
אנדי וויטל הוא מהנדס פלטפורמה ראשי - מסגרות יישומים ואמינות ב-The Very Group, המפעילה את הקמעונאית הדיגיטלית Very בבריטניה. אנדי עוזר לספק ניטור ביצועים על פני שבטי הארגון, ויש לו עניין מיוחד בניטור יישומים, צפייה וביצועים. מאז שהצטרף ל-Very ב-1998, אנדי לקח על עצמו מגוון רחב של תפקידים המכסים ניהול תוכן וייצור קטלוגים, ניהול מלאי, תמיכה בייצור, DevOps ו-Fusion Middleware. ב-4 השנים האחרונות הוא היה חלק מצוות הנדסת הפלטפורמות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- יכול
- אודות
- להאיץ
- חֶשְׁבּוֹן
- ניהול חשבון
- לרוחב
- פעולה
- פעילויות
- פעילות
- הוסיף
- נוסף
- לְאַמֵץ
- אימוץ
- יתרון
- AI
- שירותי AI
- AI / ML
- תעשיות
- מאפשר
- למרות
- אמזון בעברית
- אמזון להתבונן
- אמזון
- אנליזה
- ו
- אחר
- API
- בקשה
- אפליקציות
- ארכיטקטורה
- אוטומטי
- אוטומטי
- AWS
- בחזרה
- מבוסס
- לפני
- מאחור
- להיות
- תועלת
- בֵּין
- קצת
- לִבנוֹת
- נבנה
- מובנה
- עסקים
- שיחות
- מסוגל
- ללכוד
- מקרה
- מקרים
- קטלוג
- קוד
- הענות
- לִהַבִין
- לחשב
- מושג
- קישוריות
- מכולה
- מכיל
- תוכן
- יכול
- כיסוי
- נוצר
- יוצר
- קריטי
- תַרְבּוּת
- נוֹכְחִי
- לקוח
- נתוני לקוחות
- לקוחות
- לוח מחוונים
- נתונים
- יְוֹם
- החליט
- החלטות
- גופי בטחון
- למסור
- דרישה
- מופגן
- הפגנה
- לפרוס
- פרס
- עיצוב
- לפתח
- מפותח
- מתפתח
- צעצועי התפתחות
- דיגיטלי
- ישירות
- מסמך
- תיעוד
- מסמכים
- מטה
- כל אחד
- יעילות
- יְעִילוּת
- לאפשר
- מאפשר
- מה שמאפשר
- נקודת קצה
- מהנדס
- הנדסה
- הבטחתי
- ישויות
- ישות
- סביבות
- מקימים
- דוגמה
- דוגמאות
- לְנַסוֹת
- תמצית
- מעטים
- שדה
- שדות
- בסופו של דבר
- כספי
- שירותים פיננסיים
- קבוע
- גמישות
- גמיש
- הבא
- טופס
- לטפח
- מצא
- מסגרות
- חופש
- החל מ-
- לגמרי
- נוסף
- יתר על כן
- היתוך
- עתיד
- מייצר
- יצירת
- GitHub
- מטרה
- קְבוּצָה
- קבוצה
- אוֹרֵחַ
- פוסט אורח
- טיפול
- יש
- עוזר
- להבליט
- איך
- איך
- אולם
- HTML
- HTTPS
- מזוהה
- לזהות
- ליישם
- מיישמים
- לשפר
- שיפור
- in
- לכלול
- כולל
- בנפרד
- מידע
- תשתית
- בתחילה
- בהתחלה
- יוזמה
- תובנה
- למשל
- לשלב
- משולב
- אינטרס
- פנימי
- לחקור
- מעורב
- סוגיה
- IT
- Java
- הצטרפות
- תוויות
- שפה
- במידה רבה
- שכבה
- עוֹפֶרֶת
- לִלמוֹד
- למידה
- רשימה
- המון
- הסתכלות
- מכונה
- למידת מכונה
- עשוי
- עושה
- הצליח
- ניהול
- רב
- הודעה
- הודעות
- מידע נוסף
- מדדים
- מִילִיוֹן
- מיליונים
- ML
- דוּגמָנוּת
- מודול
- ניטור
- יותר
- טבעי
- עיבוד שפה טבעית
- צורך
- צרכי
- חדש
- NLP
- מספר
- פועל
- פועל
- תפעול
- אפשרות
- אפשרויות
- להזמין
- ארגון
- להתגבר על
- גובר
- בעלי
- חלק
- מסוים
- מעברי
- חולף
- עבר
- תשלום
- שִׂיא
- ביצועים
- תקופות
- אישית
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- מדיניות
- הודעה
- פוטנציאל
- למנוע
- מנהל
- קודם
- עדיפות
- פְּרָטִי
- בעיות
- תהליך
- מעובד
- תהליכים
- תהליך
- המוצר
- הפקה
- פּרוֹיֶקט
- הוכחה
- הוכחה של רעיון או תאוריה
- פרוטוקולים
- הוכיח
- לספק
- מספק
- מושך
- מושך
- רכישות
- דחוף
- דחף
- גם
- מכניס
- מָהִיר
- מהירות
- שיא
- רשום
- הפניה
- להפחית
- הפחתה
- יחס
- אמינות
- הסרה
- להסיר
- הסרת
- דווח
- לבקש
- נדרש
- דרישה
- תגובה
- תוצאה
- קִמעוֹנַאִי
- לַחֲזוֹר
- החזרות
- גילה
- סקר
- הסיכון
- תפקידים
- מסלול
- ריצה
- בקרת מערכות ותקשורת
- מאזניים
- דרוג
- בצורה חלקה
- שניות
- מאבטח
- אבטחה
- שליחה
- רגיש
- שרות
- שירותים
- קצר
- הופעות
- פָּשׁוּט
- since
- So
- עד כה
- פִּתָרוֹן
- כמה
- מָקוֹר
- מקורות
- מְהִירוּת
- אביב
- מגף קפיץ
- שלבים
- לעמוד
- עצמאי
- החל
- החל
- מניות
- חנות
- מאוחסן
- ישר
- כזה
- תמיכה
- מתג
- מערכות
- לקחת
- לוקח
- המשימות
- נבחרת
- Terraform
- מבחן
- בדיקות
- בדיקות
- אל האני
- שֶׁלָהֶם
- בכך
- איום
- דרך
- זמן
- ל
- חלק עליון
- עקבות
- מסחר
- מְאוּמָן
- הדרכה
- מגמות
- סוגים
- Uk
- להבין
- כתובת האתר
- נוֹהָג
- להשתמש
- ערך
- מגוון
- באמצעות
- וִידֵאוֹ
- רציתי
- שבוע
- אשר
- רָחָב
- בתוך
- לְלֹא
- עבד
- עובד
- שנים
- זפירנט