นี่คือโพสต์ของแขกรับเชิญโดย Andy Whittle หัวหน้าวิศวกรแพลตฟอร์ม – Application & Reliability Frameworks ที่ The Very Group
At กลุ่มมากซึ่งดำเนินการร้านค้าปลีกดิจิทัล Very การรักษาความปลอดภัยเป็นสิ่งสำคัญสูงสุดในการจัดการข้อมูลสำหรับลูกค้าหลายล้านราย ส่วนหนึ่งของวิธีที่ The Very Group รักษาความปลอดภัยและติดตามการดำเนินธุรกิจคือผ่านการบันทึกกิจกรรมระหว่างระบบธุรกิจ (เช่น ในขั้นตอนของคำสั่งซื้อของลูกค้า) เป็นข้อกำหนดในการดำเนินงานที่สำคัญและทำให้ The Very Group สามารถติดตามเหตุการณ์และระบุปัญหาและแนวโน้มเชิงรุกได้ อย่างไรก็ตาม นี่อาจหมายถึงการประมวลผลข้อมูลลูกค้าในรูปแบบของข้อมูลส่วนบุคคล (PII) ที่เกี่ยวข้องกับกิจกรรมต่างๆ เช่น การซื้อ การคืนสินค้า การใช้ตัวเลือกการชำระเงินที่ยืดหยุ่น และการจัดการบัญชี
ในโพสต์นี้ The Very Group จะแสดงวิธีการใช้ เข้าใจ Amazon เพื่อเพิ่มการป้องกันอัตโนมัติอีกชั้นหนึ่งนอกเหนือจากนโยบายเพื่อออกแบบการสร้างแบบจำลองภัยคุกคามในทุกระบบ เพื่อป้องกันไม่ให้ PII ถูกส่งในข้อมูลบันทึกไปยัง Elasticsearch เพื่อทำดัชนี Amazon Comprehend คือบริการประมวลผลภาษาธรรมชาติ (NLP) ที่มีการจัดการเต็มรูปแบบและฝึกฝนอย่างต่อเนื่อง ซึ่งสามารถดึงข้อมูลเชิงลึกเกี่ยวกับเนื้อหาของเอกสารหรือข้อความได้
ภาพรวมของโซลูชัน
เป้าหมายสำคัญสำหรับทีมวิศวกรของ The Very Group คือการป้องกันไม่ให้ข้อมูล PII เข้าถึงเอกสารภายใน Elasticsearch เพื่อให้บรรลุเป้าหมายนี้และทำให้การลบ PII โดยอัตโนมัติจากบันทึกที่ระบุหลายล้านรายการต่อวัน ทีมวิศวกรของ The Very Group ได้สร้างโมดูลความสามารถในการสังเกตของแอปพลิเคชันใน Terraform โมดูลนี้ใช้โซลูชันความสามารถในการสังเกต รวมถึงบันทึกของแอปพลิเคชัน การตรวจสอบประสิทธิภาพแอปพลิเคชัน (APM) และเมตริก ภายในโมดูล ทีมงานใช้ Amazon Comprehend เพื่อเน้น PII ภายในข้อมูลบันทึกพร้อมตัวเลือกในการลบออกก่อนที่จะส่งไปยัง Elasticsearch
Amazon Comprehend ได้รับการระบุว่าเป็นส่วนหนึ่งของความคิดริเริ่มด้านวิศวกรรมแพลตฟอร์มภายในเพื่อตรวจสอบว่าบริการ AWS AI สามารถใช้งานเพื่อปรับปรุงประสิทธิภาพและลดความเสี่ยงในกิจกรรมทางธุรกิจที่ทำซ้ำๆ ได้อย่างไร วัฒนธรรมการเรียนรู้และการทดลองของ Very Group หมายความว่า Amazon Comprehend ได้รับการตรวจสอบการบังคับใช้โดยใช้แอปพลิเคชัน Java เพื่อเรียนรู้วิธีการทำงานกับข้อมูล PII ทดสอบ ทีมใช้ตัวอย่างโค้ดในเอกสารประกอบเพื่อเร่งการพิสูจน์แนวคิดและพิสูจน์ศักยภาพได้อย่างรวดเร็วภายในหนึ่งวัน
ทีมวิศวกรได้พัฒนาแผนผังเพื่อแสดงให้เห็นว่าบริการตรวจสอบข้อมูล PII สามารถรวมเข้ากับการบันทึกของ The Very Group ได้อย่างไร มันเกี่ยวข้องกับการพัฒนาไมโครเซอร์วิสเพื่อ โทรหา Amazon Comprehend เพื่อตรวจหาข้อมูล PII. โซลูชันทำงานโดยส่งข้อมูลบันทึกของ The Very Group ผ่านอินสแตนซ์ Logstash ที่ทำงานอยู่ AWS ฟาร์เกตซึ่งล้างข้อมูลโดยใช้บริการ pii-logstash-redaction ที่โฮสต์โดย Fargate อื่น โดยอิงตามแอปพลิเคชัน Spring Boot Java ที่ทำการเรียกไปยัง Amazon Comprehend เพื่อลบ PII แผนภาพต่อไปนี้แสดงสถาปัตยกรรมนี้
โซลูชันของ Very Group นำบันทึกจาก อเมซอน คลาวด์วอตช์ และ บริการ Amazon Elastic Container (Amazon ECS) และส่งเวอร์ชันที่สะอาดแล้วไปยัง Elasticsearch เพื่อทำดัชนี อเมซอน Kinesis ใช้ในโซลูชันเพื่อบันทึกและจัดเก็บบันทึกในช่วงเวลาสั้น ๆ โดย Logstash จะดึงบันทึกลงทุก ๆ สองสามวินาที
บันทึกมาจากกระบวนการทางธุรกิจมากมาย รวมถึงการสั่งซื้อ การส่งคืน และบริการทางการเงิน ประกอบด้วยบันทึกจากแอป Amazon ECS กว่า 200 แอปในสภาพแวดล้อมการทดสอบและผลิตภัณฑ์ใน Fargate ที่ส่งบันทึกไปยัง Logstash อีกแหล่งคือ AWS แลมบ์ดา บันทึกที่ดึงเข้าสู่ Kinesis แล้วดึงเข้าสู่ Logstash สุดท้าย อินสแตนซ์แบบสแตนด์อโลนที่แยกจากกันของ Filebeat จะดึงการวิเคราะห์บันทึก และนำข้อมูลเหล่านั้นไปที่ CloudWatch และจากนั้นไปที่ Logstash ผลลัพธ์คือแหล่งที่มาของบันทึกจำนวนมากถูกดึงหรือผลักเข้าสู่ Logstash และประมวลผลโดยโมดูล Application Observability และ Amazon Comprehend ก่อนจัดเก็บใน Elasticsearch
โมดูล Terraform ที่แยกต่างหากมอบโครงสร้างพื้นฐานทั้งหมดที่จำเป็นในการรองรับบริการ Logstash ที่สามารถส่งออกบันทึกจากกลุ่มบันทึกของ CloudWatch ไปยัง Elasticsearch ผ่านทาง AWS PrivateLink ปลายทาง VPC บริการ Logstash ยังสามารถรวมเข้ากับ Amazon ECS ผ่านทาง การกำหนดค่าบันทึก firelensด้วย Amazon ECS ที่สร้างการเชื่อมต่อผ่าน Amazon เส้นทาง 53 บันทึก. ความสามารถในการปรับขนาดนั้นสร้างขึ้นด้วย Kinesis ที่ปรับขนาดตามความต้องการ (แม้ว่าทีมจะเริ่มต้นด้วยชาร์ดแบบตายตัว แต่ตอนนี้เปลี่ยนมาใช้แบบออนดีมานด์) และ Logstash ก็ปรับขนาดเพิ่มเติม อเมซอน อีลาสติก คอมพิวท์ คลาวด์ (Amazon EC2) อินสแตนซ์ที่อยู่เบื้องหลัง NLB เนื่องจากโปรโตคอลที่ใช้โดย Filebeat และเปิดใช้งาน Logstash เพื่อดึงบันทึกจาก Kinesis ได้อย่างมีประสิทธิภาพมากขึ้น
สุดท้าย บริการ Logstash ประกอบด้วยคำจำกัดความของงานที่มีคอนเทนเนอร์ Logstash และคอนเทนเนอร์การแก้ไข PII เพื่อให้แน่ใจว่ามีการลบ PII ก่อนส่งออกไปยัง Elasticsearch
ผลสอบ
ทีมวิศวกรสามารถสร้างและทดสอบโซลูชันได้ภายในหนึ่งสัปดาห์ โดยไม่จำเป็นต้องเข้าใจแมชชีนเลิร์นนิง (ML) หรือการทำงานของ AI โดยใช้ วิดีโอคำแนะนำของ Amazon Comprehend, เอกสารอ้างอิง APIและ ตัวอย่างโค้ด. หลังจากที่ได้แสดงให้เห็นถึงมูลค่าทางธุรกิจอย่างรวดเร็ว เจ้าของผลิตภัณฑ์ทางธุรกิจได้เริ่มพัฒนากรณีการใช้งานใหม่ๆ เพื่อใช้ประโยชน์จากบริการนี้ ต้องมีการตัดสินใจบางอย่างเพื่อให้สามารถแก้ปัญหาได้ แม้ว่าทีมวิศวกรรมแพลตฟอร์มจะรู้ว่าพวกเขาสามารถแก้ไขข้อมูลได้ แต่พวกเขาต้องการสกัดกั้นบันทึกจากโซลูชันปัจจุบัน (โดยใช้ Fluent Bit sidecar เพื่อเปลี่ยนเส้นทางบันทึกไปยังจุดสิ้นสุด) พวกเขาตัดสินใจใช้ Logstash เพื่อเปิดใช้งานการสกัดกั้นฟิลด์บันทึกผ่านไปป์ไลน์เพื่อรวมเข้ากับบริการ PII ของพวกเขา (ประกอบด้วยโมดูล Terraform และบริการ Java)
การนำ Logstash มาใช้นั้นเริ่มต้นอย่างราบรื่น ขณะนี้ทีมวิศวกรรมของ Very Group กำลังใช้บริการโดยตรงผ่านจุดสิ้นสุด API เพื่อใส่บันทึกลงใน Elasticsearch โดยตรง สิ่งนี้ทำให้พวกเขาเปลี่ยนจุดสิ้นสุดจากรถด้านข้างไปยังจุดสิ้นสุดใหม่และปรับใช้ผ่านโมดูล Terraform ปัญหาเดียวที่ทีมพบคือจากการทดสอบเบื้องต้นที่เผยให้เห็นปัญหาความเร็วเมื่อทดสอบกับปริมาณการเทรดสูงสุด สิ่งนี้ได้รับการแก้ไขโดยการปรับโค้ด Java
โค้ดต่อไปนี้แสดงวิธีที่ The Very Group ใช้ Amazon Comprehend เพื่อลบ PII ออกจากข้อความบันทึก ตรวจพบ PII และสร้างรายการประเภทเอนทิตีเพื่อบันทึก เพื่อเร่งการพัฒนา โค้ดดังกล่าวนำมาจากเอกสารประกอบ AWS และปรับใช้ในบริการแอปพลิเคชัน Java ที่ปรับใช้บน Fargate
ภาพหน้าจอต่อไปนี้แสดงผลลัพธ์ที่ส่งไปยัง Elasticsearch ซึ่งเป็นส่วนหนึ่งของกระบวนการแก้ไข PII บริการสร้างบันทึก 1 ล้านรายการต่อวัน โดยสร้างบันทึกทุกครั้งที่มีการแก้ไข
ข้อความบันทึกถูกแก้ไข และฟิลด์ redacted_entities มีรายการประเภทเอนทิตีที่พบในข้อความ ในกรณีนี้ ตัวอย่างพบ URL แต่สามารถระบุประเภทข้อมูล PII ใดๆ โดยส่วนใหญ่ขึ้นอยู่กับประเภท PII ที่มีอยู่แล้วภายใน มีการเพิ่มประเภท PII ตามความต้องการเพิ่มเติมสำหรับหมายเลขบัญชีของลูกค้าผ่าน Amazon Comprehend แต่ยังไม่จำเป็นต้องใช้ การแทนที่ระดับกลุ่มทางวิศวกรรมได้รับการบันทึกไว้ใน GitHub เกี่ยวกับวิธีการใช้งาน
สรุป
โครงการนี้อนุญาตให้ The Very Group ใช้วิธีแก้ปัญหาที่ง่ายและรวดเร็วในการปกปิด PII ที่ละเอียดอ่อนในบันทึก ทีมวิศวกรได้เพิ่มความยืดหยุ่นเพิ่มเติมเพื่อให้สามารถแทนที่ประเภทเอนทิตีได้ โดยใช้ Amazon Comprehend เพื่อมอบความยืดหยุ่นในการแก้ไข PII ตามความต้องการทางธุรกิจ ในอนาคต ทีมวิศวกรกำลังมองหาการฝึกอบรมเอนทิตี Amazon Comprehend แต่ละรายการเพื่อแก้ไขสตริง เช่น รหัสลูกค้าของเรา
ผลลัพธ์ของการแก้ปัญหาคือ The Very Group มีอิสระในการใส่บันทึกโดยไม่ต้องกังวล บังคับใช้นโยบายไม่เก็บ PII ไว้ในบันทึก ซึ่งจะช่วยลดความเสี่ยงและปรับปรุงการปฏิบัติตามข้อกำหนด นอกจากนี้ ข้อมูลเมตาที่ถูกแก้ไขจะถูกรายงานกลับไปยังธุรกิจผ่านแดชบอร์ดของ Elasticsearch ซึ่งเปิดใช้งานการแจ้งเตือนและการดำเนินการเพิ่มเติม
หาเวลาประเมินบริการ AWS AI/ML ที่องค์กรของคุณยังไม่ได้ใช้ และส่งเสริมวัฒนธรรมแห่งการทดลอง การเริ่มต้นง่ายๆ สามารถนำไปสู่ผลประโยชน์ทางธุรกิจได้อย่างรวดเร็ว เช่นเดียวกับที่ The Very Group พิสูจน์แล้ว
เกี่ยวกับผู้เขียน
แอนดี้ วิตเทิล เป็น Principal Platform Engineer – Application & Reliability Frameworks ที่ The Very Group ซึ่งดำเนินธุรกิจร้านค้าปลีกดิจิทัลในสหราชอาณาจักร Very Andy ช่วยส่งการตรวจสอบประสิทธิภาพทั่วทั้งเผ่าขององค์กร และมีความสนใจเป็นพิเศษในการตรวจสอบแอปพลิเคชัน ความสามารถในการสังเกต และประสิทธิภาพ นับตั้งแต่ร่วมงานกับ Very ในปี 1998 Andy มีบทบาทที่หลากหลายซึ่งครอบคลุมการจัดการเนื้อหาและการผลิตแคตตาล็อก การจัดการสต็อก การสนับสนุนการผลิต DevOps และ Fusion Middleware ตลอด 4 ปีที่ผ่านมา เขาเป็นส่วนหนึ่งของทีมวิศวกรรมแพลตฟอร์ม
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- สามารถ
- เกี่ยวกับเรา
- เร่งความเร็ว
- ลงชื่อเข้าใช้
- การจัดการบัญชี
- ข้าม
- การกระทำ
- กิจกรรม
- อยากทำกิจกรรม
- ที่เพิ่ม
- เพิ่มเติม
- นำมาใช้
- การนำมาใช้
- ความได้เปรียบ
- AI
- บริการ AI
- AI / ML
- ทั้งหมด
- การอนุญาต
- แม้ว่า
- อเมซอน
- เข้าใจ Amazon
- Amazon EC2
- การวิเคราะห์
- และ
- อื่น
- API
- การใช้งาน
- ปพลิเคชัน
- สถาปัตยกรรม
- โดยอัตโนมัติ
- อัตโนมัติ
- AWS
- กลับ
- ตาม
- ก่อน
- หลัง
- กำลัง
- ประโยชน์
- ระหว่าง
- บิต
- สร้าง
- สร้าง
- built-in
- ธุรกิจ
- โทร
- สามารถ
- จับ
- กรณี
- กรณี
- แค็ตตาล็อก
- รหัส
- การปฏิบัติตาม
- เข้าใจ
- คำนวณ
- แนวคิด
- การเชื่อมต่อ
- ภาชนะ
- มี
- เนื้อหา
- ได้
- ครอบคลุม
- ที่สร้างขึ้น
- สร้าง
- วิกฤติ
- วัฒนธรรม
- ปัจจุบัน
- ลูกค้า
- ข้อมูลลูกค้า
- ลูกค้า
- หน้าปัด
- ข้อมูล
- วัน
- ตัดสินใจ
- การตัดสินใจ
- ป้องกัน
- ส่งมอบ
- ความต้องการ
- แสดงให้เห็นถึง
- แสดงให้เห็นถึง
- ปรับใช้
- นำไปใช้
- ออกแบบ
- พัฒนา
- พัฒนา
- ที่กำลังพัฒนา
- พัฒนาการ
- ดิจิตอล
- โดยตรง
- เอกสาร
- เอกสาร
- เอกสาร
- ลง
- แต่ละ
- มีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- ทำให้สามารถ
- ช่วยให้
- การเปิดใช้งาน
- ปลายทาง
- วิศวกร
- ชั้นเยี่ยม
- การสร้างความมั่นใจ
- หน่วยงาน
- เอกลักษณ์
- สภาพแวดล้อม
- การสร้าง
- ตัวอย่าง
- ตัวอย่าง
- การทดลอง
- สารสกัด
- สองสาม
- สนาม
- สาขา
- ในที่สุด
- ทางการเงิน
- บริการทางการเงิน
- การแก้ไข
- ความยืดหยุ่น
- มีความยืดหยุ่น
- ดังต่อไปนี้
- ฟอร์ม
- อุปถัมภ์
- พบ
- กรอบ
- เสรีภาพ
- ราคาเริ่มต้นที่
- อย่างเต็มที่
- ต่อไป
- นอกจากนี้
- การผสม
- อนาคต
- สร้าง
- การสร้าง
- GitHub
- เป้าหมาย
- บัญชีกลุ่ม
- กลุ่ม
- แขก
- โพสต์ของผู้เข้าพัก
- การจัดการ
- มี
- จะช่วยให้
- เน้น
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- HTML
- HTTPS
- ระบุ
- แยกแยะ
- การดำเนินการ
- การดำเนินการ
- ปรับปรุง
- การปรับปรุง
- in
- ประกอบด้วย
- รวมทั้ง
- เป็นรายบุคคล
- ข้อมูล
- โครงสร้างพื้นฐาน
- แรกเริ่ม
- ในขั้นต้น
- Initiative
- ความเข้าใจ
- ตัวอย่าง
- รวบรวม
- แบบบูรณาการ
- อยากเรียนรู้
- ภายใน
- สอบสวน
- ร่วมมือ
- ปัญหา
- IT
- ชวา
- การร่วม
- ป้ายกำกับ
- ภาษา
- ส่วนใหญ่
- ชั้น
- นำ
- เรียนรู้
- การเรียนรู้
- รายการ
- โหลด
- ที่ต้องการหา
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- ทำให้
- การจัดการ
- การจัดการ
- หลาย
- ข่าวสาร
- ข้อความ
- เมตาดาต้า
- ตัวชี้วัด
- ล้าน
- ล้าน
- ML
- การสร้างแบบจำลอง
- โมดูล
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- ต้อง
- ความต้องการ
- ใหม่
- NLP
- จำนวน
- ดำเนินการ
- การดำเนินงาน
- การดำเนินการ
- ตัวเลือกเสริม (Option)
- Options
- ใบสั่ง
- organizacja
- เอาชนะ
- ที่เอาชนะ
- เจ้าของ
- ส่วนหนึ่ง
- ในสิ่งที่สนใจ
- ผ่าน
- ที่ผ่านไป
- อดีต
- การชำระเงิน
- จุดสูงสุด
- การปฏิบัติ
- งวด
- ส่วนตัว
- เวที
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- นโยบาย
- นโยบาย
- โพสต์
- ที่มีศักยภาพ
- ป้องกัน
- หลัก
- ก่อน
- ลำดับความสำคัญ
- ส่วนตัว
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- แปรรูปแล้ว
- กระบวนการ
- การประมวลผล
- ผลิตภัณฑ์
- การผลิต
- โครงการ
- พิสูจน์
- พิสูจน์แนวคิด
- โปรโตคอล
- พิสูจน์แล้วว่า
- ให้
- ให้
- การดึง
- ดึง
- การซื้อสินค้า
- ผลัก
- ผลักดัน
- ใส่
- ทำให้
- รวดเร็ว
- อย่างรวดเร็ว
- ระเบียน
- บันทึก
- เปลี่ยนเส้นทาง
- ลด
- ลด
- ความสัมพันธ์
- ความเชื่อถือได้
- การกำจัด
- เอาออก
- ลบ
- รายงาน
- ขอ
- จำเป็นต้องใช้
- ความต้องการ
- คำตอบ
- ผล
- ร้านค้าปลีก
- กลับ
- รับคืน
- เปิดเผย
- สุดท้าย
- ความเสี่ยง
- บทบาท
- เส้นทาง
- วิ่ง
- scalability
- ตาชั่ง
- ปรับ
- ได้อย่างลงตัว
- วินาที
- ยึด
- ความปลอดภัย
- การส่ง
- มีความละเอียดอ่อน
- บริการ
- บริการ
- สั้น
- แสดงให้เห็นว่า
- ง่าย
- ตั้งแต่
- So
- จนถึงตอนนี้
- ทางออก
- บาง
- แหล่ง
- แหล่งที่มา
- ความเร็ว
- ฤดูใบไม้ผลิ
- สปริงบูต
- ขั้นตอน
- ยืน
- สแตนด์อโลน
- ข้อความที่เริ่ม
- ที่เริ่มต้น
- สต็อก
- จัดเก็บ
- เก็บไว้
- ตรง
- อย่างเช่น
- สนับสนุน
- สวิตซ์
- ระบบ
- เอา
- ใช้เวลา
- งาน
- ทีม
- terraform
- ทดสอบ
- การทดสอบ
- การทดสอบ
- พื้นที่
- ของพวกเขา
- ดังนั้น
- การคุกคาม
- ตลอด
- เวลา
- ไปยัง
- ด้านบน
- ติดตาม
- เทรด
- ผ่านการฝึกอบรม
- การฝึกอบรม
- แนวโน้ม
- ชนิด
- Uk
- เข้าใจ
- URL
- การใช้
- ใช้
- ความคุ้มค่า
- ความหลากหลาย
- ผ่านทาง
- วีดีโอ
- อยาก
- สัปดาห์
- ที่
- กว้าง
- ภายใน
- ไม่มี
- ทำงาน
- การทำงาน
- ปี
- ของคุณ
- ลมทะเล