Đây là bài đăng của khách bởi Andy Whittle, Kỹ sư nền tảng chính – Khung ứng dụng & độ tin cậy tại The Very Group.
At Nhóm rất, điều hành nhà bán lẻ kỹ thuật số Very, bảo mật là ưu tiên hàng đầu trong việc xử lý dữ liệu của hàng triệu khách hàng. Một phần trong cách The Very Group bảo mật và theo dõi các hoạt động kinh doanh là thông qua ghi nhật ký hoạt động giữa các hệ thống kinh doanh (ví dụ: qua các giai đoạn của đơn đặt hàng của khách hàng). Đây là một yêu cầu vận hành quan trọng và cho phép The Very Group theo dõi các sự cố cũng như chủ động xác định các vấn đề và xu hướng. Tuy nhiên, điều này có thể có nghĩa là xử lý dữ liệu khách hàng dưới dạng thông tin nhận dạng cá nhân (PII) liên quan đến các hoạt động như mua hàng, trả lại, sử dụng các tùy chọn thanh toán linh hoạt và quản lý tài khoản.
Trong bài đăng này, The Very Group cho thấy cách họ sử dụng Amazon hiểu để thêm một lớp bảo vệ tự động khác ngoài các chính sách nhằm thiết kế mô hình mối đe dọa vào tất cả các hệ thống, nhằm ngăn PII được gửi trong dữ liệu nhật ký tới Elaticsearch để lập chỉ mục. Amazon Comprehend là dịch vụ xử lý ngôn ngữ tự nhiên (NLP) được đào tạo liên tục và được quản lý toàn phần, có thể trích xuất thông tin chuyên sâu về nội dung của tài liệu hoặc văn bản.
Tổng quan về giải pháp
Mục tiêu quan trọng nhất đối với nhóm kỹ thuật của The Very Group là ngăn chặn bất kỳ dữ liệu PII nào tiếp cận các tài liệu trong Elaticsearch. Để thực hiện điều này và tự động xóa PII khỏi hàng triệu bản ghi được xác định mỗi ngày, nhóm kỹ sư của The Very Group đã tạo mô-đun Khả năng quan sát ứng dụng trong Terraform. Mô-đun này triển khai giải pháp khả năng quan sát, bao gồm nhật ký ứng dụng, giám sát hiệu suất ứng dụng (APM) và số liệu. Trong mô-đun, nhóm đã sử dụng Amazon Comprehend để làm nổi bật PII trong dữ liệu nhật ký với tùy chọn xóa nó trước khi gửi đến Elaticsearch.
Amazon Comprehend được xác định là một phần của sáng kiến kỹ thuật nền tảng nội bộ nhằm điều tra cách sử dụng các dịch vụ AWS AI để cải thiện hiệu quả và giảm thiểu rủi ro trong các hoạt động kinh doanh lặp đi lặp lại. Văn hóa học hỏi và thử nghiệm của Very Group có nghĩa là Amazon Comprehend đã được đánh giá về khả năng áp dụng bằng ứng dụng Java để tìm hiểu cách ứng dụng này hoạt động với dữ liệu PII thử nghiệm. Nhóm đã sử dụng các ví dụ mã trong tài liệu để đẩy nhanh quá trình chứng minh khái niệm và nhanh chóng chứng minh tiềm năng trong vòng một ngày.
Nhóm kỹ thuật đã phát triển một sơ đồ minh họa cách dịch vụ biên tập PII có thể tích hợp với quá trình ghi nhật ký của The Very Group. Nó liên quan đến việc phát triển một microservice để gọi cho Amazon Comprehend để phát hiện dữ liệu PII. Giải pháp hoạt động bằng cách chuyển dữ liệu nhật ký của The Very Group thông qua phiên bản Logstash đang chạy trên Cổng xa AWS, dịch vụ này sẽ xóa dữ liệu bằng cách sử dụng dịch vụ biên tập pii-logstash khác do Fargate lưu trữ dựa trên ứng dụng Spring Boot Java thực hiện lệnh gọi tới Amazon Comprehend để xóa PII. Sơ đồ sau minh họa kiến trúc này.
Giải pháp của Very Group lấy nhật ký từ amazoncloudwatch và Dịch vụ container đàn hồi Amazon (Amazon ECS) và chuyển các phiên bản đã làm sạch tới Elaticsearch để được lập chỉ mục. Amazon Kinesis được sử dụng trong giải pháp để chụp và lưu trữ nhật ký trong thời gian ngắn, với Logstash sẽ kéo nhật ký xuống sau mỗi vài giây.
Nhật ký được lấy từ nhiều quy trình kinh doanh, bao gồm đặt hàng, trả lại hàng và Dịch vụ tài chính. Chúng bao gồm nhật ký từ hơn 200 ứng dụng Amazon ECS trên các môi trường thử nghiệm và thử nghiệm trong Fargate để đẩy nhật ký vào Logstash. Một nguồn khác là AWS Lambda nhật ký được kéo vào Kinesis rồi kéo vào Logstash. Cuối cùng, một phiên bản độc lập riêng biệt của Filebeat kéo phân tích nhật ký và đưa chúng vào CloudWatch, sau đó vào Logstash. Kết quả là nhiều nguồn nhật ký được kéo hoặc đẩy vào Logstash và được xử lý bởi mô-đun Khả năng quan sát ứng dụng và Amazon Comprehend trước khi được lưu trữ trong Elaticsearch.
Một mô-đun Terraform riêng biệt cung cấp tất cả cơ sở hạ tầng cần thiết để hỗ trợ dịch vụ Logstash có khả năng xuất nhật ký từ các nhóm nhật ký CloudWatch vào Elaticsearch thông qua một Liên kết riêng AWS Điểm cuối VPC. Dịch vụ Logstash cũng có thể được tích hợp với Amazon ECS thông qua một cấu hình nhật ký firelens, với việc Amazon ECS thiết lập kết nối qua một Amazon Route 53 ghi lại. Khả năng mở rộng được tích hợp với Kinesis mở rộng quy mô theo yêu cầu (mặc dù nhóm đã bắt đầu với các phân đoạn cố định nhưng hiện đang chuyển sang sử dụng theo yêu cầu) và Logstash mở rộng quy mô với các phân đoạn bổ sung Đám mây điện toán đàn hồi Amazon (Amazon EC2) phía sau NLB do các giao thức được Filebeat sử dụng và cho phép Logstash lấy nhật ký từ Kinesis hiệu quả hơn.
Cuối cùng, dịch vụ Logstash bao gồm một định nghĩa tác vụ chứa vùng chứa Logstash và vùng chứa biên tập PII, đảm bảo loại bỏ PII trước khi xuất sang Elaticsearch.
Kết quả
Nhóm kỹ sư đã có thể xây dựng và thử nghiệm giải pháp trong vòng một tuần mà không cần phải hiểu về học máy (ML) hoặc hoạt động của AI, bằng cách sử dụng Hướng dẫn bằng video về Amazon Hiểu, Tài liệu tham khảo APIvà mã ví dụ. Sau khi chứng minh giá trị kinh doanh một cách nhanh chóng, các chủ sở hữu sản phẩm kinh doanh đã bắt đầu phát triển các trường hợp sử dụng mới để tận dụng lợi thế của dịch vụ. Một số quyết định đã được đưa ra để kích hoạt giải pháp. Mặc dù nhóm kỹ thuật nền tảng biết rằng họ có thể sắp xếp lại dữ liệu, nhưng họ muốn chặn nhật ký từ giải pháp hiện tại (dựa trên một sidecar Fluent Bit để chuyển hướng nhật ký đến điểm cuối). Họ đã quyết định áp dụng Logstash để cho phép chặn các trường nhật ký thông qua các đường dẫn để tích hợp với dịch vụ PII của họ (bao gồm mô-đun Terraform và dịch vụ Java).
Việc áp dụng Logstash ban đầu được thực hiện liền mạch. Các nhóm kỹ thuật của Very Group hiện đang sử dụng dịch vụ trực tiếp thông qua điểm cuối API để đưa nhật ký thẳng vào Elaticsearch. Điều này đã cho phép họ chuyển điểm cuối của mình từ sidecar sang điểm cuối mới và triển khai nó thông qua mô-đun Terraform. Vấn đề duy nhất mà nhóm gặp phải là từ các thử nghiệm ban đầu cho thấy vấn đề về tốc độ khi thử nghiệm với khối lượng giao dịch cao nhất. Điều này đã được khắc phục thông qua các điều chỉnh đối với mã Java.
Đoạn mã sau đây cho biết cách The Very Group sử dụng Amazon Comprehend để xóa PII khỏi thông điệp tường trình. Nó phát hiện bất kỳ PII nào và tạo danh sách các loại thực thể để ghi lại. Để đẩy nhanh tốc độ phát triển, mã được lấy từ tài liệu AWS và được điều chỉnh để sử dụng trong dịch vụ ứng dụng Java được triển khai trên Fargate.
Ảnh chụp màn hình sau đây cho thấy đầu ra được gửi tới Elaticsearch như một phần của quy trình biên tập PII. Dịch vụ này tạo ra 1 triệu bản ghi mỗi ngày, tạo ra một bản ghi mỗi khi thực hiện chỉnh sửa.
Thông báo tường trình được biên tập lại và trường redacted_entities chứa danh sách các loại thực thể được tìm thấy trong thông báo. Trong trường hợp này, ví dụ đã tìm thấy một URL, nhưng nó có thể đã xác định bất kỳ loại dữ liệu PII nào chủ yếu dựa trên các loại PII tích hợp. Một loại PII riêng biệt bổ sung cho số tài khoản khách hàng đã được thêm thông qua Amazon Comprehend, nhưng cho đến nay vẫn chưa cần thiết. Ghi đè cấp đội kỹ thuật được ghi lại trong GitHub về cách sử dụng chúng.
Kết luận
Dự án này cho phép The Very Group triển khai một giải pháp nhanh chóng và đơn giản để sắp xếp lại PII nhạy cảm trong nhật ký. Nhóm kỹ thuật đã bổ sung thêm tính linh hoạt cho phép ghi đè các loại thực thể, sử dụng Amazon Comprehend để mang lại sự linh hoạt trong việc sắp xếp lại PII dựa trên nhu cầu kinh doanh. Trong tương lai, nhóm kỹ thuật đang xem xét đào tạo các thực thể Amazon Comprehend riêng lẻ để sắp xếp lại các chuỗi chẳng hạn như ID khách hàng của chúng tôi.
Kết quả của giải pháp là The Very Group có quyền tự do ghi nhật ký mà không cần phải lo lắng. Nó thực thi chính sách không lưu trữ PII trong nhật ký, do đó giảm thiểu rủi ro và cải thiện sự tuân thủ. Hơn nữa, siêu dữ liệu được xử lý lại đang được báo cáo lại cho doanh nghiệp thông qua bảng điều khiển Elaticsearch, cho phép cảnh báo và hành động tiếp theo.
Dành thời gian để đánh giá các dịch vụ AWS AI/ML mà tổ chức của bạn chưa sử dụng và thúc đẩy văn hóa thử nghiệm. Bắt đầu đơn giản có thể nhanh chóng dẫn đến lợi ích kinh doanh, giống như The Very Group đã chứng minh.
Lưu ý
Andy Whittle là Kỹ sư nền tảng chính – Khung ứng dụng & độ tin cậy tại The Very Group, công ty điều hành nhà bán lẻ kỹ thuật số Very có trụ sở tại Vương quốc Anh. Andy giúp cung cấp khả năng giám sát hiệu suất trên các bộ phận của tổ chức và đặc biệt quan tâm đến việc giám sát, khả năng quan sát và hiệu suất của ứng dụng. Kể từ khi gia nhập Very vào năm 1998, Andy đã đảm nhận nhiều vai trò khác nhau bao gồm quản lý nội dung và sản xuất danh mục, quản lý kho hàng, hỗ trợ sản xuất, DevOps và Fusion Middleware. Trong 4 năm qua, anh ấy là thành viên của nhóm kỹ thuật nền tảng.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Có khả năng
- Giới thiệu
- đẩy nhanh tiến độ
- Tài khoản
- quản lý tài khoản
- ngang qua
- Hoạt động
- hoạt động
- hoạt động
- thêm
- thêm vào
- nhận nuôi
- Nhận con nuôi
- Lợi thế
- AI
- Dịch vụ AI
- AI / ML
- Tất cả
- Cho phép
- Mặc dù
- đàn bà gan dạ
- Amazon hiểu
- Amazon EC2
- phân tích
- và
- Một
- api
- Các Ứng Dụng
- ứng dụng
- kiến trúc
- tự động hóa
- Tự động
- AWS
- trở lại
- dựa
- trước
- sau
- được
- hưởng lợi
- giữa
- Một chút
- xây dựng
- xây dựng
- được xây dựng trong
- kinh doanh
- Cuộc gọi
- có khả năng
- nắm bắt
- trường hợp
- trường hợp
- Danh mục hàng
- mã
- tuân thủ
- hiểu
- Tính
- khái niệm
- Kết nối
- Container
- chứa
- nội dung
- có thể
- bao gồm
- tạo ra
- tạo ra
- quan trọng
- văn hóa
- Current
- khách hàng
- dữ liệu khách hàng
- khách hàng
- bảng điều khiển
- dữ liệu
- ngày
- quyết định
- quyết định
- Phòng thủ
- cung cấp
- Nhu cầu
- chứng minh
- thể hiện
- triển khai
- triển khai
- Thiết kế
- phát triển
- phát triển
- phát triển
- Phát triển
- kỹ thuật số
- trực tiếp
- tài liệu
- tài liệu hướng dẫn
- tài liệu
- xuống
- mỗi
- hiệu quả
- hiệu quả
- cho phép
- cho phép
- cho phép
- Điểm cuối
- ky sư
- Kỹ Sư
- đảm bảo
- thực thể
- thực thể
- môi trường
- thành lập
- ví dụ
- ví dụ
- thử nghiệm
- trích xuất
- vài
- lĩnh vực
- Lĩnh vực
- Cuối cùng
- tài chính
- dịch vụ tài chính
- cố định
- Linh hoạt
- linh hoạt
- tiếp theo
- hình thức
- Foster
- tìm thấy
- khung
- Freedom
- từ
- đầy đủ
- xa hơn
- Hơn nữa
- nhiệt hạch
- tương lai
- tạo
- tạo ra
- GitHub
- mục tiêu
- Nhóm
- Các nhóm
- Khách
- Bài đăng của Khách
- Xử lý
- có
- giúp
- Đánh dấu
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- xác định
- xác định
- thực hiện
- thực hiện
- nâng cao
- cải thiện
- in
- bao gồm
- Bao gồm
- hệ thống riêng biệt,
- thông tin
- Cơ sở hạ tầng
- ban đầu
- ban đầu
- Sáng kiến
- cái nhìn sâu sắc
- ví dụ
- tích hợp
- tích hợp
- quan tâm
- nội bộ
- điều tra
- tham gia
- vấn đề
- IT
- Java
- tham gia
- Nhãn
- Ngôn ngữ
- phần lớn
- lớp
- dẫn
- LEARN
- học tập
- Danh sách
- tải
- tìm kiếm
- máy
- học máy
- thực hiện
- LÀM CHO
- quản lý
- quản lý
- nhiều
- tin nhắn
- tin nhắn
- Siêu dữ liệu
- Metrics
- triệu
- hàng triệu
- ML
- mô hình hóa
- Mô-đun
- giám sát
- chi tiết
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- cần
- nhu cầu
- Mới
- nlp
- con số
- hoạt động
- hoạt động
- Hoạt động
- Tùy chọn
- Các lựa chọn
- gọi món
- cơ quan
- Vượt qua
- ghi đè
- chủ sở hữu
- một phần
- riêng
- vượt qua
- Đi qua
- qua
- thanh toán
- Đỉnh
- hiệu suất
- kinh nguyệt
- Cá nhân
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Chính sách
- điều luật
- Bài đăng
- tiềm năng
- ngăn chặn
- Hiệu trưởng
- Trước khi
- ưu tiên
- riêng
- vấn đề
- quá trình
- Xử lý
- Quy trình
- xử lý
- Sản phẩm
- Sản lượng
- dự án
- bằng chứng
- bằng chứng về khái niệm
- giao thức
- chứng minh
- cho
- cung cấp
- kéo
- Kéo
- mua hàng
- Đẩy
- đẩy
- đặt
- Puts
- Nhanh chóng
- Mau
- ghi
- hồ sơ
- chuyển hướng
- giảm
- giảm
- mối quan hệ
- độ tin cậy
- loại bỏ
- tẩy
- loại bỏ
- Báo cáo
- yêu cầu
- cần phải
- yêu cầu
- phản ứng
- kết quả
- cửa hàng bán lẻ
- trở lại
- Trả về
- Tiết lộ
- xem xét
- Nguy cơ
- vai trò
- Route
- chạy
- khả năng mở rộng
- quy mô
- mở rộng quy mô
- liền mạch
- giây
- Bảo đảm
- an ninh
- gửi
- nhạy cảm
- dịch vụ
- DỊCH VỤ
- ngắn
- Chương trình
- Đơn giản
- kể từ khi
- So
- cho đến nay
- giải pháp
- một số
- nguồn
- nguồn
- tốc độ
- mùa xuân
- khởi động mùa xuân
- giai đoạn
- đứng
- độc lập
- bắt đầu
- Bắt đầu
- cổ phần
- hàng
- lưu trữ
- ngay
- như vậy
- hỗ trợ
- Công tắc điện
- hệ thống
- Hãy
- mất
- Nhiệm vụ
- nhóm
- Terraform
- thử nghiệm
- Kiểm tra
- kiểm tra
- Sản phẩm
- cung cấp their dịch
- bằng cách ấy
- mối đe dọa
- Thông qua
- thời gian
- đến
- hàng đầu
- Dấu vết
- Giao dịch
- đào tạo
- Hội thảo
- Xu hướng
- loại
- Uk
- hiểu
- URL
- Sử dụng
- sử dụng
- giá trị
- nhiều
- thông qua
- Video
- muốn
- tuần
- cái nào
- rộng
- ở trong
- không có
- làm việc
- đang làm việc
- năm
- trên màn hình
- zephyrnet