Esta es una publicación invitada de Andy Whittle, ingeniero principal de plataformas: marcos de aplicaciones y confiabilidad en The Very Group.
At El mismo grupo, que opera el minorista digital Very, la seguridad es una prioridad principal en el manejo de datos para millones de clientes. Parte de cómo The Very Group asegura y rastrea las operaciones comerciales es a través del registro de actividades entre los sistemas comerciales (por ejemplo, a través de las etapas de un pedido de un cliente). Es un requisito operativo crítico y permite a The Very Group rastrear incidentes e identificar proactivamente problemas y tendencias. Sin embargo, esto puede significar el procesamiento de datos de clientes en forma de información de identificación personal (PII) en relación con actividades como compras, devoluciones, uso de opciones de pago flexibles y administración de cuentas.
En esta publicación, The Very Group muestra cómo usan Amazon Comprehend para agregar una capa adicional de defensa automatizada además de las políticas para diseñar modelos de amenazas en todos los sistemas, para evitar que la PII se envíe en datos de registro a Elasticsearch para su indexación. Amazon Comprehend es un servicio de procesamiento de lenguaje natural (NLP) totalmente administrado y capacitado continuamente que puede extraer información sobre el contenido de un documento o texto.
Resumen de la solución
El objetivo principal del equipo de ingeniería de The Very Group era evitar que los datos PII llegaran a los documentos dentro de Elasticsearch. Para lograr esto y automatizar la eliminación de PII de millones de registros identificados por día, el equipo de ingeniería de The Very Group creó un módulo de observabilidad de aplicaciones en Terraform. Este módulo implementa una solución de observabilidad, que incluye registros de aplicaciones, monitoreo del rendimiento de aplicaciones (APM) y métricas. Dentro del módulo, el equipo usó Amazon Comprehend para resaltar la PII dentro de los datos de registro con la opción de eliminarla antes de enviarla a Elasticsearch.
Amazon Comprehend se identificó como parte de una iniciativa de ingeniería de plataforma interna para investigar cómo se pueden usar los servicios de IA de AWS para mejorar la eficiencia y reducir el riesgo en actividades comerciales repetitivas. La cultura de aprendizaje y experimentación de Very Group significó que se revisó la aplicabilidad de Amazon Comprehend mediante una aplicación Java para aprender cómo funcionaba con datos de PII de prueba. El equipo usó ejemplos de código en la documentación para acelerar la prueba de concepto y demostró rápidamente el potencial en un día.
El equipo de ingeniería desarrolló un esquema que demuestra cómo un servicio de redacción de PII podría integrarse con el registro de The Very Group. Se trataba de desarrollar un microservicio para llamar a Amazon Comprehend para detectar datos PII. La solución funcionó al pasar los datos de registro de The Very Group a través de una instancia de Logstash que se ejecutaba en AWS Fargate, que limpia los datos mediante otro servicio pii-logstash-redaction alojado en Fargate basado en una aplicación Spring Boot Java que realiza llamadas a Amazon Comprehend para eliminar la PII. El siguiente diagrama ilustra esta arquitectura.
La solución de The Very Group toma registros de Reloj en la nube de Amazon y Servicio de contenedor elástico de Amazon (Amazon ECS) y pasa las versiones limpias a Elasticsearch para que las indexe. Kinesis amazónica se utiliza en la solución para capturar y almacenar registros durante períodos cortos, con Logstash extrayendo registros cada pocos segundos.
Los registros se obtienen a través de muchos procesos comerciales, incluidos pedidos, devoluciones y servicios financieros. Incluyen registros de más de 200 aplicaciones de Amazon ECS en entornos de prueba y producción en Fargate que envían registros a Logstash. Otra fuente es AWS Lambda registros que se introducen en Kinesis y luego en Logstash. Finalmente, una instancia independiente separada de Filebeat extrae el análisis de registros y los coloca en CloudWatch y luego en Logstash. El resultado es que muchas fuentes de registros se extraen o envían a Logstash y el módulo de Observabilidad de aplicaciones y Amazon Comprehend los procesan antes de almacenarlos en Elasticsearch.
Un módulo de Terraform independiente proporciona toda la infraestructura necesaria para implementar un servicio de Logstash capaz de exportar registros de grupos de registros de CloudWatch a Elasticsearch a través de un Enlace privado de AWS Punto de enlace de la VPC. El servicio Logstash también se puede integrar con Amazon ECS a través de un configuración de registro de firelens, con Amazon ECS estableciendo conectividad a través de un Ruta del Amazonas 53 registro. La escalabilidad está integrada con el escalado bajo demanda de Kinesis (aunque el equipo comenzó con fragmentos fijos, pero ahora están cambiando al uso bajo demanda), y Logstash se escala con funciones adicionales. Nube informática elástica de Amazon (Amazon EC2) detrás de un NLB debido a los protocolos utilizados por Filebeat y permite que Logstash extraiga registros de Kinesis de manera más efectiva.
Finalmente, el servicio de Logstash consta de una definición de tarea que contiene un contenedor de Logstash y un contenedor de redacción de PII, lo que garantiza la eliminación de PII antes de exportar a Elasticsearch.
Resultados
El equipo de ingeniería pudo construir y probar la solución en una semana, sin necesidad de comprender el aprendizaje automático (ML) o el funcionamiento de la IA, utilizando Video guía de Amazon Comprehend, Documentación de referencia de la APIy código de ejemplo. Habiendo demostrado el valor comercial tan rápido, los propietarios de productos comerciales han comenzado a desarrollar nuevos casos de uso para aprovechar el servicio. Se tuvieron que tomar algunas decisiones para habilitar la solución. Aunque el equipo de ingeniería de la plataforma sabía que podía redactar los datos, quería interceptar los registros de la solución actual (basada en un sidecar de Fluent Bit para redirigir los registros a un punto final). Decidieron adoptar Logstash para permitir la interceptación de campos de registro a través de canalizaciones para integrarse con su servicio PII (que comprende el módulo Terraform y el servicio Java).
La adopción de Logstash se realizó inicialmente sin problemas. Los equipos de ingeniería de Very Group ahora usan el servicio directamente a través de un punto final de API para colocar registros directamente en Elasticsearch. Esto les ha permitido cambiar su punto final del sidecar al nuevo punto final e implementarlo a través del módulo Terraform. El único problema que tuvo el equipo fue en las pruebas iniciales que revelaron un problema de velocidad al realizar pruebas con cargas comerciales máximas. Esto se superó mediante ajustes en el código Java.
El siguiente código muestra cómo The Very Group utiliza Amazon Comprehend para eliminar la PII de los mensajes de registro. Detecta cualquier PII y crea una lista de tipos de entidades para registrar. Para acelerar el desarrollo, el código se tomó de la documentación de AWS y se adaptó para su uso en el servicio de aplicaciones Java implementado en Fargate.
La siguiente captura de pantalla muestra el resultado enviado a Elasticsearch como parte del proceso de redacción de PII. El servicio genera 1 millón de registros por día, generando un registro cada vez que se realiza una redacción.
El mensaje de registro está redactado y el campo redacted_entities contiene una lista de los tipos de entidades que se encuentran en el mensaje. En este caso, el ejemplo encontró una URL, pero podría haber identificado cualquier tipo de datos PII en gran medida en función de los tipos integrados de PII. Se agregó un tipo de PII personalizado adicional para el número de cuenta del cliente a través de Amazon Comprehend, pero hasta ahora no se ha necesitado. Las anulaciones a nivel de escuadrón de ingeniería están documentadas en GitHub sobre cómo usarlas.
Conclusión
Este proyecto permitió a The Very Group implementar una solución rápida y sencilla para redactar PII confidencial en los registros. El equipo de ingeniería agregó mayor flexibilidad al permitir anulaciones para tipos de entidades, utilizando Amazon Comprehend para brindar la flexibilidad de redactar PII en función de las necesidades comerciales. En el futuro, el equipo de ingeniería está buscando capacitar a entidades individuales de Amazon Comprehend para redactar cadenas como las ID de nuestros clientes.
El resultado de la solución es que The Very Group tiene libertad para enviar registros sin tener que preocuparse. Hace cumplir la política de no tener PII almacenada en registros, lo que reduce el riesgo y mejora el cumplimiento. Además, los metadatos que se redactan se informan a la empresa a través de un panel de control de Elasticsearch, lo que permite alertas y acciones adicionales.
Tómese el tiempo para evaluar los servicios de IA/ML de AWS que su organización aún no ha utilizado y fomente una cultura de experimentación. Comenzar de manera simple puede conducir rápidamente a un beneficio comercial, tal como lo demostró The Very Group.
Sobre la autora
Andy Whittle es ingeniero principal de plataforma: marcos de aplicación y confiabilidad en The Very Group, que opera el minorista digital Very con sede en el Reino Unido. Andy ayuda a brindar monitoreo de rendimiento en todas las tribus de la organización y tiene un interés particular en el monitoreo, la observabilidad y el rendimiento de las aplicaciones. Desde que se unió a Very en 1998, Andy ha asumido una amplia variedad de funciones que abarcan la gestión de contenido y la producción de catálogos, la gestión de existencias, el soporte de producción, DevOps y Fusion Middleware. Durante los últimos 4 años ha formado parte del equipo de ingeniería de plataformas.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/redacting-pii-data-at-the-very-group-with-amazon-comprehend/
- 1
- 10
- 100
- 1998
- 7
- a
- Poder
- Nuestra Empresa
- acelerar
- Mi Cuenta
- administración de cuentas
- a través de
- la columna Acción
- actividades
- actividad
- adicional
- Adicionales
- adoptar
- Adopción
- Ventaja
- AI
- Servicios de IA
- AI / ML
- Todos
- Permitir
- Aunque
- Amazon
- Amazon Comprehend
- Amazon EC2
- análisis
- y
- Otra
- abejas
- Aplicación
- aplicaciones
- arquitectura
- automatizado
- Confirmación de Viaje
- AWS
- Atrás
- basado
- antes
- detrás de
- "Ser"
- es el beneficio
- entre
- Poco
- build
- construido
- incorporado
- Calls
- capaz
- capturar
- case
- cases
- catalogar
- código
- compliance
- comprender
- Calcular
- concepto
- Conectividad
- Envase
- contiene
- contenido
- podría
- cubierta
- creado
- crea
- crítico
- Cultura
- Current
- cliente
- datos de los clientes
- Clientes
- página de información de sus operaciones
- datos
- día
- decidido
- decisiones
- Defensa
- entregamos
- Demanda
- demostrado
- vas demostrando
- desplegar
- desplegado
- Diseño
- desarrollar
- desarrollado
- el desarrollo
- Desarrollo
- digital
- directamente
- documento
- documentación
- documentos
- DE INSCRIPCIÓN
- cada una
- de manera eficaz
- eficiencia
- habilitar
- permite
- permitiendo
- Punto final
- ingeniero
- Ingeniería
- asegurando que
- entidades
- entidad
- ambientes
- el establecimiento
- ejemplo
- ejemplos
- experimento
- extraerlos
- pocos
- campo
- Terrenos
- Finalmente
- financiero
- servicios financieros
- fijas
- Flexibilidad
- flexible
- siguiendo
- formulario
- Cuidados de acogida
- encontrado
- marcos
- Freedom
- Desde
- completamente
- promover
- Además
- fusión
- futuras
- genera
- la generación de
- GitHub
- objetivo
- Grupo procesos
- Grupo
- Invitad@s
- Guest Post
- Manejo
- es
- ayuda
- Destacar
- Cómo
- Como Hacer
- Sin embargo
- HTML
- HTTPS
- no haber aun identificado una solucion para el problema
- Identifique
- implementar
- implementos
- mejorar
- la mejora de
- in
- incluir
- Incluye
- INSTRUMENTO individual
- información
- EN LA MINA
- inicial
- posiblemente
- Iniciativa
- penetración
- ejemplo
- integrar
- COMPLETAMENTE
- intereses
- interno
- investigar
- involucra
- IT
- Java
- unión
- Etiquetas
- idioma
- principalmente
- .
- Lead
- APRENDE:
- aprendizaje
- Lista
- cargas
- mirando
- máquina
- máquina de aprendizaje
- hecho
- HACE
- gestionado
- Management
- muchos
- mensaje
- la vida
- metadatos
- Métrica
- millones
- millones
- ML
- modelización
- Módulo
- monitoreo
- más,
- Natural
- Procesamiento natural del lenguaje
- necesidad
- Nuevo
- nlp
- número
- opera
- funcionamiento
- Operaciones
- Optión
- Opciones
- solicite
- organización
- Superar
- anulación
- los propietarios de
- parte
- particular
- pasa
- Pasando (Paso)
- pasado
- pago
- En pleno
- actuación
- períodos
- Personalmente
- plataforma
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- políticas
- política
- Publicación
- posible
- evitar
- Director de la escuela
- Anterior
- lista de prioridades
- privada
- problemas
- Procesado
- en costes
- tratamiento
- Producto
- Producción
- proyecto
- prueba
- prueba de concepto
- protocolos
- demostrado
- proporcionar
- proporciona un
- tracción
- Tira
- compras
- Push
- empujó
- poner
- Pone
- Búsqueda
- con rapidez
- grabar
- archivos
- reorientar
- reducir
- la reducción de
- relación
- fiabilidad
- eliminación
- remove
- la eliminación de
- reportado
- solicita
- Requisitos
- requisito
- respuesta
- resultado
- detallista
- volvemos
- devoluciones
- Revelado
- revisado
- Riesgo
- También soy miembro del cuerpo docente de World Extreme Medicine (WEM) y embajadora europea de igualdad para The Transformational Travel Council (TTC). En mi tiempo libre, soy una incansable aventurera, escaladora, patrona de día, buceadora y defensora de la igualdad de género en el deporte y la aventura. En XNUMX, fundé Almas Libres, una ONG nacida para involucrar, educar y empoderar a mujeres y niñas a través del deporte urbano, la cultura y la tecnología.
- Ruta
- correr
- Escalabilidad
- escamas
- la ampliación
- sin problemas
- segundos
- Asegura
- EN LINEA
- enviando
- sensible
- de coches
- Servicios
- En Corto
- Shows
- sencillos
- desde
- So
- hasta aquí
- a medida
- algo
- Fuente
- Fuentes
- velocidad
- primavera
- bota de primavera
- etapas
- stand
- independiente
- fundó
- Comience a
- en stock
- tienda
- almacenados
- recto
- tal
- SOPORTE
- Switch
- Todas las funciones a su disposición
- ¡Prepárate!
- toma
- Tarea
- equipo
- Terraform
- test
- Pruebas
- pruebas
- El proyecto
- su
- de este modo
- amenaza
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- a
- parte superior
- Trace
- Plataforma de
- entrenado
- Formación
- Tendencias
- tipos
- Uk
- entender
- Enlance
- Uso
- utilizan el
- propuesta de
- variedad
- vía
- Video
- deseado
- semana
- que
- amplio
- dentro de
- sin
- trabajado
- trabajando
- años
- tú
- zephyrnet