Comment expurger les données PII dans les transcriptions de conversation

Les interactions avec le service client contiennent souvent des informations personnellement identifiables (PII) telles que des noms, des numéros de téléphone et des dates de naissance. Alors que les organisations intègrent l'apprentissage automatique (ML) et l'analyse dans leurs applications, l'utilisation de ces données peut fournir des informations sur la façon de créer des expériences client plus transparentes. Cependant, la présence d'informations PII limite souvent l'utilisation de ces données. Dans cet article de blog, nous examinerons une solution pour supprimer automatiquement les données PII d'une transcription de conversation avec le service client.

Prenons un exemple de conversation entre un client et un agent du centre d'appels.

Agent : Bonjour, merci de nous avoir appelés aujourd'hui. Avec qui ai-je le plaisir de parler aujourd'hui ?

Auditeur : Bonjour, je m'appelle John Stiles.

Agent : Bonjour John, comment puis-je vous aider ?

Appelant : Je n'ai pas encore reçu mon relevé W2 et je voulais vérifier son statut.

Agent : Bien sûr, je peux vous aider. Pouvez-vous confirmer les quatre derniers chiffres de votre numéro de sécurité sociale ?

Appelant : Oui, c'est le 1111.

Agent : D'accord. Je remonte le statut maintenant. Je vois qu'il a été envoyé hier, et l'arrivée prévue est au début de la semaine prochaine. Souhaitez-vous que j'active les alertes automatiques afin que vous puissiez être informé de tout retard ?

Appelant : Oui, s'il vous plaît.

Agent : Le numéro que nous avons dans nos dossiers pour vous est le 555-456-7890. Est-ce toujours correct ?

Appelant : Oui, ça l'est.

Agent : Super. J'ai activé les notifications automatiques. Y a-t-il autre chose que je puisse vous aider avec John ?

Appelant : Non, c'est tout. Merci.

Agent : Merci, John. Passe une bonne journée.

Dans cette brève interaction, plusieurs éléments de données seraient généralement considérés comme PII, notamment le nom de l'appelant, les quatre derniers chiffres de son numéro de sécurité sociale et son numéro de téléphone. Voyons comment nous pouvons expurger ces données PII dans la transcription.

Vue d'ensemble de la solution

Nous allons créer un Fonctions d'étape AWS machine d'état, qui orchestre une Amazon comprendre Travail de rédaction de PII. Amazon Comprehend est un service de traitement du langage naturel (NLP) qui utilise l'apprentissage automatique pour découvrir des informations et des connexions précieuses dans le texte, y compris la capacité de détecter et de supprimer les données PII.

Vous fournirez les transcriptions dans l'entrée Amazon S3 baquet. Les transcriptions sont dans le format utilisé par Lentilles de contact pour Amazon Connect. Vous spécifierez également un compartiment S3 de sortie, qui stocke la sortie de masquage ainsi que les données intermédiaires. Les données intermédiaires sont des versions en micro-lots des données d'entrée. Par exemple, s'il y a 10,000 10 conversations à expurger, le workflow les divisera en 1000 lots de XNUMX XNUMX conversations chacun. Chaque lot est stocké à l'aide d'un préfixe unique, qui est ensuite utilisé comme source d'entrée pour Comprehend. L'état de la carte Step Functions est utilisé pour exécuter ces travaux de rédaction en parallèle en appelant le StartPIIEntitiesDetectionJob API. Cette approche vous permet d'exécuter plusieurs tâches en parallèle plutôt que des tâches individuelles en séquence. Étant donné que le travail est implémenté en tant que machine d'état Step Functions, il peut être déclenché pour s'exécuter manuellement ou automatiquement dans le cadre d'un processus quotidien.

Vous pouvez en savoir plus sur la façon dont Comprehend détecte et masque les données PII dans ce blog.

Déployer l'exemple de solution

Tout d'abord, connectez-vous au Console de gestion AWS dans votre compte AWS.

Vous aurez besoin d'un compartiment S3 avec des exemples de données de transcription à expurger et d'un autre compartiment pour la sortie. Si vous ne disposez pas d'exemples de données de relevé de notes, procédez comme suit :

1. Accédez à la console Amazon S3.
2. Selectionnez Créer un seau.
3. Saisissez un nom de compartiment, tel que text-redaction-data-.
4. Acceptez les valeurs par défaut et choisissez Créer un seau.
5. Ouvrez le compartiment que vous avez créé et choisissez Créer un dossier.
6. Entrez un nom de dossier, tel que « sample-data » et choisissez Créer un dossier.
7. Cliquez sur votre nouveau nom de dossier pour l'ouvrir.
8. Télécharger SampleData.zip fichier.
9. Ouvrez le fichier .zip sur votre ordinateur local, puis faites glisser le dossier vers le compartiment S3 que vous avez créé.
10. Selectionnez Téléchargement.

Cliquez maintenant sur le lien suivant pour déployer l'exemple de solution dans la région USA Est (Virginie du Nord) :

Cela créera un nouveau AWS CloudFormation association.

Entrer le Nom de la pile (par exemple, pii-redaction-workflow), le nom du compartiment d'entrée S3 contenant les données de transcription d'entrée et le nom du compartiment de sortie S3. Choisir Suivant et ajoutez les balises que vous souhaitez pour votre pile (facultatif). Choisir Suivant à nouveau et examinez les détails de la pile. Cochez la case pour reconnaître que Gestion des identités et des accès AWS (IAM) ressources seront créées, puis choisissez Créer une pile.

La pile CloudFormation créera un rôle IAM avec la possibilité de répertorier et de lire les objets du compartiment. Vous pouvez personnaliser davantage le rôle selon vos besoins. Il créera également une machine d'état Step Functions, plusieurs AWS Lambda fonctions utilisées par la machine d'état et un compartiment S3 pour stocker les versions de sortie expurgées des transcriptions.

Après quelques minutes, votre pile sera complète, puis vous pourrez examiner la machine d'état Step Functions qui a été créée dans le cadre du modèle CloudFormation.

Exécuter une tâche de rédaction

Pour exécuter une tâche, accédez à Step Functions dans la console AWS, sélectionnez la machine d'état et choisissez Lancer l'exécution.

Fournissez ensuite les arguments d'entrée pour exécuter la tâche. Pour l'entrée de tâche, vous souhaitez fournir le nom de votre compartiment S3 d'entrée en tant que S3InputDataBucket valeur, le nom du dossier comme S3InputDataPrefix valeur, le nom de votre compartiment S3 de sortie en tant que S3OutputDataBucket valeur, et le dossier pour stocker les résultats en tant que S3OutputDataPrefix valeur puis cliquez sur Lancer l'exécution.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

Au fur et à mesure que le travail s'exécute, vous pouvez surveiller son état dans les fonctions de l'étape vue graphique. L'exécution de la tâche prendra quelques minutes. Une fois le travail terminé, vous verrez la sortie de chacun des travaux dans le Entrée et sortie d'exécution partie de la console. Vous pouvez utiliser l'URI de sortie pour récupérer la sortie d'une tâche. Si plusieurs tâches ont été exécutées, vous pouvez copier les résultats de toutes les tâches dans un compartiment de destination pour une analyse plus approfondie.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Jetons un coup d'œil à la version expurgée de la conversation avec laquelle nous avons commencé.

Agent : Bonjour, merci de nous avoir appelés aujourd'hui. Avec qui ai-je le plaisir de parler aujourd'hui ?

Appelant : Bonjour, je m'appelle [NOM].

Agent : Bonjour [NOM], comment puis-je vous aider ?

Appelant : Je n'ai pas encore reçu mon relevé W2 et je voulais vérifier son statut.

Agent : Bien sûr, je peux vous aider. Pouvez-vous confirmer les quatre derniers chiffres de votre numéro de sécurité sociale ?

Appelant : Oui, c'est [SSN].

Agent : D'accord. Je remonte le statut maintenant. Je vois qu'il a été envoyé hier, et l'arrivée prévue est au début de la semaine prochaine. Souhaitez-vous que j'active les alertes automatiques afin que vous puissiez être informé de tout retard ?

Appelant : Oui, s'il vous plaît.

Agent : Le numéro que nous avons enregistré pour vous est le [TÉLÉPHONE]. Est-ce toujours correct ?

Appelant : Oui, ça l'est.

Agent : Super. J'ai activé les notifications automatiques. Puis-je vous aider d'autre chose, [NOM] ?

Appelant : Non, c'est tout. Merci.

Agent : Merci, [NOM]. Passe une bonne journée.

Nettoyer

Vous souhaiterez peut-être nettoyer les ressources créées dans le cadre du modèle CloudFormation une fois que vous avez terminé pour éviter des frais permanents. Pour ce faire, supprimez la pile CloudFormation déployée et supprimez le compartiment S3 avec les exemples de données de transcription, le cas échéant.

Conclusion

Les clients exigeant des expériences transparentes sur tous les canaux et s'attendant également à ce que la sécurité soit intégrée à chaque étape, l'utilisation de Step Functions et d'Amazon Comprehend pour expurger les données PII dans les transcriptions de conversation textuelle est un outil puissant à votre disposition. Les organisations peuvent accélérer le retour sur investissement en utilisant les transcriptions expurgées pour analyser les interactions avec le service client et glaner des informations pour améliorer l'expérience client.

Essayez d'utiliser ce flux de travail pour expurger vos données et laissez-nous un commentaire !

A propos de l'auteure

Alex Émilcar est architecte de solutions senior au sein du laboratoire de solutions d'apprentissage automatique d'Amazon, où il aide les clients à créer des expériences numériques avec les technologies AWS AI. Alex a plus de 10 ans d'expérience dans la technologie à différents postes de développeur, d'ingénieur en infrastructure et d'architecture de solutions. Dans ses temps libres, Alex aime passer du temps à lire et à faire des travaux de jardinage.