So entfernen Sie PII-Daten in Gesprächsprotokollen

Kundendienstinteraktionen enthalten häufig personenbezogene Daten (PII) wie Namen, Telefonnummern und Geburtsdaten. Wenn Unternehmen maschinelles Lernen (ML) und Analysen in ihre Anwendungen integrieren, kann die Verwendung dieser Daten Erkenntnisse darüber liefern, wie sie nahtlosere Kundenerlebnisse schaffen können. Das Vorhandensein von PII-Informationen schränkt jedoch häufig die Verwendung dieser Daten ein. In diesem Blogbeitrag werden wir eine Lösung zum automatischen Schwärzen von PII-Daten aus einer Abschrift eines Kundendienstgesprächs prüfen.

Nehmen wir ein Beispielgespräch zwischen einem Kunden und einem Callcenter-Agenten.

Agent: Hallo, danke, dass Sie uns heute angerufen haben. Mit wem habe ich heute das Vergnügen zu sprechen?

Anrufer: Hallo, mein Name ist John Stiles.

Agent: Hallo John, wie kann ich Ihnen helfen?

Anrufer: Ich habe meinen W2-Auszug noch nicht erhalten und wollte den Status überprüfen.

Agent: Sicher, ich kann Ihnen dabei helfen. Können Sie bitte die letzten vier Ziffern Ihrer Sozialversicherungsnummer bestätigen?

Anrufer: Ja, es ist 1111.

Agent: Okay. Ich rufe jetzt den Status auf. Ich sehe, dass es gestern verschickt wurde und die voraussichtliche Ankunft Anfang nächster Woche ist. Möchten Sie, dass ich automatische Benachrichtigungen einschalte, damit Sie über Verzögerungen informiert werden?

Anrufer: Ja, bitte.

Agent: Die Nummer, die wir für Sie gespeichert haben, lautet 555-456-7890. Ist das noch richtig?

Anrufer: Ja, das ist es.

Agent: Großartig. Ich habe automatische Benachrichtigungen aktiviert. Kann ich Ihnen sonst noch bei John behilflich sein?

Anrufer: Nein, das ist alles. Danke schön.

Agent: Danke, John. Ich wünsche ihnen einen wunderbaren Tag.

In dieser kurzen Interaktion gibt es mehrere Daten, die im Allgemeinen als PII gelten würden, darunter der Name des Anrufers, die letzten vier Ziffern seiner Sozialversicherungsnummer und die Telefonnummer. Sehen wir uns an, wie wir diese PII-Daten im Transkript redigieren können.

Lösungsüberblick

Wir erstellen eine AWS Step-Funktionen Zustandsmaschine, die eine orchestriert Amazon verstehen PII-Redaktionsauftrag. Amazon Comprehend ist ein Natural-Language-Processing-Service (NLP), der maschinelles Lernen nutzt, um wertvolle Einblicke und Verbindungen in Texten aufzudecken, einschließlich der Fähigkeit, PII-Daten zu erkennen und zu entfernen.

Sie werden die Transkripte in der Eingabe bereitstellen Amazon S3 Eimer. Die Transkripte liegen in dem von verwendeten Format vor Kontaktlinse für Amazon Connect. Sie geben auch einen S3-Ausgabe-Bucket an, der die Schwärzungsausgabe sowie Zwischendaten speichert. Die Zwischendaten sind Micro-Batch-Versionen der Eingabedaten. Wenn beispielsweise 10,000 Konversationen geschwärzt werden müssen, teilt der Workflow sie in 10 Stapel mit jeweils 1000 Konversationen auf. Jeder Stapel wird mit einem eindeutigen Präfix gespeichert, das dann als Eingabequelle für Comprehend verwendet wird. Der Step-Functions-Zuordnungsstatus wird verwendet, um diese Schwärzungsjobs parallel auszuführen, indem die aufgerufen wird StartPIIEntitiesDetectionJob API. Mit diesem Ansatz können Sie mehrere Jobs parallel statt einzelner Jobs nacheinander ausführen. Da der Job als Step Functions-Zustandsmaschine implementiert ist, kann er manuell oder automatisch als Teil eines täglichen Prozesses ausgeführt werden.

Sie können mehr darüber erfahren, wie Comprehend PII-Daten erkennt und unkenntlich macht dieser Blog-Post.

Stellen Sie die Beispiellösung bereit

Melden Sie sich zunächst bei der an AWS-Managementkonsole in Ihrem AWS-Konto.

Sie benötigen einen S3-Bucket mit einigen Beispiel-Transkriptdaten zum Redigieren und einen weiteren Bucket für die Ausgabe. Wenn Sie keine vorhandenen Mustertranskriptdaten haben, gehen Sie folgendermaßen vor:

1. Navigieren Sie zur Amazon S3-Konsole.
2. Auswählen Eimer erstellen.
3. Geben Sie einen Bucket-Namen ein, z text-redaction-data-.
4. Akzeptieren Sie die Standardeinstellungen und wählen Sie aus Eimer erstellen.
5. Öffnen Sie den von Ihnen erstellten Bucket und wählen Sie aus Ordner erstellen.
6. Geben Sie einen Ordnernamen ein, z. B. „Beispieldaten“, und wählen Sie aus Ordner erstellen.
7. Klicken Sie auf den Namen Ihres neuen Ordners, um ihn zu öffnen.
8. Laden Sie die SampleData.zip Datei.
9. Öffnen Sie die ZIP-Datei auf Ihrem lokalen Computer und ziehen Sie den Ordner dann in den von Ihnen erstellten S3-Bucket.
10. Auswählen Hochladen.

Klicken Sie nun auf den folgenden Link, um die Beispiellösung in USA Ost (Nord-Virginia) bereitzustellen:

Dadurch entsteht ein neues AWS CloudFormation Stapel.

Geben Sie die Stapelname (z.B, pii-redaction-workflow), den Namen des S3-Eingabebuckets, der die Eingabetranskriptdaten enthält, und den Namen des S3-Ausgabebuckets. Wählen Weiter und fügen Sie alle gewünschten Tags für Ihren Stack hinzu (optional). Wählen Weiter erneut und überprüfen Sie die Stack-Details. Aktivieren Sie das Kontrollkästchen, um dies zu bestätigen AWS Identitäts- und Zugriffsverwaltung (IAM) Ressourcen erstellt werden, und wählen Sie dann aus Stapel erstellen.

Der CloudFormation-Stack erstellt eine IAM-Rolle mit der Fähigkeit, die Objekte aus dem Bucket aufzulisten und zu lesen. Sie können die Rolle weiter an Ihre Anforderungen anpassen. Es wird auch eine Step-Functions-Zustandsmaschine erstellen, mehrere AWS Lambda Funktionen, die von der Zustandsmaschine verwendet werden, und einen S3-Bucket zum Speichern der redigierten Ausgabeversionen der Transkripte.

Nach ein paar Minuten ist Ihr Stack vollständig und Sie können die Step Functions-Zustandsmaschine untersuchen, die als Teil der CloudFormation-Vorlage erstellt wurde.

Führen Sie einen Schwärzungsjob aus

Navigieren Sie zum Ausführen eines Auftrags zu Step Functions in der AWS-Konsole, wählen Sie die Zustandsmaschine aus und wählen Sie Starten Sie die Ausführung.

Geben Sie als Nächstes die Eingabeargumente zum Ausführen des Jobs an. Für die Auftragseingabe möchten Sie den Namen Ihres S3-Eingabe-Buckets als angeben S3InputDataBucket Wert, der Ordnername als die S3InputDataPrefix value, der Name Ihres ausgegebenen S3-Buckets als S3OutputDataBucket Wert und den Ordner, in dem die Ergebnisse gespeichert werden sollen S3OutputDataPrefix Wert dann klicken Starten Sie die Ausführung.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

Während der Job ausgeführt wird, können Sie seinen Status in den Step Functions überwachen Diagrammansicht. Die Ausführung des Jobs dauert einige Minuten. Sobald der Job abgeschlossen ist, sehen Sie die Ausgabe für jeden der Jobs in der Ausführungseingabe und -ausgabe Abschnitt der Konsole. Sie können den Ausgabe-URI verwenden, um die Ausgabe eines Jobs abzurufen. Wenn mehrere Jobs ausgeführt wurden, können Sie die Ergebnisse aller Jobs zur weiteren Analyse in einen Ziel-Bucket kopieren.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Werfen wir einen Blick auf die redigierte Version des Gesprächs, mit dem wir begonnen haben.

Agent: Hallo, danke, dass Sie uns heute angerufen haben. Mit wem habe ich heute das Vergnügen zu sprechen?

Anrufer: Hallo, mein Name ist [NAME].

Agent: Hallo [NAME], wie kann ich Ihnen helfen?

Anrufer: Ich habe meinen W2-Auszug noch nicht erhalten und wollte den Status überprüfen.

Agent: Sicher, ich kann Ihnen dabei helfen. Können Sie bitte die letzten vier Ziffern Ihrer Sozialversicherungsnummer bestätigen?

Anrufer: Ja, es ist [SSN].

Agent: Okay. Ich rufe jetzt den Status auf. Ich sehe, dass es gestern verschickt wurde und die voraussichtliche Ankunft Anfang nächster Woche ist. Möchten Sie, dass ich automatische Benachrichtigungen einschalte, damit Sie über Verzögerungen informiert werden?

Anrufer: Ja, bitte.

Agent: Die Nummer, die wir für Sie gespeichert haben, ist [TELEFON]. Ist das noch richtig?

Anrufer: Ja, das ist es.

Agent: Großartig. Ich habe automatische Benachrichtigungen aktiviert. Gibt es sonst noch etwas, bei dem ich Ihnen behilflich sein kann, [NAME]?

Anrufer: Nein, das ist alles. Danke schön.

Agent: Vielen Dank, [NAME]. Ich wünsche ihnen einen wunderbaren Tag.

Aufräumen

Möglicherweise möchten Sie die als Teil der CloudFormation-Vorlage erstellten Ressourcen bereinigen, nachdem Sie fertig sind, um laufende Gebühren zu vermeiden. Löschen Sie dazu den bereitgestellten CloudFormation-Stack und den S3-Bucket mit den Beispieltranskriptdaten, falls einer erstellt wurde.

Zusammenfassung

Da Kunden nahtlose Erfahrungen über alle Kanäle hinweg fordern und auch erwarten, dass Sicherheit an jedem Punkt eingebettet ist, ist die Verwendung von Step Functions und Amazon Comprehend zum Schwärzen von PII-Daten in Textkonversationstranskripten ein leistungsstarkes Werkzeug, das Ihnen zur Verfügung steht. Unternehmen können die Amortisierungszeit verkürzen, indem sie die redigierten Transkripte verwenden, um Kundendienstinteraktionen zu analysieren und Erkenntnisse zur Verbesserung des Kundenerlebnisses zu gewinnen.

Versuchen Sie, diesen Workflow zu verwenden, um Ihre Daten zu schwärzen, und hinterlassen Sie uns einen Kommentar!

Über den Autor

Alex Emilkar ist Senior Solutions Architect im Amazon Machine Learning Solutions Lab, wo er Kunden hilft, digitale Erfahrungen mit AWS-KI-Technologien zu erstellen. Alex verfügt über mehr als 10 Jahre Technologieerfahrung in verschiedenen Funktionen als Entwickler, Infrastrukturingenieur und Lösungsarchitektur. In seiner Freizeit verbringt Alex gerne Zeit mit Lesen und Gartenarbeit.