Hoe PII-gegevens in gesprekstranscripties te redigeren

Interacties met de klantenservice bevatten vaak persoonlijk identificeerbare informatie (PII), zoals namen, telefoonnummers en geboortedata. Naarmate organisaties machine learning (ML) en analyse in hun applicaties integreren, kan het gebruik van deze gegevens inzichten opleveren over hoe meer naadloze klantervaringen kunnen worden gecreëerd. De aanwezigheid van PII-informatie beperkt echter vaak het gebruik van deze gegevens. In deze blogpost bespreken we een oplossing om automatisch PII-gegevens uit een transcript van een klantenservicegesprek te redigeren.

Laten we een voorbeeldgesprek nemen tussen een klant en een callcentermedewerker.

Agent: Hoi, bedankt dat je ons vandaag hebt gebeld. Met wie heb ik het genoegen vandaag te spreken?

Beller: Hallo, mijn naam is John Stiles.

Agent: Hallo John, waarmee kan ik u helpen?

Beller: Ik heb mijn W2-afschrift nog niet ontvangen en wilde de status ervan controleren.

Agent: Tuurlijk, daar kan ik je mee helpen. Kunt u de laatste vier cijfers van uw burgerservicenummer bevestigen?

Beller: Ja, het is 1111.

Agent: Oké. Ik haal nu de status op. Ik zie dat het gisteren is verzonden en dat de verwachte aankomst begin volgende week is. Wil je dat ik automatische waarschuwingen aanzet zodat je op de hoogte wordt gehouden van eventuele vertragingen?

Beller: Ja, graag.

Agent: Het nummer dat we voor u hebben geregistreerd is 555-456-7890. Klopt dat nog?

Beller: Ja, dat is het.

Agent: Geweldig. Ik heb automatische notificaties aangezet. Is er nog iets waarmee ik je kan helpen met John?

Beller: Nee, dat is alles. Bedankt.

Agent: Dank je, John. Fijne dag.

In deze korte interactie zijn er verschillende gegevens die over het algemeen als PII worden beschouwd, waaronder de naam van de beller, de laatste vier cijfers van zijn burgerservicenummer en het telefoonnummer. Laten we eens kijken hoe we deze PII-gegevens in het transcript kunnen redigeren.

Overzicht oplossingen

We zullen een maken AWS Stap Functies state machine, die een orkestreert Amazon begrijpt het PII redactietaak. Amazon Comprehend is een dienst voor natuurlijke taalverwerking (NLP) die machine learning gebruikt om waardevolle inzichten en verbanden in tekst te ontdekken, waaronder de mogelijkheid om PII-gegevens te detecteren en te redigeren.

U levert de transcripties in de input Amazon S3 emmer. De transcripties zijn in het formaat dat wordt gebruikt door Contactlens voor Amazon Connect. U specificeert ook een output S3-bucket, waarin de redactie-output en tussentijdse gegevens worden opgeslagen. De tussentijdse gegevens zijn versies in microbatch van de invoergegevens. Als er bijvoorbeeld 10,000 conversaties moeten worden geredigeerd, splitst de workflow ze op in 10 batches van elk 1000 conversaties. Elke batch wordt opgeslagen met een uniek voorvoegsel, dat vervolgens wordt gebruikt als invoerbron voor Comprehend. De kaartstatus van Step Functions wordt gebruikt om deze redactietaken parallel uit te voeren door de StartPIIEtitiesDetectionJob API. Met deze aanpak kunt u meerdere taken parallel uitvoeren in plaats van afzonderlijke taken achter elkaar. Omdat de taak is geïmplementeerd als een Step Functions-statusmachine, kan deze worden geactiveerd om handmatig of automatisch te worden uitgevoerd als onderdeel van een dagelijks proces.

U kunt meer leren over hoe Comprehend PII-gegevens detecteert en bewerkt in deze blog post.

De voorbeeldoplossing implementeren

Log eerst in op de AWS-beheerconsole in uw AWS-account.

U hebt een S3-bucket nodig met enkele voorbeeldtranscriptiegegevens om te redigeren en een andere bucket voor uitvoer. Als u geen bestaande voorbeeldtranscriptiegegevens heeft, volgt u deze stappen:

1. Navigeer naar de Amazon S3-console.
2. Kies Maak een bucket.
3. Voer een bucketnaam in, zoals text-redaction-data-.
4. Accepteer de standaardinstellingen en kies Maak een bucket.
5. Open de bucket die je hebt gemaakt en kies Maak een map.
6. Voer een mapnaam in, zoals "sample-data" en kies Maak een map.
7. Klik op uw nieuwe mapnaam om deze te openen.
8. Download de SampleData.zip bestand.
9. Open het .zip-bestand op uw lokale computer en sleep de map naar de S3-bucket die u hebt gemaakt.
10. Kies Uploaden.

Klik nu op de volgende link om de voorbeeldoplossing te implementeren in US East (N. Virginia):

Hiermee wordt een nieuwe AWS CloudFormatie stack.

Voer de Stack naam (Bv pii-redaction-workflow), de naam van de S3-invoerbucket die de invoertranscriptgegevens bevat en de naam van de S3-uitvoerbucket. Kiezen Volgende en voeg alle tags toe die je wilt voor je stapel (optioneel). Kiezen Volgende opnieuw en bekijk de stapeldetails. Schakel het selectievakje in om dat te bevestigen AWS identiteits- en toegangsbeheer (IAM) bronnen worden gemaakt en kies vervolgens Maak een stapel.

De CloudFormation-stack creëert een IAM-rol met de mogelijkheid om de objecten uit de bucket weer te geven en te lezen. U kunt de rol verder aanpassen aan uw vereisten. Het zal ook een Step Functions state machine creëren, meerdere AWS Lambda functies die worden gebruikt door de toestandsmachine, en een S3-bucket voor het opslaan van de geredigeerde uitvoerversies van de transcripties.

Na een paar minuten is uw stapel compleet en kunt u de Step Functions-statusmachine bekijken die is gemaakt als onderdeel van de CloudFormation-sjabloon.

Voer een redactietaak uit

Om een ​​taak uit te voeren, navigeert u naar Step Functions in de AWS-console, selecteert u de statusmachine en kiest u Start de uitvoering.

Geef vervolgens de invoerargumenten op om de taak uit te voeren. Voor de taakinvoer wilt u de naam van uw invoer S3-bucket opgeven als de S3InputDataBucket waarde, de mapnaam als de S3InputDataPrefix waarde, de naam van uw uitvoer S3-bucket als de S3OutputDataBucket waarde en de map waarin de resultaten moeten worden opgeslagen S3OutputDataPrefix waarde klik dan Start de uitvoering.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

Terwijl de taak wordt uitgevoerd, kunt u de status ervan controleren in de stapfuncties grafiekweergave. Het duurt een paar minuten om de taak uit te voeren. Zodra de taak is voltooid, ziet u de uitvoer voor elk van de taken in de Uitvoering in- en uitvoer gedeelte van de console. U kunt de uitvoer-URI gebruiken om de uitvoer van een taak op te halen. Als er meerdere taken zijn uitgevoerd, kunt u de resultaten van alle taken naar een bestemmingsbucket kopiëren voor verdere analyse.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Laten we eens kijken naar de geredigeerde versie van het gesprek waarmee we begonnen.

Agent: Hoi, bedankt dat je ons vandaag hebt gebeld. Met wie heb ik het genoegen vandaag te spreken?

Beller: Hallo, mijn naam is [NAAM].

Agent: Hallo [NAAM], waarmee kan ik u helpen?

Beller: Ik heb mijn W2-afschrift nog niet ontvangen en wilde de status ervan controleren.

Agent: Tuurlijk, daar kan ik je mee helpen. Kunt u de laatste vier cijfers van uw burgerservicenummer bevestigen?

Beller: Ja, het is [SSN].

Agent: Oké. Ik haal nu de status op. Ik zie dat het gisteren is verzonden en dat de verwachte aankomst begin volgende week is. Wil je dat ik automatische waarschuwingen aanzet zodat je op de hoogte wordt gehouden van eventuele vertragingen?

Beller: Ja, graag.

Agent: Het nummer dat we voor u hebben geregistreerd is [TELEFOON]. Klopt dat nog?

Beller: Ja, dat is het.

Agent: Geweldig. Ik heb automatische notificaties aangezet. Is er nog iets waarmee ik je kan helpen, [NAAM]?

Beller: Nee, dat is alles. Bedankt.

Agent: Bedankt, [NAAM]. Fijne dag.

Opruimen

Misschien wilt u de resources die zijn gemaakt als onderdeel van de CloudFormation-sjabloon opschonen nadat u klaar bent om doorlopende kosten te voorkomen. Om dit te doen, verwijdert u de geïmplementeerde CloudFormation-stack en verwijdert u de S3-bucket met de voorbeeldtranscriptgegevens als er een is gemaakt.

Conclusie

Met klanten die naadloze ervaringen via verschillende kanalen eisen en ook verwachten dat beveiliging op elk punt is ingebed, is het gebruik van Step Functions en Amazon Comprehend om PII-gegevens in transcripties van tekstgesprekken te redigeren een krachtig hulpmiddel tot uw beschikking. Organisaties kunnen time-to-value versnellen door de geredigeerde transcripties te gebruiken om interacties met de klantenservice te analyseren en inzichten te verzamelen om de klantervaring te verbeteren.

Probeer deze workflow te gebruiken om uw gegevens te redigeren en laat een reactie achter!

Over de auteur

Alex Emilcar is een Senior Solutions Architect in het Amazon Machine Learning Solutions Lab, waar hij klanten helpt digitale ervaringen op te bouwen met AWS AI-technologieën. Alex heeft meer dan 10 jaar technologische ervaring in verschillende capaciteiten, van ontwikkelaar, infrastructuuringenieur en Solutions Architecture. In zijn vrije tijd besteedt Alex graag tijd aan lezen en klussen in de tuin.