Hur man redigerar PII-data i konversationsutskrifter

Kundtjänstinteraktioner innehåller ofta personligt identifierbar information (PII) såsom namn, telefonnummer och födelsedatum. Eftersom organisationer införlivar maskininlärning (ML) och analys i sina applikationer, kan användningen av denna data ge insikter om hur man skapar mer sömlösa kundupplevelser. Förekomsten av PII-information begränsar dock ofta användningen av dessa data. I det här blogginlägget kommer vi att granska en lösning för att automatiskt redigera PII-data från en kundtjänstkonversationsutskrift.

Låt oss ta ett exempel på en konversation mellan en kund och en callcenteragent.

Agent: Hej, tack för att du ringde oss idag. Vem har jag nöjet att prata med idag?

Uppringare: Hej, jag heter John Stiles.

Agent: Hej John, hur kan jag hjälpa dig?

Uppringare: Jag har inte fått mitt W2-utdrag än och ville kontrollera dess status.

Agent: Visst, jag kan hjälpa dig med det. Kan du bekräfta de fyra sista siffrorna i ditt personnummer?

Uppringare: Ja, det är 1111.

Agent: Okej. Jag drar upp status nu. Jag ser att det skickades ut igår, och beräknad ankomst är i början av nästa vecka. Vill du att jag aktiverar automatiska varningar så att du kan meddelas om eventuella förseningar?

Uppringare: Ja, tack.

Agent: Numret vi har registrerat åt dig är 555-456-7890. Stämmer det fortfarande?

Uppringaren: Ja, det är det.

Agent: Bra. Jag har aktiverat automatiska aviseringar. Finns det något mer jag kan hjälpa dig med John?

Uppringaren: Nej, det är allt. Tack.

Agent: Tack, John. Ha en bra dag.

I denna korta interaktion finns det flera databitar som i allmänhet skulle betraktas som PII, inklusive uppringarens namn, de fyra sista siffrorna i deras personnummer och telefonnumret. Låt oss se över hur vi kan redigera denna PII-data i transkriptet.

Lösningsöversikt

Vi kommer att skapa en AWS stegfunktioner statsmaskin, som orkestrerar en Amazon Comprehend PII-redigeringsjobb. Amazon Comprehend är en NLP-tjänst (natural-language processing) som använder maskininlärning för att avslöja värdefulla insikter och kopplingar i text, inklusive förmågan att upptäcka och redigera PII-data.

Du kommer att tillhandahålla utskrifterna i inmatningen Amazon S3 hink. Avskrifterna är i det format som används av Kontaktlins för Amazon Connect. Du kommer också att ange en utdata S3-bucket, som lagrar redaktionsutgången såväl som mellanliggande data. Mellandata är mikrobatchade versioner av indata. Till exempel, om det finns 10,000 10 konversationer som ska redigeras, kommer arbetsflödet att dela upp dem i 1000 grupper med XNUMX XNUMX konversationer vardera. Varje batch lagras med ett unikt prefix, som sedan används som indatakälla för Comprehend. Maptillståndet för stegfunktioner används för att utföra dessa redigeringsjobb parallellt genom att anropa StartPIIEntitiesDetectionJob API. Detta tillvägagångssätt gör att du kan köra flera jobb parallellt snarare än enskilda jobb i följd. Eftersom jobbet är implementerat som en tillståndsmaskin för stegfunktioner, kan det utlösas att köras manuellt eller automatiskt som en del av en daglig process.

Du kan lära dig mer om hur Comprehend upptäcker och redigerar PII-data i detta blogginlägg.

Distribuera provlösningen

Logga först in på AWS Management Console i ditt AWS-konto.

Du behöver en S3-hink med några exempel på transkriptionsdata för att redigera och en annan hink för utdata. Om du inte har befintliga exempel på transkriptionsdata, följ dessa steg:

1. Navigera till Amazon S3-konsolen.
2. Välja Skapa hink.
3. Ange ett hinknamn, t.ex text-redaction-data-.
4. Acceptera standardinställningarna och välj Skapa hink.
5. Öppna hinken du skapade och välj skapa mapp.
6. Ange ett mappnamn, till exempel "sample-data" och välj skapa mapp.
7. Klicka på ditt nya mappnamn för att öppna den.
8. ladda ner SampleData.zip fil.
9. Öppna .zip-filen på din lokala dator och dra sedan mappen till S3-hinken du skapade.
10. Välja Ladda.

Klicka nu på följande länk för att distribuera exempellösningen till östliga USA (N. Virginia):

Detta kommer att skapa en ny AWS molnformation stack.

Ange Stapla namn (t.ex, pii-redaction-workflow), namnet på S3-inmatningshinken som innehåller ingående transkriptionsdata, och namnet på S3-utgångsbucket. Välja Nästa och lägg till alla taggar som du vill ha för din stack (valfritt). Välja Nästa igen och granska stackdetaljerna. Markera kryssrutan för att bekräfta det AWS Identity and Access Management (IAM) resurser kommer att skapas och välj sedan Skapa stack.

CloudFormation-stacken kommer att skapa en IAM-roll med möjligheten att lista och läsa objekten från hinken. Du kan ytterligare anpassa rollen efter dina krav. Det kommer också att skapa en tillståndsmaskin för stegfunktioner, flera AWS Lambda funktioner som används av tillståndsmaskinen och en S3-hink för att lagra de redigerade utdataversionerna av transkriptionerna.

Efter några minuter kommer din stack att vara klar, och sedan kan du undersöka tillståndsmaskinen Step Functions som skapades som en del av CloudFormation-mallen.

Kör ett redigeringsjobb

För att köra ett jobb, navigera till Stegfunktioner i AWS-konsolen, välj tillståndsmaskinen och välj Starta körning.

Ange sedan inmatningsargumenten för att köra jobbet. För jobbinmatningen vill du ange namnet på din S3-inmatningsskopa som S3InputDataBucket värde, mappnamnet som S3InputDataPrefix värde, namnet på din utgående S3-hink som S3OutputDataBucket värde och mappen att lagra resultaten som S3OutputDataPrefix värde och klicka sedan Starta körning.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

När jobbet körs kan du övervaka dess status i stegfunktionerna grafvy. Det tar några minuter att köra jobbet. När jobbet är klart kommer du att se utdata för vart och ett av jobben i Exekveringsinmatning och -utgång delen av konsolen. Du kan använda utdata-URI för att hämta utdata från ett jobb. Om flera jobb har körts kan du kopiera resultaten av alla jobb till en destinationshack för vidare analys.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Låt oss ta en titt på den redigerade versionen av konversationen som vi började med.

Agent: Hej, tack för att du ringde oss idag. Vem har jag nöjet att prata med idag?

Uppringare: Hej, jag heter [NAMN].

Agent: Hej [NAME], hur kan jag hjälpa dig?

Uppringare: Jag har inte fått mitt W2-utdrag än och ville kontrollera dess status.

Agent: Visst, jag kan hjälpa dig med det. Kan du bekräfta de fyra sista siffrorna i ditt personnummer?

Uppringare: Ja, det är [SSN].

Agent: Okej. Jag drar upp status nu. Jag ser att det skickades ut igår, och beräknad ankomst är i början av nästa vecka. Vill du att jag aktiverar automatiska varningar så att du kan meddelas om eventuella förseningar?

Uppringare: Ja, tack.

Agent: Numret vi har registrerat åt dig är [PHONE]. Stämmer det fortfarande?

Uppringaren: Ja, det är det.

Agent: Bra. Jag har aktiverat automatiska aviseringar. Finns det något mer jag kan hjälpa dig med, [NAMN]?

Uppringaren: Nej, det är allt. Tack.

Agent: Tack, [NAMN]. Ha en bra dag.

Städa upp

Du kanske vill rensa upp resurserna som skapats som en del av CloudFormation-mallen efter att du är klar för att undvika pågående avgifter. För att göra det, ta bort den distribuerade CloudFormation-stacken och ta bort S3-bucketen med exempeltranskriptionsdata om en sådan skapades.

Slutsats

Med kunder som kräver sömlösa upplevelser över kanaler och även förväntar sig att säkerheten är inbäddad vid varje punkt, är användningen av Step Functions och Amazon Comprehend för att redigera PII-data i textkonversationsutskrifter ett kraftfullt verktyg till ditt förfogande. Organisationer kan påskynda tiden till värde genom att använda de redigerade utskrifterna för att analysera kundtjänstinteraktioner och få insikter för att förbättra kundupplevelsen.

Prova att använda det här arbetsflödet för att redigera dina data och lämna oss en kommentar!

Om författaren

Alex Emilcar är Senior Solutions Architect i Amazon Machine Learning Solutions Lab, där han hjälper kunder att bygga digitala upplevelser med AWS AI-teknik. Alex har över 10 års teknisk erfarenhet från att arbeta i olika kapaciteter från utvecklare, infrastrukturingenjör och Solutions Architecture. På fritiden ägnar Alex gärna tid åt att läsa och göra trädgårdsarbete.