Come oscurare i dati PII nelle trascrizioni delle conversazioni

Le interazioni con il servizio clienti spesso contengono informazioni di identificazione personale (PII) come nomi, numeri di telefono e date di nascita. Man mano che le organizzazioni incorporano il machine learning (ML) e l'analisi nelle loro applicazioni, l'utilizzo di questi dati può fornire informazioni su come creare esperienze cliente più fluide. Tuttavia, la presenza di informazioni PII spesso limita l'uso di questi dati. In questo post del blog, esamineremo una soluzione per oscurare automaticamente i dati PII da una trascrizione di una conversazione del servizio clienti.

Facciamo un esempio di conversazione tra un cliente e un agente del call center.

Agente: Salve, grazie per averci chiamato oggi. Con chi ho il piacere di parlare oggi?

Caller: Ciao, mi chiamo John Stiles.

Agent: Ciao John, come posso aiutarti?

Caller: Non ho ancora ricevuto il mio estratto conto W2 e volevo verificarne lo stato.

Agente: Certo, posso aiutarti in questo. Può confermare le ultime quattro cifre del suo numero di previdenza sociale?

Chiamante: Sì, è il 1111.

Agente: Ok. Sto tirando su lo stato ora. Vedo che è stato spedito ieri e l'arrivo previsto è all'inizio della prossima settimana. Vuoi che attivi gli avvisi automatici in modo da poter essere avvisato di eventuali ritardi?

Chiamante: Sì, per favore.

Agente: Il numero che abbiamo in archivio per lei è 555-456-7890. È ancora corretto?

Chiamante: Sì, lo è.

Agente: Ottimo. Ho attivato le notifiche automatiche. C'è qualcos'altro che posso aiutarti con John?

Chiamante: No, tutto qui. Grazie.

Agente: Grazie, John. Vi auguro una buona giornata.

In questa breve interazione, sono presenti diversi dati che generalmente sarebbero considerati informazioni personali, tra cui il nome del chiamante, le ultime quattro cifre del suo numero di previdenza sociale e il numero di telefono. Rivediamo come possiamo oscurare questi dati PII nella trascrizione.

Panoramica della soluzione

Creeremo un Funzioni AWS Step macchina a stati, che orchestra un Amazon Comprehend Lavoro di redazione PII. Amazon Comprehend è un servizio di elaborazione del linguaggio naturale (NLP) che utilizza l'apprendimento automatico per scoprire preziose informazioni e connessioni nel testo, inclusa la capacità di rilevare e oscurare i dati PII.

Fornirai le trascrizioni nell'input Amazon S3 secchio. Le trascrizioni sono nel formato utilizzato da Lenti a contatto per Amazon Connect. Specificherai anche un bucket S3 di output, che archivia l'output di redazione e i dati intermedi. I dati intermedi sono versioni microbatch dei dati di input. Ad esempio, se ci sono 10,000 conversazioni da redigere, il flusso di lavoro le suddividerà in 10 batch di 1000 conversazioni ciascuno. Ogni batch viene archiviato utilizzando un prefisso univoco, che viene quindi utilizzato come origine di input per Comprehend. Lo stato della mappa di Step Functions viene utilizzato per eseguire questi processi di redazione in parallelo chiamando il metodo AvviaPIIEntitiesDetectionJob API. Questo approccio consente di eseguire più lavori in parallelo anziché singoli lavori in sequenza. Poiché il lavoro è implementato come una macchina a stati Step Functions, può essere attivato per l'esecuzione manuale o automatica come parte di un processo quotidiano.

Puoi saperne di più su come Comprehend rileva e oscura i dati PII in questo post del blog.

Distribuire la soluzione di esempio

Innanzitutto, accedi a Console di gestione AWS nel tuo account AWS.

Avrai bisogno di un bucket S3 con alcuni dati di trascrizione di esempio da redigere e un altro bucket per l'output. Se non disponi di dati di trascrizione campione esistenti, procedi nel seguente modo:

1. Passa alla console Amazon S3.
2. Scegli Crea un secchio.
3. Inserisci un nome per il bucket, ad esempio text-redaction-data-.
4. Accetta le impostazioni predefinite e scegli Crea un secchio.
5. Apri il bucket che hai creato e scegli Crea cartella.
6. Immettere un nome per la cartella, ad esempio "sample-data" e scegliere Crea cartella.
7. Fare clic sul nome della nuova cartella per aprirla.
8. Scarica la DatiCampione.zip file.
9. Apri il file .zip sul tuo computer locale e trascina la cartella nel bucket S3 che hai creato.
10. Scegli Caricare.

Ora fai clic sul collegamento seguente per distribuire la soluzione di esempio negli Stati Uniti orientali (Virginia settentrionale):

Questo creerà un nuovo AWS CloudFormazione pila.

Inserire il Nome dello stack (per esempio, pii-redaction-workflow), il nome del bucket di input S3 contenente i dati della trascrizione di input e il nome del bucket di output S3. Scegliere Avanti e aggiungi tutti i tag che desideri per il tuo stack (facoltativo). Scegliere Avanti di nuovo e rivedere i dettagli dello stack. Seleziona la casella di controllo per confermarlo AWS Identity and Access Management (IAM) le risorse verranno create e quindi scegliere Crea stack.

Lo stack CloudFormation creerà un ruolo IAM con la possibilità di elencare e leggere gli oggetti dal bucket. Puoi personalizzare ulteriormente il ruolo in base alle tue esigenze. Creerà anche una macchina a stati Step Functions, diverse AWS Lambda funzioni utilizzate dalla macchina a stati e un bucket S3 per l'archiviazione delle versioni di output redatte delle trascrizioni.

Dopo alcuni minuti, il tuo stack sarà completo, quindi potrai esaminare la macchina a stati Step Functions creata come parte del modello CloudFormation.

Eseguire un lavoro di redazione

Per eseguire un processo, vai a Step Functions nella console AWS, seleziona la macchina a stati e scegli Inizia l'esecuzione.

Quindi fornire gli argomenti di input per eseguire il lavoro. Per l'input del lavoro, devi fornire il nome del tuo bucket S3 di input come S3InputDataBucket valore, il nome della cartella come il S3InputDataPrefisso value, il nome del tuo bucket S3 di output come the S3OutputDataBucket value e la cartella in cui archiviare i risultati S3OutputDataPrefix valore quindi fare clic su Inizia l'esecuzione.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

Durante l'esecuzione del lavoro, puoi monitorarne lo stato in Step Functions vista grafico. Ci vorranno alcuni minuti per eseguire il lavoro. Una volta completato il lavoro, vedrai l'output per ciascuno dei lavori nel file Input e output di esecuzione sezione della console. È possibile utilizzare l'URI di output per recuperare l'output di un lavoro. Se sono stati eseguiti più job, puoi copiare i risultati di tutti i job in un bucket di destinazione per ulteriori analisi.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Diamo un'occhiata alla versione redatta della conversazione con cui abbiamo iniziato.

Agente: Salve, grazie per averci chiamato oggi. Con chi ho il piacere di parlare oggi?

Caller: Ciao, mi chiamo [NOME].

Agente: Ciao [NOME], come posso aiutarti?

Caller: Non ho ancora ricevuto il mio estratto conto W2 e volevo verificarne lo stato.

Agente: Certo, posso aiutarti in questo. Può confermare le ultime quattro cifre del suo numero di previdenza sociale?

Chiamante: Sì, è [SSN].

Agente: Ok. Sto tirando su lo stato ora. Vedo che è stato spedito ieri e l'arrivo previsto è all'inizio della prossima settimana. Vuoi che attivi gli avvisi automatici in modo da poter essere avvisato di eventuali ritardi?

Chiamante: Sì, per favore.

Agente: Il numero che abbiamo in archivio per lei è [TELEFONO]. È ancora corretto?

Chiamante: Sì, lo è.

Agente: Ottimo. Ho attivato le notifiche automatiche. C'è qualcos'altro in cui posso aiutarti, [NOME]?

Chiamante: No, tutto qui. Grazie.

Agente: Grazie, [NOME]. Vi auguro una buona giornata.

ripulire

Potresti voler ripulire le risorse create come parte del modello CloudFormation dopo aver completato per evitare addebiti continui. Per fare ciò, elimina lo stack CloudFormation distribuito ed elimina il bucket S3 con i dati di trascrizione di esempio, se ne è stato creato uno.

Conclusione

Con i clienti che richiedono esperienze fluide su tutti i canali e si aspettano anche che la sicurezza sia incorporata in ogni punto, l'uso di Step Functions e Amazon Comprehend per redigere i dati PII nelle trascrizioni delle conversazioni di testo è un potente strumento a tua disposizione. Le organizzazioni possono accelerare il time-to-value utilizzando le trascrizioni redatte per analizzare le interazioni del servizio clienti e raccogliere informazioni per migliorare l'esperienza del cliente.

Prova a utilizzare questo flusso di lavoro per oscurare i tuoi dati e lasciaci un commento!

Circa l'autore

Alex Emilcare è Senior Solutions Architect presso l'Amazon Machine Learning Solutions Lab, dove aiuta i clienti a creare esperienze digitali con le tecnologie AI di AWS. Alex ha oltre 10 anni di esperienza tecnologica lavorando in diverse capacità da sviluppatore, ingegnere di infrastrutture e Solutions Architecture. Nel tempo libero, ad Alex piace leggere e fare lavori in giardino.