Jak redagować dane PII w transkrypcjach konwersacji

Interakcje z obsługą klienta często zawierają dane osobowe, takie jak nazwiska, numery telefonów i daty urodzenia. Ponieważ organizacje włączają uczenie maszynowe (ML) i analitykę do swoich aplikacji, wykorzystanie tych danych może zapewnić wgląd w to, jak tworzyć bardziej płynne doświadczenia klientów. Jednak obecność informacji PII często ogranicza wykorzystanie tych danych. W tym poście na blogu omówimy rozwiązanie do automatycznego redagowania danych osobowych z transkryptu rozmowy z obsługą klienta.

Weźmy przykładową rozmowę między klientem a agentem call center.

Agent: Cześć, dziękujemy za dzisiejszy telefon. Z kim mam przyjemność dzisiaj rozmawiać?

Dzwoniący: Cześć, nazywam się John Stiles.

Agent: Cześć John, jak mogę ci pomóc?

Dzwoniący: Nie otrzymałem jeszcze wyciągu z W2 i chciałem sprawdzić jego status.

Agent: Jasne, mogę ci w tym pomóc. Czy możesz potwierdzić ostatnie cztery cyfry swojego numeru ubezpieczenia społecznego?

Dzwoniący: Tak, jest 1111.

Agent: ok. Już podnoszę status. Widzę, że został wysłany wczoraj, a przewidywany termin dostawy to początek przyszłego tygodnia. Czy chcesz, abym włączył automatyczne alerty, aby otrzymywać powiadomienia o wszelkich opóźnieniach?

Dzwoniący: Tak, proszę.

Agent: Numer, który mamy dla ciebie w aktach, to 555-456-7890. Czy to nadal jest poprawne?

Dzwoniący: Tak, jest.

Agent: Świetnie. Włączyłem automatyczne powiadomienia. Czy jest coś jeszcze, w czym mogę ci pomóc z Johnem?

Dzwoniący: Nie, to wszystko. Dziękuję Ci.

Agent: Dziękuję, John. Miłego dnia.

W tej krótkiej interakcji jest kilka danych, które ogólnie można by uznać za dane osobowe, w tym imię i nazwisko dzwoniącego, cztery ostatnie cyfry jego numeru ubezpieczenia społecznego i numer telefonu. Przyjrzyjmy się, jak możemy zredagować te dane PII w transkrypcji.

Omówienie rozwiązania

Stworzymy Funkcje kroków AWS maszyna stanowa, która koordynuje Amazon Comprehend Praca redakcyjna PII. Amazon Comprehend to usługa przetwarzania języka naturalnego (NLP), która wykorzystuje uczenie maszynowe do odkrywania cennych spostrzeżeń i powiązań w tekście, w tym możliwość wykrywania i redagowania danych osobowych.

Podasz transkrypty na wejściu Amazon S3 wiaderko. Transkrypcje są w formacie używanym przez Soczewka kontaktowa do Amazon Connect. Określisz również zasobnik wyjściowy S3, który przechowuje dane wyjściowe redakcji oraz dane pośrednie. Dane pośrednie to mikrowsadowe wersje danych wejściowych. Na przykład, jeśli do zredagowania jest 10,000 10 konwersacji, przepływ pracy podzieli je na 1000 partii po XNUMX konwersacji każda. Każda partia jest przechowywana przy użyciu unikalnego prefiksu, który jest następnie używany jako źródło danych wejściowych dla programu Comprehend. Stan mapy Step Functions jest używany do równoległego wykonywania tych zadań redakcyjnych przez wywołanie metody StartPIIEntitiesDetectionJob API. Takie podejście umożliwia uruchamianie wielu zadań równolegle, a nie pojedynczych zadań w sekwencji. Ponieważ zadanie jest zaimplementowane jako maszyna stanów Step Functions, można je uruchamiać ręcznie lub automatycznie w ramach codziennego procesu.

Możesz dowiedzieć się więcej o tym, jak Comprehend wykrywa i redaguje dane PII w ten wpis na blogu.

Wdróż przykładowe rozwiązanie

Najpierw zaloguj się do Konsola zarządzania AWS na swoim koncie AWS.

Będziesz potrzebował wiadra S3 z przykładowymi danymi transkrypcji do zredagowania i innego wiadra do wyjścia. Jeśli nie masz istniejących przykładowych danych transkrypcji, wykonaj następujące kroki:

1. Przejdź do konsoli Amazon S3.
2. Dodaj Utwórz wiadro.
3. Wprowadź nazwę zasobnika, np text-redaction-data-.
4. Zaakceptuj ustawienia domyślne i wybierz Utwórz wiadro.
5. Otwórz utworzone wiadro i wybierz Utwórz folder.
6. Wprowadź nazwę folderu, na przykład „przykładowe-dane” i wybierz Utwórz folder.
7. Kliknij nazwę nowego folderu, aby go otworzyć.
8. Pobierz PrzykładoweDane.zip plik.
9. Otwórz plik .zip na komputerze lokalnym, a następnie przeciągnij folder do utworzonego zasobnika S3.
10. Dodaj Prześlij.

Teraz kliknij poniższe łącze, aby wdrożyć przykładowe rozwiązanie we wschodnich stanach USA (Północna Wirginia):

Spowoduje to utworzenie nowego Tworzenie chmury AWS stos.

Wpisz Nazwa stosu (na przykład, pii-redaction-workflow), nazwę zasobnika wejściowego S3 zawierającego dane transkrypcji wejściowej oraz nazwę zasobnika wyjściowego S3. Wybierać Następna i dodaj dowolne tagi dla swojego stosu (opcjonalnie). Wybierać Następna ponownie i przejrzyj szczegóły stosu. Zaznacz pole wyboru, aby to potwierdzić Zarządzanie tożsamością i dostępem AWS (IAM) zasoby zostaną utworzone, a następnie wybierz Utwórz stos.

Stos CloudFormation utworzy rolę IAM z możliwością wyświetlania i odczytywania obiektów z zasobnika. Możesz dodatkowo dostosować rolę do swoich wymagań. Stworzy również kilka maszyn stanów Step Functions AWS Lambda funkcje używane przez maszynę stanów oraz zasobnik S3 do przechowywania zredagowanych wersji wyjściowych transkryptów.

Po kilku minutach Twój stos będzie kompletny, a następnie możesz zbadać maszynę stanów Step Functions, która została utworzona jako część szablonu CloudFormation.

Uruchom zadanie redakcyjne

Aby uruchomić zadanie, przejdź do Step Functions w konsoli AWS, wybierz maszynę stanów i wybierz Rozpocznij wykonanie.

Następnie podaj argumenty wejściowe, aby uruchomić zadanie. W przypadku danych wejściowych zadania chcesz podać nazwę zasobnika wejściowego S3 jako Wiadro danych wejściowych S3 wartość, nazwa folderu jako Prefiks danych wejściowych S3 wartość, nazwa twojego wyjściowego wiadra S3 jako S3OutputDataBucket wartość i folder, w którym mają być przechowywane wyniki S3OutputDataPrefix wartość, a następnie kliknij Rozpocznij wykonanie.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

Podczas wykonywania zadania można monitorować jego status w funkcjach kroku widok wykresu. Uruchomienie zadania zajmie kilka minut. Po zakończeniu zadania zobaczysz dane wyjściowe dla każdego zadania w pliku Wejście i wyjście wykonania część konsoli. Możesz użyć wyjściowego identyfikatora URI, aby pobrać dane wyjściowe zadania. Jeśli wykonano wiele zadań, możesz skopiować wyniki wszystkich zadań do zasobnika docelowego w celu dalszej analizy.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Rzućmy okiem na zredagowaną wersję rozmowy, od której zaczęliśmy.

Agent: Cześć, dziękujemy za dzisiejszy telefon. Z kim mam przyjemność dzisiaj rozmawiać?

Dzwoniący: Cześć, nazywam się [NAME].

Agent: Cześć [IMIĘ], jak mogę ci pomóc?

Dzwoniący: Nie otrzymałem jeszcze wyciągu z W2 i chciałem sprawdzić jego status.

Agent: Jasne, mogę ci w tym pomóc. Czy możesz potwierdzić ostatnie cztery cyfry swojego numeru ubezpieczenia społecznego?

Dzwoniący: Tak, to [SSN].

Agent: ok. Już podnoszę status. Widzę, że został wysłany wczoraj, a przewidywany termin dostawy to początek przyszłego tygodnia. Czy chcesz, abym włączył automatyczne alerty, aby otrzymywać powiadomienia o wszelkich opóźnieniach?

Dzwoniący: Tak, proszę.

Agent: Numer, który mamy dla ciebie w aktach, to [TELEFON]. Czy to nadal jest poprawne?

Dzwoniący: Tak, jest.

Agent: Świetnie. Włączyłem automatyczne powiadomienia. Czy jest coś jeszcze, w czym mogę ci pomóc, [NAME]?

Dzwoniący: Nie, to wszystko. Dziękuję Ci.

Agent: Dziękuję, [IMIĘ]. Miłego dnia.

Sprzątać

Możesz wyczyścić zasoby utworzone w ramach szablonu CloudFormation po zakończeniu, aby uniknąć bieżących opłat. Aby to zrobić, usuń wdrożony stos CloudFormation i usuń zasobnik S3 z przykładowymi danymi transkrypcji, jeśli taki został utworzony.

Wnioski

Ponieważ klienci wymagają bezproblemowych doświadczeń w różnych kanałach, a także oczekują, że zabezpieczenia będą wbudowane w każdym punkcie, użycie Step Functions i Amazon Comprehend do redagowania danych osobowych w transkrypcjach rozmów tekstowych jest potężnym narzędziem do Twojej dyspozycji. Organizacje mogą przyspieszyć osiąganie wartości, używając zredagowanych transkrypcji do analizowania interakcji z obsługą klienta i zbierania informacji w celu poprawy obsługi klienta.

Spróbuj użyć tego przepływu pracy, aby zredagować swoje dane i zostaw nam komentarz!

O autorze

Alex Emilkar jest starszym architektem rozwiązań w Amazon Machine Learning Solutions Lab, gdzie pomaga klientom budować cyfrowe doświadczenia z technologiami AWS AI. Alex ma ponad 10-letnie doświadczenie w dziedzinie technologii, pracując na różnych stanowiskach, od programisty, inżyniera infrastruktury i architektury rozwiązań. W wolnym czasie Alex lubi czytać i pracować w ogrodzie.