Как отредактировать данные PII в стенограммах разговоров

Взаимодействие со службой поддержки часто содержит личную информацию (PII), такую ​​как имена, номера телефонов и даты рождения. По мере того как организации внедряют машинное обучение (ML) и аналитику в свои приложения, использование этих данных может дать представление о том, как создать более удобный клиентский опыт. Однако наличие информации PII часто ограничивает использование этих данных. В этом сообщении блога мы рассмотрим решение для автоматического редактирования данных PII из стенограммы разговора со службой поддержки клиентов.

Возьмем пример разговора между клиентом и оператором колл-центра.

Агент: Привет, спасибо, что позвонили нам сегодня. С кем я имею удовольствие говорить сегодня?

Звонящий: Здравствуйте, меня зовут Джон Стайлз.

Агент: Привет, Джон, чем я могу вам помочь?

Звонящий: Я еще не получил выписку W2 и хотел проверить ее статус.

Агент: Конечно, я могу помочь вам с этим. Не могли бы вы подтвердить последние четыре цифры вашего номера социального страхования?

Звонящий: Да, это 1111.

Агент: Хорошо. Сейчас подтягиваю статус. Я вижу, что оно было отправлено вчера, и ожидаемое поступление в начале следующей недели. Хотите, чтобы я включил автоматические оповещения, чтобы вы могли получать уведомления о любых задержках?

Звонящий: Да, пожалуйста.

Агент: У нас есть для вас номер 555-456-7890. Это все еще правильно?

Звонящий: Да, это так.

Агент: Отлично. Я включил автоматические уведомления. Могу ли я чем-нибудь еще помочь вам с Джоном?

Звонящий: Нет, это все. Спасибо.

Агент: Спасибо, Джон. Хорошего дня.

В этом кратком взаимодействии есть несколько частей данных, которые обычно считаются PII, включая имя звонящего, последние четыре цифры его номера социального страхования и номер телефона. Давайте рассмотрим, как мы можем отредактировать эти данные PII в стенограмме.

Обзор решения

Мы создадим Шаговые функции AWS государственная машина, которая организует Amazon Comprehend Работа по редактированию PII. Amazon Comprehend — это сервис обработки естественного языка (NLP), который использует машинное обучение для выявления ценных идей и связей в тексте, включая возможность обнаружения и редактирования данных PII.

Вы предоставите стенограммы во входных данных Amazon S3 ведро. Стенограммы представлены в формате, используемом Контактная линза для Amazon Connect. Вы также укажете выходную корзину S3, в которой хранятся выходные данные редактирования, а также промежуточные данные. Промежуточные данные представляют собой микропакетные версии входных данных. Например, если необходимо отредактировать 10,000 10 диалогов, рабочий процесс разделит их на 1000 пакетов по XNUMX диалогов в каждом. Каждый пакет сохраняется с использованием уникального префикса, который затем используется в качестве источника ввода для Comprehend. Состояние карты Step Functions используется для параллельного выполнения этих заданий редактирования путем вызова СтартПИИнтитисдетектионджоб API. Такой подход позволяет запускать несколько заданий параллельно, а не отдельные задания последовательно. Поскольку задание реализовано как конечный автомат Step Functions, его можно запускать вручную или автоматически в рамках ежедневного процесса.

Вы можете узнать больше о том, как Comprehend обнаруживает и редактирует данные PII в это сообщение в блоге.

Разверните образец решения

Сначала войдите в Консоль управления AWS в вашей учетной записи AWS.

Вам понадобится корзина S3 с образцами данных стенограммы для редактирования и еще одна корзина для вывода. Если у вас нет существующих образцов данных транскрипта, выполните следующие действия:

1. Перейдите к консоли Amazon S3.
2. Выберите Создать ведро.
3. Введите имя корзины, например text-redaction-data-.
4. Примите значения по умолчанию и выберите Создать ведро.
5. Откройте созданный вами сегмент и выберите Создать папку.
6. Введите имя папки, например «sample-data», и выберите Создать папку.
7. Нажмите на имя новой папки, чтобы открыть ее.
8. Скачать SampleData.zip .
9. Откройте ZIP-файл на локальном компьютере, а затем перетащите папку в созданную вами корзину S3.
10. Выберите Загрузите.

Теперь щелкните следующую ссылку, чтобы развернуть образец решения в регионе Восток США (Северная Вирджиния):

Это создаст новый AWS CloudFormation стек.

Введите Название стека (например, pii-redaction-workflow), имя входной корзины S3, содержащей входные данные расшифровки, и имя выходной корзины S3. выберите Следующая и добавьте любые теги, которые вы хотите для своего стека (необязательно). выберите Следующая еще раз и просмотрите сведения о стеке. Установите флажок, чтобы подтвердить, что Управление идентификацией и доступом AWS (IAM) ресурсы будут созданы, а затем выберите Создать стек.

Стек CloudFormation создаст роль IAM с возможностью перечисления и чтения объектов из корзины. Вы можете дополнительно настроить роль в соответствии с вашими требованиями. Он также создаст конечный автомат Step Functions, несколько AWS Lambda функции, используемые конечным автоматом, и корзину S3 для хранения отредактированных выходных версий расшифровок.

Через несколько минут ваш стек будет готов, после чего вы сможете изучить конечный автомат Step Functions, созданный как часть шаблона CloudFormation.

Запустить задание редактирования

Чтобы запустить задание, перейдите к Step Functions в консоли AWS, выберите конечный автомат и выберите Начать выполнение.

Затем укажите входные аргументы для запуска задания. Для ввода задания вы хотите указать имя своего входного сегмента S3 в качестве S3InputDataBucket значение, имя папки как Префикс S3InputData значение, имя вашей выходной корзины S3 в качестве S3OutputDataBucket значение и папку для хранения результатов как S3OutputDataPrefix значение, затем нажмите Начать выполнение.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

По мере выполнения задания вы можете следить за его статусом в разделе «Функции шага». графическое представление. Выполнение задания займет несколько минут. После завершения задания вы увидите выходные данные для каждого из заданий в Вход и выход выполнения раздел консоли. Вы можете использовать выходной URI для получения выходных данных задания. Если было выполнено несколько заданий, вы можете скопировать результаты всех заданий в корзину назначения для дальнейшего анализа.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

Давайте посмотрим на отредактированную версию разговора, с которого мы начали.

Агент: Привет, спасибо, что позвонили нам сегодня. С кем я имею удовольствие говорить сегодня?

Звонящий: Здравствуйте, меня зовут [ИМЯ].

Агент: Привет, [ИМЯ], чем я могу вам помочь?

Звонящий: Я еще не получил выписку W2 и хотел проверить ее статус.

Агент: Конечно, я могу помочь вам с этим. Не могли бы вы подтвердить последние четыре цифры вашего номера социального страхования?

Звонящий: Да, это [SSN].

Агент: Хорошо. Сейчас подтягиваю статус. Я вижу, что оно было отправлено вчера, и ожидаемое поступление в начале следующей недели. Хотите, чтобы я включил автоматические оповещения, чтобы вы могли получать уведомления о любых задержках?

Звонящий: Да, пожалуйста.

Агент: Номер, который у нас есть для вас, — [ТЕЛЕФОН]. Это все еще правильно?

Звонящий: Да, это так.

Агент: Отлично. Я включил автоматические уведомления. Могу ли я чем-нибудь еще помочь вам, [ИМЯ]?

Звонящий: Нет, это все. Спасибо.

Агент: Спасибо, [ИМЯ]. Хорошего дня.

Убирать

Вы можете очистить ресурсы, созданные как часть шаблона CloudFormation, после завершения, чтобы избежать текущих расходов. Для этого удалите развернутый стек CloudFormation и удалите корзину S3 с образцами данных расшифровки, если она была создана.

Заключение

Поскольку клиенты требуют бесперебойной работы по всем каналам, а также ожидают, что безопасность будет внедрена на каждом этапе, использование Step Functions и Amazon Comprehend для редактирования данных PII в расшифровках текстовых разговоров является мощным инструментом в вашем распоряжении. Организации могут ускорить окупаемость, используя отредактированные стенограммы для анализа взаимодействий со службой поддержки клиентов и сбора информации для улучшения качества обслуживания клиентов.

Попробуйте использовать этот рабочий процесс, чтобы отредактировать свои данные и оставить нам комментарий!

Об авторе

Алекс Эмилькар является старшим архитектором решений в лаборатории решений для машинного обучения Amazon, где он помогает клиентам создавать цифровые решения с помощью технологий AWS AI. Алекс имеет более чем 10-летний опыт работы в области технологий, работая в различных должностях от разработчика, инженера по инфраструктуре и архитектуры решений. В свободное время Алекс любит читать и заниматься садовыми работами.