كيفية تنقيح بيانات PII في نصوص المحادثة

غالبًا ما تحتوي تفاعلات خدمة العملاء على معلومات التعريف الشخصية (PII) مثل الأسماء وأرقام الهواتف وتواريخ الميلاد. نظرًا لأن المؤسسات تدمج التعلم الآلي (ML) والتحليلات في تطبيقاتها ، فإن استخدام هذه البيانات يمكن أن يوفر رؤى حول كيفية إنشاء تجارب عملاء أكثر سلاسة. ومع ذلك ، فإن وجود معلومات PII غالبًا ما يقيد استخدام هذه البيانات. في منشور المدونة هذا ، سنراجع حلاً لتنقيح بيانات PII تلقائيًا من نص محادثة خدمة العملاء.

لنأخذ مثالاً محادثة بين العميل ووكيل مركز الاتصال.

الوكيل: مرحبًا ، شكرًا على اتصالك بنا اليوم. مع من يسعدني أن أتحدث اليوم؟

المتصل: مرحبًا ، اسمي جون ستايلز.

الوكيل: مرحبًا جون ، كيف يمكنني مساعدتك؟

المتصل: لم أتلق بيان W2 الخاص بي حتى الآن وأردت التحقق من حالته.

الوكيل: بالتأكيد ، يمكنني مساعدتك في ذلك. هل يمكنك من فضلك تأكيد الأرقام الأربعة الأخيرة من رقم الضمان الاجتماعي الخاص بك؟

المتصل: نعم إنها 1111.

الوكيل: حسنًا. أنا أقوم بسحب الحالة الآن. أرى أنه تم إرساله بالأمس ، والوصول المقدر مطلع الأسبوع المقبل. هل تريد مني تشغيل التنبيهات الآلية حتى يتم إخطارك بأي تأخير؟

المتصل: نعم من فضلك.

الوكيل: الرقم المسجل لدينا هو 555-456-7890. هل هذا لا يزال صحيحا؟

المتصل: نعم إنه كذلك.

الوكيل: عظيم. لقد قمت بتشغيل الإشعارات الآلية. هل هناك أي شيء آخر يمكنني مساعدتك فيه مع جون؟

المتصل: لا ، هذا كل شيء. شكرًا لك.

الوكيل: شكرا لك جون. أتمنى لك يوماً عظيماً.

في هذا التفاعل المختصر ، هناك عدة أجزاء من البيانات التي يمكن اعتبارها بشكل عام معلومات تحديد الهوية الشخصية ، بما في ذلك اسم المتصل والأرقام الأربعة الأخيرة من رقم الضمان الاجتماعي ورقم الهاتف. دعنا نراجع كيف يمكننا تنقيح بيانات PII هذه في النص.

حل نظرة عامة

سنقوم بإنشاء ملف وظائف خطوة AWS آلة الدولة ، التي تنسق ملف فهم الأمازون وظيفة تنقيح معلومات التعريف الشخصية. Amazon Comprehend هي خدمة معالجة للغة الطبيعية (NLP) تستخدم التعلم الآلي للكشف عن رؤى واتصالات قيّمة في النص ، بما في ذلك القدرة على اكتشاف بيانات PII وتنقيحها.

سوف تقدم النصوص في الإدخال الأمازون S3 دلو. النصوص هي بالتنسيق المستخدم من قبل عدسات لاصقة لـ Amazon Connect. ستحدد أيضًا حاوية الإخراج S3 ، والتي تخزن إخراج التنقيح بالإضافة إلى البيانات الوسيطة. البيانات الوسيطة هي إصدارات مجمعة من بيانات الإدخال. على سبيل المثال ، إذا كان هناك 10,000 محادثة ليتم تنقيحها ، فسيقوم سير العمل بتقسيمها إلى 10 مجموعات من 1000 محادثة لكل منها. يتم تخزين كل دفعة باستخدام بادئة فريدة ، والتي يتم استخدامها بعد ذلك كمصدر إدخال لـ Comprehend. تُستخدم حالة خريطة وظائف الخطوة لتنفيذ مهام التنقيح هذه بالتوازي من خلال استدعاء StartPIIEntitiesDetectionJob API. يتيح لك هذا الأسلوب تشغيل وظائف متعددة بالتوازي بدلاً من تشغيل وظائف فردية على التوالي. نظرًا لأن الوظيفة يتم تنفيذها كآلة لحالة Step Functions ، يمكن تشغيلها للتشغيل يدويًا أو تلقائيًا كجزء من عملية يومية.

يمكنك معرفة المزيد حول كيفية اكتشاف Comprehend لبيانات PII وتنقيحها بتنسيق هذا بلوق وظيفة.

نشر حل العينة

أولاً ، قم بتسجيل الدخول إلى وحدة تحكم إدارة AWS في حساب AWS الخاص بك.

ستحتاج إلى دلو S3 به بعض عينات بيانات النص لتنقيحها ودلو آخر للإخراج. إذا لم يكن لديك بيانات عينة موجودة ، فاتبع الخطوات التالية:

1. انتقل إلى وحدة تحكم Amazon S3.
2. اختار إنشاء دلو.
3. أدخل اسم المستودع ، مثل text-redaction-data-.
4. اقبل الإعدادات الافتراضية ، واختر إنشاء دلو.
5. افتح الحاوية التي أنشأتها واختر إنشاء مجلد.
6. أدخل اسم مجلد ، مثل "نموذج البيانات" واختر إنشاء مجلد.
7. انقر فوق اسم المجلد الجديد لفتحه.
8. تحميل SampleData.zip ملف.
9. افتح ملف .zip على جهاز الكمبيوتر المحلي الخاص بك ، ثم اسحب المجلد إلى حاوية S3 التي أنشأتها.
10. اختار تحميل.

انقر الآن على الرابط التالي لنشر نموذج الحل في شرق الولايات المتحدة (شمال فيرجينيا):

سيؤدي هذا إلى إنشاء ملف تكوين سحابة AWS كومة.

أدخل اسم المكدس (على سبيل المثال، pii-redaction-workflow) ، واسم حاوية الإدخال S3 التي تحتوي على بيانات نص الإدخال ، واسم حاوية الإخراج S3. أختر التالى وأضف أي علامات تريدها للمكدس الخاص بك (اختياري). أختر التالى مرة أخرى ومراجعة تفاصيل المكدس. حدد خانة الاختيار للإقرار بذلك إدارة الهوية والوصول (IAM) AWS سيتم إنشاء الموارد ، ثم اختر إنشاء مكدس.

ستنشئ حزمة CloudFormation دور IAM مع إمكانية سرد الكائنات وقراءتها من الحاوية. يمكنك تخصيص الدور بشكل أكبر وفقًا لمتطلباتك. سيؤدي أيضًا إلى إنشاء جهاز حالة Step Functions ، عدة AWS لامدا الدوال التي يستخدمها جهاز الحالة ، ودلو S3 لتخزين إصدارات المخرجات المنقحة من النصوص.

بعد بضع دقائق ، سيكتمل المكدس الخاص بك ، وبعد ذلك يمكنك فحص آلة حالة Step Functions التي تم إنشاؤها كجزء من قالب CloudFormation.

قم بتشغيل مهمة تنقيح

لتشغيل مهمة ، انتقل إلى Step Functions في وحدة تحكم AWS ، وحدد آلة الحالة ، واختر ابدأ التنفيذ.

بعد ذلك ، قم بتوفير وسيطات الإدخال لتشغيل الوظيفة. بالنسبة لإدخال الوظيفة ، تريد تقديم اسم حاوية الإدخال S3 الخاصة بك كملف S3InputDataBucket القيمة ، اسم المجلد مثل S3InputDataPrefix القيمة ، اسم حاوية الإخراج S3 مثل S3OutputDataBucket القيمة والمجلد لتخزين النتائج بتنسيق S3OutputDataPrefix القيمة ثم انقر فوق ابدأ التنفيذ.

{
  "S3InputDataBucket": "",
  "S3InputDataPrefix": "",
  "S3OutputDataBucket": "", 
  "S3OutputDataPrefix": "" }

أثناء تنفيذ المهمة ، يمكنك مراقبة حالتها في وظائف الخطوة عرض الرسم البياني. سيستغرق تشغيل الوظيفة بضع دقائق. بمجرد اكتمال المهمة ، سترى مخرجات كل وظيفة في مدخلات ومخرجات التنفيذ قسم من وحدة التحكم. يمكنك استخدام URI الناتج لاسترداد مخرجات الوظيفة. إذا تم تنفيذ مهام متعددة ، يمكنك نسخ نتائج جميع الوظائف إلى حاوية الوجهة لمزيد من التحليل.

aws s3 cp s3:////-output/ s3://// --recursive --exclude "*/*" --include "*.out"

دعنا نلقي نظرة على النسخة المنقحة من المحادثة التي بدأنا بها.

الوكيل: مرحبًا ، شكرًا على اتصالك بنا اليوم. مع من يسعدني أن أتحدث اليوم؟

المتصل: مرحبًا ، اسمي [NAME].

الوكيل: مرحبًا [NAME] ، كيف يمكنني مساعدتك؟

المتصل: لم أتلق بيان W2 الخاص بي حتى الآن وأردت التحقق من حالته.

الوكيل: بالتأكيد ، يمكنني مساعدتك في ذلك. هل يمكنك من فضلك تأكيد الأرقام الأربعة الأخيرة من رقم الضمان الاجتماعي الخاص بك؟

المتصل: نعم ، إنه [SSN].

الوكيل: حسنًا. أنا أقوم بسحب الحالة الآن. أرى أنه تم إرساله بالأمس ، والوصول المقدر مطلع الأسبوع المقبل. هل تريد مني تشغيل التنبيهات الآلية حتى يتم إخطارك بأي تأخير؟

المتصل: نعم من فضلك.

الوكيل: الرقم المسجل لدينا هو [PHONE]. هل هذا لا يزال صحيحا؟

المتصل: نعم إنه كذلك.

الوكيل: عظيم. لقد قمت بتشغيل الإشعارات الآلية. هل هناك أي شيء آخر يمكنني مساعدتك بشأنه ، [NAME]؟

المتصل: لا ، هذا كل شيء. شكرًا لك.

الوكيل: شكرًا لك يا [NAME]. أتمنى لك يوماً عظيماً.

تنظيف

قد ترغب في تنظيف الموارد التي تم إنشاؤها كجزء من قالب CloudFormation بعد أن تكتمل لتجنب الرسوم المستمرة. للقيام بذلك ، احذف مكدس CloudFormation المنشور واحذف حاوية S3 مع بيانات نسخة العينة إذا تم إنشاؤها.

وفي الختام

نظرًا لأن العملاء يطالبون بتجارب سلسة عبر القنوات ويتوقعون أيضًا تضمين الأمان في كل نقطة ، فإن استخدام Step Functions و Amazon Comprehend لتنقيح بيانات PII في نصوص المحادثات النصية هو أداة قوية تحت تصرفك. يمكن للمؤسسات تسريع الوقت لتحقيق القيمة باستخدام النصوص المنقحة لتحليل تفاعلات خدمة العملاء واستخلاص الأفكار لتحسين تجربة العميل.

حاول استخدام سير العمل هذا لتنقيح بياناتك وترك تعليق لنا!

عن المؤلف

اليكس اميلكار هو مهندس حلول أول في مختبر حلول التعلم الآلي في أمازون ، حيث يساعد العملاء على بناء تجارب رقمية باستخدام تقنيات AWS AI. يتمتع أليكس بخبرة تقنية تزيد عن 10 سنوات في العمل بقدرات مختلفة من المطور ومهندس البنية التحتية وهندسة الحلول. في أوقات فراغه ، يحب أليكس قضاء الوقت في القراءة والقيام بأعمال الفناء.