هذا منشور ضيف من قبل كبير مهندسي البرامج والتعلم الآلي في Kustomer ، Ian Lantzy ، وفريق AWS Umesh Kalaspurkar و Prasad Shetty و Jonathan Greifenberger.
وبكلمات كوستمر الخاصة ، "Kustomer هي منصة SaaS CRM متعددة القنوات تعيد تصور خدمة عملاء المؤسسة لتقديم تجارب متميزة. تم تصميمه باستخدام الأتمتة الذكية ، فنحن نوسع نطاقًا لتلبية احتياجات أي مركز اتصال وأي عمل من خلال توحيد البيانات من مصادر متعددة وتمكين الشركات من تقديم خدمة ودعم شخصية سهلة ومتسقة وشخصية من خلال عرض مخطط زمني واحد. "
أراد Kustomer القدرة على تحليل كميات كبيرة من اتصالات الدعم لعملائهم التجاريين بسرعة - تجربة العملاء ومؤسسات الخدمة - وأتمتة اكتشاف المعلومات مثل نية العميل النهائي ، ومشكلة خدمة العملاء ، والرؤى الأخرى ذات الصلة المتعلقة بالمستهلك. يمكن أن يساعد فهم هذه الخصائص مؤسسات تجربة العملاء على إدارة آلاف رسائل البريد الإلكتروني الداعمة المضمنة عن طريق تصنيف المحتوى وتصنيفه تلقائيًا. الرافعات المالية Kustomer الأمازون SageMaker لإدارة تحليل اتصالات الدعم الواردة عبر الذكاء الاصطناعي القائم عليها معدل الذكاء Kustomer برنامج. خدمة تصنيف المحادثات من Kustomer IQ قادرة على وضع المحادثات في سياقها وأتمتة المهام المملة والمتكررة ، مما يقلل من تشتيت انتباه الوكيل والتكلفة الإجمالية لكل جهة اتصال. هذا بالإضافة إلى خدمات IQ الأخرى لـ Kustomer زادت من الإنتاجية والأتمتة لعملائها من الشركات.
في هذا المنشور ، نتحدث عن كيفية استخدام Kustomer لصور Docker المخصصة لتدريب SageMaker والاستدلال ، مما يسهل التكامل ويبسط العملية. باستخدام هذا النهج ، يقوم عملاء الأعمال في Kustomer تلقائيًا بتصنيف أكثر من 50 ألف بريد إلكتروني للدعم كل شهر بدقة تصل إلى 70٪.
الخلفية والتحديات
يستخدم Kustomer خط أنابيب مخصص لتصنيف النص لخدمة تصنيف المحادثة الخاصة بهم. يساعدهم هذا في إدارة آلاف الطلبات يوميًا من خلال التصنيف التلقائي والتصنيف باستخدام تدريب SageMaker وتنسيق الاستدلال. يستخدم محرك تدريب تصنيف المحادثة صور Docker المخصصة لمعالجة البيانات وتدريب النماذج باستخدام المحادثات التاريخية ثم يتنبأ بالمواضيع أو الفئات أو غيرها من التسميات المخصصة التي يحتاجها وكيل معين من أجل تصنيف المحادثات. ثم يستخدم محرك التنبؤ النماذج المدربة مع صورة عامل إرساء مخصصة أخرى لتصنيف المحادثات ، والتي تستخدمها المؤسسات لأتمتة إعداد التقارير أو توجيه المحادثات إلى فريق معين بناءً على موضوعها.
تبدأ عملية تصنيف SageMaker من خلال إنشاء خط أنابيب للتدريب والاستدلال يمكن أن يوفر تصنيفًا للنص وتوصيات سياقية. سيتم تنفيذ الإعداد النموذجي باستخدام أساليب بدون خادم مثل AWS لامدا للمعالجة المسبقة للبيانات والمعالجة اللاحقة لأنها تحتوي على الحد الأدنى من متطلبات التزويد مع نموذج تسعير فعّال عند الطلب. ومع ذلك ، فإن استخدام SageMaker مع التبعيات مثل TensorFlow و NumPy و Pandas يمكن أن يزيد حجم حزمة النموذج بسرعة ، مما يجعل عملية النشر الإجمالية مرهقة وصعبة الإدارة. استخدم Kustomer صور Docker المخصصة للتغلب على هذه التحديات.
توفر صور Docker المخصصة مزايا جوهرية:
- يسمح بأحجام حزم مضغوطة أكبر (أكثر من 10 غيغابايت) ، والتي يمكن أن تحتوي على أطر عمل شائعة للتعلم الآلي (ML) مثل TensorFlow أو MXNet أو PyTorch أو غيرها.
- يسمح لك بإحضار التعليمات البرمجية المخصصة أو الخوارزميات المطورة محليًا إلى أمازون ساجميكر ستوديو أجهزة الكمبيوتر المحمولة للتكرار السريع والتدريب النموذجي.
- يتم تجنب التأخيرات في المعالجة المسبقة التي تحدث في Lambda أثناء تفريغ حزم النشر.
- يوفر المرونة للتكامل بسلاسة مع الأنظمة الداخلية.
- التوافق المستقبلي وقابلية التوسع يجعل من السهل تحويل خدمة باستخدام Docker بدلاً من الاضطرار إلى حزم ملفات .zip في وظيفة Lambda.
- يقلل وقت الاستجابة لخط أنابيب نشر CI / CD.
- يوفر معرفة Docker داخل الفريق وسهولة الاستخدام.
- يوفر الوصول إلى مخازن البيانات عبر واجهات برمجة التطبيقات ووقت تشغيل الخلفية.
- يقدم دعمًا أفضل للتدخل في أي معالجة مسبقة أو معالجة لاحقة تتطلب Lambda خدمة حساب منفصلة لكل عملية (مثل التدريب أو النشر).
حل نظرة عامة
يعد تصنيف رسائل البريد الإلكتروني الخاصة بالدعم ووضع العلامات عليها خطوة حاسمة في عملية دعم العملاء. يسمح للشركات بتوجيه المحادثات إلى الفرق المناسبة ، وفهم على مستوى عالٍ ما يتصل بهم عملاؤهم بشأنه. يتعامل عملاء Kustomer التجاريون مع آلاف المحادثات كل يوم ، لذا فإن التصنيف على نطاق واسع يمثل تحديًا. تساعد أتمتة هذه العملية الوكلاء على أن يكونوا أكثر فعالية ويوفرون دعمًا أكثر تماسكًا ، ويساعد عملائهم من خلال ربطهم بالأشخاص المناسبين بشكل أسرع.
يوضح الرسم البياني التالي بنية الحل:
تبدأ عملية تصنيف المحادثة بإعطاء العميل التجاري إذنًا لـ Kustomer لإعداد خط أنابيب للتدريب والاستدلال يمكن أن يساعدهم في تصنيف النص والتوصيات السياقية. يعرض Kustomer واجهة مستخدم لعملائه لمراقبة عملية التدريب والاستدلال ، والتي يتم تنفيذها باستخدام SageMaker جنبًا إلى جنب مع نماذج TensorFlow وصور Docker المخصصة. تنقسم عملية بناء المصنف واستخدامه إلى خمسة مهام سير عمل رئيسية ، يتم تنسيقها بواسطة خدمة عامل تعمل على أمازون ECS. لتنسيق أحداث خط الأنابيب وتشغيل التدريب ونشر النموذج ، يستخدم العامل ملف الأمازون SQS queue ويتكامل مباشرةً مع SageMaker باستخدام Node.js SDK المقدم من AWS. مهام سير العمل هي:
- تصدير البيانات
- معالجة البيانات
- قادة الإيمان
- قابل للفتح
- الإستنباط
تصدير البيانات
يتم تشغيل عملية تصدير البيانات عند الطلب وتبدأ بعملية الموافقة من العميل التجاري لـ Kustomer لتأكيد استخدام بيانات البريد الإلكتروني للتحليل. يتم التقاط البيانات ذات الصلة بعملية التصنيف عبر البريد الإلكتروني الأولي المستلم من العميل النهائي. على سبيل المثال ، عادةً ما يحتوي البريد الإلكتروني للدعم على فكرة متماسكة كاملة عن المشكلة مع تفاصيل حول المشكلة. كجزء من عملية التصدير ، يتم تجميع رسائل البريد الإلكتروني من مخزن البيانات (MongoDB و أمازون أوبن سيرش) وحفظها في خدمة تخزين أمازون البسيطة (أمازون S3).
معالجة البيانات
تقوم مرحلة المعالجة المسبقة للبيانات بتنظيف مجموعة البيانات للتدريب والاستدلال بسير العمل عن طريق تجريد أي علامات HTML من رسائل البريد الإلكتروني للعملاء وإطعامها من خلال خطوات تنظيف وتعقيم متعددة لاكتشاف أي HTML تالف. تتضمن هذه العملية استخدام تعانق الوجه الرموز والمحولات. عند اكتمال عملية التطهير ، تتم إضافة أي رموز مخصصة إضافية مطلوبة للتدريب إلى مجموعة بيانات الإخراج.
أثناء مرحلة المعالجة المسبقة ، تستدعي وظيفة Lambda صورة Docker مخصصة. تتكون هذه الصورة من قاعدة نحيفة Python 3.8 ، و عميل واجهة AWS Lambda Python Runtime، وتبعيات مثل نمباي و الباندا. يتم تخزين صورة Docker المخصصة على سجل الأمازون المرنة للحاويات (Amazon ECR) ثم تغذيته من خلال خط أنابيب CI / CD للنشر. تعمل وظيفة Lambda المنشورة على عينات البيانات لإنشاء ثلاث مجموعات بيانات مميزة لكل مصنف:
- قادة الإيمان - يستخدم لعملية التدريب الفعلية
- التحقق - يُستخدم للتحقق أثناء عملية التدريب على TensorFlow
- اختبار - تستخدم في نهاية العملية التدريبية لمقارنات نماذج المقاييس
مجموعات بيانات الإخراج التي تم إنشاؤها هي ملفات مخلل Pandas ، والتي يتم تخزينها في Amazon S3 لاستخدامها في مرحلة التدريب.
قادة الإيمان
تستخدم صورة التدريب المخصصة لـ Kustomer عامل إرساء مُحسَّن بوحدة معالجة الرسومات TensorFlow 2.7 صورة كقاعدة. يتم تضمين الكود المخصص والتبعيات والنماذج الأساسية قبل تحميل صورة تدريب عامل الإرساء المخصص إلى ECR. تُستخدم أنواع مثيلات P3 لعملية التدريب ويساعد استخدام صورة أساسية مُحسّنة لوحدة معالجة الرسومات على جعل عملية التدريب فعالة قدر الإمكان. يُستخدم Amazon SageMaker مع صورة عامل الإرساء المخصصة هذه لتدريب نماذج TensorFlow التي يتم تخزينها بعد ذلك في S3. يتم أيضًا حساب المقاييس المخصصة وحفظها للمساعدة في القدرات الإضافية مثل مقارنات النماذج وإعادة التدريب التلقائي. بمجرد اكتمال مرحلة التدريب ، يتم إخطار عامل الذكاء الاصطناعي ويمكن للعميل التجاري بدء سير عمل النشر.
قابل للفتح
بالنسبة لسير عمل النشر ، يتم إنشاء صورة استدلال مخصصة لعامل الإرساء باستخدام صورة أساسية تخدم TensorFlow (تم إنشاؤها خصيصًا للاستدلال السريع). يتم تضمين التعليمات البرمجية والتبعيات الإضافية مثل numPy و Pandas و NL المخصص وما إلى ذلك لتوفير وظائف إضافية ، مثل التنسيق وتنظيف المدخلات قبل الاستدلال. يتم تضمين FastAPI أيضًا كجزء من الصورة المخصصة ، ويتم استخدامه لتوفير نقاط نهاية REST API لفحوصات الاستدلال والصحة. يتم بعد ذلك تكوين SageMaker لنشر نماذج TensorFlow المحفوظة في S3 مع صورة الاستدلال على مثيلات ml.c5 AWS المحسّنة للحوسبة لإنشاء نقاط نهاية عالية الأداء للاستدلال. يتم إنشاء كل نقطة نهاية لاستخدامها من قبل عميل واحد لعزل النماذج والبيانات الخاصة بهم.
الإستنباط
بمجرد اكتمال سير عمل النشر ، يتولى سير عمل الاستنتاج. يتم تمرير جميع رسائل البريد الإلكتروني الخاصة بالدعم الوارد من خلال واجهة برمجة تطبيقات الاستدلال للمصنفات المنتشرة الخاصة بهذا العميل. تقوم المصنفات المنشورة بعد ذلك بإجراء تصنيف للنص على كل من رسائل البريد الإلكتروني هذه ، كل منها ينشئ ملصقات تصنيف للعميل.
التحسينات والتخصيصات الممكنة
يدرس كوستومر توسيع الحل من خلال التحسينات التالية:
- تعانق الوجه DLCs - يستخدم Kustomer حاليًا صور Docker الأساسية الخاصة بـ TensorFlow لمرحلة المعالجة المسبقة للبيانات والخطط للانتقال إلى حاويات التعلم العميق للوجه المعانقة (DLC). يساعدك هذا على بدء نماذج التدريب على الفور ، وتخطي العملية المعقدة لبناء وتحسين بيئات التدريب الخاصة بك من البداية. لمزيد من المعلومات، راجع تعانق الوجه على Amazon SageMaker.
- ردود الفعل حلقة - يمكنك تنفيذ حلقة التغذية الراجعة باستخدام التعلم النشط أو تقنيات التعلم المعزز لزيادة الكفاءة الكلية للنموذج.
- التكامل مع الأنظمة الداخلية الأخرى - يريد Kustomer القدرة على دمج تصنيف النص مع أنظمة أخرى مثل Smart Suggestions ، وهي خدمة Kustomer IQ أخرى تبحث في مئات الاختصارات وتقترح الاختصارات الأكثر صلة باستعلام العميل ، مما يحسن أوقات استجابة الوكيل وأدائه.
وفي الختام
في هذا المنشور ، ناقشنا كيف يستخدم Kustomer صور Docker المخصصة لتدريب SageMaker والاستدلال ، مما يسهل التكامل ويبسط العملية. لقد أوضحنا كيف يستفيد Kustomer من Lambda و SageMaker من خلال صور Docker المخصصة التي تساعد في تنفيذ عملية تصنيف النص من خلال عمليات سير عمل المعالجة المسبقة والمعالجة اللاحقة. يوفر هذا مرونة في استخدام الصور الكبيرة لإنشاء النموذج والتدريب والاستدلال. يتيح لك دعم صورة الحاوية لـ Lambda تخصيص وظيفتك بشكل أكبر ، مما يفتح العديد من حالات الاستخدام الجديدة لـ ML بدون خادم. يستفيد الحل من العديد من خدمات AWS ، بما في ذلك SageMaker و Lambda وصور Docker و Amazon ECR و Amazon ECS و Amazon SQS و Amazon S3.
إذا كنت تريد معرفة المزيد عن Kustomer ، فنحن نشجعك على زيارة موقع Kustomer واستكشاف دراسات الحالة.
انقر هنا لبدء رحلتك مع Amazon SageMaker. للحصول على خبرة عملية ، يمكنك الرجوع إلى Amazon SageMaker ورشة عمل.
حول المؤلف
اوميش كالاسبوركار هو مهندس حلول مقره نيويورك لصالح AWS. يتمتع بخبرة تزيد عن 20 عامًا في تصميم وتنفيذ مشاريع التحول والابتكار الرقمي عبر المؤسسات والشركات الناشئة. لديه الدافع من خلال مساعدة العملاء على تحديد التحديات والتغلب عليها. خارج العمل ، يستمتع أوميش بكونه أباً والتزلج والسفر.
إيان لانتزي هو كبير مهندسي البرامج والتعلم الآلي في Kustomer ومتخصص في تولي مهام بحث التعلم الآلي وتحويلها إلى خدمات إنتاج.
براساد شيتي هو مهندس حلول مقره بوسطن لصالح AWS. لقد بنى منتجات برمجية وقاد التحديث والابتكار الرقمي في المنتجات والخدمات عبر المؤسسات لأكثر من 20 عامًا. إنه متحمس لقيادة استراتيجية الحوسبة السحابية واعتمادها ، والاستفادة من التكنولوجيا لخلق تجارب عملاء رائعة. يستمتع براساد بركوب الدراجات والسفر في أوقات فراغه.
جوناثان جريفينبيرجر هو مدير حسابات أول في نيويورك لدى AWS ولديه 25 عامًا من الخبرة في صناعة تكنولوجيا المعلومات. يقود جوناثان فريقًا يساعد العملاء من مختلف الصناعات والقطاعات في رحلة التحديث والتبني السحابي.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/how-kustomer-utilizes-custom-docker-images-amazon-sagemaker-to-build-a-text-classification-pipeline/
- "
- &
- 100
- 20 سنة
- 7
- من نحن
- الوصول
- حسابي
- في
- نشط
- إضافي
- تبني
- مميزات
- مزايا
- عملاء
- AI
- خوارزميات
- الكل
- أمازون
- تحليل
- آخر
- API
- واجهات برمجة التطبيقات
- نهج
- هندسة معمارية
- أتمتة
- AWS
- يجري
- نساعدك في بناء
- ابني
- الأعمال
- قدرات
- الحالات
- تسبب
- تحدى
- التحديات
- الشيكات
- تصنيف
- سوائل التنظيف
- سحابة
- الكود
- مجال الاتصالات
- الشركات
- إحصاء
- مستهلك
- وعاء
- حاويات
- يحتوي
- محتوى
- محادثة
- المحادثات
- تجربة العملاء
- خدمة العملاء
- دعم العملاء
- العملاء
- البيانات
- يوم
- التأخير
- التوصيل
- الطلب
- نشر
- تصميم
- المتقدمة
- رقمي
- اكتشاف
- عامل في حوض السفن
- قيادة
- الطُرق الفعّالة
- كفاءة
- البريد الإلكتروني
- تمكين
- شجع
- نقطة النهاية
- مهندس
- مشروع
- أحداث
- مثال
- توسيع
- الخبره في مجال الغطس
- خبرة
- الوجه
- FAST
- بنك الاحتياطي الفيدرالي
- ردود الفعل
- الاسم الأول
- مرونة
- متابعيك
- وظيفة
- وظيفة
- توليد
- إعطاء
- وحدة معالجة الرسوميات:
- عظيم
- ضيف
- زائر رد
- وجود
- صحة الإنسان
- مساعدة
- يساعد
- مرتفع
- كيفية
- HTTPS
- مئات
- تحديد
- صورة
- تنفيذ
- نفذت
- شامل
- بما فيه
- القيمة الاسمية
- زيادة
- الصناعات
- العالمية
- معلومات
- الابتكار
- رؤى
- دمج
- التكامل
- ذكي
- نية
- السطح البيني
- قضية
- IT
- وصفها
- ملصقات
- كبير
- أكبر
- تعلم
- تعلم
- ليد
- مستوى
- روافع
- محليا
- آلة
- آلة التعلم
- القيام ب
- مدير
- المقاييس
- ML
- نموذج
- عارضات ازياء
- MongoDB
- أكثر
- نيويورك
- تزامن
- طلب
- المنظمات
- أخرى
- وإلا
- مجتمع
- أداء
- المنصة
- الرائج
- ممكن
- تنبؤ
- التسعير
- المشكلة
- عملية المعالجة
- المنتج
- الإنتــاج
- إنتاجية
- المنتجات
- مشروع ناجح
- تزود
- ويوفر
- بسرعة
- تقليص
- تطلب
- مطلوب
- بحث
- استجابة
- REST
- طريق
- يجري
- تشغيل
- التدرجية
- حجم
- الإستراحة
- Serverless
- الخدمة
- خدماتنا
- خدمة
- طقم
- الاشارات
- المقاس
- سمارت
- So
- تطبيقات الكمبيوتر
- الحلول
- تتخصص
- على وجه التحديد
- انقسم
- المسرح
- بداية
- البدء
- تخزين
- متجر
- فروعنا
- الإستراتيجيات
- تعرية
- دراسات
- جوهري
- الدعم
- أنظمة
- حديث
- المهام
- فريق
- تقنيات
- تكنولوجيا
- الآلاف
- عبر
- الوقت
- الرموز
- المواضيع
- قادة الإيمان
- تحول
- فهم
- المزيد
- ابحث عن
- في غضون
- كلمات
- للعمل
- سنوات