זהו פוסט אורח של מהנדס תוכנה ומכונה בכיר של Kustomer, Ian Lantzy, וצוות AWS Umesh Kalaspurkar, Prasad Shetty וג'ונתן Greifenberger.
במילותיו של קוסטומר עצמו, "Kustomer היא פלטפורמת ה-SaaS CRM הרב-ערוצים המדמיינת מחדש את שירות הלקוחות הארגוני כדי לספק חוויות בולטות. בנוי עם אוטומציה חכמה, אנו מתאמים לענות על הצרכים של כל מרכז קשר ועסק על ידי איחוד נתונים ממקורות מרובים ומאפשרים לחברות לספק שירות ותמיכה ללא מאמץ, עקבי ומותאם אישית באמצעות תצוגת ציר זמן אחת."
Kustomer רצה את היכולת לנתח במהירות כמויות גדולות של תקשורת תמיכה ללקוחות העסקיים שלהם - חווית לקוח וארגוני שירות - ולהפוך את גילוי המידע לאוטומטי כמו כוונת הלקוח הקצה, נושא שירות הלקוחות ותובנות רלוונטיות אחרות הקשורות לצרכן. הבנת המאפיינים הללו יכולה לעזור לארגוני CX לנהל אלפי הודעות דוא"ל תמיכה נכנסות על ידי סיווג וסיווג אוטומטי של התוכן. Kustomer ממנפת אמזון SageMaker לנהל את הניתוח של תקשורת התמיכה הנכנסת באמצעות ה-AI שלהם קוסטומר IQ פּלַטפוֹרמָה. שירות סיווג השיחות של Kustomer IQ מסוגל ליצור הקשר בין שיחות ולהפוך משימות מייגעות וחוזרות על עצמן לאוטומטיות, תוך הפחתת הסחת הדעת של הסוכן והעלות הכוללת לכל איש קשר. זה ושירותי IQ אחרים של Kustomer הגדילו את הפרודוקטיביות והאוטומציה עבור לקוחותיה העסקיים.
בפוסט זה, אנו מדברים על האופן שבו Kustomer משתמש בתמונות Docker מותאמות אישית עבור אימון והסקת SageMaker, מה שמקל על האינטגרציה ומייעל את התהליך. עם גישה זו, הלקוחות העסקיים של Kustomer מסווגים אוטומטית למעלה מ-50 מיילים לתמיכה בכל חודש עם דיוק של עד 70%.
רקע ואתגרים
Kustomer משתמש בצינור סיווג טקסט מותאם אישית עבור שירות סיווג השיחות שלהם. זה עוזר להם לנהל אלפי בקשות ביום באמצעות סיווג וסיווג אוטומטי תוך שימוש באימון ותזמור ההסקות של SageMaker. מנוע ההדרכה של סיווג שיחות משתמש בתמונות Docker מותאמות אישית כדי לעבד נתונים ולהכשיר מודלים באמצעות שיחות היסטוריות ולאחר מכן מנבא את הנושאים, הקטגוריות או תוויות מותאמות אישית אחרות שסוכן מסוים צריך כדי לסווג את השיחות. לאחר מכן מנוע החיזוי מנצל את המודלים המאומנים עם תמונת docker מותאמת אישית נוספת כדי לסווג שיחות, שבהן ארגונים משתמשים כדי להפוך את הדיווח לאוטומטי או לנתב שיחות לצוות ספציפי על סמך הנושא שלו.
תהליך הסיווג של SageMaker מתחיל בהקמת צינור הדרכה והסקת מסקנות שיכול לספק סיווג טקסט והמלצות הקשריות. הגדרה טיפוסית תיושם עם גישות ללא שרת כמו AWS למבדה עבור עיבוד מקדים ועיבוד של נתונים מכיוון שיש לו דרישת הקצאה מינימלית עם מודל תמחור יעיל לפי דרישה. עם זאת, שימוש ב-SageMaker עם תלות כמו TensorFlow, NumPy ו-Pandas יכול להגדיל במהירות את גודל חבילת המודל, מה שהופך את תהליך הפריסה הכולל למסורבל וקשה לניהול. Kustomer השתמש בתמונות Docker מותאמות אישית כדי להתגבר על האתגרים הללו.
תמונות Docker מותאמות אישית מספקות יתרונות משמעותיים:
- מאפשר גדלי חבילות דחוסות גדולות יותר (מעל 10 GB), שיכולות להכיל מסגרות למידת מכונה (ML) פופולריות כגון TensorFlow, MXNet, PyTorch או אחרות.
- מאפשר לך להביא קוד מותאם אישית או אלגוריתמים שפותחו באופן מקומי סטודיו SageMaker של אמזון מחברות לאיטרציה מהירה ואימון מודלים.
- מונע עיכובים בעיבוד מקדים הנגרמים ב- Lambda בזמן פריקת חבילות פריסה.
- מציע גמישות לשילוב חלק עם מערכות פנימיות.
- תאימות ומדרגיות עתידיות מקלים על המרת שירות באמצעות Docker במקום לארוז קבצי zip בפונקציית Lambda.
- מפחית את זמן האספקה עבור צינור פריסת CI/CD.
- מספק היכרות עם Docker בתוך הצוות וקלות שימוש.
- מספק גישה למאגרי נתונים באמצעות ממשקי API וזמן ריצה אחורי.
- מציע תמיכה טובה יותר להתערבות עבור כל עיבוד מקדים או לאחר עיבוד שלמבדה ידרוש שירות מחשוב נפרד עבור כל תהליך (כגון הדרכה או פריסה).
סקירת פתרונות
סיווג ותיוג של מיילים לתמיכה הם שלב קריטי בתהליך תמיכת הלקוחות. זה מאפשר לחברות לנתב שיחות לצוותים הנכונים, ולהבין ברמה גבוהה על מה הלקוחות שלהם פונים אליהם. הלקוחות העסקיים של Kustomer מטפלים באלפי שיחות מדי יום, ולכן סיווג בקנה מידה הוא אתגר. אוטומציה של תהליך זה עוזרת לסוכנים להיות יעילים יותר ולספק תמיכה מגובשת יותר, ומסייעת ללקוחותיהם על ידי חיבורם עם האנשים הנכונים מהר יותר.
התרשים הבא ממחיש את ארכיטקטורת הפתרון:
תהליך סיווג השיחות מתחיל בכך שהלקוח העסקי נותן לקוסטומר אישור להקים צינור הדרכה והסקת הסקת מסקנות שיכול לעזור לו בסיווג טקסט והמלצות הקשריות. Kustomer חושפת ממשק משתמש ללקוחותיהם כדי לנטר את תהליך ההדרכה וההסקה, אשר מיושם באמצעות SageMaker יחד עם דגמי TensorFlow ותמונות Docker מותאמות אישית. תהליך הבנייה והשימוש במסווג מפוצל לחמישה זרימות עבודה עיקריות, המתואמים על ידי שירות עובדים הפועל על אמזון ECS. כדי לתאם את אירועי הצינור ולהפעיל את ההכשרה והפריסה של המודל, העובד משתמש ב- SQS של אמזון תור ומשתלב ישירות עם SageMaker באמצעות ה-SDK Node.js שסופק על ידי AWS. תהליכי העבודה הם:
- ייצוא נתונים
- עיבוד מראש של נתונים
- הדרכה
- פְּרִיסָה
- הסקה
ייצוא נתונים
תהליך ייצוא הנתונים מתנהל לפי דרישה ומתחיל בתהליך אישור מהלקוח העסקי של Kustomer לאישור השימוש בנתוני המייל לצורך ניתוח. הנתונים הרלוונטיים לתהליך הסיווג נקלטים באמצעות המייל הראשוני המתקבל מהלקוח הסופי. לדוגמה, דוא"ל תמיכה מכיל בדרך כלל את המחשבה הקוהרנטית המלאה על הבעיה עם פרטים על הבעיה. כחלק מתהליך הייצוא, האימיילים נאספים ממאגר הנתונים (MongoDB ו Amazon OpenSearch) ונשמר ב שירות אחסון פשוט של אמזון (אמזון S3).
עיבוד מראש של נתונים
שלב עיבוד הנתונים המקדים מנקה את מערך הנתונים עבור זרימות עבודה של הדרכה והסקת מסקנות על ידי הסרת תגי HTML מהודעות דוא"ל של לקוחות והזנתם באמצעות שלבי ניקוי וחיטוי מרובים כדי לזהות כל HTML פגום. תהליך זה כולל שימוש ב מחבקים אסימון ושנאים פנים. לאחר השלמת תהליך הניקוי, כל אסימונים מותאמים אישית נוספים הנדרשים לאימון מתווספים למערך הפלט.
במהלך שלב העיבוד המקדים, פונקציית Lambda מפעילה תמונת Docker מותאמת אישית. תמונה זו מורכבת מבסיס Python 3.8 דק, ה לקוח ממשק זמן ריצה של AWS Lambda Python, ותלות כגון רדום ו פנדות. תמונת Docker המותאמת אישית מאוחסנת ב מרשם מיכל אלסטי של אמזון (Amazon ECR) ולאחר מכן הוזן דרך צינור ה-CI/CD לפריסה. פונקציית Lambda שנפרסה דוגמת את הנתונים כדי ליצור שלושה מערכי נתונים שונים לכל מסווג:
- הדרכה - משמש לתהליך האימון בפועל
- בדיקת מערכות - משמש לאימות במהלך תהליך האימון של TensorFlow
- מִבְחָן – משמש לקראת סוף תהליך ההכשרה להשוואת מודלים מדדים
מערכי הנתונים של הפלט שנוצרו הם קבצי חמוצים של Pandas, המאוחסנים ב-Amazon S3 כדי לשמש את שלב ההדרכה.
הדרכה
תמונת האימון המותאמת אישית של Kustomer משתמשת ב-Docker מותאם ל- TensorFlow 2.7 GPU תמונה כבסיס. קוד מותאם אישית, תלות ומודלים בסיסיים כלולים לפני העלאת תמונת ההדרכה המותאמת אישית של ה-docker ל-ECR. סוגי מופעי P3 משמשים לתהליך האימון ושימוש בתמונת בסיס מותאמת ל-GPU עוזר להפוך את תהליך האימון ליעיל ככל האפשר. אמזון SageMaker משמש עם תמונת דוקר מותאמת אישית זו כדי להכשיר דגמי TensorFlow שמאוחסנים לאחר מכן ב-S3. מדדים מותאמים אישית גם מחושבים ונשמרים כדי לעזור עם יכולות נוספות כגון השוואת דגמים והכשרה אוטומטית. לאחר השלמת שלב ההדרכה, עובד הבינה המלאכותית מקבל הודעה והלקוח העסקי יכול להתחיל את זרימת העבודה של הפריסה.
פְּרִיסָה
עבור זרימת העבודה של הפריסה, נוצרת תמונת מסקנות מותאמת אישית של docker באמצעות תמונת בסיס שרת של TensorFlow (נבנתה במיוחד להסקת הסקה מהירה). קוד ותלות נוספים כמו numPy, Pandas, NL מותאם אישית וכו' כלולים כדי לספק פונקציונליות נוספת, כגון עיצוב וניקוי כניסות לפני מסקנות. FastAPI נכלל גם כחלק מהתמונה המותאמת אישית, ומשמש לספק את נקודות הקצה של REST API להסקת מסקנות ובדיקות תקינות. לאחר מכן, SageMaker מוגדר לפרוס את דגמי TensorFlow שנשמרו ב-S3 עם תמונת ההסקה על מופעי ml.c5 AWS אופטימליים ליצירת נקודות קצה בעלות ביצועים גבוהים. כל נקודת קצה נוצרת לשימוש על ידי לקוח בודד כדי לבודד את המודלים והנתונים שלו.
הסקה
לאחר השלמת זרימת העבודה של הפריסה, זרימת העבודה של ההסקה משתלטת. כל הודעות האימייל הראשונות של התמיכה הנכנסות מועברות דרך ממשק ה-API להסקת הסיווגים הפרוסים הספציפיים לאותו לקוח. המסווגים שנפרסו לאחר מכן מבצעים סיווג טקסט בכל אחד מהודעות האימייל הללו, וכל אחד מהם מייצר תוויות סיווג עבור הלקוח.
שיפורים והתאמות אפשריות
Kustomer שוקל להרחיב את הפתרון עם השיפורים הבאים:
- מחבקי Face DLCs – Kustomer משתמשת כיום בתמונות Docker הבסיסיות של TensorFlow לשלב עיבוד הנתונים מראש ומתכננת לעבור אל מיכלי למידה עמוקה של חיבוק פנים (DLC). זה עוזר לך להתחיל מודלים לאימון מיד, לדלג על התהליך המסובך של בנייה ואופטימיזציה של סביבות האימון שלך מאפס. למידע נוסף, ראה חיבוק פנים באמזון SageMaker.
- לולאת משוב - ניתן ליישם לולאת משוב באמצעות טכניקות למידה פעילה או חיזוקים כדי להגביר את היעילות הכוללת של המודל.
- אינטגרציה עם מערכות פנימיות אחרות – Kustomer רוצה את היכולת לשלב את סיווג הטקסט עם מערכות אחרות כמו Smart Suggestions, שהוא עוד שירות Kustomer IQ שמסתכל על מאות קיצורי דרך ומציע את קיצורי הדרך הרלוונטיים ביותר לשאילתת הלקוח, ומשפר את זמני התגובה והביצועים של הסוכן.
סיכום
בפוסט זה, דנו כיצד Kustomer משתמש בתמונות Docker מותאמות אישית עבור אימון והסקת SageMaker, מה שמקל על האינטגרציה ומייעל את התהליך. הדגמנו כיצד Kustomer ממנפת את Lambda ו- SageMaker עם תמונות Docker מותאמות אישית המסייעות ליישם את תהליך סיווג הטקסט עם תהליכי עבודה של עיבוד מקדים ואחרי עיבוד. זה מספק גמישות לשימוש בתמונות גדולות יותר ליצירת מודל, הדרכה והסקת מסקנות. תמיכת תמונת מיכל עבור Lambda מאפשרת לך להתאים אישית את הפונקציה שלך אפילו יותר, תוך פתיחת מקרי שימוש חדשים רבים עבור ML ללא שרת. הפתרון מנצל מספר שירותי AWS, כולל SageMaker, Lambda, Docker images, Amazon ECR, Amazon ECS, Amazon SQS ו-Amazon S3.
אם אתה רוצה ללמוד עוד על Kustomer, אנו ממליצים לך לבקר ב אתר קוסטומר ולחקור את שלהם חקר מקרה.
נְקִישָׁה כאן כדי להתחיל את המסע שלך עם Amazon SageMaker. לניסיון מעשי, אתה יכול לפנות ל- Amazon SageMaker סדנה.
על הכותבים
אומש קלספרקר הוא אדריכל פתרונות מניו יורק עבור AWS. הוא מביא יותר מ-20 שנות ניסיון בעיצוב ואספקה של פרויקטים של חדשנות וטרנספורמציה דיגיטלית, בין ארגונים וסטארט-אפים. הוא מונע על ידי סיוע ללקוחות לזהות ולהתגבר על אתגרים. מחוץ לעבודה, אומש נהנה להיות אבא, לעשות סקי ולטייל.
איאן לנצי הוא מהנדס תוכנה ולמידת מכונה בכיר עבור Kustomer ומתמחה בנטילת משימות מחקר של למידת מכונה והפיכתן לשירותי ייצור.
פראסד שטי הוא ארכיטקט פתרונות מבוסס בוסטון עבור AWS. הוא בנה מוצרי תוכנה והוביל מודרניזציה וחדשנות דיגיטלית במוצרים ובשירותים בארגונים במשך למעלה מ-20 שנה. הוא נלהב מהנעת אסטרטגיית ענן ואימוץ, ולמנף את הטכנולוגיה ליצירת חוויות לקוח נהדרות. בשעות הפנאי שלו, פראסד נהנה לרכוב על אופניים ולטייל.
יונתן גריפנברגר הוא מנהל חשבונות בכיר מבוסס ניו יורק עבור AWS עם 25 שנות ניסיון בתעשיית ה-IT. יונתן מוביל צוות המסייע ללקוחות מתעשיות וענפים שונים במסע האימוץ והמודרניזציה שלהם בענן.
- Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
- CryptoHawk. רדאר אלטקוין. ניסיון חינם.
- מקור: https://aws.amazon.com/blogs/machine-learning/how-kustomer-utilizes-custom-docker-images-amazon-sagemaker-to-build-a-text-classification-pipeline/
- "
- &
- 100
- שנים 20
- 7
- אודות
- גישה
- חֶשְׁבּוֹן
- לרוחב
- פעיל
- נוסף
- אימוץ
- יתרון
- יתרונות
- סוכנים
- AI
- אלגוריתמים
- תעשיות
- אמזון בעברית
- אנליזה
- אחר
- API
- ממשקי API
- גישה
- ארכיטקטורה
- אוטומציה
- AWS
- להיות
- לִבנוֹת
- בִּניָן
- עסקים
- יכולות
- מקרים
- גרם
- לאתגר
- האתגרים
- בדיקות
- מיון
- ניקוי
- ענן
- קוד
- תקשורת
- חברות
- לחשב
- צרכן
- מכולה
- מכולות
- מכיל
- תוכן
- שיחה
- שיחות
- חווית לקוח
- שירות לקוחות
- שירות לקוחות
- לקוחות
- נתונים
- יְוֹם
- עיכובים
- מסירה
- דרישה
- פריסה
- עיצוב
- מפותח
- דיגיטלי
- תגלית
- סַוָר
- נהיגה
- אפקטיבי
- יְעִילוּת
- אמייל
- מה שמאפשר
- לעודד
- נקודת קצה
- מהנדס
- מִפְעָל
- אירועים
- דוגמה
- הרחבת
- ניסיון
- חוויות
- פָּנִים
- מהר
- הפד
- מָשׁוֹב
- ראשון
- גמישות
- הבא
- פונקציה
- פונקציונלי
- ליצור
- נתינה
- GPU
- גדול
- אוֹרֵחַ
- פוסט אורח
- יש
- בְּרִיאוּת
- לעזור
- עוזר
- גָבוֹהַ
- איך
- HTTPS
- מאות
- לזהות
- תמונה
- ליישם
- יושם
- כלול
- כולל
- להגדיל
- גדל
- תעשיות
- תעשייה
- מידע
- חדשנות
- תובנות
- לשלב
- השתלבות
- אינטליגנטי
- כוונה
- מִמְשָׁק
- סוגיה
- IT
- תיוג
- תוויות
- גָדוֹל
- גדול יותר
- לִלמוֹד
- למידה
- הוביל
- רמה
- מנופים
- באופן מקומי
- מכונה
- למידת מכונה
- עשייה
- מנהל
- מדדים
- ML
- מודל
- מודלים
- MongoDB
- רוב
- ניו יורק
- תזמור
- להזמין
- ארגונים
- אחר
- אַחֶרֶת
- אֲנָשִׁים
- ביצועים
- פלטפורמה
- פופולרי
- אפשרי
- נבואה
- תמחור
- בעיה
- תהליך
- המוצר
- הפקה
- פִּריוֹן
- מוצרים
- פרויקטים
- לספק
- מספק
- מהירות
- הפחתה
- לדרוש
- נדרש
- מחקר
- תגובה
- REST
- מסלול
- הפעלה
- ריצה
- בקרת מערכות ותקשורת
- סולם
- Sdk
- ללא שרת
- שרות
- שירותים
- הגשה
- סט
- פָּשׁוּט
- מידה
- חכם
- So
- תוכנה
- פתרונות
- מתמחה
- במיוחד
- לפצל
- התמחות
- התחלה
- חברות סטארט
- אחסון
- חנות
- חנויות
- אִסטרָטֶגִיָה
- הפשטה
- מחקרים
- ניכר
- תמיכה
- מערכות
- לדבר
- משימות
- נבחרת
- טכניקות
- טכנולוגיה
- אלפים
- דרך
- זמן
- מטבעות
- נושאים
- הדרכה
- טרנספורמציה
- להבין
- לצפיה
- מה
- בתוך
- מילים
- תיק עבודות
- שנים