אמזון לקס מתרגשת להכריז על Test Workbench, פתרון חדש לבדיקת בוטים המספק כלים לפשט ולהפוך את תהליך בדיקת הבוטים לאוטומטיים. במהלך פיתוח הבוט, הבדיקה היא השלב שבו מפתחים בודקים האם בוט עומד בדרישות, בצרכים ובציפיות הספציפיות על ידי זיהוי שגיאות, פגמים או באגים במערכת לפני קנה המידה. בדיקות מסייעות לאמת את ביצועי הבוט בכמה חזיתות, כגון זרימת שיחה (הבנת שאילתות משתמשים והיענות מדויקת), טיפול בחפיפת כוונות ועקביות בין אופנים. עם זאת, הבדיקה היא לרוב ידנית, מועדת לשגיאות ואינה סטנדרטית. Test Workbench מייקר את ניהול הבדיקות האוטומטי על ידי מתן אפשרות לצוותי פיתוח של צ'אטבוטים ליצור, לתחזק ולבצע מערכי בדיקה במתודולוגיה עקבית ולהימנע מסקריפטים מותאמים אישית ואינטגרציות אד-הוק. בפוסט זה תלמדו כיצד Test Workbench מייעלת בדיקה אוטומטית של אופני הקול והטקסט של הבוט ומספקת מדדי דיוק וביצועים עבור פרמטרים כגון תמלול אודיו, זיהוי כוונות ורזולוציית משבצת הן עבור קלט אמירה בודדת והן עבור שיחות מרובי פניות. זה מאפשר לך לזהות במהירות אזורי שיפור בוטים ולשמור על קו בסיס עקבי למדידת דיוק לאורך זמן ולצפות בכל רגרסיה של דיוק עקב עדכוני בוטים.
Amazon Lex הוא שירות מנוהל במלואו לבניית ממשקי קול וטקסט לשיחה. Amazon Lex עוזרת לך לבנות ולפרוס צ'אטבוטים ועוזרים וירטואליים באתרי אינטרנט, שירותי מרכז קשר וערוצי הודעות. בוטים של Amazon Lex עוזרים להגביר את הפרודוקטיביות של תגובה קולית אינטראקטיבית (IVR), להפוך משימות פשוטות לאוטומטיות ולהניע יעילות תפעולית ברחבי הארגון. Test Workbench עבור Amazon Lex מייקר ומפשט את מחזור החיים של בדיקות הבוט, שהוא קריטי לשיפור עיצוב הבוט.
תכונות של Test Workbench
Test Workbench עבור Amazon Lex כולל את התכונות הבאות:
- צור מערכי נתונים לבדיקה באופן אוטומטי מיומני שיחות של בוט
- העלה קווי בסיס של ערכת בדיקה שנבנתה ידנית
- בצע בדיקות מקצה לקצה של קלט יחיד או שיחות מרובות פניות
- בדוק גם אודיו וגם טקסט של בוט
- סקור מדדים מצטברים ומפורטים עבור ממדי הבוט:
- תמלול דיבור
- זיהוי כוונות
- רזולוציית חריץ (כולל חריצים בעלי ערך רב או חריצים מורכבים)
- תגי הקשר
- תכונות הפעלה
- תכונות של בקשה
- רמזים בזמן ריצה
- עיכוב זמן בשניות
תנאים מוקדמים
כדי לבדוק תכונה זו, אתה צריך את הדברים הבאים:
בנוסף, עליך להיות בעל ידע והבנה של השירותים והתכונות הבאים:
צור ערכת בדיקות
כדי ליצור את ערכת הבדיקות שלך, בצע את השלבים הבאים:
- על קונסולת אמזון לקס, תחת מבחן שולחן עבודה בחלונית הניווט, בחר ערכות מבחן.
אתה יכול לעיין ברשימה של ערכות בדיקה קיימות, כולל מידע בסיסי כגון שם, תיאור, מספר כניסות בדיקה, אופן ומצב. בשלבים הבאים, תוכל לבחור בין יצירת ערכת בדיקה מיומני השיחות המשויכים לבוט או העלאת ערכת בדיקה קיימת שנבנתה באופן ידני בפורמט קובץ CSV.
- בחרו צור ערכת מבחן.
- יצירת ערכות בדיקה מיומני שיחות מאפשרת לך לבצע את הפעולות הבאות:
- כלול שיחות מרובות פניות אמיתיות מהיומנים של הבוט ב-CloudWatch
- כלול יומני אודיו וערוך בדיקות המתייחסות לניואנסים אמיתיים של דיבור, רעשי רקע והדגשות
- להאיץ את יצירת ערכות הבדיקה
- העלאת ערכת בדיקה שנבנתה באופן ידני מאפשרת לך לבצע את הפעולות הבאות:
- בדוק בוטים חדשים שאין להם נתוני ייצור
- בצע מבחני רגרסיה על בוטים קיימים עבור כל כוונות חדשות או שונה, משבצות וזרימות שיחה
- בדוק תרחישים מעוצבים בקפידה ומפורטים המציינים תכונות הפעלה ומאפייני בקשה
כדי ליצור ערכת בדיקה, השלם את השלבים הבאים. כדי להעלות ערכת בדיקה שנבנתה באופן ידני, דלג לשלב 7.
- בחרו צור ערכת בדיקות בסיס.
- בחר את האפשרויות שלך עבור שם הבוט, כינוי בוט, ו שפה.
- בעד טווח זמן, הגדר טווח זמן עבור היומנים.
- בעד תפקיד IAM קיים, בחר תפקיד.
ודא שתפקיד IAM מסוגל להעניק לך גישה לאחזור מידע מיומני השיחות. עיין ביצירת תפקידי IAM ליצור תפקיד IAM עם המדיניות המתאימה.
- אם אתה מעדיף להשתמש בערכת בדיקה שנוצרה באופן ידני, בחר העלה קובץ למערכת הבדיקה הזו.
- בעד העלה קובץ למערכת הבדיקה הזו, בחר מבין האפשרויות הבאות:
- בחר העלה מ-S3 bucket כדי להעלות קובץ CSV מ- שירות אחסון פשוט של אמזון (אמזון S3) דלי.
- בחר העלה קובץ למערכת הבדיקה הזו כדי להעלות קובץ CSV מהמחשב שלך.
אתה יכול להשתמש ב סט בדיקות לדוגמה מסופק בפוסט הזה. למידע נוסף על תבניות, בחר את תבנית CSV קישור בעמוד.
- בעד אפנות, בחר גם את שיטת הבדיקה שלך טקסט or אודיו.
Test Workbench מספק תמיכה בבדיקות עבור פורמטים של קלט שמע וטקסט.
- בעד מיקום S3, הזן את מיקום דלי S3 שבו יישמרו התוצאות.
- לחלופין, בחר ב- שירות ניהול מפתח AWS מפתח (AWS KMS) להצפנת תמלולי פלט.
- בחרו צור.
ערכת הבדיקה החדשה שלך יופיע ב- ערכות מבחן דף עם אחד מהסטטוסים הבאים:
- מוכן להערה - עבור ערכות בדיקה שנוצרו מיומני שיחות בוט של Amazon Lex, שלב ההערה משמש כמנגנון שער ידני כדי להבטיח קלט בדיקה איכותי. על ידי הערת ערכים עבור כוונות צפויות ומשבצות צפויות עבור כל פריט בדיקה, אתה מציין את "האמת הבסיסית" עבור אותה שורה. תוצאות הבדיקה מהרצת הבוט נאספות והשוו מול האמת הבסיסית כדי לסמן את תוצאות המבחן כעברו או נכשלו. השוואה זו ברמת השורה מאפשרת ליצור מדדים מצטברים.
- מוכן לבדיקה - זה מצביע על כך שסט הבדיקה מוכן לביצוע מול בוט של Amazon Lex.
- שגיאת אימות - קבצי בדיקה שהועלו נבדקים לאיתור שגיאות כגון חריגה מהאורך המרבי הנתמך, תווים לא חוקיים בשמות כוונות או קישורים לא חוקיים של Amazon S3 המכילים קובצי אודיו. אם ערכת הבדיקה נמצאת ב- שגיאת אימות מצב, הורד את הקובץ המציג את פרטי האימות כדי לראות בעיות או שגיאות של קלט בדיקה על בסיס שורה אחר שורה. ברגע שהם מטופלים, אתה יכול להעלות ידנית את ערכת הבדיקה המתוקנת לקבוצת הבדיקה.
ביצוע ערכת בדיקה
ערכת בדיקה מנותקת מבוט. ניתן לבצע את אותה ערכת בדיקה נגד בוט או כינוי בוט אחר בעתיד ככל שהמקרה של השימוש העסקי שלך יתפתח. כדי לדווח על מדדי ביצועים של בוט מול נתוני הבדיקה הבסיסית, בצע את השלבים הבאים:
- תבואו הבוט לדוגמה הגדרה ובנה את הבוט (עיין ביבוא בוט להדרכה).
- במסוף לקסון של אמזון, בחר ערכות מבחן בחלונית הניווט.
- בחר את ערכת הבדיקות המאושרת שלך.
כאן תוכל לעיין במידע בסיסי על מערך הבדיקה ונתוני הבדיקה המיובאים.
- בחרו בצע בדיקה.
- בחר את האפשרויות המתאימות עבור שם הבוט, כינוי בוט, ו שפה.
- בעד סוג הבדיקה, בחר אודיו or טקסט.
- בעד בחירת נקודת קצה, בחר באחד מהם הזרים or ללא סטרימינג.
- בחרו אמת אי התאמה כדי לאמת את מערך הנתונים של הבדיקה שלך.
לפני ביצוע ערכת בדיקה, אתה יכול לאמת את כיסוי הבדיקה, כולל זיהוי כוונות ומשבצות הקיימות בערכת הבדיקה אך לא בבוט. אזהרה מוקדמת זו משמשת להגדיר ציפיות לבוחנים לכשלים בלתי צפויים בבדיקה. אם מתגלים אי התאמה בין מערך הנתונים של הבדיקה שלך לבין הבוט שלך, ה בצע בדיקה הדף יעודכן עם צפו בפרטים לַחְצָן.
כוונות ומשבצות שנמצאו במערך נתוני הבדיקה אך לא בכינוי הבוט רשומים כפי שמוצג בצילומי המסך הבאים.
- לאחר שתאמת את הפערים, בחר לבצע כדי להפעיל את הבדיקה.
בדוק את התוצאות
מדדי הביצועים שנוצרו לאחר ביצוע ערכת בדיקה עוזרים לך לזהות אזורים בעיצוב הבוטים הזקוקים לשיפורים והם שימושיים לזירוז פיתוח ואספקת הבוטים כדי לתמוך בלקוחות שלך. Test Workbench מספק תובנות על סיווג כוונות ורזולוציית משבצות בשיחה מקצה לקצה וברמת קלט בשורה אחת. ריצות הבדיקה שהושלמו מאוחסנות עם חותמות זמן בדלי ה-S3 שלך, וניתן להשתמש בהן לסקירות השוואתיות עתידיות.
- במסוף לקסון של אמזון, בחר תוצאות מבחן בחלונית הניווט.
- בחר את מזהה תוצאת הבדיקה עבור התוצאות שברצונך לבדוק.
בעמוד הבא, תוצאות הבדיקה יכללו פירוט של התוצאות המאורגנות בארבע לשוניות עיקריות: תוצאות כוללות, תוצאות שיחות, כוונות ותוצאות משבצות, ו תוצאות מפורטות.
תוצאות כלליות
הכרטיסייה תוצאות כוללות מכילה שלושה חלקים עיקריים:
- פירוט קלט של ערכת בדיקה - תרשים המציג את המספר הכולל של שיחות מקצה לקצה ואמירות קלט בודדות במערך הבדיקה.
- פירוט קלט בודד - תרשים המציג את מספר כניסות בודדות שעברו או נכשלו.
- התמוטטות שיחה - תרשים המציג את מספר כניסות מרובות פניות שעברו או נכשלו.
עבור ערכות בדיקה המופעלות בשיטת אודיו, תרשימי תמלול דיבור מסופקים כדי להראות את מספר תעתיקי דיבור שעברו או נכשלו הן בסוג קלט בודד והן בסוגי שיחה. במודאליות אודיו, קלט בודד או שיחה מרובה סיבובים יכולים לעבור את מבחן תמלול הדיבור, ובכל זאת להיכשל במבחן מקצה לקצה הכולל. זה יכול להיגרם, למשל, מפתרון משבצות או בעיית זיהוי כוונות.
תוצאות השיחה
Test Workbench עוזר לך להתעמק בכשלים בשיחה שניתן לייחס לכוונות או משבצות ספציפיות. הכרטיסייה תוצאות השיחה מאורגנת בשלושה אזורים עיקריים, המכסה את כל הכוונות והחריצים המשמשים בערכת הבדיקה:
- שיעורי מעבר שיחות - טבלה המשמשת לדמיין אילו כוונות ומשבצות אחראיות לכשלים אפשריים בשיחה.
- מדדי כשל של כוונת שיחה - גרף עמודות המציג את חמשת הכוונות המובילות בביצועים הגרועים ביותר במערך הבדיקות, אם בכלל.
- מדדי כשל של משבצת שיחה - גרף עמודות המציג את חמשת החריצים בעלי הביצועים הגרועים ביותר בערכת הבדיקה, אם יש.
כוונה ותוצאות משבצות
הכרטיסייה כוונות ותוצאות משבצות מספקת מדדי פירוט עבור ממדי בוט כגון זיהוי כוונות ורזולוציית משבצות.
- מדדי זיהוי כוונות - טבלה המציגה את שיעור ההצלחה של זיהוי כוונות.
- מדדי רזולוציית חריץ - טבלה המציגה את שיעור ההצלחה של רזולוציית החריץ, לפי
תוצאות מפורטות
תוכל לגשת לדוח מפורט של הפעלת הבדיקה שבוצעה בכרטיסייה תוצאות מפורטות. מוצגת טבלה שמציגה את ערכי התמלול, כוונת הפלט והחריץ בפועל בקבוצת בדיקה. ניתן להוריד את הדוח כ-CSV לניתוח נוסף.
הפלט ברמת הקו מספק תובנות כדי לעזור לשפר את עיצוב הבוט ולהגביר את הדיוק. לדוגמה, ניתן להוסיף קלט דיבור שזוהה באופן שגוי או שהוחמצו, כגון מילים ממותגות, לאוצר מילים מותאם אישית של כוונה או כהתבטאויות תחת כוונה.
על מנת לשפר עוד יותר את עיצוב השיחה, תוכל להפנות אל הודעה זו, המתאר שיטות עבודה מומלצות לשימוש ב-ML כדי ליצור בוט שישמח את הלקוחות שלך על ידי הבנתם בצורה מדויקת.
סיכום
בפוסט זה, הצגנו את Test Workbench עבור Amazon Lex, יכולת מקורית המתקנת תהליך בדיקה אוטומטי של צ'אטבוט ומאפשרת למפתחים ומעצבי שיחות לייעל ולחזור במהירות באמצעות עיצוב ופיתוח בוטים.
אנו מצפים לשמוע כיצד אתה משתמש בפונקציונליות החדשה הזו של Amazon Lex ומשוב בברכה! לכל שאלה, באג או בקשות תכונה, אנא פנה אלינו דרך AWS re:Post עבור Amazon Lex או אנשי הקשר שלך לתמיכה של AWS.
למידע נוסף, ראה שאלות נפוצות על אמזון לקס ו Amazon Lex V2 מדריך למפתחים.
על המחברים
Sandeep Srinivasan הוא מנהל מוצר בצוות Amazon Lex. כצופה נלהב של התנהגות אנושית, הוא נלהב מחווית לקוח. הוא מבלה את שעות הערות שלו בצומת של אנשים, טכנולוגיה ועתיד.
גרציה רוסו לסנר הוא יועץ בכיר בצוות AWS Professional Services Natural Language AI. היא מתמחה בעיצוב ופיתוח פתרונות בינה מלאכותית לשיחה באמצעות טכנולוגיות AWS עבור לקוחות בתעשיות שונות. מחוץ לעבודה, היא נהנית מסופי שבוע על החוף, מקריאת ספרי הסיפורת האחרונים וממשפחה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- EVM Finance. ממשק מאוחד למימון מבוזר. גישה כאן.
- Quantum Media Group. IR/PR מוגבר. גישה כאן.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 10
- 100
- 500
- 610
- 7
- 9
- a
- יכול
- אודות
- גישה
- חֶשְׁבּוֹן
- דיוק
- במדויק
- לרוחב
- ממשי
- הוסיף
- תוספת
- לאחר
- נגד
- AI
- תעשיות
- מאפשר
- מאפשר
- אמזון בעברית
- אמזון לקס
- אמזון שירותי אינטרנט
- an
- אנליזה
- ו
- להכריז
- כל
- מתאים
- ARE
- אזורים
- AS
- עוזרים
- המשויך
- At
- תכונות
- אודיו
- אוטומטי
- אוטומטי
- באופן אוטומטי
- לְהִמָנַע
- AWS
- שירותים מקצועיים של AWS
- רקע
- בָּר
- Baseline
- בסיסי
- בסיס
- BE
- חוף
- לפני
- הטוב ביותר
- שיטות עבודה מומלצות
- בֵּין
- ספרים
- לְהַגבִּיר
- בוט
- שניהם
- בוטים
- ממותגים
- התמוטטות
- באגים
- לִבנוֹת
- בִּניָן
- נבנה
- עסקים
- אבל
- לַחְצָן
- by
- CAN
- בזהירות
- מקרה
- גרם
- מרכז
- ערוצים
- תווים
- תרשים
- תרשימים
- chatbot
- chatbots
- לבדוק
- בָּדוּק
- בחרו
- מיון
- לעומת
- השוואה
- להשלים
- השלמת
- המחשב
- לנהל
- עִקבִי
- קונסול
- יועץ
- צור קשר
- מוקדי שירות
- אנשי קשר
- מכיל
- שיחה
- שיחה
- AI שיחה
- שיחות
- תוקן
- יכול
- כיסוי
- כיסוי
- לִיצוֹר
- נוצר
- יוצרים
- יצירה
- קריטי
- מנהג
- לקוח
- חווית לקוח
- לקוחות
- נתונים
- מערך נתונים
- מערכי נתונים
- עיכוב
- לענג
- מסירה
- לפרוס
- תיאור
- עיצוב
- מעצבים
- תכנון
- מְפוֹרָט
- פרטים
- זוהה
- מפתח
- מפתחים
- מתפתח
- צעצועי התפתחות
- אחר
- ממדים
- do
- מטה
- להורדה
- נהיגה
- ראוי
- בְּמַהֲלָך
- כל אחד
- מוקדם
- יעילות
- או
- מקצה לקצה
- לְהַבטִיחַ
- זן
- שגיאה
- שגיאות
- מתפתח
- העולה
- נרגש
- לבצע
- יצא לפועל
- מבצע
- קיימים
- תוחלת
- הציפיות
- צפוי
- ניסיון
- FAIL
- נכשל
- כשלון
- משפחה
- מאפיין
- תכונות
- פיקציה
- שלח
- קבצים
- תזרים
- הבא
- בעד
- פוּרמָט
- קדימה
- מצא
- ארבע
- החל מ-
- לגמרי
- פונקציונלי
- נוסף
- עתיד
- ליצור
- נוצר
- יצירת
- להעניק
- גרף
- קרקע
- הדרכה
- טיפול
- יש
- he
- שמיעה
- לעזור
- עוזר
- שֶׁלוֹ
- שעות
- איך
- אולם
- HTML
- http
- HTTPS
- בן אנוש
- ID
- לזהות
- זיהוי
- if
- יבוא
- לשפר
- השבחה
- שיפורים
- שיפור
- in
- לכלול
- כולל
- כולל
- להגדיל
- להצביע
- מצביע על
- תעשיות
- מידע
- קלט
- תשומות
- תובנות
- למשל
- ואינטגרציות
- כוונה
- אינטראקטיבי
- ממשקים
- הִצטַלְבוּת
- אל תוך
- סוגיה
- בעיות
- jpg
- נִלהָב
- מפתח
- ידע
- שפה
- האחרון
- לִלמוֹד
- אורך
- רמה
- מעגל החיים
- קו
- קשר
- קישורים
- רשימה
- ברשימה
- מיקום
- נראה
- ראשי
- לתחזק
- הצליח
- ניהול
- מנהל
- מדריך ל
- באופן ידני
- סימן
- מקסימום
- למדוד
- אמצעים
- מנגנון
- פוגשת
- הודעות
- מֵתוֹדוֹלוֹגִיָה
- מדדים
- החטיא
- ML
- שונים
- יותר
- שם
- שמות
- יליד
- טבעי
- ניווט
- צורך
- צרכי
- חדש
- חדש
- הבא
- לא
- מספר
- להתבונן
- of
- לעתים קרובות
- on
- פעם
- ONE
- מבצעי
- אפשרויות
- or
- להזמין
- ארגון
- מאורגן
- תפוקה
- בחוץ
- יותר
- מקיף
- עמוד
- זגוגית
- פרמטרים
- לעבור
- עבר
- לוהט
- אֲנָשִׁים
- ביצועים
- ביצוע
- שלב
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- אנא
- מדיניות
- אפשרי
- הודעה
- פרקטיקות
- לְהַעֲדִיף
- להציג
- מוצג
- תהליך
- המוצר
- מנהל מוצר
- הפקה
- פִּריוֹן
- מקצועי
- ובלבד
- מספק
- איכות
- שאילתות
- שאלות
- מהירות
- רכס
- ציון
- RE
- לְהַגִיעַ
- קריאה
- מוכן
- ממשי
- הכרה
- לדווח
- לבקש
- בקשות
- דרישות
- החלטה
- להגיב
- תגובה
- אחראי
- תוצאה
- תוצאות
- סקירה
- חוות דעת של לקוחותינו
- תפקיד
- הפעלה
- אותו
- דרוג
- תרחישים
- צילומי מסך
- סעיפים
- לִרְאוֹת
- לחצני מצוקה לפנסיונרים
- משמש
- שרות
- שירותים
- מושב
- סט
- סטים
- כמה
- היא
- צריך
- לְהַצִיג
- הראה
- פָּשׁוּט
- לפשט
- יחיד
- חריצי
- פִּתָרוֹן
- פתרונות
- מתמחה
- ספציפי
- נאום
- מדינה
- מצב
- שלב
- צעדים
- אחסון
- מאוחסן
- לייעל
- הצלחה
- כזה
- תמיכה
- נתמך
- מערכת
- שולחן
- משימות
- נבחרת
- צוותי
- טכנולוגיות
- טכנולוגיה
- תבניות
- מבחן
- בדיקות
- בדיקות
- זֶה
- השמיים
- העתיד
- אותם
- אז
- שם.
- הֵם
- זֶה
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- כלים
- חלק עליון
- סה"כ
- אמת
- סוגים
- תחת
- הבנה
- לא צפוי
- עדכון
- עדכונים
- העלאה
- us
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- באמצעות
- לְאַמֵת
- תוקף
- אימות
- ערכים
- שונים
- וירטואלי
- קול
- רוצה
- אזהרה
- we
- אינטרנט
- שירותי אינטרנט
- אתרים
- ברוך הבא
- אם
- אשר
- יצטרך
- עם
- מילים
- תיק עבודות
- גרוע
- עוד
- אתה
- זפירנט
- רוכסן