שפר את דיוק התמלול של שיחות לקוח-סוכן עם אוצר מילים מותאם אישית ב- Amazon Transcribe

הרבה AWS לקוחות השתמשו בהצלחה אמזון תעתיק כדי להמיר באופן מדויק, יעיל ואוטומטי את שיחות האודיו של הלקוחות שלהם לטקסט, ולחלץ מהם תובנות ניתנות לפעולה. תובנות אלו יכולות לעזור לך לשפר באופן מתמיד את התהליכים והמוצרים המשפרים ישירות את האיכות והחוויה עבור הלקוחות שלך.

במדינות רבות, כמו הודו, אנגלית אינה שפת התקשורת העיקרית. שיחות לקוחות הודיות מכילות שפות אזוריות כמו הינדית, עם מילים וביטויים באנגלית שנאמרו באקראי לאורך כל השיחות. בקובצי המדיה של המקור, יכולים להיות שמות עצם, ראשי תיבות ספציפיים לתחום, מילים או ביטויים שמודל ברירת המחדל של Amazon Transcribe אינו מודע להם. לתמלולים של קובצי מדיה כאלה עשויים להיות איות לא מדויק למילים אלו.

בפוסט זה, אנו מדגימים כיצד תוכל לספק מידע נוסף ל-Amazon Transcribe אוצר מילים מותאמים אישית כדי לעדכן את הדרך שבה Amazon Transcribe מטפלת בתעתיק של קבצי האודיו שלך עם מינוחים ספציפיים לעסק. אנו מראים את השלבים לשיפור הדיוק של תעתיקים עבור שיחות הינגליש (שיחות הינדית הודית המכילות מילים וביטויים באנגלית הודית). אתה יכול להשתמש באותו תהליך כדי לתמלל שיחות שמע עם כל אחד שפה נתמכת מאת Amazon Transcribe. לאחר שתיצור אוצר מילים מותאמים אישית, תוכל לתמלל שיחות אודיו בדיוק ובקנה מידה על ידי שימוש שלנו ניתוח שלאחר שיחות פתרון, עליו נדון יותר בהמשך הפוסט הזה.

סקירת פתרונות

אנו משתמשים בשיחת האודיו ההודית הבאה (SampleAudio.wav) עם מילים אקראיות באנגלית כדי להדגים את התהליך.

לאחר מכן אנו מעבירים אותך דרך השלבים הבאים ברמה גבוהה:

1. תמלל את קובץ האודיו באמצעות מודל ברירת המחדל של Amazon Transcribe Hindi.
2. מדידת דיוק המודל.
3. אמן את המודל עם אוצר מילים מותאם אישית.
4. מדוד את הדיוק של הדגם המאומן.

תנאים מוקדמים

לפני שנתחיל, עלינו לאשר שקובץ האודיו הקלט עונה על לתמלל דרישות להזנת נתונים.

A מונופונית הקלטה, המכונה גם מונו, מכיל אות שמע אחד, בו כל מרכיבי השמע של הסוכן והלקוח משולבים לערוץ אחד. א סטֵרֵאוֹפוֹנִי הקלטה, המכונה גם סטראו, מכיל שני אותות שמע ללכידת רכיבי השמע של הסוכן והלקוח בשני ערוצים נפרדים. כל קובץ הקלטה של ​​סוכן-לקוח מכיל שני ערוצי שמע, אחד לסוכן ואחד ללקוח.

הקלטות אודיו בנאמנות נמוכה, כגון הקלטות טלפון, משתמשות בדרך כלל בקצבי דגימה של 8,000 הרץ. Amazon Transcribe תומך בעיבוד קבצי שמע מוקלטים ובנאמנות גבוהה עם קצבי דגימה בין 16,000-48,000 הרץ.

לקבלת תוצאות תמלול משופרות וכדי להבחין בבירור בין המילים הנאמרות על ידי הסוכן והלקוח, אנו ממליצים להשתמש בקבצי אודיו המוקלטים בקצב דגימה של 8,000 הרץ ומופרדים בין ערוצי סטריאו.

אתה יכול להשתמש בכלי כמו ffmpeg כדי לאמת את קבצי האודיו הקלט שלך משורת הפקודה:

ffmpeg -i SampleAudio.wav

בתגובה שהוחזרה, בדוק את השורה שמתחילה ב-Stream בקטע קלט, ואשר שקובצי השמע הם 8,000 הרץ וערוצים סטריאו מופרדים:

Input #0, wav, from 'SampleAudio.wav':
Duration: 00:01:06.36, bitrate: 256 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 8000 Hz, stereo, s16, 256 kb/s

כאשר אתה בונה צינור לעיבוד מספר רב של קבצי אודיו, אתה יכול להפוך שלב זה לאוטומטי לסינון קבצים שאינם עומדים בדרישות.

כשלב תנאי מוקדם נוסף, צור דלי של Amazon Simple Storage Service (Amazon S3) כדי לארח את קבצי האודיו לתמלול. להנחיות, עיין ב צור את דלי ה-S3 הראשון שלך.לאחר מכן להעלות את קובץ השמע לדלי S3.

תמלול את קובץ האודיו עם מודל ברירת המחדל

עכשיו אנחנו יכולים להתחיל תמלול של אמזון call analytics job באמצעות קובץ האודיו שהעלינו. בדוגמה זו, אנו משתמשים ב- קונסולת הניהול של AWS כדי לתמלל את קובץ האודיו. אתה יכול גם להשתמש ב- ממשק שורת הפקודה של AWS (AWS CLI) או AWS SDK.

1. במסוף התמלול של Amazon, בחר התקשר לניתוח בחלונית הניווט.
2. בחרו התקשר לעבודות ניתוח.
3. בחרו צור עבודה.
4. בעד שם, הכנס שם.
5. בעד הגדרות שפה, בחר שפה ספציפית.
6. בעד שפה, בחר הינדי, IN (hi-IN).
7. בעד סוג דגם, בחר דגם כללי.
8. בעד קלט מיקום קובץ ב-S3, דפדף אל דלי S3 המכיל את קובץ האודיו שהועלה.
9. ב נתוני פלט סעיף, השאר את ברירות המחדל.
10. ב הרשאות גישה בחר, בחר צור תפקיד IAM.
11. ליצור חדש AWS זהות וניהול גישה תפקיד (IAM) בשם HindiTranscription המספק הרשאות שירות של Amazon Transcribe לקרוא את קבצי האודיו מ-S3 ולהשתמש ב שירות ניהול מפתח AWS מפתח (AWS KMS) לפענוח.
12. ב הגדר עבודה סעיף, השאר את ברירות המחדל, כולל אוצר מילים בהתאמה אישית בוטלה.
13. בחרו צור עבודה כדי לתמלל את קובץ השמע.

כאשר סטטוס העבודה הוא Complete, ניתן לעיין בתמלול על ידי בחירת המשרה (SampleAudio).

המשפטים של הלקוח והסוכן מופרדים בבירור, מה שעוזר לנו לזהות אם הלקוח או הסוכן דיברו מילים או ביטויים ספציפיים.

מדידת דיוק המודל

שיעור שגיאות מילים (WER) הוא המדד המומלץ והנפוץ ביותר להערכת הדיוק של מערכות זיהוי דיבור אוטומטי (ASR). המטרה היא להפחית את ה-WER ככל האפשר כדי לשפר את הדיוק של מערכת ASR.

כדי לחשב WER, השלם את השלבים הבאים. פוסט זה משתמש בקוד פתוח הערכת asr כלי הערכה לחישוב WER, אך כלים אחרים כגון SCTK or JiWER זמינים גם כן.

1. התקן מה היא asr-evaluation כלי, שהופך את סקריפט wer לזמין בשורת הפקודה שלך.
   השתמש בשורת פקודה בפלטפורמות macOS או Linux כדי להפעיל את פקודות wer המוצגות בהמשך הפוסט.
2. העתק את התמליל מדף פרטי המשרה של Amazon Transcribe לקובץ טקסט בשם hypothesis.txt.
   כאשר אתה מעתיק את התמלול מהמסוף, אתה תבחין בתו שורה חדשה בין המילים Agent :, Customer :, והכתב ההינדי.
   תווי השורה החדשים הוסרו כדי לחסוך מקום בפוסט זה. אם תבחר להשתמש בטקסט כפי שהוא מהמסוף, ודא שקובץ טקסט ההפניה שאתה יוצר מכיל גם את תווי השורה החדשים, מכיוון שהכלי wer משווה שורה אחר שורה.
3. סקור את התמליל כולו וזיהוי מילים או ביטויים שיש לתקן:
   לקוח : हेलो,
   סוֹכֵן : गुड मोर्निग इंडिया ट्रेवल एजेंसी सेम है। लावē
   לקוח : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच र।ा ा क्या आप मुझे कुछ अच्छे लोकेशन के बेंर
   סוֹכֵן :हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरिहश।
   לקוח : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे ट ट्राई करूँगा।
   סוֹכֵן : एक सजेशन वीकेंड में ट्रैफिक ज्यानइ
   לקוח : सिरियसली एनी टिप्स עוף शेर
   סוֹכֵן : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   לקוח : ग्रेट आइडिया थैंक्यू सो मच।המילים המודגשות הן אלו שדגם ברירת המחדל של Amazon Transcribe לא הציג בצורה נכונה.
4. צור קובץ טקסט נוסף בשם reference.txt, החלפת המילים המודגשות במילים הרצויות שאתה מצפה לראות בתעתיק:
   לקוח : हेलो,
   סוֹכֵן : गुड मोर्निग सौथ इंडिया ट्रेवल एजेीं से मैं । लावē
   לקוח : मैं बहुत दिनोंसे हैदराबाद ट्रेवल के बारे में सोच र।ा ा क्या आप मुझे कुछ अच्छे लोकेशन के बेंर
   סוֹכֵן : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरिहश।
   לקוח : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे ट ट्राई करूँगा।
   סוֹכֵן : एक सजेशन वीकेंड में ट्रैफिक ज्यानइ
   לקוח : सिरियसली एनी टिप्स यू केन शेर
   סוֹכֵן : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   לקוח : ग्रेट आइडिया थैंक्यू सो मच।
5. השתמש בפקודה הבאה כדי להשוות את קובצי הטקסט של הפניה והשערות שיצרת:

   wer -i reference.txt hypothesis.txt

   אתה מקבל את הפלט הבא:

   REF: customer : हेलो,
   
   HYP: customer : हेलो,
   
   SENTENCE 1
   
   Correct = 100.0% 3 ( 3)
   
   Errors = 0.0% 0 ( 3)
   
   REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   SENTENCE 2
   
   Correct = 84.0% 21 ( 25)
   
   Errors = 16.0% 4 ( 25)
   
   REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   SENTENCE 3
   
   Correct = 96.0% 24 ( 25)
   
   Errors = 8.0% 2 ( 25)
   
   REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   SENTENCE 4
   
   Correct = 83.3% 20 ( 24)
   
   Errors = 16.7% 4 ( 24)
   
   REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   SENTENCE 5
   
   Correct = 100.0% 14 ( 14)
   
   Errors = 0.0% 0 ( 14)
   
   REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   SENTENCE 6
   
   Correct = 100.0% 12 ( 12)
   
   Errors = 0.0% 0 ( 12)
   
   REF: customer : सिरियसली एनी टिप्स यू केन शेर
   
   HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर
   
   SENTENCE 7
   
   Correct = 75.0% 6 ( 8)
   
   Errors = 25.0% 2 ( 8)
   
   REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   
   HYP: agent : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   
   SENTENCE 8
   
   Correct = 92.9% 13 ( 14)
   
   Errors = 7.1% 1 ( 14)
   
   REF: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   SENTENCE 9
   
   Correct = 100.0% 7 ( 7)
   
   Errors = 0.0% 0 ( 7)
   
   Sentence count: 9
   
   WER: 9.848% ( 13 / 132)
   
   WRR: 90.909% ( 120 / 132)
   
   SER: 55.556% ( 5 / 9)

הפקודה wer משווה טקסט מהקבצים reference.txt ו hypothesis.txt. הוא מדווח על שגיאות עבור כל משפט וגם על המספר הכולל של שגיאות (WER: 9.848% ( 13 / 132)) בתמליל כולו.

מהפלט הקודם, דווחו על 13 שגיאות מתוך 132 מילים בתמליל. שגיאות אלו יכולות להיות משלושה סוגים:

• טעויות החלפה - אלה מתרחשים כאשר Amazon Transcribe כותב מילה אחת במקום אחרת. לדוגמה, בתמליל שלנו, המילה "महीना (Mahina)" נכתב במקום "मिनार (מינר)" במשפט 4.
• שגיאות מחיקה - אלה מתרחשים כאשר Amazon Transcribe מחמיצה מילה לחלוטין בתמליל. בתמליל שלנו, המילה "सौथ (דרום)" הוחמצה במשפט 2.
• שגיאות הכנסה - אלה מתרחשים כאשר Amazon Transcribe מכניס מילה שלא נאמרה. אנחנו לא רואים שגיאות הכנסה בתמליל שלנו.

תצפיות מהתמליל שנוצר על ידי מודל ברירת המחדל

אנו יכולים לבצע את התצפיות הבאות על סמך התמליל:

• סך ה-WER הוא 9.848%, כלומר 90.152% מהמילים מתומללות בצורה מדויקת.
• מודל ברירת המחדל ההינדי תעתיק את רוב המילים באנגלית בצורה מדויקת. הסיבה לכך היא שמודל ברירת המחדל מאומן לזהות את המילים הנפוצות ביותר באנגלית מחוץ לקופסה. המודל מאומן גם לזהות את השפה ההינגלית, שבה מילים באנגלית מופיעות באופן אקראי בשיחות הינדי. לדוגמה:
  • गुड मोर्निग – בוקר טוב (משפט 2).
  • ट्रेवल एजेंसी – סוכנות נסיעות (משפט 2).
  • ग्रेट आइडिया थैंक्यू सो मच – רעיון נהדר תודה רבה (משפט 9).
• במשפט 4 יש הכי הרבה שגיאות, שהם שמות המקומות בעיר ההודית היידראבאד:
  • हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरिहश।

בשלב הבא, אנו מדגימים כיצד לתקן את המילים המודגשות במשפט הקודם באמצעות אוצר מילים מותאם אישית ב- Amazon Transcribe:

• चार महीना (לְהַשְׁחִיר מהינה) צריך להיות चार मिनार (לְהַשְׁחִיר מינר)
• עָגוֹלकुंडा फोर (גולcunda Four) צריך להיות गोलकोंडा फोर्ट (גולconda Fort)
• सलार जंग (Saלאר יונג) צריך להיות सालार जंग (סאהלאר יונג)

אמן את מודל ברירת המחדל עם אוצר מילים מותאם אישית

ל ליצור אוצר מילים מותאם אישית, עליך לבנות קובץ טקסט בפורמט טבלאי עם המילים והביטויים כדי לאמן את מודל ברירת המחדל של Amazon Transcribe. הטבלה שלך חייבת להכיל את כל ארבע העמודות (Phrase, SoundsLike, IPA, ו DisplayAs), אבל ה Phrase העמודה היא היחידה שחייבת להכיל ערך בכל שורה. אתה יכול להשאיר את העמודות האחרות ריקות. יש להפריד כל עמודה באמצעות תו טאב, גם אם חלק מהעמודות נותרות ריקות. לדוגמה, אם אתה עוזב את IPA ו SoundsLike עמודות ריקות עבור שורה, ה Phrase ו DisplaysAs יש להפריד בין העמודות בשורה זו באמצעות שלושה תווי טאב (בין Phrase ו IPA, IPA ו SoundsLike, ו SoundsLike ו DisplaysAs).

כדי לאמן את המודל עם אוצר מילים מותאם אישית, השלם את השלבים הבאים:

1. צור קובץ בשם HindiCustomVocabulary.txt עם התוכן הבא.

   ביטוי IPA צליל תצוגה गोलकुंडा-फोर गोलकोंडा फोर्ट सालार-जंग सा-लार-जंग सालार जंग चार-महीा चार मिार

   אתה יכול להשתמש רק בתווים הנתמכים עבור השפה שלך. עיין בשפה שלך ערכת תווים לקבלת פרטים.

   העמודות מכילות את המידע הבא:

   1. Phrase - מכיל את המילים או הביטויים שברצונך לתמלל במדויק. המילים או הביטויים המודגשים בתמליל שנוצרו על ידי מודל ברירת המחדל של Amazon Transcribe מופיעים בעמודה זו. מילים אלו הן בדרך כלל ראשי תיבות, שמות עצם או מילים וביטויים ספציפיים לתחום שמודל ברירת המחדל אינו מודע להם. זהו שדה חובה עבור כל שורה בטבלת אוצר המילים המותאמת אישית. בתמליל שלנו, כדי לתקן את "गोलकुंडा फोर (Golcunda Four)" ממשפט 4, השתמש ב-"गोलकुंडा-फोर (Golcunda)" בעמודה זו. אם הערך שלך מכיל מספר מילים, הפרד כל מילה באמצעות מקף (-); אל תשתמש ברווחים.
   2. IPA - מכיל את המילים או הביטויים המייצגים צלילי דיבור בצורה הכתובה. העמודה היא אופציונלית; אתה יכול להשאיר את השורות שלו ריקות. עמודה זו מיועדת לאיות פונטי באמצעות תווים בלבד באלפבית הפונטי הבינלאומי (IPA). עיין בערכת התווים ההינדית עבור תווי ה-IPA המותרים עבור השפה ההינדית. בדוגמה שלנו, אנחנו לא משתמשים ב-IPA. אם יש לך ערך בעמודה זו, שלך SoundsLike העמודה חייבת להיות ריקה.
   3. SoundsLike - מכיל מילים או ביטויים מחולקים לחתיכות קטנות יותר (בדרך כלל מבוססות על הברות או מילים נפוצות) כדי לספק הגייה לכל יצירה בהתבסס על האופן שבו היצירה נשמעת. עמודה זו היא אופציונלית; אתה יכול להשאיר את השורות ריקות. הוסף תוכן לעמודה זו רק אם הערך שלך כולל מילה לא סטנדרטית, כגון שם מותג, או כדי לתקן מילה שמתועתקת בצורה שגויה. בתמליל שלנו, כדי לתקן "सलार जंग (Salar Jung)" ממשפט 4, השתמש ב-"सा-लार-जंग (Saa-lar-jung)" בעמודה זו. אין להשתמש ברווחים בעמודה זו. אם יש לך ערך בעמודה זו, שלך IPA העמודה חייבת להיות ריקה.
   4. DisplaysAs - מכיל מילים או ביטויים עם האיות שאתה רוצה לראות בפלט התעתיק עבור המילים או הביטויים ב- Phrase שדה. עמודה זו היא אופציונלית; אתה יכול להשאיר את השורות ריקות. אם לא תציין שדה זה, Amazon Transcribe משתמש בתוכן של Phrase שדה בקובץ הפלט. לדוגמה, בתמליל שלנו, כדי לתקן את "गोलकुंडा फोर (Golcunda Four)" ממשפט 4, השתמש ב-"गोलकोंडा फ्टो फ्ट)॥ this in Fort.
2. העלה קובץ הטקסט (HindiCustomVocabulary.txt) ל-S3 bucket. כעת אנו יוצרים אוצר מילים מותאם אישית ב-Amazon Transcribe.
3. במסוף התמלול של Amazon, בחר אוצר מילים בהתאמה אישית בחלונית הניווט.
4. בעד שם, הכנס שם.
5. בעד שפה, בחר הינדי, IN (hi-IN).
6. בעד מקור קלט אוצר מילים, בחר מיקום S3.
7. בעד מיקום קובץ אוצר המילים ב-S3, היכנס לנתיב S3 של HindiCustomVocabulary.txt קובץ.
8. בחרו צור אוצר מילים.
9. תמלל את SampleAudio.wav קובץ עם אוצר המילים המותאם אישית, עם הפרמטרים הבאים:
   1. בעד שם העבודה , להיכנס SampleAudioCustomVocabulary.
   2. בעד שפה, בחר הינדי, IN (hi-IN).
   3. בעד קלט מיקום קובץ ב-S3, עיין במיקום של SampleAudio.wav.
   4. בעד תפקיד IAM, בחר השתמש בתפקיד IAM קיים ובחר את התפקיד שיצרת קודם לכן.
   5. ב הגדר עבודה בחר, בחר אוצר מילים בהתאמה אישית ובחר את אוצר המילים המותאם אישית HindiCustomVocabulary.
10. בחרו צור עבודה.

מדידת דיוק המודל לאחר שימוש באוצר מילים מותאם אישית

העתק את התמליל מדף פרטי המשרה של Amazon Transcribe לקובץ טקסט בשם hypothesis-custom-vocabulary.txt:

לקוח : हेलो,

סוֹכֵן : गुड मोर्निग इंडिया ट्रेवल एजेंस। लावē

לקוח : मैं बहुत दिē क्या आप मुझे कुछ अच्छे लोकेशन के बेंर

סוֹכֵן : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरिहश।

לקוח : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे ट ट्राई करूँगा।

סוֹכֵן : एक सजेशन वीकेंड में ट्रैफिक ज्यानइ

לקוח : सिरियसली एनी टिप्स चिकन शेर

סוֹכֵן : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम होगा।

לקוח : ग्रेट आइडिया थैंक्यू सो मच।

שים לב שהמילים המודגשות מתומללות כרצונך.

הפעל את wer פקודה שוב עם התמליל החדש:

wer -i reference.txt hypothesis-custom-vocabulary.txt

אתה מקבל את הפלט הבא:

REF: customer : हेलो,

HYP: customer : हेलो,

SENTENCE 1

Correct = 100.0% 3 ( 3)

Errors = 0.0% 0 ( 3)

REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

SENTENCE 2

Correct = 84.0% 21 ( 25)

Errors = 16.0% 4 ( 25)

REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

SENTENCE 3

Correct = 96.0% 24 ( 25)

Errors = 8.0% 2 ( 25)

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

SENTENCE 5

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

SENTENCE 6

Correct = 100.0% 12 ( 12)

Errors = 0.0% 0 ( 12)

REF: customer : सिरियसली एनी टिप्स यू केन शेर

HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर

SENTENCE 7

Correct = 75.0% 6 ( 8)

Errors = 25.0% 2 ( 8)

REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

HYP: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

SENTENCE 8

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: customer : ग्रेट आइडिया थैंक्यू सो मच।

HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।

SENTENCE 9

Correct = 100.0% 7 ( 7)

Errors = 0.0% 0 ( 7)

Sentence count: 9

WER: 6.061% ( 8 / 132)

WRR: 94.697% ( 125 / 132)

SER: 33.333% ( 3 / 9)

תצפיות מהתמליל שנוצרו עם אוצר מילים מותאם אישית

סך ה-WER הוא 6.061%, כלומר 93.939% מהמילים מתומללות בצורה מדויקת.

הבה נשווה את פלט wer עבור משפט 4 עם ובלי אוצר מילים מותאם אישית. הבא הוא ללא אוצר מילים מותאם אישית:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 83.3% 20 ( 24)

Errors = 16.7% 4 ( 24)

להלן אוצר מילים מותאם אישית:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

אין שגיאות במשפט 4. שמות המקומות מתומללים במדויק בעזרת אוצר מילים מותאם אישית, ובכך מפחיתים את ה-WER הכולל מ-9.848% ל-6.061% עבור קובץ אודיו זה. המשמעות היא שדיוק התמלול השתפר בכמעט 4%.

כיצד אוצר מילים מותאם אישית שיפר את הדיוק

השתמשנו באוצר המילים המותאם אישית הבא:

Phrase IPA SoundsLike DisplayAs

गोलकुंडा-फोर गोलकोंडा फोर्ट

सालार-जंग सा-लार-जंग सालार जंग

चार-महीना चार मिनार

Amazon Transcribe בודק אם יש מילים כלשהן בקובץ האודיו שנשמעות כמו המילים המוזכרות ב Phrase טור. אז המודל משתמש בערכים ב- IPA, SoundsLike, ו DisplaysAs עמודות עבור המילים הספציפיות הללו לתמלול באיות הרצוי.

עם אוצר מילים מותאם אישית זה, כאשר Amazon Transcribe מזהה מילה שנשמעת כמו "गोलकुंडा-फोर (Golcunda-Four)", הוא מתמלל את המילה הזו כ"गोलकोऋडरोंड(Golcunda-Four).

המלצות

הדיוק של התמלול תלוי גם בפרמטרים כמו הגיית הדוברים, רמקולים חופפים, מהירות דיבור ורעשי רקע. לכן, אנו ממליצים לך לעקוב אחר התהליך עם מגוון שיחות (עם לקוחות שונים, סוכנים, הפרעות וכן הלאה) המכסות את המילים הנפוצות ביותר בשימוש ספציפי לתחום כדי לבנות אוצר מילים מותאם אישית מקיף.

בפוסט זה, למדנו את התהליך לשיפור הדיוק של תמלול שיחת שמע אחת באמצעות אוצר מילים מותאם אישית. כדי לעבד אלפי הקלטות שיחות של מרכז הקשר שלך מדי יום, אתה יכול להשתמש ניתוח שלאחר שיחות, פתרון מקצה לקצה אוטומטי לחלוטין, ניתן להרחבה וחסכוני שדואג לרוב ההרמה הכבדה. אתה פשוט מעלה את קובצי האודיו שלך לדלי S3, ובתוך דקות, הפתרון מספק ניתוח שיחות כמו סנטימנט בממשק משתמש אינטרנטי. ניתוח שלאחר שיחות מספק תובנות ניתנות לפעולה כדי לזהות מגמות מתפתחות, לזהות הזדמנויות לאימון סוכנים ולהעריך את הסנטימנט הכללי של שיחות. ניתוח שלאחר שיחות הוא פתרון קוד פתוח שאתה יכול לפרוס באמצעות AWS CloudFormation.

שים לב שאוצר מילים מותאמים אישית לא משתמש בהקשר שבו נאמרו המילים, הם מתמקדים רק במילים בודדות שאתה מספק. כדי לשפר עוד יותר את הדיוק, אתה יכול להשתמש דגמי שפה בהתאמה אישית. שלא כמו אוצר מילים מותאמים אישית, שמשייכים הגייה לאיות, מודלים של שפה מותאמים אישית לומדים את ההקשר הקשור למילה נתונה. זה כולל איך ומתי משתמשים במילה, ואת הקשר שיש למילה עם מילים אחרות. כדי ליצור מודל שפה מותאם אישית, תוכל להשתמש בתמלולים שנגזרו מהתהליך שלמדנו עבור מגוון שיחות, ולשלב אותם עם תוכן מהאתרים שלך או מדריכי משתמש המכילים מילים וביטויים ספציפיים לתחום.

כדי להשיג את דיוק התמלול הגבוה ביותר עם תמלול אצווה, אתה יכול להשתמש באוצר מילים מותאמים אישית בשילוב עם מודלים של השפה המותאמים אישית שלך.

סיכום

בפוסט זה, סיפקנו שלבים מפורטים לעיבוד מדויק של קבצי אודיו הינדי המכילים מילים באנגלית באמצעות ניתוח שיחות ואוצר מילים מותאמים אישית ב- Amazon Transcribe. אתה יכול להשתמש באותם שלבים כדי לעבד שיחות שמע עם כל אחד שפה נתמכת מאת Amazon Transcribe.

לאחר שתפיק את התמלילים בדיוק הרצוי, תוכל לשפר את שיחות הסוכן-לקוח שלך על ידי הכשרת הסוכנים שלך. אתה יכול גם להבין את הרגשות והמגמות של הלקוחות שלך. בעזרת תכונות יומן דובר, זיהוי עוצמת קול וסינון אוצר מילים בניתוח השיחות, אתה יכול לזהות אם זה היה הסוכן או הלקוח שהרימו את הטון או אמר מילה מסוימת. אתה יכול לסווג שיחות על סמך מילים ספציפיות לדומיין, ללכוד תובנות ניתנות לפעולה ולהפעיל ניתוחים כדי לשפר את המוצרים שלך. לבסוף, תוכל לתרגם את התמלילים שלך לאנגלית או לשפות נתמכות אחרות לפי בחירתך באמצעות אמזון תרגם.

על הכותבים

סארט גוטיקונדה הוא אדריכל פתרונות Sr. במגזר הציבורי העולמי של AWS. Sarat נהנה לעזור ללקוחות לבצע אוטומציה, לנהל ולנהל את משאבי הענן שלהם מבלי לוותר על הזריזות העסקית. בזמנו הפנוי הוא אוהב לבנות לגו עם בנו ולשחק טניס שולחן.

לבניה סוד הוא אדריכל פתרונות במגזר הציבורי העולמי של AWS שבסיסו מניו דלהי, הודו. לבניה נהנית ללמוד טכנולוגיות חדשות ולעזור ללקוחות במסע האימוץ שלהם בענן. בזמנה הפנוי היא אוהבת לטייל ולנסות מאכלים שונים.