بهبود دقت رونویسی تماس‌های مشتری-نماینده با واژگان سفارشی در Amazon Transcript

بسیاری از AWS مشتریان با موفقیت استفاده کرده اند آمازون رونوشت برای تبدیل دقیق، کارآمد و خودکار مکالمات صوتی مشتریان خود به متن و استخراج بینش های عملی از آنها. این بینش ها می تواند به شما کمک کند تا به طور مداوم فرآیندها و محصولاتی را که به طور مستقیم کیفیت و تجربه را برای مشتریانتان بهبود می بخشد، ارتقا دهید.

در بسیاری از کشورها، مانند هند، انگلیسی زبان اصلی ارتباط نیست. مکالمات مشتریان هندی شامل زبان‌های منطقه‌ای مانند هندی است که کلمات و عبارات انگلیسی به‌طور تصادفی در طول تماس‌ها گفته می‌شود. در فایل‌های رسانه مبدأ، می‌توان اسم‌ها، کلمات اختصاری خاص دامنه، کلمات یا عباراتی وجود داشته باشد که مدل پیش‌فرض Amazon Transcript از آن‌ها اطلاعی نداشته باشد. رونویسی برای چنین فایل های رسانه ای می تواند املای نادرستی برای آن کلمات داشته باشد.

در این پست نشان می‌دهیم که چگونه می‌توانید اطلاعات بیشتری را با آمازون رونویسی ارائه دهید واژگان سفارشی برای به روز رسانی روشی که Amazon Transcript رونویسی فایل های صوتی شما را با اصطلاحات خاص کسب و کار انجام می دهد. ما مراحل بهبود دقت رونویسی برای تماس‌های Hinglish را نشان می‌دهیم (تماس‌های هندی هندی حاوی کلمات و عبارات انگلیسی هندی). می‌توانید از همین فرآیند برای رونویسی تماس‌های صوتی با هر کدام استفاده کنید زبان پشتیبانی می شود توسط آمازون رونویسی. پس از ایجاد واژگان سفارشی، می توانید تماس های صوتی را با دقت و در مقیاس با استفاده از ما رونویسی کنید. تجزیه و تحلیل تماس پست راه حل، که در ادامه در این پست بیشتر به آن خواهیم پرداخت.

بررسی اجمالی راه حل

ما از تماس صوتی هندی هندی زیر استفاده می کنیم (SampleAudio.wav) با کلمات تصادفی انگلیسی برای نشان دادن روند.

سپس شما را از طریق مراحل سطح بالا زیر راهنمایی می کنیم:

1. فایل صوتی را با استفاده از مدل پیش‌فرض Amazon Transcribe هندی رونویسی کنید.
2. اندازه گیری دقت مدل
3. مدل را با واژگان سفارشی آموزش دهید.
4. دقت مدل آموزش دیده را اندازه گیری کنید.

پیش نیازها

قبل از شروع، باید تأیید کنیم که فایل صوتی ورودی مطابقت دارد رونویسی الزامات ورودی داده.

A تک رنگ ضبط، همچنین به عنوان تک، حاوی یک سیگنال صوتی است که در آن تمام عناصر صوتی نماینده و مشتری در یک کانال ترکیب می شوند. آ استریوفونیک ضبط، همچنین به عنوان استریو، شامل دو سیگنال صوتی برای ضبط عناصر صوتی نماینده و مشتری در دو کانال مجزا می باشد. هر فایل ضبط شده نماینده-مشتری شامل دو کانال صوتی، یکی برای نماینده و دیگری برای مشتری است.

ضبط های صوتی با کیفیت پایین، مانند ضبط های تلفنی، معمولاً از نرخ نمونه 8,000 هرتز استفاده می کنند. Amazon Transcript از پردازش فایل‌های صوتی ضبط‌شده مونو و همچنین فایل‌های صوتی با کیفیت بالا با نرخ نمونه بین 16,000 تا 48,000 هرتز پشتیبانی می‌کند.

برای بهبود نتایج رونویسی و تشخیص واضح کلمات گفته شده توسط نماینده و مشتری، توصیه می کنیم از فایل های صوتی ضبط شده با نرخ نمونه 8,000 هرتز و جدا از کانال استریو استفاده کنید.

شما می توانید از یک ابزار مانند استفاده کنید ffmpeg برای تایید فایل های صوتی ورودی خود از خط فرمان:

ffmpeg -i SampleAudio.wav

در پاسخ برگشتی، خطی را که با Stream شروع می‌شود در بخش ورودی بررسی کنید و تأیید کنید که فایل‌های صوتی 8,000 هرتز هستند و کانال استریو از هم جدا شده‌اند:

Input #0, wav, from 'SampleAudio.wav':
Duration: 00:01:06.36, bitrate: 256 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 8000 Hz, stereo, s16, 256 kb/s

هنگامی که یک خط لوله برای پردازش تعداد زیادی فایل صوتی ایجاد می کنید، می توانید این مرحله را برای فیلتر کردن فایل هایی که شرایط لازم را ندارند، خودکار کنید.

به عنوان یک مرحله پیش نیاز اضافی، یک سطل سرویس ذخیره سازی ساده آمازون (Amazon S3) ایجاد کنید تا فایل های صوتی مورد نظر رونویسی را میزبانی کند. برای دستورالعمل، مراجعه کنید اولین سطل S3 خود را ایجاد کنید.سپس فایل صوتی را آپلود کنید به سطل S3.

فایل صوتی را با مدل پیش فرض رونویسی کنید

حالا ما می توانیم رونویسی آمازون را شروع کنید با استفاده از فایل صوتی که آپلود کرده ایم، کار تجزیه و تحلیل را فراخوانی کنید. در این مثال، ما از کنسول مدیریت AWS برای رونویسی فایل صوتی. همچنین می توانید از رابط خط فرمان AWS (AWS CLI) یا AWS SDK.

1. در کنسول آمازون رونویسی، انتخاب کنید با تجزیه و تحلیل تماس بگیرید در صفحه ناوبری
2. را انتخاب کنید مشاغل تجزیه و تحلیل تماس بگیرید.
3. را انتخاب کنید ایجاد شغل.
4. برای نام، یک نام وارد کنید.
5. برای تنظیمات زبان، انتخاب کنید زبان خاص.
6. برای زبان، انتخاب کنید هندی، IN (سلام IN).
7. برای نوع مدل، انتخاب کنید مدل کلی.
8. برای محل فایل ورودی را در S3 وارد کنید، به سطل S3 حاوی فایل صوتی آپلود شده بروید.
9. در داده های خروجی بخش، پیش فرض ها را رها کنید.
10. در مجوزهای دسترسی بخش، انتخاب کنید یک نقش IAM ایجاد کنید.
11. ایجاد یک جدید هویت AWS و مدیریت دسترسی نقش (IAM) به نام HindiTranscription که مجوزهای سرویس رونویسی آمازون را برای خواندن فایل های صوتی از سطل S3 و استفاده از سرویس مدیریت کلید AWS (AWS KMS) کلید برای رمزگشایی.
12. در کار را پیکربندی کنید بخش، پیش فرض ها را ترک کنید، از جمله واژگان سفارشی لغو انتخاب شد.
13. را انتخاب کنید ایجاد شغل برای رونویسی فایل صوتی

هنگامی که وضعیت کار کامل شد، می توانید با انتخاب کار (SampleAudio) رونویسی را بررسی کنید.

جملات مشتری و نماینده به وضوح از هم جدا شده اند، که به ما کمک می کند تشخیص دهیم که آیا مشتری یا نماینده کلمات یا عبارات خاصی را بیان کرده است.

اندازه گیری دقت مدل

نرخ خطای کلمه (WER) معیار توصیه شده و رایج ترین معیار برای ارزیابی دقت سیستم های تشخیص خودکار گفتار (ASR) است. هدف کاهش WER تا حد امکان برای بهبود دقت سیستم ASR است.

برای محاسبه WER مراحل زیر را انجام دهید. این پست از منبع باز استفاده می کند عصر ارزیابی ابزار ارزیابی برای محاسبه WER، اما ابزارهای دیگری مانند SCTK or JiWER نیز در دسترس هستند.

1. نصب la asr-evaluation ابزاری که اسکریپت wer را در خط فرمان شما در دسترس قرار می دهد.
   از یک خط فرمان در سیستم عامل‌های macOS یا Linux برای اجرای دستورات wer که در ادامه پست نشان داده شده است استفاده کنید.
2. رونوشت را از صفحه جزئیات شغلی آمازون رونویسی در یک فایل متنی به نام کپی کنید hypothesis.txt.
   هنگامی که رونویسی را از کنسول کپی می کنید، متوجه یک کاراکتر خط جدید بین کلمات خواهید شد Agent :, Customer :, و خط هندی
   کاراکترهای خط جدید برای صرفه جویی در فضا در این پست حذف شده اند. اگر می‌خواهید متن را همانطور که در کنسول است استفاده کنید، مطمئن شوید که فایل متنی مرجعی که ایجاد می‌کنید دارای کاراکترهای خط جدید نیز باشد، زیرا ابزار wer خط به خط مقایسه می‌کند.
3. کل متن را مرور کنید و کلمات یا عباراتی را که نیاز به تصحیح دارند شناسایی کنید:
   مشتری : من،
   عامل : गुड मोर्निग इंडिया ट्रेवल एजेंसी सेम है. XNUMX
   مشتری : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहाा क्या आप मुझे कुछ अच्छे लोकेशन के बाम
   عامل :हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम
   مشتری ::
   عامل : एक सजेशन वीकेंड में ट्रैफिक ज्यादाा
   مشتری : सिरियसली एनी टिप्स من من
   عامل : आप टेक्सी यूस कर लो من और पार्किंग का प्राब्लम नहीं होगा।
   مشتری : ग्रेट आइडिया थैंक्यू सो मच।کلمات هایلایت شده آنهایی هستند که مدل پیش فرض آمازون رونویسی به درستی آنها را بازنگردانده است.
4. یک فایل متنی دیگر با نام ایجاد کنید reference.txt، جایگزین کلمات برجسته شده با کلمات مورد نظری که انتظار دارید در رونویسی ببینید:
   مشتری : من،
   عامل : ‎ से मैं . XNUMX
   مشتری : मैं बहुत दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहाा क्या आप मुझे कुछ अच्छे लोकेशन के बाम
   عامل : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम
   مشتری ::
   عامل : एक सजेशन वीकेंड में ट्रैफिक ज्यादाा
   مشتری : सिरियसली एनी टिप्स यू केन من
   عامل : आप टेक्सी यूस कर लो من और पार्किंग का प्राब्लम नहीं होगा।
   مشتری : ग्रेट आइडिया थैंक्यू सो मच।
5. برای مقایسه فایل های متنی مرجع و فرضیه ای که ایجاد کرده اید از دستور زیر استفاده کنید:

   wer -i reference.txt hypothesis.txt

   شما خروجی زیر را دریافت می کنید:

   REF: customer : हेलो,
   
   HYP: customer : हेलो,
   
   SENTENCE 1
   
   Correct = 100.0% 3 ( 3)
   
   Errors = 0.0% 0 ( 3)
   
   REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   SENTENCE 2
   
   Correct = 84.0% 21 ( 25)
   
   Errors = 16.0% 4 ( 25)
   
   REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   SENTENCE 3
   
   Correct = 96.0% 24 ( 25)
   
   Errors = 8.0% 2 ( 25)
   
   REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   SENTENCE 4
   
   Correct = 83.3% 20 ( 24)
   
   Errors = 16.7% 4 ( 24)
   
   REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   SENTENCE 5
   
   Correct = 100.0% 14 ( 14)
   
   Errors = 0.0% 0 ( 14)
   
   REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   SENTENCE 6
   
   Correct = 100.0% 12 ( 12)
   
   Errors = 0.0% 0 ( 12)
   
   REF: customer : सिरियसली एनी टिप्स यू केन शेर
   
   HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर
   
   SENTENCE 7
   
   Correct = 75.0% 6 ( 8)
   
   Errors = 25.0% 2 ( 8)
   
   REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   
   HYP: agent : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   
   SENTENCE 8
   
   Correct = 92.9% 13 ( 14)
   
   Errors = 7.1% 1 ( 14)
   
   REF: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   SENTENCE 9
   
   Correct = 100.0% 7 ( 7)
   
   Errors = 0.0% 0 ( 7)
   
   Sentence count: 9
   
   WER: 9.848% ( 13 / 132)
   
   WRR: 90.909% ( 120 / 132)
   
   SER: 55.556% ( 5 / 9)

دستور wer متن فایل ها را با هم مقایسه می کند reference.txt و hypothesis.txt. خطاهای هر جمله و همچنین تعداد کل خطاها را گزارش می کند (WER: 9.848٪ (13/132)) در کل رونوشت.

از خروجی قبلی، 13 خطا از 132 کلمه در رونوشت گزارش شد. این خطاها می توانند سه نوع باشند:

• خطاهای تعویض - اینها زمانی اتفاق می‌افتند که آمازون رونویسی یک کلمه را به جای کلمه دیگر می‌نویسد. به عنوان مثال، در رونوشت ما، کلمه "महीना (ماهینا)» به جای «نوشته شدमिनार (مینار)» در جمله 4.
• خطاهای حذف - اینها زمانی رخ می دهند که آمازون رونویسی یک کلمه را به طور کامل در رونوشت از دست می دهد. در رونوشت ما، کلمه ". (جنوب)» در جمله 2 از قلم افتاده است.
• خطاهای درج - اینها زمانی اتفاق می‌افتند که آمازون رونویسی کلمه‌ای را وارد می‌کند که گفته نشده است. ما هیچ گونه خطای درج را در رونوشت خود نمی بینیم.

مشاهدات از رونوشت ایجاد شده توسط مدل پیش فرض

ما می توانیم مشاهدات زیر را بر اساس رونوشت انجام دهیم:

• مجموع WER 9.848٪ است، به این معنی که 90.152٪ از کلمات به طور دقیق رونویسی شده اند.
• مدل پیش‌فرض هندی بیشتر کلمات انگلیسی را با دقت رونویسی می‌کرد. این به این دلیل است که مدل پیش‌فرض برای تشخیص رایج‌ترین کلمات انگلیسی آموزش داده شده است. این مدل همچنین برای تشخیص زبان Hinglish آموزش دیده است، جایی که کلمات انگلیسی به طور تصادفی در مکالمات هندی ظاهر می شوند. مثلا:
  • गुड मोर्निग – صبح بخیر (جمله ۲).
  • ट्रेवल एजेंसी – آژانس مسافرتی (جمله ۲).
  • ग्रेट आइडिया थैंक्यू सो मच - ایده عالی خیلی ممنون (جمله 9).
• جمله 4 بیشترین خطا را دارد که نام مکان هایی در شهر حیدرآباد هند است:
  • हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम

در مرحله بعد، نحوه تصحیح کلمات برجسته شده در جمله قبل را با استفاده از واژگان سفارشی در Amazon Transcript نشان می دهیم:

• من महीना (کاراکتر مهینا) باید चार باشد मिनार (کاراکتر مینار)
• من.منर (گلcunda Four) باید गोल باشد.منمن (گلconda Fort)
• सलार जंग (Saلار یونگ) باید باشد منलार जंग (ساالار یونگ)

مدل پیش فرض را با واژگان سفارشی آموزش دهید

به یک واژگان سفارشی ایجاد کنید، برای آموزش مدل پیش‌فرض Amazon Transcript باید یک فایل متنی در قالب جدولی با کلمات و عبارات بسازید. جدول شما باید شامل هر چهار ستون (Phrase, SoundsLike, IPAو DisplayAs) اما Phrase ستون تنها ستونی است که باید در هر سطر دارای ورودی باشد. می توانید بقیه ستون ها را خالی بگذارید. هر ستون باید با یک کاراکتر برگه از هم جدا شود، حتی اگر برخی از ستون‌ها خالی باشند. به عنوان مثال، اگر شما را ترک کنید IPA و SoundsLike ستون ها برای یک سطر خالی هستند Phrase و DisplaysAs ستون های آن سطر باید با سه کاراکتر تب (بین Phrase و IPA, IPA و SoundsLikeو SoundsLike و DisplaysAs).

برای آموزش مدل با واژگان سفارشی، مراحل زیر را انجام دهید:

1. فایلی با نام ایجاد کنید HindiCustomVocabulary.txt با مطالب زیر

   عبارت IPA به نظر می رسد مانند نمایش ها गोलकुंडा-फोर गोलकोंडा फोरट सालार- जंग सा-लार-जंग सालार जंग चार-महीनाگار मिनार मिनार मिनार

   شما فقط می توانید از نویسه هایی استفاده کنید که برای زبان شما پشتیبانی می شوند. به زبان خود مراجعه کنید مجموعه کاراکتر برای جزئیات بیشتر.

   ستون ها حاوی اطلاعات زیر هستند:

   1. Phrase - حاوی کلمات یا عباراتی است که می خواهید با دقت رونویسی کنید. کلمات یا عبارات برجسته شده در رونوشت ایجاد شده توسط مدل پیش‌فرض Amazon Transcribe در این ستون ظاهر می‌شوند. این کلمات عموماً مخفف‌ها، اسم‌های خاص، یا کلمات و عبارات خاص دامنه هستند که مدل پیش‌فرض از آن‌ها اطلاعی ندارد. این یک فیلد اجباری برای هر ردیف در جدول واژگان سفارشی است. در رونوشت ما، برای تصحیح "गोलकुंडा फोर (Golcunda Four)" از جمله 4، از "गोलकुंडा-फोर در این ستون (Gol)" در این ستون استفاده کنید. اگر ورودی شما حاوی چندین کلمه است، هر کلمه را با خط فاصله (-) جدا کنید. از فضاها استفاده نکنید
   2. IPA - حاوی کلمات یا عباراتی است که صداهای گفتار را به صورت نوشتاری نشان می دهد. ستون اختیاری است. می توانید ردیف های آن را خالی بگذارید. این ستون برای املای آوایی فقط با استفاده از نویسه‌های الفبای آوایی بین‌المللی (IPA) در نظر گرفته شده است. به مجموعه نویسه های هندی برای نویسه های مجاز IPA برای زبان هندی مراجعه کنید. در مثال ما، ما از IPA استفاده نمی کنیم. اگر در این ستون ورودی دارید، SoundsLike ستون باید خالی باشد
   3. SoundsLike - حاوی کلمات یا عباراتی است که به قطعات کوچکتر تقسیم می شوند (معمولاً بر اساس هجاها یا کلمات رایج) برای ارائه تلفظ برای هر قطعه بر اساس نحوه صدای آن قطعه. این ستون اختیاری است. می توانید ردیف ها را خالی بگذارید. فقط در صورتی محتوا را به این ستون اضافه کنید که ورودی شما شامل یک کلمه غیر استاندارد مانند نام تجاری باشد یا برای تصحیح کلمه ای که به اشتباه رونویسی شده است. در رونوشت ما، برای تصحیح "सलार जंग (سالار جونگ)" از جمله 4، از "सा-लार-जंग (Saa-lar-jung)" در این ستون استفاده کنید. از فاصله در این ستون استفاده نکنید. اگر در این ستون ورودی دارید، IPA ستون باید خالی باشد
   4. DisplaysAs - حاوی کلمات یا عباراتی با املای هایی است که می خواهید در خروجی رونویسی برای کلمات یا عبارات موجود در Phrase رشته. این ستون اختیاری است. می توانید ردیف ها را خالی بگذارید. اگر این فیلد را مشخص نکنید، Amazon Transcript از محتویات آن استفاده می کند Phrase فیلد در فایل خروجی به عنوان مثال، در رونوشت ما، برای تصحیح "गोलकुंडा फोर (Golcunda Four)" از جمله 4، از "गोलकोंडा फोट" در این ستون استفاده کنید.
2. بارگذاری فایل متنی (HindiCustomVocabulary.txt) به یک سطل S3. اکنون یک واژگان سفارشی در آمازون رونویسی ایجاد می کنیم.
3. در کنسول آمازون رونویسی، انتخاب کنید واژگان سفارشی در صفحه ناوبری
4. برای نام، یک نام وارد کنید.
5. برای زبان، انتخاب کنید هندی، IN (سلام IN).
6. برای منبع ورودی واژگان، انتخاب کنید مکان S3.
7. برای محل فایل واژگان در S3، وارد مسیر S3 از HindiCustomVocabulary.txt فایل.
8. را انتخاب کنید ایجاد واژگان.
9. رونویسی کنید SampleAudio.wav فایل با واژگان سفارشی، با پارامترهای زیر:
   1. برای اسم شغل ، وارد SampleAudioCustomVocabulary.
   2. برای زبان، انتخاب کنید هندی، IN (سلام IN).
   3. برای محل فایل ورودی را در S3 وارد کنید، به مکان مراجعه کنید SampleAudio.wav.
   4. برای نقش IAM، انتخاب کنید از نقش IAM موجود استفاده کنید و نقشی را که قبلا ساخته اید انتخاب کنید.
   5. در کار را پیکربندی کنید بخش، انتخاب کنید واژگان سفارشی و واژگان سفارشی را انتخاب کنید HindiCustomVocabulary.
10. را انتخاب کنید ایجاد شغل.

دقت مدل را پس از استفاده از واژگان سفارشی اندازه گیری کنید

رونوشت را از صفحه جزئیات شغلی آمازون رونویسی در یک فایل متنی به نام کپی کنید hypothesis-custom-vocabulary.txt:

مشتری : من،

عامل : गुड मोर्निग इंडिया ट्रेवल एजेंसी सी XNUMX

مشتری :: क्या आप मुझे कुछ अच्छे लोकेशन के बाम

عامل : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम

مشتری ::

عامل : एक सजेशन वीकेंड में ट्रैफिक ज्यादाा

مشتری : सिरियसली एनी टिप्स चिकन शेर

عامل ::

مشتری : ग्रेट आइडिया थैंक्यू सो मच।

توجه داشته باشید که کلمات برجسته شده به دلخواه رونویسی می شوند.

اجرا کن wer دوباره با رونوشت جدید دستور دهید:

wer -i reference.txt hypothesis-custom-vocabulary.txt

شما خروجی زیر را دریافت می کنید:

REF: customer : हेलो,

HYP: customer : हेलो,

SENTENCE 1

Correct = 100.0% 3 ( 3)

Errors = 0.0% 0 ( 3)

REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

SENTENCE 2

Correct = 84.0% 21 ( 25)

Errors = 16.0% 4 ( 25)

REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

SENTENCE 3

Correct = 96.0% 24 ( 25)

Errors = 8.0% 2 ( 25)

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

SENTENCE 5

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

SENTENCE 6

Correct = 100.0% 12 ( 12)

Errors = 0.0% 0 ( 12)

REF: customer : सिरियसली एनी टिप्स यू केन शेर

HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर

SENTENCE 7

Correct = 75.0% 6 ( 8)

Errors = 25.0% 2 ( 8)

REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

HYP: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

SENTENCE 8

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: customer : ग्रेट आइडिया थैंक्यू सो मच।

HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।

SENTENCE 9

Correct = 100.0% 7 ( 7)

Errors = 0.0% 0 ( 7)

Sentence count: 9

WER: 6.061% ( 8 / 132)

WRR: 94.697% ( 125 / 132)

SER: 33.333% ( 3 / 9)

مشاهدات از رونوشت ایجاد شده با واژگان سفارشی

مجموع WER 6.061٪ است، به این معنی که 93.939٪ از کلمات به طور دقیق رونویسی شده اند.

بیایید خروجی wer را برای جمله 4 با و بدون واژگان سفارشی مقایسه کنیم. موارد زیر بدون واژگان سفارشی است:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 83.3% 20 ( 24)

Errors = 16.7% 4 ( 24)

موارد زیر با واژگان سفارشی است:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

در جمله 4 هیچ خطایی وجود ندارد. نام مکان ها با کمک واژگان سفارشی به طور دقیق رونویسی شده است، بنابراین WER کلی از 9.848٪ به 6.061٪ برای این فایل صوتی کاهش می یابد. این بدان معنی است که دقت رونویسی نزدیک به 4٪ بهبود یافته است.

چگونه واژگان سفارشی دقت را بهبود بخشید

ما از واژگان سفارشی زیر استفاده کردیم:

Phrase IPA SoundsLike DisplayAs

गोलकुंडा-फोर गोलकोंडा फोर्ट

सालार-जंग सा-लार-जंग सालार जंग

चार-महीना चार मिनार

Amazon Transcript بررسی می کند که آیا کلماتی در فایل صوتی وجود دارد که شبیه کلمات ذکر شده در فایل صوتی باشد Phrase ستون سپس مدل از ورودی های موجود در IPA, SoundsLikeو DisplaysAs ستون هایی برای آن کلمات خاص برای رونویسی با املای مورد نظر.

با این واژگان سفارشی، وقتی آمازون ترانویسی کلمه‌ای را شناسایی می‌کند که به نظر می‌رسد "गोलकुंडा-फोर (Golcunda-Four)"، آن کلمه را به عنوان "गोलकोांर गोलकोांर" رونویسی می کند.

توصیه

دقت رونویسی همچنین به پارامترهایی مانند تلفظ بلندگوها، بلندگوهای همپوشانی، سرعت مکالمه و نویز پس زمینه بستگی دارد. بنابراین، ما به شما توصیه می‌کنیم که این فرآیند را با تماس‌های مختلف (با مشتریان مختلف، نمایندگان، وقفه‌ها و غیره) دنبال کنید که متداول‌ترین واژه‌های خاص دامنه را برای شما پوشش می‌دهد تا یک واژگان سفارشی جامع بسازید.

در این پست، فرآیند بهبود دقت رونویسی یک تماس صوتی با استفاده از واژگان سفارشی را آموختیم. برای پردازش هزاران تماس ضبط شده در مرکز تماس خود هر روز، می توانید استفاده کنید تجزیه و تحلیل تماس پست، یک راه حل سرتاسری کاملاً خودکار، مقیاس پذیر و مقرون به صرفه که بیشتر کارهای سنگین را انجام می دهد. شما به سادگی فایل های صوتی خود را در یک سطل S3 آپلود می کنید و در عرض چند دقیقه، این راه حل تجزیه و تحلیل تماس مانند احساسات را در یک رابط کاربری وب ارائه می دهد. تجزیه و تحلیل پس از تماس، بینش عملی را برای شناسایی روندهای نوظهور، شناسایی فرصت های مربیگری نماینده، و ارزیابی احساسات عمومی تماس ها ارائه می دهد. تجزیه و تحلیل تماس پس از یک روش راه حل منبع باز که می توانید با استفاده از آن مستقر کنید AWS CloudFormation.

توجه داشته باشید که واژگان سفارشی از زمینه ای که کلمات در آن گفته شده استفاده نمی کنند، آنها فقط بر روی کلماتی که شما ارائه می دهید تمرکز می کنند. برای بهبود بیشتر دقت، می توانید استفاده کنید مدل های زبان سفارشی. بر خلاف واژگان سفارشی، که تلفظ را با املا مرتبط می‌کنند، مدل‌های زبان سفارشی زمینه مرتبط با یک کلمه را می‌آموزند. این شامل چگونگی و زمان استفاده از یک کلمه، و رابطه یک کلمه با کلمات دیگر است. برای ایجاد یک مدل زبان سفارشی، می‌توانید از رونویسی‌های حاصل از فرآیندی که ما یاد گرفتیم برای تماس‌های مختلف استفاده کنید و آنها را با محتوای وب‌سایت‌ها یا دفترچه‌های راهنمای کاربر خود که حاوی کلمات و عبارات خاص دامنه است ترکیب کنید.

برای دستیابی به بالاترین دقت رونویسی با رونویسی دسته ای، می توانید از واژگان سفارشی در ارتباط با مدل های زبان سفارشی خود استفاده کنید.

نتیجه

در این پست، مراحل دقیقی برای پردازش دقیق فایل‌های صوتی هندی حاوی کلمات انگلیسی با استفاده از تجزیه و تحلیل تماس و واژگان سفارشی در Amazon Transcript ارائه کردیم. می‌توانید از همین مراحل برای پردازش تماس‌های صوتی با هر کدام استفاده کنید زبان پشتیبانی می شود توسط آمازون رونویسی.

بعد از اینکه رونویسی ها را با دقت دلخواه خود استخراج کردید، می توانید با آموزش نمایندگان خود مکالمات نماینده و مشتری خود را بهبود ببخشید. شما همچنین می توانید احساسات و گرایش های مشتری خود را درک کنید. با کمک ویژگی‌های دیاریشن بلندگو، تشخیص بلندی صدا، و فیلتر کردن واژگان در تجزیه و تحلیل تماس، می‌توانید تشخیص دهید که آیا این نماینده یا مشتری بوده که صدای خود را بالا برده یا کلمات خاصی را بیان کرده است. می‌توانید تماس‌ها را بر اساس کلمات خاص دامنه دسته‌بندی کنید، بینش‌های عملی را ثبت کنید و تجزیه و تحلیل‌ها را برای بهبود محصولات خود اجرا کنید. در نهایت، می‌توانید رونوشت‌های خود را با استفاده از زبان انگلیسی یا سایر زبان‌های پشتیبانی‌شده مورد نظر خود ترجمه کنید ترجمه آمازون.

درباره نویسنده

صراط گوتیکوندا یک معمار Sr. Solutions در بخش عمومی جهانی AWS است. سارات از کمک به مشتریان برای خودکارسازی، مدیریت و مدیریت منابع ابری خود بدون به خطر انداختن چابکی تجاری لذت می برد. او در اوقات فراغت خود عاشق ساختن لگو با پسرش و بازی تنیس روی میز است.

لاوانیا سود یک معمار راه حل در بخش عمومی جهانی AWS مستقر در دهلی نو، هند است. Lavanya از یادگیری فناوری های جدید و کمک به مشتریان در سفر پذیرش ابری آنها لذت می برد. او در اوقات فراغت خود عاشق سفر و امتحان کردن غذاهای مختلف است.