Verbeter de nauwkeurigheid van de transcriptie van klant-agent-oproepen met aangepaste woordenschat in Amazon Transcribe

Veel AWS klanten met succes hebben gebruikt Amazon Transcribe om hun klantaudiogesprekken nauwkeurig, efficiënt en automatisch om te zetten in tekst en er bruikbare inzichten uit te halen. Deze inzichten kunnen u helpen de processen en producten continu te verbeteren die de kwaliteit en ervaring voor uw klanten direct verbeteren.

In veel landen, zoals India, is Engels niet de primaire communicatietaal. Gesprekken met Indiase klanten bevatten regionale talen zoals Hindi, met Engelse woorden en zinnen die willekeurig worden uitgesproken tijdens de gesprekken. In de bronmediabestanden kunnen eigennamen, domeinspecifieke acroniemen, woorden of woordgroepen voorkomen waarvan het standaard Amazon Transcribe-model zich niet bewust is. Transcripties voor dergelijke mediabestanden kunnen een onjuiste spelling hebben voor die woorden.

In dit bericht laten we zien hoe u meer informatie kunt verstrekken aan Amazon Transcribe met aangepaste vocabulaires om de manier waarop Amazon Transcribe omgaat met de transcriptie van uw audiobestanden te updaten met bedrijfsspecifieke terminologie. We laten de stappen zien om de nauwkeurigheid van transcripties voor Hinglish-oproepen te verbeteren (Indiase Hindi-oproepen met Indiase Engelse woorden en zinnen). U kunt hetzelfde proces gebruiken om audiogesprekken te transcriberen met elke taal ondersteund door Amazon Transcribe. Nadat u aangepaste vocabulaires heeft gemaakt, kunt u audiogesprekken nauwkeurig en op schaal transcriberen met behulp van onze analyse na oproep oplossing, die we later in dit bericht meer bespreken.

Overzicht oplossingen

We gebruiken de volgende Indiase Hindi audio-oproep (SampleAudio.wav) met willekeurige Engelse woorden om het proces te demonstreren.

We leiden u vervolgens door de volgende stappen op hoog niveau:

1. Transcribeer het audiobestand met het standaard Amazon Transcribe Hindi-model.
2. Meet de nauwkeurigheid van het model.
3. Train het model met aangepaste woordenschat.
4. Meet de nauwkeurigheid van het getrainde model.

Voorwaarden

Voordat we beginnen, moeten we bevestigen dat het invoeraudiobestand voldoet aan de vereisten voor gegevensinvoer transcriberen.

A monofoon opname, ook wel aangeduid als mono, bevat één audiosignaal, waarin alle audio-elementen van de agent en de klant worden gecombineerd tot één kanaal. EEN stereofonisch opname, ook wel aangeduid als stereo, bevat twee audiosignalen om de audio-elementen van de agent en de klant in twee afzonderlijke kanalen vast te leggen. Elk agent-klant opnamebestand bevat twee audiokanalen, één voor de agent en één voor de klant.

Low-fidelity audio-opnamen, zoals telefoonopnamen, gebruiken doorgaans 8,000 Hz samplefrequenties. Amazon Transcribe ondersteunt het verwerken van mono-opnames en ook high-fidelity audiobestanden met samplefrequenties tussen 16,000-48,000 Hz.

Voor verbeterde transcriptieresultaten en om de woorden die door de agent en de klant worden gesproken duidelijk te onderscheiden, raden we aan om audiobestanden te gebruiken die zijn opgenomen met een samplefrequentie van 8,000 Hz en gescheiden zijn van stereokanalen.

Je kunt een tool zoals gebruiken ffmpeg om uw ingevoerde audiobestanden vanaf de opdrachtregel te valideren:

ffmpeg -i SampleAudio.wav

Controleer in het geretourneerde antwoord de regel die begint met Stream in het gedeelte Input en bevestig dat de audiobestanden 8,000 Hz en stereokanaal gescheiden zijn:

Input #0, wav, from 'SampleAudio.wav':
Duration: 00:01:06.36, bitrate: 256 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 8000 Hz, stereo, s16, 256 kb/s

Wanneer u een pijplijn bouwt om een ​​groot aantal audiobestanden te verwerken, kunt u deze stap automatiseren om bestanden te filteren die niet aan de vereisten voldoen.

Maak als extra vereiste stap een Amazon Simple Storage Service (Amazon S3)-bucket om de audiobestanden te hosten die moeten worden getranscribeerd. Raadpleeg voor instructies: Maak je eerste S3-bucket.Dan upload het audiobestand naar de S3-bak.

Transcribeer het audiobestand met het standaardmodel

Nu kunnen we start een Amazon Transcribe call analytics-taak met behulp van het audiobestand dat we hebben geüpload.In dit voorbeeld gebruiken we de AWS-beheerconsole om het audiobestand te transcriberen. U kunt ook de AWS-opdrachtregelinterface (AWS CLI) of AWS SDK.

1. Kies op de Amazon Transcribe-console: Oproepanalyse in het navigatievenster.
2. Kies Vacatures voor oproepanalyse.
3. Kies Baan creëren.
4. Voor Naam, voer een naam in.
5. Voor Taal instellingenselecteer specifieke taal.
6. Voor Taal, kiezen Hindi, IN (hi-IN).
7. Voor Model typeselecteer Algemeen model.
8. Voor Invoer bestandslocatie op S3, blader naar de S3-bucket met het geüploade audiobestand.
9. In het Gegevens uitvoeren sectie, laat u de standaardinstellingen.
10. In het Toegangsrechten sectie, selecteer Maak een IAM-rol.
11. Maak een nieuw AWS Identiteits- en toegangsbeheer (IAM) rol met de naam HindiTranscription die Amazon Transcribe-servicemachtigingen biedt om de audiobestanden van de S3-bucket te lezen en de AWS Sleutelbeheerservice (AWS KMS) sleutel om te decoderen.
12. In het Taak configureren sectie, laat de standaardinstellingen, inclusief Aangepaste woordenschat gedeselecteerd.
13. Kies Baan creëren om het audiobestand te transcriberen.

Wanneer de status van de taak Voltooid is, kunt u de transcriptie bekijken door de taak te kiezen (SampleAudio).

De zinnen van de klant en de agent zijn duidelijk gescheiden, wat ons helpt te identificeren of de klant of de agent specifieke woorden of zinsdelen heeft gesproken.

Modelnauwkeurigheid meten

Woordfoutpercentage (WER) is de aanbevolen en meest gebruikte maatstaf voor het evalueren van de nauwkeurigheid van automatische spraakherkenningssystemen (ASR). Het doel is om de WER zoveel mogelijk te verminderen om de nauwkeurigheid van het ASR-systeem te verbeteren.

Voer de volgende stappen uit om WER te berekenen. Dit bericht gebruikt de open-source asr-evaluatie evaluatie-instrument om WER te berekenen, maar andere tools zoals DOE HET or JiWER zijn ook beschikbaar.

1. Install de asr-evaluation tool, waarmee het wer-script beschikbaar is op uw opdrachtregel.
   Gebruik een opdrachtregel op macOS- of Linux-platforms om de wer-opdrachten uit te voeren die later in de post worden getoond.
2. Kopieer het transcript van de pagina met taakdetails van Amazon Transcribe naar een tekstbestand met de naam hypothesis.txt.
   Wanneer u de transcriptie van de console kopieert, ziet u een nieuw regelteken tussen de woorden Agent :, Customer :, en het Hindi-schrift.
   De nieuwe regeltekens zijn verwijderd om ruimte te besparen in dit bericht. Als u ervoor kiest om de tekst te gebruiken zoals deze van de console is, zorg er dan voor dat het referentietekstbestand dat u maakt ook de nieuwe regeltekens heeft, omdat de wer-tool regel voor regel vergelijkt.
3. Bekijk het volledige transcript en identificeer eventuele woorden of woordgroepen die moeten worden gecorrigeerd:
   : ik,
   Agent : Ik denk dat het goed is हैik बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   : बहुत उनसे ट्रेवल के बारे में सोच रहा था। आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   Agent :हाँ बिल्कुल। में बहुत सारे प्लेस है। से महीना गोलकुंडा फोर सलार म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को को ट्राई करूँगा।
   Agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चसंज
   : meer informatie Goed Nu
   Agent : आप टेक्सी यूस कर लो Nu पार्किंग का प्राब्लम नहीं होगा।
   : ग्रेट आइडिया थैंक्यू सो मच।De gemarkeerde woorden zijn de woorden die het standaard Amazon Transcribe-model niet correct weergeeft.
4. Maak nog een tekstbestand met de naam reference.txt, waarbij u de gemarkeerde woorden vervangt door de gewenste woorden die u in de transcriptie verwacht te zien:
   : ik,
   Agent : Ik denk dat ik het goed vind मैं ik बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   : बहुत Hoe dan ook ट्रेवल के बारे में सोच रहा था। आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   Agent : बिल्कुल। में बहुत सारे प्लेस है। से मिनार गोलकोंडा फोर्ट सालार म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को को ट्राई करूँगा।
   Agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चसंज
   : meer informatie केन Nu
   Agent : आप टेक्सी यूस कर लो Goed पार्किंग का प्राब्लम नहीं होगा।
   : ग्रेट आइडिया थैंक्यू voor
5. Gebruik de volgende opdracht om de referentie- en hypothesetekstbestanden die u hebt gemaakt te vergelijken:

   wer -i reference.txt hypothesis.txt

   Je krijgt de volgende output:

   REF: customer : हेलो,
   
   HYP: customer : हेलो,
   
   SENTENCE 1
   
   Correct = 100.0% 3 ( 3)
   
   Errors = 0.0% 0 ( 3)
   
   REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   SENTENCE 2
   
   Correct = 84.0% 21 ( 25)
   
   Errors = 16.0% 4 ( 25)
   
   REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   SENTENCE 3
   
   Correct = 96.0% 24 ( 25)
   
   Errors = 8.0% 2 ( 25)
   
   REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   SENTENCE 4
   
   Correct = 83.3% 20 ( 24)
   
   Errors = 16.7% 4 ( 24)
   
   REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   SENTENCE 5
   
   Correct = 100.0% 14 ( 14)
   
   Errors = 0.0% 0 ( 14)
   
   REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   SENTENCE 6
   
   Correct = 100.0% 12 ( 12)
   
   Errors = 0.0% 0 ( 12)
   
   REF: customer : सिरियसली एनी टिप्स यू केन शेर
   
   HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर
   
   SENTENCE 7
   
   Correct = 75.0% 6 ( 8)
   
   Errors = 25.0% 2 ( 8)
   
   REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   
   HYP: agent : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   
   SENTENCE 8
   
   Correct = 92.9% 13 ( 14)
   
   Errors = 7.1% 1 ( 14)
   
   REF: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   SENTENCE 9
   
   Correct = 100.0% 7 ( 7)
   
   Errors = 0.0% 0 ( 7)
   
   Sentence count: 9
   
   WER: 9.848% ( 13 / 132)
   
   WRR: 90.909% ( 120 / 132)
   
   SER: 55.556% ( 5 / 9)

Het wer-commando vergelijkt tekst uit de bestanden reference.txt en hypothesis.txt. Het rapporteert fouten voor elke zin en ook het totale aantal fouten (WER: 9.848% ( 13 / 132)) in het hele transcript.

Uit de voorgaande uitvoer rapporteerden we 13 fouten van de 132 woorden in het transcript. Deze fouten kunnen van drie soorten zijn:

• Vervangingsfouten – Deze treden op wanneer Amazon Transcribe het ene woord in plaats van het andere schrijft. Bijvoorbeeld, in ons transcript, het woord "Goed (Mahina)” werd geschreven in plaats van “Goed (Minar)” in zin 4.
• Verwijder fouten – Deze treden op wanneer Amazon Transcribe een woord volledig mist in het transcript. In ons transcript wordt het woord "Ja (Zuid)” werd gemist in zin 2.
• Invoegfouten – Deze treden op wanneer Amazon Transcribe een woord invoegt dat niet is uitgesproken. We zien geen invoegfouten in ons transcript.

Observaties van het transcript gemaakt door het standaardmodel

Op basis van het transcript kunnen we de volgende opmerkingen maken:

• De totale WER is 9.848%, wat betekent dat 90.152% van de woorden nauwkeurig wordt getranscribeerd.
• Het standaard Hindi-model heeft de meeste Engelse woorden nauwkeurig getranscribeerd. Dit komt omdat het standaardmodel is getraind om de meest voorkomende Engelse woorden uit de doos te herkennen. Het model is ook getraind in het herkennen van de Hinglish-taal, waarbij Engelse woorden willekeurig verschijnen in Hindi-gesprekken. Bijvoorbeeld:
  • गुड मोर्निग – Goedemorgen (zin 2).
  • ट्रेवल एजेंसी – Reisbureau (zin 2).
  • ग्रेट आइडिया थैंक्यू सो मच – Geweldig idee, heel erg bedankt (zin 9).
• Zin 4 heeft de meeste fouten, namelijk de namen van plaatsen in de Indiase stad Hyderabad:
  • बिल्कुल। में बहुत सारे प्लेस है। से चार गोलकुंडा फोर सलार म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

In de volgende stap laten we zien hoe u de gemarkeerde woorden in de vorige zin kunt corrigeren met behulp van aangepaste woordenschat in Amazon Transcribe:

• Nu Goed (Char Mahina) moet चार . zijn Goed (Char ondermijnen)
• RondeNuफोर (Golcuen Four) moet गोल . zijnNuफोIke (Golcoen Fort)
• सजंग (Salar Jung) zou moeten zijn Jaजंग (Saaveel Jung)

Train het standaardmodel met een aangepast vocabulaire

Naar een aangepast vocabulaire maken, moet u een tekstbestand in tabelvorm maken met de woorden en zinnen om het standaard Amazon Transcribe-model te trainen. Uw tabel moet alle vier de kolommen bevatten (Phrase, SoundsLike, IPA en DisplayAs), maar de Phrase kolom is de enige die een item op elke rij moet bevatten. De overige kolommen kunt u leeg laten. Elke kolom moet worden gescheiden door een tabteken, zelfs als sommige kolommen leeg zijn. Als u bijvoorbeeld de IPA en SoundsLike kolommen leeg voor een rij, de Phrase en DisplaysAs kolommen in die rij moeten worden gescheiden door drie tabtekens (tussen Phrase en IPA, IPA en SoundsLike en SoundsLike en DisplaysAs).

Voer de volgende stappen uit om het model te trainen met een aangepast vocabulaire:

1. Maak een bestand met de naam HindiCustomVocabulary.txt met de volgende inhoud.

   Frase IPA klinkt als weergaveAs गोलकुंडा-फोर गोलकोंडा फोर्ट सालार-जंग सा-लार-जंग सालार जंग चार-महीना चार मिनार

   U kunt alleen tekens gebruiken die voor uw taal worden ondersteund. Raadpleeg uw taal karakterset voor meer info.

   De kolommen bevatten de volgende informatie:

   1. Phrase – Bevat de woorden of zinsdelen die u nauwkeurig wilt transcriberen. De gemarkeerde woorden of woordgroepen in het transcript dat is gemaakt door het standaard Amazon Transcribe-model, verschijnen in deze kolom. Deze woorden zijn over het algemeen acroniemen, eigennamen of domeinspecifieke woorden en woordgroepen waarvan het standaardmodel niet op de hoogte is. Dit is een verplicht veld voor elke rij in de aangepaste woordenlijsttabel. In ons transcript, om "गोलकुंडा फोर (Golcunda Four)" uit zin 4 te corrigeren, gebruikt u "गोलकुंडा-फोर (Golcunda-Four)" in deze kolom. Als uw invoer meerdere woorden bevat, scheidt u elk woord met een koppelteken (-); gebruik geen spaties.
   2. IPA – Bevat de woorden of zinsdelen die spraakgeluiden in geschreven vorm vertegenwoordigen. De kolom is optioneel; je kunt de rijen leeg laten. Deze kolom is bedoeld voor fonetische spellingen waarbij alleen tekens uit het International Phonetic Alphabet (IPA) worden gebruikt. Raadpleeg de Hindi-tekenset voor de toegestane IPA-tekens voor de Hindi-taal. In ons voorbeeld gebruiken we geen IPA. Als u een vermelding in deze kolom heeft, is uw SoundsLike kolom moet leeg zijn.
   3. SoundsLike – Bevat woorden of zinsdelen die in kleinere stukjes zijn opgesplitst (meestal gebaseerd op lettergrepen of gewone woorden) om voor elk stuk een uitspraak te geven op basis van hoe dat stuk klinkt. Deze kolom is optioneel; u kunt de rijen leeg laten. Voeg alleen inhoud aan deze kolom toe als uw invoer een niet-standaard woord bevat, zoals een merknaam, of om een ​​woord te corrigeren dat onjuist wordt getranscribeerd. In ons transcript, om "सलार जंग (Salar Jung)" uit zin 4 te corrigeren, gebruikt u "सा-लार-जंग (Saa-lar-jung)" in deze kolom. Gebruik geen spaties in deze kolom. Als u een vermelding in deze kolom heeft, is uw IPA kolom moet leeg zijn.
   4. DisplaysAs – Bevat woorden of zinnen met de spelling die u wilt zien in de transcriptie-uitvoer voor de woorden of zinnen in de Phrase veld. Deze kolom is optioneel; u kunt de rijen leeg laten. Als u dit veld niet opgeeft, gebruikt Amazon Transcribe de inhoud van de Phrase veld in het uitvoerbestand. Als u bijvoorbeeld in ons transcript "गोलकुंडा फोर (Golcunda Four)" uit zin 4 wilt corrigeren, gebruikt u "गोलकोंडा फोर्ट (Golconda Fort)" in deze kolom.
2. Uploaden het tekstbestand (HindiCustomVocabulary.txt) naar een S3-bucket. Nu maken we een aangepast vocabulaire in Amazon Transcribe.
3. Kies op de Amazon Transcribe-console: Aangepaste woordenschat in het navigatievenster.
4. Voor Naam, voer een naam in.
5. Voor Taal, kiezen Hindi, IN (hi-IN).
6. Voor Woordenschat invoerbronselecteer S3 locatie.
7. Voor Woordenschat bestandslocatie op S3, voer het S3-pad van de . in HindiCustomVocabulary.txt bestand.
8. Kies Maak woordenschat.
9. Transcribeer de SampleAudio.wav bestand met de aangepaste woordenschat, met de volgende parameters:
   1. Voor Taaknaam , ga naar binnen SampleAudioCustomVocabulary.
   2. Voor Taal, kiezen Hindi, IN (hi-IN).
   3. Voor Invoer bestandslocatie op S3, blader naar de locatie van SampleAudio.wav.
   4. Voor IAM-rolselecteer Gebruik een bestaande IAM-rol en kies de rol die u eerder hebt gemaakt.
   5. In het Taak configureren sectie, selecteer Aangepaste woordenschat en kies de aangepaste woordenschat HindiCustomVocabulary.
10. Kies Baan creëren.

Modelnauwkeurigheid meten na gebruik van aangepaste woordenschat

Kopieer het transcript van de pagina met taakdetails van Amazon Transcribe naar een tekstbestand met de naam hypothesis-custom-vocabulary.txt:

: ik,

Agent : गुड मोर्निग इंडिया ट्रेवल एजेंसी सेम है। बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

: मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

Agent : बिल्कुल। में बहुत सारे प्लेस है। से चार गोलकोंडा फोर्ट सालार म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

: हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को को ट्राई करूँगा।

Agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चसंज

: सिरियसली एनी टिप्स van de prijs

Agent : आप टेक्सी यूस कर लो ड्रैब और पर पार्किंग का प्राब्लम नहीं होगा।

: ग्रेट आइडिया थैंक्यू voor

Merk op dat de gemarkeerde woorden naar wens worden getranscribeerd.

Voer de ... uit wer commando opnieuw met het nieuwe transcript:

wer -i reference.txt hypothesis-custom-vocabulary.txt

Je krijgt de volgende output:

REF: customer : हेलो,

HYP: customer : हेलो,

SENTENCE 1

Correct = 100.0% 3 ( 3)

Errors = 0.0% 0 ( 3)

REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

SENTENCE 2

Correct = 84.0% 21 ( 25)

Errors = 16.0% 4 ( 25)

REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

SENTENCE 3

Correct = 96.0% 24 ( 25)

Errors = 8.0% 2 ( 25)

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

SENTENCE 5

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

SENTENCE 6

Correct = 100.0% 12 ( 12)

Errors = 0.0% 0 ( 12)

REF: customer : सिरियसली एनी टिप्स यू केन शेर

HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर

SENTENCE 7

Correct = 75.0% 6 ( 8)

Errors = 25.0% 2 ( 8)

REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

HYP: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

SENTENCE 8

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: customer : ग्रेट आइडिया थैंक्यू सो मच।

HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।

SENTENCE 9

Correct = 100.0% 7 ( 7)

Errors = 0.0% 0 ( 7)

Sentence count: 9

WER: 6.061% ( 8 / 132)

WRR: 94.697% ( 125 / 132)

SER: 33.333% ( 3 / 9)

Observaties van het transcript gemaakt met aangepaste woordenschat

De totale WER is 6.061%, wat betekent dat 93.939% van de woorden nauwkeurig wordt getranscribeerd.

Laten we de wer-uitvoer voor zin 4 vergelijken met en zonder aangepaste woordenschat. Het volgende is zonder aangepaste woordenschat:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 83.3% 20 ( 24)

Errors = 16.7% 4 ( 24)

Het volgende is met aangepaste woordenschat:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

Er zijn geen fouten in zin 4. De namen van de plaatsen worden nauwkeurig getranscribeerd met behulp van aangepaste woordenschat, waardoor de totale WER voor dit audiobestand wordt verlaagd van 9.848% naar 6.061%. Dit betekent dat de nauwkeurigheid van de transcriptie met bijna 4% is verbeterd.

Hoe aangepaste woordenschat de nauwkeurigheid heeft verbeterd

We gebruikten de volgende aangepaste woordenschat:

Phrase IPA SoundsLike DisplayAs

गोलकुंडा-फोर गोलकोंडा फोर्ट

सालार-जंग सा-लार-जंग सालार जंग

चार-महीना चार मिनार

Amazon Transcribe controleert of er woorden in het audiobestand staan ​​die klinken als de woorden die worden genoemd in de Phrase kolom. Vervolgens gebruikt het model de items in de IPA, SoundsLike en DisplaysAs kolommen voor die specifieke woorden om te transcriberen met de gewenste spelling.

Met dit aangepaste vocabulaire, wanneer Amazon Transcribe een woord identificeert dat klinkt als "गोलकुंडा-फोर (Golcunda-Four)", wordt dat woord getranscribeerd als "गोलकोंडा फोर्ट (Golconda Fort)."

Aanbevelingen

De nauwkeurigheid van de transcriptie hangt ook af van parameters zoals de uitspraak van de spreker, overlappende luidsprekers, spreeksnelheid en achtergrondgeluid. Daarom raden we u aan het proces te volgen met een verscheidenheid aan gesprekken (met verschillende klanten, agenten, onderbrekingen, enzovoort) die de meest gebruikte domeinspecifieke woorden behandelen, zodat u een uitgebreide aangepaste woordenschat kunt opbouwen.

In dit bericht hebben we het proces geleerd om de nauwkeurigheid van het transcriberen van één audiogesprek te verbeteren met behulp van aangepaste woordenschat. Om elke dag duizenden opnames van uw contactcentergesprekken te verwerken, kunt u gebruik maken van analyse na oproep, een volledig geautomatiseerde, schaalbare en kostenefficiënte end-to-end-oplossing die het grootste deel van het zware werk voor haar rekening neemt. U uploadt eenvoudig uw audiobestanden naar een S3-bucket en binnen enkele minuten biedt de oplossing oproepanalyses zoals sentiment in een web-UI. Post-call-analyses bieden bruikbare inzichten om opkomende trends te herkennen, mogelijkheden voor agentcoaching te identificeren en het algemene sentiment van oproepen te beoordelen. Post-call-analyse is een open source-oplossing die u kunt implementeren met behulp van AWS CloudFormatie.

Houd er rekening mee dat aangepaste vocabulaires niet de context gebruiken waarin de woorden zijn uitgesproken, ze zijn alleen gericht op individuele woorden die u opgeeft. Om de nauwkeurigheid verder te verbeteren, kunt u gebruik maken van aangepaste taalmodellen. In tegenstelling tot aangepaste vocabulaires, die uitspraak associëren met spelling, leren aangepaste taalmodellen de context die bij een bepaald woord hoort. Dit omvat hoe en wanneer een woord wordt gebruikt en de relatie die een woord heeft met andere woorden. Om een ​​aangepast taalmodel te maken, kunt u de transcripties gebruiken die zijn afgeleid van het proces dat we hebben geleerd voor verschillende gesprekken, en deze combineren met inhoud van uw websites of gebruikershandleidingen die domeinspecifieke woorden en woordgroepen bevatten.

Om de hoogste transcriptienauwkeurigheid te bereiken met batchtranscripties, kunt u aangepaste vocabulaires gebruiken in combinatie met uw aangepaste taalmodellen.

Conclusie

In dit bericht hebben we gedetailleerde stappen gegeven om Hindi-audiobestanden met Engelse woorden nauwkeurig te verwerken met behulp van oproepanalyse en aangepaste woordenlijsten in Amazon Transcribe. U kunt dezelfde stappen gebruiken om audio-oproepen te verwerken met elke taal ondersteund door Amazon Transcribe.

Nadat u de transcripties met de gewenste nauwkeurigheid hebt afgeleid, kunt u uw gesprekken tussen agent en klant verbeteren door uw agenten te trainen. U kunt ook de gevoelens en trends van uw klanten begrijpen. Met behulp van luidsprekerdiaarisatie, luidheidsdetectie en vocabulaire filterfuncties in de gespreksanalyse, kunt u identificeren of het de agent of klant was die zijn toon verhief of specifieke woorden sprak. U kunt oproepen categoriseren op basis van domeinspecifieke woorden, bruikbare inzichten vastleggen en analyses uitvoeren om uw producten te verbeteren. Ten slotte kunt u uw transcripties vertalen naar het Engels of andere ondersteunde talen van uw keuze met behulp van Amazon Vertalen.

Over de auteurs

Sarat Guttikonda is een Sr. Solutions Architect in de wereldwijde publieke sector van AWS. Sarat helpt klanten graag bij het automatiseren, beheren en beheren van hun cloudresources zonder in te boeten aan zakelijke flexibiliteit. In zijn vrije tijd houdt hij ervan om met zijn zoon Lego te bouwen en te tafeltennissen.

Lavanya Soed is een Solutions Architect in AWS World Wide Public Sector, gevestigd in New Delhi, India. Lavanya leert graag nieuwe technologieën en helpt klanten bij hun overstap naar de cloud. In haar vrije tijd houdt ze van reizen en het uitproberen van verschillende soorten voedsel.