Βελτιώστε την ακρίβεια μεταγραφής των κλήσεων πελατών-πρακτόρων με προσαρμοσμένο λεξιλόγιο στο Amazon Transcribe

Πολλά AWS πελάτες έχουν χρησιμοποιηθεί με επιτυχία Μεταγραφή Amazon για να μετατρέπουν με ακρίβεια, αποτελεσματικά και αυτόματα τις ηχητικές συνομιλίες των πελατών τους σε κείμενο και να εξάγουν χρήσιμες πληροφορίες από αυτές. Αυτές οι πληροφορίες μπορούν να σας βοηθήσουν να βελτιώνετε συνεχώς τις διαδικασίες και τα προϊόντα που βελτιώνουν άμεσα την ποιότητα και την εμπειρία για τους πελάτες σας.

Σε πολλές χώρες, όπως η Ινδία, τα αγγλικά δεν είναι η κύρια γλώσσα επικοινωνίας. Οι συνομιλίες των Ινδών πελατών περιέχουν τοπικές γλώσσες όπως τα Χίντι, με αγγλικές λέξεις και φράσεις που εκφωνούνται τυχαία κατά τη διάρκεια των κλήσεων. Στα αρχεία πολυμέσων προέλευσης, μπορεί να υπάρχουν σωστά ουσιαστικά, αρκτικόλεξα για συγκεκριμένο τομέα, λέξεις ή φράσεις που δεν γνωρίζει το προεπιλεγμένο μοντέλο Amazon Transcribe. Οι μεταγραφές για τέτοια αρχεία πολυμέσων μπορεί να έχουν ανακριβή ορθογραφία για αυτές τις λέξεις.

Σε αυτήν την ανάρτηση, δείχνουμε πώς μπορείτε να παρέχετε περισσότερες πληροφορίες στο Amazon Transcribe προσαρμοσμένα λεξιλόγια για να ενημερώσετε τον τρόπο με τον οποίο το Amazon Transcribe χειρίζεται τη μεταγραφή των αρχείων ήχου σας με ορολογία συγκεκριμένης επιχείρησης. Δείχνουμε τα βήματα για τη βελτίωση της ακρίβειας των μεταγραφών για κλήσεις Hinglish (οι κλήσεις Ινδικών Χίντι περιέχουν λέξεις και φράσεις Ινδικής Αγγλικής γλώσσας). Μπορείτε να χρησιμοποιήσετε την ίδια διαδικασία για να μεταγράψετε ηχητικές κλήσεις με οποιαδήποτε γλώσσα που υποστηρίζεται από το Amazon Transcribe. Αφού δημιουργήσετε προσαρμοσμένα λεξιλόγια, μπορείτε να μεταγράψετε κλήσεις ήχου με ακρίβεια και κλίμακα χρησιμοποιώντας αναλυτικά στοιχεία μετά την κλήση λύση, την οποία θα συζητήσουμε περισσότερο αργότερα σε αυτήν την ανάρτηση.

Επισκόπηση λύσεων

Χρησιμοποιούμε την ακόλουθη ηχητική κλήση Ινδικού Χίντι (SampleAudio.wav) με τυχαίες αγγλικές λέξεις για την επίδειξη της διαδικασίας.

Στη συνέχεια σας καθοδηγούμε στα ακόλουθα βήματα υψηλού επιπέδου:

1. Μεταγράψτε το αρχείο ήχου χρησιμοποιώντας το προεπιλεγμένο μοντέλο Amazon Transcribe Hindi.
2. Μετρήστε την ακρίβεια του μοντέλου.
3. Εκπαιδεύστε το μοντέλο με προσαρμοσμένο λεξιλόγιο.
4. Μετρήστε την ακρίβεια του εκπαιδευμένου μοντέλου.

Προϋποθέσεις

Πριν ξεκινήσουμε, πρέπει να επιβεβαιώσουμε ότι το αρχείο ήχου εισόδου πληροί τα μεταγραφή των απαιτήσεων εισαγωγής δεδομένων.

A μονοφωνικός ηχογράφηση, που αναφέρεται επίσης ως μονο, περιέχει ένα ηχητικό σήμα, στο οποίο όλα τα ηχητικά στοιχεία του πράκτορα και του πελάτη συνδυάζονται σε ένα κανάλι. ΕΝΑ στερεοφωνικός ηχογράφηση, που αναφέρεται επίσης ως στέρεο, περιέχει δύο ηχητικά σήματα για την καταγραφή των ηχητικών στοιχείων του πράκτορα και του πελάτη σε δύο ξεχωριστά κανάλια. Κάθε αρχείο εγγραφής αντιπροσώπου-πελάτη περιέχει δύο κανάλια ήχου, ένα για τον πράκτορα και ένα για τον πελάτη.

Οι εγγραφές ήχου χαμηλής πιστότητας, όπως οι εγγραφές τηλεφώνου, χρησιμοποιούν συνήθως ρυθμούς δειγματοληψίας 8,000 Hz. Το Amazon Transcribe υποστηρίζει την επεξεργασία μονοφωνικών εγγεγραμμένων και επίσης αρχείων ήχου υψηλής πιστότητας με ρυθμούς δειγματοληψίας μεταξύ 16,000–48,000 Hz.

Για βελτιωμένα αποτελέσματα μεταγραφής και για ξεκάθαρη διάκριση των λέξεων που εκφωνούνται από τον αντιπρόσωπο και τον πελάτη, συνιστούμε τη χρήση αρχείων ήχου που έχουν εγγραφεί σε ρυθμό δειγματοληψίας 8,000 Hz και είναι διαχωρισμένα από στερεοφωνικά κανάλια.

Μπορείτε να χρησιμοποιήσετε ένα εργαλείο όπως το ffmpeg για να επικυρώσετε τα αρχεία ήχου εισόδου σας από τη γραμμή εντολών:

ffmpeg -i SampleAudio.wav

Στην απόκριση που επιστρέφεται, ελέγξτε τη γραμμή που ξεκινά με Ροή στην ενότητα Εισαγωγή και επιβεβαιώστε ότι τα αρχεία ήχου είναι 8,000 Hz και το στερεοφωνικό κανάλι είναι διαχωρισμένο:

Input #0, wav, from 'SampleAudio.wav':
Duration: 00:01:06.36, bitrate: 256 kb/s
Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 8000 Hz, stereo, s16, 256 kb/s

Όταν δημιουργείτε μια διοχέτευση για την επεξεργασία μεγάλου αριθμού αρχείων ήχου, μπορείτε να αυτοματοποιήσετε αυτό το βήμα για να φιλτράρετε αρχεία που δεν πληρούν τις απαιτήσεις.

Ως πρόσθετο προαπαιτούμενο βήμα, δημιουργήστε έναν κάδο Amazon Simple Storage Service (Amazon S3) για να φιλοξενήσει τα αρχεία ήχου που πρόκειται να μεταγραφούν. Για οδηγίες, ανατρέξτε στο Δημιουργήστε τον πρώτο σας κάδο S3.Επειτα ανεβάστε το αρχείο ήχου στον κάδο S3.

Μεταγράψτε το αρχείο ήχου με το προεπιλεγμένο μοντέλο

Τώρα μπορούμε ξεκινήστε μια μεταγραφή Amazon καλέστε την εργασία ανάλυσης χρησιμοποιώντας το αρχείο ήχου που ανεβάσαμε. Σε αυτό το παράδειγμα, χρησιμοποιούμε το Κονσόλα διαχείρισης AWS για να μεταγράψετε το αρχείο ήχου. Μπορείτε επίσης να χρησιμοποιήσετε το Διεπαφή γραμμής εντολών AWS (AWS CLI) ή AWS SDK.

1. Στην κονσόλα Amazon Transcribe, επιλέξτε Αναλυτικά στοιχεία κλήσεων στο παράθυρο πλοήγησης.
2. Επιλέξτε Καλέστε θέσεις εργασίας αναλυτικών στοιχείων.
3. Επιλέξτε Δημιουργήστε εργασία.
4. Για Όνομα, πληκτρολογήστε ένα όνομα.
5. Για ΡΥΘΜΙΣΕΙΣ ΓΛΩΣΣΑΣ, Επιλέξτε Συγκεκριμένη γλώσσα.
6. Για Γλώσσα, επιλέξτε Χίντι, IN (hi-IN).
7. Για Τύπος μοντέλου, Επιλέξτε Γενικό μοντέλο.
8. Για Εισαγάγετε τη θέση του αρχείου στο S3, περιηγηθείτε στον κάδο S3 που περιέχει το μεταφορτωμένο αρχείο ήχου.
9. Στο Δεδομένα εξόδου ενότητα, αφήστε τις προεπιλογές.
10. Στο Δικαιώματα πρόσβασης , επιλέξτε Δημιουργήστε ένα ρόλο IAM.
11. Δημιουργήστε ένα νέο Διαχείριση ταυτότητας και πρόσβασης AWS ρόλος (IAM) με το όνομα HindiTranscription που παρέχει δικαιώματα υπηρεσίας Amazon Transcribe για την ανάγνωση των αρχείων ήχου από τον κάδο S3 και τη χρήση του Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS) κλειδί για αποκρυπτογράφηση.
12. Στο Διαμόρφωση εργασίας ενότητα, αφήστε τις προεπιλογές, συμπεριλαμβανομένων Προσαρμοσμένο λεξιλόγιο καταργήθηκε η επιλογή.
13. Επιλέξτε Δημιουργήστε εργασία για να μεταγράψετε το αρχείο ήχου.

Όταν η κατάσταση της εργασίας είναι Ολοκληρωμένη, μπορείτε να ελέγξετε τη μεταγραφή επιλέγοντας την εργασία (SampleAudio).

Οι προτάσεις πελάτη και πράκτορας διαχωρίζονται σαφώς, γεγονός που μας βοηθά να προσδιορίσουμε εάν ο πελάτης ή ο πράκτορας μίλησε συγκεκριμένες λέξεις ή φράσεις.

Μετρήστε την ακρίβεια του μοντέλου

Το ποσοστό σφάλματος λέξης (WER) είναι η συνιστώμενη και πιο συχνά χρησιμοποιούμενη μέτρηση για την αξιολόγηση της ακρίβειας των συστημάτων αυτόματης αναγνώρισης ομιλίας (ASR). Ο στόχος είναι να μειωθεί όσο το δυνατόν περισσότερο το WER για να βελτιωθεί η ακρίβεια του συστήματος ASR.

Για να υπολογίσετε το WER, ολοκληρώστε τα παρακάτω βήματα. Αυτή η ανάρτηση χρησιμοποιεί τον ανοιχτό κώδικα asr-αξιολόγηση εργαλείο αξιολόγησης για τον υπολογισμό του WER, αλλά και άλλα εργαλεία όπως π.χ SCTK or JiWER Είναι επίσης διαθέσιμα.

1. εγκαταστήστε ο asr-evaluation εργαλείο, το οποίο καθιστά το σενάριο wer διαθέσιμο στη γραμμή εντολών σας.
   Χρησιμοποιήστε μια γραμμή εντολών σε πλατφόρμες macOS ή Linux για να εκτελέσετε τις εντολές wer που εμφανίζονται αργότερα στην ανάρτηση.
2. Αντιγράψτε τη μεταγραφή από τη σελίδα λεπτομερειών εργασίας Amazon Transcribe σε ένα αρχείο κειμένου με το όνομα hypothesis.txt.
   Όταν αντιγράφετε τη μεταγραφή από την κονσόλα, θα παρατηρήσετε έναν νέο χαρακτήρα γραμμής ανάμεσα στις λέξεις Agent :, Customer :, και η γραφή Χίντι.
   Οι νέοι χαρακτήρες γραμμής έχουν αφαιρεθεί για εξοικονόμηση χώρου σε αυτήν την ανάρτηση. Εάν επιλέξετε να χρησιμοποιήσετε το κείμενο όπως είναι από την κονσόλα, βεβαιωθείτε ότι το αρχείο κειμένου αναφοράς που δημιουργείτε έχει επίσης τους νέους χαρακτήρες γραμμής, επειδή το εργαλείο wer συγκρίνει γραμμή προς γραμμή.
3. Ελέγξτε ολόκληρη τη μεταγραφή και εντοπίστε τυχόν λέξεις ή φράσεις που πρέπει να διορθωθούν:
   Πελάτης : हेलो,
   Πράκτορας : गुड मोर्निग इंडिया ट्रेवल एजेंसी सेम है. लावन्या बात कर @ हूँ किस त त से मैं आपकी आपकी सह सह सह क सकती हूँ हूँ से से आपकी आपकी आपकी सह सह सह क सकती सकती त से से आपकी आपकी आपकी सह सह सह क सकती त त से मैं आपकी आपकी आपकी सह सह सह
   Πελάτης : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहााा क्या आप मुझे कुछ अच्छे लोकेशन के बारस लोकेशन के बारर
   Πράκτορας :हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम
   Πελάτης : हाँ बढिया थैंक यू मैं अगले सैट सैटरडे और संडे को ट्राई करूँगा।
   Πράκτορας : एक सजेशन वीकेंड में ट्रैफिक ज्याकेंड में ट्रैफिक ज्यादााकें
   Πελάτης : सिरियसली एनी टिप्स Κοτόπουλο शेर
   Πράκτορας : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   Πελάτης : ग्रेट आइडिया थैंक्यू सो मच।Οι επισημασμένες λέξεις είναι αυτές που το προεπιλεγμένο μοντέλο Amazon Transcribe δεν έκανε σωστά.
4. Δημιουργήστε ένα άλλο αρχείο κειμένου με όνομα reference.txt, αντικαθιστώντας τις επισημασμένες λέξεις με τις επιθυμητές λέξεις που περιμένετε να δείτε στη μεταγραφή:
   Πελάτης : हेलो,
   Πράκτορας : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंं से मैं . लावन्या बात कर @ हूँ किस त त से मैं आपकी आपकी सह सह सह क सकती हूँ हूँ से से आपकी आपकी आपकी सह सह सह क सकती सकती त से से आपकी आपकी आपकी सह सह सह क सकती त त से मैं आपकी आपकी आपकी सह सह सह
   Πελάτης : मैं बहुत दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहााा क्या आप मुझे कुछ अच्छे लोकेशन के बारस लोकेशन के बारर
   Πράκτορας : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम
   Πελάτης : हाँ बढिया थैंक यू मैं अगले सैट सैटरडे और संडे को ट्राई करूँगा।
   Πράκτορας : एक सजेशन वीकेंड में ट्रैफिक ज्याकेंड में ट्रैफिक ज्यादााकें
   Πελάτης : सिरियसली एनी टिप्स यू केन शेर
   Πράκτορας : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   Πελάτης : ग्रेट आइडिया थैंक्यू सो मच।
5. Χρησιμοποιήστε την ακόλουθη εντολή για να συγκρίνετε τα αρχεία κειμένου αναφοράς και υπόθεσης που δημιουργήσατε:

   wer -i reference.txt hypothesis.txt

   Λαμβάνετε την ακόλουθη έξοδο:

   REF: customer : हेलो,
   
   HYP: customer : हेलो,
   
   SENTENCE 1
   
   Correct = 100.0% 3 ( 3)
   
   Errors = 0.0% 0 ( 3)
   
   REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।
   
   SENTENCE 2
   
   Correct = 84.0% 21 ( 25)
   
   Errors = 16.0% 4 ( 25)
   
   REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?
   
   SENTENCE 3
   
   Correct = 96.0% 24 ( 25)
   
   Errors = 8.0% 2 ( 25)
   
   REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।
   
   SENTENCE 4
   
   Correct = 83.3% 20 ( 24)
   
   Errors = 16.7% 4 ( 24)
   
   REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।
   
   SENTENCE 5
   
   Correct = 100.0% 14 ( 14)
   
   Errors = 0.0% 0 ( 14)
   
   REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।
   
   SENTENCE 6
   
   Correct = 100.0% 12 ( 12)
   
   Errors = 0.0% 0 ( 12)
   
   REF: customer : सिरियसली एनी टिप्स यू केन शेर
   
   HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर
   
   SENTENCE 7
   
   Correct = 75.0% 6 ( 8)
   
   Errors = 25.0% 2 ( 8)
   
   REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।
   
   HYP: agent : आप टेक्सी यूस कर लो ड्रैब और पार्किंग का प्राब्लम नहीं होगा।
   
   SENTENCE 8
   
   Correct = 92.9% 13 ( 14)
   
   Errors = 7.1% 1 ( 14)
   
   REF: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।
   
   SENTENCE 9
   
   Correct = 100.0% 7 ( 7)
   
   Errors = 0.0% 0 ( 7)
   
   Sentence count: 9
   
   WER: 9.848% ( 13 / 132)
   
   WRR: 90.909% ( 120 / 132)
   
   SER: 55.556% ( 5 / 9)

Η εντολή wer συγκρίνει κείμενο από τα αρχεία reference.txt και hypothesis.txt. Αναφέρει σφάλματα για κάθε πρόταση και επίσης τον συνολικό αριθμό σφαλμάτων (WER: 9.848% ( 13 / 132)) σε ολόκληρη τη μεταγραφή.

Από το προηγούμενο αποτέλεσμα, αναφέρθηκαν 13 σφάλματα από 132 λέξεις στη μεταγραφή. Αυτά τα σφάλματα μπορεί να είναι τριών τύπων:

• Σφάλματα αντικατάστασης – Αυτά συμβαίνουν όταν το Amazon Transcribe γράφει μια λέξη στη θέση μιας άλλης. Για παράδειγμα, στη μεταγραφή μας, η λέξη «महीना (Mahina)» γράφτηκε αντί για «मिनार (Minar)» στην πρόταση 4.
• Σφάλματα διαγραφής – Αυτά συμβαίνουν όταν το Amazon Transcript χάνει μια λέξη εξ ολοκλήρου στη μεταγραφή. Στη μεταγραφή μας, η λέξη "सौथ (Νότος)» παραλείφθηκε στην πρόταση 2.
• Σφάλματα εισαγωγής – Αυτά συμβαίνουν όταν το Amazon Transcribe εισάγει μια λέξη που δεν ειπώθηκε. Δεν βλέπουμε σφάλματα εισαγωγής στη μεταγραφή μας.

Παρατηρήσεις από τη μεταγραφή που δημιουργήθηκε από το προεπιλεγμένο μοντέλο

Μπορούμε να κάνουμε τις ακόλουθες παρατηρήσεις με βάση τη μεταγραφή:

• Το συνολικό WER είναι 9.848%, δηλαδή το 90.152% των λέξεων έχουν μεταγραφεί με ακρίβεια.
• Το προεπιλεγμένο μοντέλο Χίντι μετέγραψε με ακρίβεια τις περισσότερες αγγλικές λέξεις. Αυτό συμβαίνει επειδή το προεπιλεγμένο μοντέλο είναι εκπαιδευμένο να αναγνωρίζει τις πιο συνηθισμένες αγγλικές λέξεις από το κουτί. Το μοντέλο έχει επίσης εκπαιδευτεί να αναγνωρίζει τη γλώσσα Hinglish, όπου οι αγγλικές λέξεις εμφανίζονται τυχαία σε συνομιλίες Χίντι. Για παράδειγμα:
  • गुड मोर्निग – Καλημέρα (πρόταση 2).
  • ट्रेवल एजेंसी – Ταξιδιωτικό γραφείο (πρόταση 2).
  • ग्रेट आइडिया थैंक्यू सो मच – Υπέροχη ιδέα ευχαριστώ πολύ (πρόταση 9).
• Η πρόταση 4 έχει τα περισσότερα λάθη, τα οποία είναι τα ονόματα των τοποθεσιών στην ινδική πόλη Hyderabad:
  • हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम

Στο επόμενο βήμα, δείχνουμε πώς να διορθώσετε τις επισημασμένες λέξεις στην προηγούμενη πρόταση χρησιμοποιώντας προσαρμοσμένο λεξιλόγιο στο Amazon Transcribe:

• चार महीना (Απανθρακώνω Μαίνα) πρέπει να είναι चार मिनार (Απανθρακώνω Υπονομεύουν)
• Στρογγυλόकुंडा फोर (Γκολcuκαι Φοur) πρέπει να είναι गोलकोंडा फोर्ट (Γκολcoκαι Φοrt)
• सलार जंग (Salar Jung) θα έπρεπε να είναι सालार जंग (Σάαλαρ Γιουνγκ)

Εκπαιδεύστε το προεπιλεγμένο μοντέλο με ένα προσαρμοσμένο λεξιλόγιο

Προς την δημιουργήστε ένα προσαρμοσμένο λεξιλόγιο, πρέπει να δημιουργήσετε ένα αρχείο κειμένου σε μορφή πίνακα με τις λέξεις και τις φράσεις για να εκπαιδεύσετε το προεπιλεγμένο μοντέλο Amazon Transcribe. Ο πίνακας σας πρέπει να περιέχει και τις τέσσερις στήλες (Phrase, SoundsLike, IPA, να DisplayAs), αλλά το Phrase Η στήλη είναι η μόνη που πρέπει να περιέχει μια καταχώρηση σε κάθε σειρά. Μπορείτε να αφήσετε κενές τις άλλες στήλες. Κάθε στήλη πρέπει να διαχωρίζεται με έναν χαρακτήρα καρτέλας, ακόμα κι αν κάποιες στήλες παραμένουν κενές. Για παράδειγμα, αν αφήσετε το IPA και SoundsLike στήλες κενές για μια σειρά, το Phrase και DisplaysAs οι στήλες σε αυτή τη σειρά πρέπει να διαχωρίζονται με τρεις χαρακτήρες καρτέλας (μεταξύ Phrase και IPA, IPA και SoundsLike, να SoundsLike και DisplaysAs).

Για να εκπαιδεύσετε το μοντέλο με ένα προσαρμοσμένο λεξιλόγιο, ολοκληρώστε τα παρακάτω βήματα:

1. Δημιουργήστε ένα αρχείο που ονομάζεται HindiCustomVocabulary.txt με το ακόλουθο περιεχόμενο.

   Φράση IPA Soundslike DisplayAs गोलकुंडा-फोर गोलकोंडा फोर्ट सालार-जंग सा-ρακ-जंग सालार जंग चार-ρακ चार मिनार

   Μπορείτε να χρησιμοποιήσετε μόνο χαρακτήρες που υποστηρίζονται για τη γλώσσα σας. Ανατρέξτε στη γλώσσα σας σετ χαρακτήρα για λεπτομέρειες.

   Οι στήλες περιέχουν τις ακόλουθες πληροφορίες:

   1. Phrase – Περιέχει τις λέξεις ή τις φράσεις που θέλετε να μεταγράψετε με ακρίβεια. Οι επισημασμένες λέξεις ή φράσεις στη μεταγραφή που δημιουργήθηκε από το προεπιλεγμένο μοντέλο Amazon Transcribe εμφανίζονται σε αυτήν τη στήλη. Αυτές οι λέξεις είναι γενικά αρκτικόλεξα, ουσιαστικά ή λέξεις και φράσεις που αφορούν συγκεκριμένο τομέα, τις οποίες το προεπιλεγμένο μοντέλο δεν γνωρίζει. Αυτό είναι ένα υποχρεωτικό πεδίο για κάθε σειρά στον πίνακα προσαρμοσμένου λεξιλογίου. Στη μεταγραφή μας, για να διορθώσετε το "गोलकुंडा फोर (Golcunda Four)" από την πρόταση 4, χρησιμοποιήστε το "गोलकुंडा-फोर αυτή τη στήλη (Gol)cu in this στήλη. Εάν η καταχώρισή σας περιέχει πολλές λέξεις, διαχωρίστε κάθε λέξη με μια παύλα (-). μην χρησιμοποιείτε κενά.
   2. IPA – Περιέχει τις λέξεις ή τις φράσεις που αντιπροσωπεύουν ήχους ομιλίας στη γραπτή μορφή. Η στήλη είναι προαιρετική. μπορείτε να αφήσετε κενές τις σειρές του. Αυτή η στήλη προορίζεται για φωνητική ορθογραφία χρησιμοποιώντας μόνο χαρακτήρες στο Διεθνές Φωνητικό Αλφάβητο (IPA). Ανατρέξτε στο σύνολο χαρακτήρων Χίντι για τους επιτρεπόμενους χαρακτήρες IPA για τη γλώσσα Χίντι. Στο παράδειγμά μας, δεν χρησιμοποιούμε IPA. Εάν έχετε μια καταχώρηση σε αυτή τη στήλη, SoundsLike η στήλη πρέπει να είναι κενή.
   3. SoundsLike – Περιέχει λέξεις ή φράσεις που αναλύονται σε μικρότερα κομμάτια (συνήθως βασίζονται σε συλλαβές ή κοινές λέξεις) για να παρέχει μια προφορά για κάθε κομμάτι με βάση τον τρόπο που ακούγεται αυτό το κομμάτι. Αυτή η στήλη είναι προαιρετική. μπορείτε να αφήσετε κενές τις σειρές. Προσθέστε περιεχόμενο σε αυτήν τη στήλη μόνο εάν η καταχώρισή σας περιλαμβάνει μια μη τυπική λέξη, όπως μια επωνυμία ή για να διορθώσετε μια λέξη που μεταγράφεται εσφαλμένα. Στη μεταγραφή μας, για να διορθώσετε το "सलार जंग (Salar Jung)" από την πρόταση 4, χρησιμοποιήστε "सा-लार-जंग (Saa-lar-jung)" σε αυτήν τη στήλη. Μην χρησιμοποιείτε κενά σε αυτήν τη στήλη. Εάν έχετε μια καταχώρηση σε αυτή τη στήλη, IPA η στήλη πρέπει να είναι κενή.
   4. DisplaysAs – Περιέχει λέξεις ή φράσεις με την ορθογραφία που θέλετε να δείτε στην έξοδο μεταγραφής για τις λέξεις ή φράσεις στο Phrase πεδίο. Αυτή η στήλη είναι προαιρετική. μπορείτε να αφήσετε κενές τις σειρές. Εάν δεν προσδιορίσετε αυτό το πεδίο, το Amazon Transcribe χρησιμοποιεί τα περιεχόμενα του Phrase πεδίο στο αρχείο εξόδου. Για παράδειγμα, στη μεταγραφή μας, για να διορθώσετε το "गोलकुंडा फोर (Golcunda Four)" από την πρόταση 4, χρησιμοποιήστε το "गोलकोंडा फोट" σε αυτήν τη στήλη.
2. Μεταφόρτωση το αρχείο κειμένου (HindiCustomVocabulary.txt) σε έναν κάδο S3. Τώρα δημιουργούμε ένα προσαρμοσμένο λεξιλόγιο στο Amazon Transcribe.
3. Στην κονσόλα Amazon Transcribe, επιλέξτε Προσαρμοσμένο λεξιλόγιο στο παράθυρο πλοήγησης.
4. Για Όνομα, πληκτρολογήστε ένα όνομα.
5. Για Γλώσσα, επιλέξτε Χίντι, IN (hi-IN).
6. Για Πηγή εισαγωγής λεξιλογίου, Επιλέξτε S3 τοποθεσία.
7. Για Θέση αρχείου λεξιλογίου στο S3, εισάγετε τη διαδρομή S3 του HindiCustomVocabulary.txt αρχείο.
8. Επιλέξτε Δημιουργήστε λεξιλόγιο.
9. Μεταγράψτε το SampleAudio.wav αρχείο με το προσαρμοσμένο λεξιλόγιο, με τις ακόλουθες παραμέτρους:
   1. Για Όνομα εργασίας , εισαγω SampleAudioCustomVocabulary.
   2. Για Γλώσσα, επιλέξτε Χίντι, IN (hi-IN).
   3. Για Εισαγάγετε τη θέση του αρχείου στο S3, περιηγηθείτε στην τοποθεσία του SampleAudio.wav.
   4. Για IAM ρόλο, Επιλέξτε Χρησιμοποιήστε έναν υπάρχοντα ρόλο IAM και επιλέξτε τον ρόλο που δημιουργήσατε νωρίτερα.
   5. Στο Διαμόρφωση εργασίας , επιλέξτε Προσαρμοσμένο λεξιλόγιο και επιλέξτε το προσαρμοσμένο λεξιλόγιο HindiCustomVocabulary.
10. Επιλέξτε Δημιουργήστε εργασία.

Μετρήστε την ακρίβεια του μοντέλου μετά τη χρήση προσαρμοσμένου λεξιλογίου

Αντιγράψτε τη μεταγραφή από τη σελίδα λεπτομερειών εργασίας Amazon Transcribe σε ένα αρχείο κειμένου με το όνομα hypothesis-custom-vocabulary.txt:

Πελάτης : हेलो,

Πράκτορας : गुड मोर्निग इंडिया ट्रेवल एजेंसी सी लावन्या बात कर @ हूँ किस त त से मैं आपकी आपकी सह सह सह क सकती हूँ हूँ से से आपकी आपकी आपकी सह सह सह क सकती सकती त से मैं आपकी आपकी आपकी सह सह सह क सकती त त से मैं आपकी आपकी आपकी सह सह सह

Πελάτης : मैं बहुत दिनों उनसे हैद हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारस लोकेशन के बारर

Πράκτορας : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम

Πελάτης : हाँ बढिया थैंक यू मैं अगले सैट सैटरडे और संडे को ट्राई करूँगा।

Πράκτορας : एक सजेशन वीकेंड में ट्रैफिक ज्याकेंड में ट्रैफिक ज्यादााकें

Πελάτης : सिरियसली एनी टिप्स चिकन शेर

Πράκτορας : आप टेक्सी यूस कर लो ड्रैब और पार्कस कर लो ड्रैब और पार्किि ं होगा।

Πελάτης : ग्रेट आइडिया थैंक्यू सो मच।

Σημειώστε ότι οι επισημασμένες λέξεις μεταγράφονται όπως θέλετε.

Εκτελέστε το wer εντολή ξανά με τη νέα μεταγραφή:

wer -i reference.txt hypothesis-custom-vocabulary.txt

Λαμβάνετε την ακόλουθη έξοδο:

REF: customer : हेलो,

HYP: customer : हेलो,

SENTENCE 1

Correct = 100.0% 3 ( 3)

Errors = 0.0% 0 ( 3)

REF: agent : गुड मोर्निग सौथ इंडिया ट्रेवल एजेंसी से मैं । लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

HYP: agent : गुड मोर्निग *** इंडिया ट्रेवल एजेंसी ** सेम है। लावन्या बात कर रही हूँ किस तरह से मैं आपकी सहायता कर सकती हूँ।

SENTENCE 2

Correct = 84.0% 21 ( 25)

Errors = 16.0% 4 ( 25)

REF: customer : मैं बहुत ***** दिनोंसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

HYP: customer : मैं बहुत दिनों उनसे हैदराबाद ट्रेवल के बारे में सोच रहा था। क्या आप मुझे कुछ अच्छे लोकेशन के बारे में बता सकती हैं?

SENTENCE 3

Correct = 96.0% 24 ( 25)

Errors = 8.0% 2 ( 25)

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

REF: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

HYP: customer : हाँ बढिया थैंक यू मैं अगले सैटरडे और संडे को ट्राई करूँगा।

SENTENCE 5

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

HYP: agent : एक सजेशन वीकेंड में ट्रैफिक ज्यादा रहने के चांसेज है।

SENTENCE 6

Correct = 100.0% 12 ( 12)

Errors = 0.0% 0 ( 12)

REF: customer : सिरियसली एनी टिप्स यू केन शेर

HYP: customer : सिरियसली एनी टिप्स ** चिकन शेर

SENTENCE 7

Correct = 75.0% 6 ( 8)

Errors = 25.0% 2 ( 8)

REF: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

HYP: agent : आप टेक्सी यूस कर लो ड्रैव और पार्किंग का प्राब्लम नहीं होगा।

SENTENCE 8

Correct = 100.0% 14 ( 14)

Errors = 0.0% 0 ( 14)

REF: customer : ग्रेट आइडिया थैंक्यू सो मच।

HYP: customer : ग्रेट आइडिया थैंक्यू सो मच।

SENTENCE 9

Correct = 100.0% 7 ( 7)

Errors = 0.0% 0 ( 7)

Sentence count: 9

WER: 6.061% ( 8 / 132)

WRR: 94.697% ( 125 / 132)

SER: 33.333% ( 3 / 9)

Παρατηρήσεις από τη μεταγραφή που δημιουργήθηκε με προσαρμοσμένο λεξιλόγιο

Το συνολικό WER είναι 6.061%, δηλαδή το 93.939% των λέξεων έχουν μεταγραφεί με ακρίβεια.

Ας συγκρίνουμε την έξοδο wer για την πρόταση 4 με και χωρίς προσαρμοσμένο λεξιλόγιο. Το παρακάτω είναι χωρίς προσαρμοσμένο λεξιλόγιο:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार महीना गोलकुंडा फोर सलार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 83.3% 20 ( 24)

Errors = 16.7% 4 ( 24)

Το παρακάτω είναι με προσαρμοσμένο λεξιλόγιο:

REF: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

HYP: agent : हाँ बिल्कुल। हैदराबाद में बहुत सारे प्लेस है। उनमें से चार मिनार गोलकोंडा फोर्ट सालार जंग म्यूजियम और बिरला प्लेनेटोरियम मशहूर है।

SENTENCE 4

Correct = 100.0% 24 ( 24)

Errors = 0.0% 0 ( 24)

Δεν υπάρχουν σφάλματα στην πρόταση 4. Τα ονόματα των τοποθεσιών μεταγράφονται με ακρίβεια με τη βοήθεια προσαρμοσμένου λεξιλογίου, μειώνοντας έτσι το συνολικό WER από 9.848% σε 6.061% για αυτό το αρχείο ήχου. Αυτό σημαίνει ότι η ακρίβεια της μεταγραφής βελτιώθηκε κατά σχεδόν 4%.

Πώς το προσαρμοσμένο λεξιλόγιο βελτίωσε την ακρίβεια

Χρησιμοποιήσαμε το ακόλουθο προσαρμοσμένο λεξιλόγιο:

Phrase IPA SoundsLike DisplayAs

गोलकुंडा-फोर गोलकोंडा फोर्ट

सालार-जंग सा-लार-जंग सालार जंग

चार-महीना चार मिनार

Το Amazon Transcribe ελέγχει εάν υπάρχουν λέξεις στο αρχείο ήχου που ακούγονται σαν τις λέξεις που αναφέρονται στο Phrase στήλη. Στη συνέχεια, το μοντέλο χρησιμοποιεί τις εγγραφές στο IPA, SoundsLike, να DisplaysAs στήλες για τη μεταγραφή αυτών των συγκεκριμένων λέξεων με την επιθυμητή ορθογραφία.

Με αυτό το προσαρμοσμένο λεξιλόγιο, όταν το Amazon Transcribe προσδιορίζει μια λέξη που ακούγεται σαν "गोलकुंडा-फोर (Golcunda-Τέσσερα)," μεταγράφει αυτή τη λέξη ως "गोलकोकुंडा-फोर (Golcunda-Four)," μεταγράφει αυτή τη λέξη ως "गोलकोंंर".

συστάσεις

Η ακρίβεια της μεταγραφής εξαρτάται επίσης από παραμέτρους όπως η προφορά των ηχείων, τα επικαλυπτόμενα ηχεία, η ταχύτητα ομιλίας και ο θόρυβος του περιβάλλοντος. Επομένως, σας συνιστούμε να ακολουθήσετε τη διαδικασία με μια ποικιλία κλήσεων (με διαφορετικούς πελάτες, αντιπροσώπους, διακοπές κ.λπ.) που καλύπτουν τις πιο συχνά χρησιμοποιούμενες λέξεις για συγκεκριμένο τομέα για να δημιουργήσετε ένα ολοκληρωμένο προσαρμοσμένο λεξιλόγιο.

Σε αυτήν την ανάρτηση, μάθαμε τη διαδικασία βελτίωσης της ακρίβειας της μεταγραφής μιας κλήσης ήχου χρησιμοποιώντας προσαρμοσμένο λεξιλόγιο. Για να επεξεργάζεστε χιλιάδες εγγραφές κλήσεων στο κέντρο επικοινωνίας κάθε μέρα, μπορείτε να χρησιμοποιήσετε αναλυτικά στοιχεία μετά την κλήση, μια πλήρως αυτοματοποιημένη, επεκτάσιμη και οικονομικά αποδοτική λύση από άκρο σε άκρο που φροντίζει για το μεγαλύτερο μέρος της ανύψωσης βαρέων βαρών. Απλώς ανεβάζετε τα αρχεία ήχου σας σε έναν κάδο S3 και μέσα σε λίγα λεπτά, η λύση παρέχει αναλυτικά στοιχεία κλήσεων όπως συναίσθημα σε μια διεπαφή ιστού. Τα αναλυτικά στοιχεία μετά την κλήση παρέχουν χρήσιμες πληροφορίες για τον εντοπισμό των αναδυόμενων τάσεων, τον εντοπισμό ευκαιριών καθοδήγησης αντιπροσώπων και την αξιολόγηση του γενικού αισθήματος των κλήσεων. Τα αναλυτικά στοιχεία μετά την κλήση είναι ένα λύση ανοιχτού κώδικα που μπορείτε να αναπτύξετε χρησιμοποιώντας AWS CloudFormation.

Λάβετε υπόψη ότι τα προσαρμοσμένα λεξιλόγια δεν χρησιμοποιούν το πλαίσιο στο οποίο εκφωνήθηκαν οι λέξεις, εστιάζουν μόνο σε μεμονωμένες λέξεις που παρέχετε. Για να βελτιώσετε περαιτέρω την ακρίβεια, μπορείτε να χρησιμοποιήσετε μοντέλα προσαρμοσμένης γλώσσας. Σε αντίθεση με τα προσαρμοσμένα λεξιλόγια, τα οποία συσχετίζουν την προφορά με την ορθογραφία, τα προσαρμοσμένα μοντέλα γλώσσας μαθαίνουν το πλαίσιο που σχετίζεται με μια δεδομένη λέξη. Αυτό περιλαμβάνει το πώς και πότε χρησιμοποιείται μια λέξη και τη σχέση που έχει μια λέξη με άλλες λέξεις. Για να δημιουργήσετε ένα προσαρμοσμένο μοντέλο γλώσσας, μπορείτε να χρησιμοποιήσετε τις μεταγραφές που προέρχονται από τη διαδικασία που μάθαμε για μια ποικιλία κλήσεων και να τις συνδυάσετε με περιεχόμενο από τους ιστότοπούς σας ή με εγχειρίδια χρήστη που περιέχει λέξεις και φράσεις για συγκεκριμένο τομέα.

Για να επιτύχετε την υψηλότερη ακρίβεια μεταγραφής με μαζικές μεταγραφές, μπορείτε να χρησιμοποιήσετε προσαρμοσμένα λεξιλόγια σε συνδυασμό με τα προσαρμοσμένα μοντέλα γλώσσας σας.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρέχουμε λεπτομερή βήματα για την ακριβή επεξεργασία αρχείων ήχου Χίντι που περιέχουν αγγλικές λέξεις χρησιμοποιώντας αναλυτικά στοιχεία κλήσεων και προσαρμοσμένα λεξιλόγια στο Amazon Transcribe. Μπορείτε να χρησιμοποιήσετε αυτά τα ίδια βήματα για να επεξεργαστείτε ηχητικές κλήσεις με οποιαδήποτε γλώσσα που υποστηρίζεται από το Amazon Transcribe.

Αφού εξαγάγετε τις μεταγραφές με την επιθυμητή ακρίβεια, μπορείτε να βελτιώσετε τις συνομιλίες αντιπροσώπου-πελάτη εκπαιδεύοντας τους αντιπροσώπους σας. Μπορείτε επίσης να κατανοήσετε τα συναισθήματα και τις τάσεις των πελατών σας. Με τη βοήθεια των δυνατοτήτων diarization ηχείων, ανίχνευσης έντασης και φιλτραρίσματος λεξιλογίου στα αναλυτικά στοιχεία κλήσεων, μπορείτε να προσδιορίσετε εάν ήταν ο αντιπρόσωπος ή ο πελάτης που αύξησε τον τόνο του ή είπε συγκεκριμένες λέξεις. Μπορείτε να κατηγοριοποιήσετε τις κλήσεις με βάση λέξεις που αφορούν συγκεκριμένους τομείς, να συλλάβετε πληροφορίες που μπορούν να χρησιμοποιηθούν και να εκτελέσετε αναλυτικά στοιχεία για να βελτιώσετε τα προϊόντα σας. Τέλος, μπορείτε να μεταφράσετε τις μεταγραφές σας στα αγγλικά ή σε άλλες υποστηριζόμενες γλώσσες της επιλογής σας χρησιμοποιώντας Amazon Μετάφραση.

Σχετικά με τους Συγγραφείς

Σαράτ Γκουτικόντα είναι αρχιτέκτονας λύσεων Sr. στον Παγκόσμιο Δημόσιο Τομέα της AWS. Η Sarat απολαμβάνει να βοηθά τους πελάτες να αυτοματοποιούν, να διαχειρίζονται και να κυβερνούν τους πόρους τους στο cloud χωρίς να θυσιάζεται η επιχειρηματική ευελιξία. Στον ελεύθερο χρόνο του λατρεύει να φτιάχνει Lego με τον γιο του και να παίζει πινγκ πονγκ.

Lavanya Sood είναι αρχιτέκτονας λύσεων στον παγκόσμιο δημόσιο τομέα της AWS με έδρα το Νέο Δελχί της Ινδίας. Η Lavanya απολαμβάνει να μαθαίνει νέες τεχνολογίες και να βοηθά τους πελάτες στο ταξίδι υιοθέτησης του cloud. Στον ελεύθερο χρόνο της λατρεύει τα ταξίδια και να δοκιμάζει διάφορα φαγητά.