Δημιουργήστε μια πολύγλωσση ροή εργασίας μετάφρασης εγγράφων με προσαρμογή για συγκεκριμένο τομέα και γλώσσα

Στον ψηφιακό κόσμο, η παροχή πληροφοριών σε μια τοπική γλώσσα δεν είναι πρωτότυπη, αλλά μπορεί να είναι μια κουραστική και δαπανηρή εργασία. Οι εξελίξεις στη μηχανική εκμάθηση (ML) και στην επεξεργασία φυσικής γλώσσας (NLP) έχουν κάνει αυτό το έργο πολύ πιο εύκολο και λιγότερο δαπανηρό.

Έχουμε δει αυξημένη υιοθέτηση της ML για πολύγλωσσους φόρτους εργασίας δεδομένων και επεξεργασίας εγγράφων. Οι εταιρικοί και κρατικοί πελάτες μεταφέρουν τον φόρτο εργασίας τους για μη αυτόματη μετάφραση για να επωφεληθούν από τις αυτοματοποιημένες υπηρεσίες μετάφρασης ML. Το Amazon Translate είναι ένα νευρική μηχανική μετάφραση υπηρεσία που παρέχει γρήγορη, υψηλής ποιότητας και προσιτή γλωσσική μετάφραση μεταξύ πολλών χιλιάδων γλωσσικών ζευγών που μπορούν να χρησιμοποιηθούν για εργασίες σύγχρονης (σε πραγματικό χρόνο) ή ασύγχρονη μετάφραση. Για μια πλήρη λίστα με τα διαθέσιμα ζεύγη μετάφρασης, ανατρέξτε στο Υποστηριζόμενες γλώσσες και κωδικοί γλώσσας.

Οι πελάτες που μεταφέρουν και εκσυγχρονίζουν το μεταφραστικό φόρτο εργασίας τους χρειάζονται τη δυνατότητα να προσαρμόζουν τις μεταφράσεις για τον επιχειρηματικό τους τομέα. Ένας φόρτος εργασίας μετάφρασης μπορεί επίσης να χρειάζεται την ικανότητα προσαρμογής στις τοπικές διαλέκτους ή τη χρήση της γλώσσας. Για παράδειγμα, η ισπανική μετάφραση του «ηλικιωμένου» είναι anciano(a), αλλά στο Πουέρτο Ρίκο προτιμάται η λέξη envejeciente.

Σε αυτήν την ανάρτηση, δείχνουμε πώς να ενσωματώσετε τη δυνατότητα Active Custom Translation (ACT) της Amazon Translate. Προτείνουμε μια λύση για τη δημιουργία μιας πολύγλωσσης ροής εργασίας μετάφρασης εγγράφων με προσαρμογές για συγκεκριμένο τομέα και γλώσσα, τις οποίες μπορείτε να αναθεωρήσετε και να επαυξήσετε όπως απαιτείται για να βελτιώνετε συνεχώς τα αποτελέσματα και να ευχαριστείτε τους τελικούς χρήστες.

Επισκόπηση λύσεων

Το ACT παράγει προσαρμοσμένα μεταφρασμένα αποτελέσματα χωρίς την ανάγκη δημιουργίας και διατήρησης προσαρμοσμένου μοντέλου μετάφρασης. Χρησιμοποιώντας το ACT, το Amazon Translate θα χρησιμοποιήσει τα προτιμώμενα παραδείγματα μετάφρασης ως παράλληλα δεδομένα για να προσαρμόσει το μεταφραστικό σας αποτέλεσμα, εξαλείφοντας τον χρόνο και το κόστος που απαιτείται για τη δημιουργία και την εκπαίδευση ενός νέου μοντέλου μηχανικής εκμάθησης.

Η λύση που καλύπτεται σε αυτήν την ανάρτηση εξηγεί πώς μπορείτε να δημιουργήσετε μια ροή εργασιών που χρησιμοποιεί ο άνθρωπος Amazon Augmented AI (Amazon A2I) για συνεχή βελτίωση της προσαρμοσμένης μετάφρασης. Το Amazon A2I παρέχει έναν απλό τρόπο ενσωμάτωσης της ανθρώπινης επίβλεψης στις ροές εργασίας ML, χωρίς να απαιτείται εμπειρία ML. Το Amazon A2I καθιστά εύκολη την ενσωμάτωση της ανθρώπινης κρίσης και της τεχνητής νοημοσύνης σε οποιαδήποτε εφαρμογή ML, ανεξάρτητα από το αν εκτελείται σε AWS ή σε άλλη πλατφόρμα.

Για περισσότερες πληροφορίες ανατρέξτε στο Σχεδιασμός ροών εργασιών ανθρώπινης αναθεώρησης με το Amazon Translate και το Amazon Augmented AI Θέση.

Το παρακάτω διάγραμμα εμφανίζει τη ροή εντολών και τη ροή δεδομένων της λύσης. Η ροή εντολών δείχνει τη λογική ακολουθία γεγονότων στη ροή εργασίας. Μια ροή δεδομένων υποδεικνύει πώς δημιουργούνται ή χρησιμοποιούνται δεδομένα από διάφορα στοιχεία της λύσης.

Το ακόλουθο διάγραμμα ακολουθίας δείχνει δύο ξεχωριστές διεργασίες στη λύση: τη ροή εργασιών μετάφρασης (A) και τη διαδικασία ενημέρωσης παράλληλων δεδομένων (Β).

Η ροή εργασιών μετάφρασης ξεκινά από ένα amazoncloudwatch προγραμματισμένο συμβάν που ξεκινά το Translation Job Invoker AWS Lambda λειτουργία. Αυτή η συνάρτηση δημιουργεί μια εργασία ασύγχρονης μετάφρασης στο Amazon Translate, περνώντας κατά μήκος του εγγράφου για μετάφραση και τη θέση των παράλληλων δεδομένων για την προσαρμογή της μετάφρασης. Η εργασία μετάφρασης διαβάζει τα παράλληλα δεδομένα, εκτελεί τη μετάφραση και εγγράφει το μεταφρασμένο αποτέλεσμα πίσω στο an Amazon S3 κάδος. Από τη σύνταξη αυτού του άρθρου, μόνο οι εργασίες ασύγχρονης μετάφρασης μπορούν να χρησιμοποιούν παράλληλα δεδομένα.

Όταν ολοκληρωθεί η εργασία μετάφρασης, δημιουργείται ένα συμβάν που ενεργοποιεί τη λειτουργία Lambda Handler Completion Translation. Αυτή η συνάρτηση δημιουργεί έναν βρόχο ανθρώπινης ροής εργασίας—το κύριο στοιχείο του τμήματος Amazon A2I της ροής εργασίας.

Οι ανθρώπινοι αναθεωρητές αξιολογούν τη μετάφραση και αποδέχονται ή τροποποιούν τη μετάφραση. Τυχόν διορθώσεις χρησιμοποιούνται για την ενημέρωση του μεταφρασμένου εγγράφου και προστίθενται επίσης σε ένα λεξικό προσαρμογής. Όταν οριστικοποιηθεί η αναθεώρηση, δημιουργείται ένα άλλο συμβάν για την ενεργοποίηση της λειτουργίας "Χειριστής ολοκλήρωσης ροής εργασιών". Αυτή η λειτουργία γράφει το πιο πρόσφατο μεταφρασμένο έγγραφο στο Amazon S3. Τα δεδομένα προσαρμογής χρησιμοποιούνται για την ενημέρωση ενός Amazon DynamoDB πίνακα με την πηγή και τα μεταφρασμένα ζεύγη κειμένου.

Για να κλείσουμε τον βρόχο, πρέπει να ενσωματώσουμε αυτά τα δεδομένα προσαρμογής που είναι αποθηκευμένα στο DynamoDB πίσω στα παράλληλα δεδομένα που είναι αποθηκευμένα στο Amazon S3. Για να το πετύχουμε αυτό, χρησιμοποιούμε ένα προγραμματισμένο συμβάν CloudWatch για να ενεργοποιήσουμε τη συνάρτηση Parallel Data Refresher, η οποία διαβάζει τα δεδομένα από τον πίνακα DynamoDB, τα διαμορφώνει ξανά ως παράλληλα δεδομένα και ενημερώνει τον κάδο S3, αποθηκεύοντας τα παράλληλα δεδομένα.

Αναπτύξτε τη λύση με AWS CloudFormation

Εκκινήστε το παρεχόμενο AWS CloudFormation πρότυπο για την ανάπτυξη της λύσης στον λογαριασμό σας. Αυτή η στοίβα λειτουργεί μόνο στην περιοχή us-east-1. Εάν θέλετε να αναπτύξετε αυτήν τη λύση σε άλλες Περιφέρειες, ανατρέξτε στα παρακάτω GitHub repo.

1. Επιλέξτε Εκκίνηση στοίβας:
   
2. Ακολουθήστε τις οδηγίες για να συμπληρώσετε τις απαραίτητες παραμέτρους. Εάν εκτελείτε αυτήν τη στοίβα για πρώτη φορά, Email SNS είναι η μόνη απαιτούμενη παράμετρος.
3. Στις Βαθμολογία Κριτικής σελίδα, στο Δυνατότητες ενότητα, επιλέξτε το πλαίσιο ελέγχου και επιλέξτε Δημιουργία στοίβας.

Η στοίβα δημιουργεί τα ακόλουθα βασικά στοιχεία:

• Δεδομένα προσαρμογής – Ένας πίνακας DynamoDB (translate_parallel_data) για τη διατήρηση των δεδομένων προσαρμογής. Μπορείτε να μετεγκαταστήσετε τα υπάρχοντα δεδομένα προσαρμογής σε αυτόν τον πίνακα. Αυτός ο πίνακας χρησιμοποιείται για τη συνεχή προσθήκη και ενημέρωση προσαρμογών.
• Παράλληλη ανανέωση δεδομένων – Η λειτουργία Lambda για τη μετατροπή των δεδομένων προσαρμογής στον πίνακα DynamoDB σε παράλληλη μορφή δεδομένων—CSV, TSV ή TMX— και την αποθήκευση στο Amazon S3. Δημιουργεί και ενημερώνει παράλληλα δεδομένα με το νέο αρχείο παράλληλων δεδομένων στο Amazon S3.
• Μεταφραστής εργασίας – Η συνάρτηση Lambda για να ξεκινήσει η μαζική εργασία Μετάφρασης Amazon με παράλληλα δεδομένα.
• Χειριστής ολοκλήρωσης εργασίας μετάφρασης – Αυτή η λειτουργία Lambda ενεργοποιείται όταν ολοκληρωθεί η μαζική εργασία Μετάφρασης Amazon. Η συνάρτηση δημιουργεί έναν ανθρώπινο βρόχο ανά έγγραφο (θα το κάνουμε πιο συγκεκριμένο στο μέλλον για να δημιουργήσουμε έναν ανθρώπινο βρόχο μόνο για ένα επιλεγμένο ποσοστό εγγράφων που υποβάλλονται σε επεξεργασία). Χρησιμοποιεί τα πρωτότυπα και μεταφρασμένα έγγραφα για να δημιουργήσει τον ανθρώπινο βρόχο.
• Προσαρμοσμένο πρότυπο Amazon A2I – Αυτό το πρότυπο χρησιμοποιείται για την απόδοση του ζεύγους μετάφρασης για ανθρώπινη αναθεώρηση. Το πρότυπο έχει το Πρόσθεση επιλογή για κάθε τμήμα μετάφρασης. Οι χρήστες μπορούν να ορίσουν αυτήν την επιλογή για να προσθέσουν τις διορθώσεις στα δεδομένα προσαρμογής. Τα νέα δεδομένα προσαρμογής χρησιμοποιούνται στην επόμενη εργασία ομαδικής μετάφρασης.
• Χειριστής ολοκλήρωσης ροής εργασιών – Αυτή η λειτουργία Λάμδα ενεργοποιείται όταν ολοκληρωθεί η ανθρώπινη ροή εργασίας. Η λειτουργία ενημερώνει το μεταφρασμένο έγγραφο με διορθώσεις και ελέγχει για παράλληλες ενημερώσεις δεδομένων. Νέα παράλληλα δεδομένα προστίθενται στον πίνακα DynamoDB.
• Ιδιωτική ομάδα Amazon A2I – Δημιουργείται μια ιδιωτική ομάδα Amazon A2I με έναν άνθρωπο εργαζόμενο χρησιμοποιώντας το παρεχόμενο email. Τα αρχικά διαπιστευτήρια αποστέλλονται μέσω email μετά την επιτυχή δημιουργία της ιδιωτικής ομάδας. Χρησιμοποιείτε αυτό το email και τα διαπιστευτήρια για να συνδεθείτε στην πύλη εργαζομένων Amazon A2I.

Δοκιμάστε τη λύση

Η sample_text.txt αρχείο θα είχε δημιουργηθεί κάτω από το πρόθεμα εισόδου του κάδου S3 που δημιουργήθηκε από τη στοίβα. Χρησιμοποιούμε αυτό το αρχείο για τις δοκιμές μας. Περιέχει το ακόλουθο περιεχόμενο:

Life insurance companies have the freedom to charge different premiums based on risk
factors that predict mortality. Purchasing a life insurance policy often entails a health 
status check or medical exam, and asking for vaccination status is not banned.

Health insurers are a different story. A slew of state and federal regulations in the 
last three decades have heavily restricted their ability to use health factors in issuing 
or pricing polices. The use of health status in any group health insurance policy is 
prohibited by law. The Affordable Care Act, passed in 2014, prevents insurers from pricing 
plans according to health – with one exception: smoking status.

Για να δοκιμάσετε τη λύση, ακολουθήστε τα παρακάτω βήματα:

1. Επικαλέστε τη λειτουργία Translation Job Invoker μη αυτόματα ή περιμένετε να ενεργοποιηθεί από το CloudWatch με βάση το πρόγραμμα cron που καθορίσατε.
   Αυτή η λειτουργία ενεργοποιεί τη μαζική εργασία Μετάφρασης Amazon. Μπορείτε να παρατηρήσετε την πρόοδο της εργασίας στην κονσόλα Amazon Translate.
   Αυτή η ομαδική εργασία διαρκεί περίπου 30 λεπτά για να ολοκληρωθεί. Όταν ολοκληρωθεί, το TextTranslationJob Το συμβάν αλλαγής κατάστασης ενεργοποιεί τη λειτουργία Translation Job Completion Handler. Αυτή η συνάρτηση δημιουργεί έναν ανθρώπινο βρόχο ανά μεταφρασμένο έγγραφο.
2. Πλοηγηθείτε με το Εργατικό δυναμικό Amazon A2I .
3. Επιλέξτε Private Tab.
   
4. Συνδεθείτε στην πύλη εργαζομένων Amazon A2I επιλέγοντας τον σύνδεσμο για URL σύνδεσης πύλης ετικετών.
5. Επιλέξτε την εργασία Human review task στη λίστα εργασιών.
6. Επιλέξτε Αρχισε να δουλεύεις, άρχισε τη δουλειά.
   
   Μπορείτε να δείτε την παρακάτω σελίδα να εμφανίζεται.
   
7. Ακολουθήστε τις οδηγίες για να κάνετε διορθώσεις για συγκεκριμένο τομέα και γλώσσα.
   Στο προηγούμενο στιγμιότυπο οθόνης, η φράση «Η χρήση της κατάστασης υγείας σε οποιοδήποτε ομαδικό ασφαλιστήριο συμβόλαιο υγείας απαγορεύεται από το νόμο» έχει μεταφραστεί σε «La ley prohíbe el uso del estado de salud en cualquier póliza de seguro médico de grupo». Αν και η μετάφραση είναι ακριβής, οι φράσεις έχουν αναδιαταχθεί.
8. Ας το τροποποιήσουμε σε "El uso del estado de salud en cualquier póliza de seguro de salud grupal está prohibido por ley" για να γίνει αυτή μια πιο άμεση μετάφραση που αντικατοπτρίζει την αρχική φρασεολογία.
9. Αγορά Πρόσθεση για να το προσθέσετε στο λεξικό.
10. Όταν τελειώσετε, επιλέξτε Υποβολη.
    

Αυτό ενεργοποιεί τη λειτουργία Workflow Completion Handler και τα δεδομένα προσαρμογής ενημερώνονται στον πίνακα DynamoDB. Η συνάρτηση αποθηκεύει επίσης τη διορθωμένη μετάφραση κάτω από το πρόθεμα μετά τις επεξεργασίες.

Μπορείτε να παρατηρήσετε τις προσαρμογές που προστίθενται translate_parallel_data πίνακα στην κονσόλα DynamoDB.

Ροή εντολών

Η λειτουργία Parallel Data Refresher ενεργοποιείται κάθε ώρα από ένα προγραμματισμένο συμβάν CloudWatch. Αυτή η λειτουργία ελέγχει για νέες ενημερώσεις στο translate_parallel_data πίνακα, δημιουργεί ένα νέο αρχείο παράλληλων δεδομένων TMX στο Amazon S3 κάτω από το parallel_data πρόθεμα και ενημερώνει το στοιχείο παράλληλων δεδομένων Μετάφρασης Amazon. Μπορείτε να ενεργοποιήσετε αυτή τη λειτουργία με μη αυτόματο τρόπο, εάν δεν θέλετε να περιμένετε για την προγραμματισμένη ενεργοποίηση συμβάντος.

Μπορείτε να παρατηρήσετε τα παράλληλα δεδομένα που ενημερώνονται στην κονσόλα Amazon Translate.

Όταν ολοκληρωθεί, η κατάσταση της εργασίας θα πρέπει να είναι Ενεργή και η τιμή για Ενημερωμένα αρχεία θα πρέπει να αντικατοπτρίζει τον αριθμό των προσαρμογών που προσθέσατε (σε αυτήν την περίπτωση 1).

Τώρα μπορούμε να εκτελέσουμε ξανά την εργασία μετάφρασης με τα ενημερωμένα δεδομένα. Ενεργοποιήστε ξανά τη λειτουργία Translation Job Invoker για να παρατηρήσετε την προσαρμογή που προστίθεται στη μετάφραση στη δεύτερη επανάληψη. Το Amazon Translate χρησιμοποιεί πλέον τα παράλληλα δεδομένα που παρέχονται για να προσαρμόσει τη μετάφραση.

Μπορείτε να παρατηρήσετε την αλλαγή στην έξοδο μετάφρασης στην πύλη ετικετών. Αντί για την προεπιλεγμένη μετάφραση, βλέπουμε να εφαρμόζεται η προσαρμοσμένη μετάφραση.

Αυτή η ροή εργασίας βοηθά στη δημιουργία ενός ενάρετου κύκλου για τη συνεχή βελτίωση της απόδοσης μετάφρασης χρησιμοποιώντας τις δυνατότητες προσαρμογής Amazon A2I και Amazon Translate.

Κόστος

Με το Amazon Translate και το Amazon A2I, πληρώνετε όσο πηγαίνετε με βάση τον αριθμό των χαρακτήρων κειμένου που επεξεργαστήκατε και για κάθε αντικείμενο που έχει υποβληθεί σε έλεγχο από ανθρώπους. Χρησιμοποιούμε DynamoDB on-demand mode για αυτό το παράδειγμα. Το DynamoDB σας χρεώνει για τις αναγνώσεις και τις εγγραφές που πραγματοποιούνται στα τραπέζια σας. Ανατρέξτε στις σελίδες τιμών για Amazon Μετάφραση, Amazon A2I, να Amazon DynamoDB για το πραγματικό κόστος.

εκκαθάριση

Όταν ολοκληρώσετε τον πειραματισμό με αυτήν τη λύση, καθαρίστε τους πόρους σας χρησιμοποιώντας την κονσόλα AWS CloudFormation για να διαγράψετε όλους τους πόρους που έχουν αναπτυχθεί σε αυτό το παράδειγμα. Αυτό σας βοηθά να αποφύγετε το συνεχιζόμενο κόστος στον λογαριασμό σας.

Συμπέρασμα

Μπορείτε να χρησιμοποιήσετε τη λύση που παρουσιάζεται σε αυτήν την ανάρτηση για να δημιουργήσετε μια πολύγλωσση ροή εργασίας μετάφρασης που χρησιμοποιεί και αυξάνει σταδιακά την προσαρμογή του συγκεκριμένου τομέα για να βελτιώνει συνεχώς τα αποτελέσματα της μετάφρασης. Παρέχουμε έναν απλό μηχανισμό για την ενσωμάτωση των υπαρχόντων στοιχείων προσαρμογής σας με διαχειριζόμενες υπηρεσίες τεχνητής νοημοσύνης όπως το Amazon Translate και το Amazon A2I για τη δημιουργία μιας ισχυρής υπηρεσίας μετάφρασης για την εφαρμογή σας. Το Amazon Translate μπορεί να σας βοηθήσει να κλιμακώσετε αυτήν τη λύση για να υποστηρίξετε περισσότερα από 5,550 ζεύγη μετάφρασης. Το Amazon A2I μπορεί να σας βοηθήσει να ενσωματωθείτε εύκολα με τον εσωτερικό σας γλωσσολόγο ή να επωφεληθείτε από ένα εξωτερικό εργατικό δυναμικό για να κλιμακώσετε τη λύση.

Για περισσότερες πληροφορίες σχετικά με το Amazon Translate, επισκεφτείτε Πόροι Μετάφρασης Amazon για να βρείτε πόρους βίντεο και αναρτήσεις ιστολογίου και ανατρέξτε σε AWS Μετάφραση FAQ. Μοιραστείτε τις σκέψεις σας μαζί μας στην ενότητα σχολίων ή στην ενότητα ζητημάτων του έργου Αποθήκη Github.

Σχετικά με τους Συγγραφείς

Σάτυα Μπαλακρισνάν είναι αρχιτέκτονας παράδοσης πελατών Sr στην ομάδα Επαγγελματικών Υπηρεσιών της AWS, με εξειδίκευση στις λύσεις δεδομένων/ML. Συνεργάζεται με ομοσπονδιακούς οικονομικούς πελάτες των ΗΠΑ. Είναι παθιασμένος με τη δημιουργία ρεαλιστικών λύσεων για την επίλυση επιχειρηματικών προβλημάτων των πελατών. Στον ελεύθερο χρόνο του, του αρέσει να βλέπει ταινίες και να κάνει πεζοπορία με την οικογένειά του.

Paul W. Joireman είναι αρχιτέκτονας παράδοσης πελατών Sr σε Επαγγελματικές Υπηρεσίες στην AWS, που ειδικεύεται στη Μετανάστευση Εφαρμογών και συνεργάζεται με ομοσπονδιακούς οικονομικούς πελάτες των ΗΠΑ. Ο Paul απολαμβάνει να δημιουργεί τεχνολογικές λύσεις, να ταξιδεύει με την οικογένεια και να κάνει πεζοπορία στο Εθνικό Πάρκο Shenandoah, εφόσον η πεζοπορία τελειώνει σε μια τοπική βιοτεχνική ζυθοποιία.