สร้างเวิร์กโฟลว์การแปลเอกสารหลายภาษาด้วยการปรับแต่งเฉพาะโดเมนและภาษาเฉพาะ

ในโลกดิจิทัล การให้ข้อมูลในภาษาท้องถิ่นไม่ใช่เรื่องแปลกใหม่ แต่อาจเป็นงานที่น่าเบื่อและมีราคาแพง ความก้าวหน้าในการเรียนรู้ของเครื่อง (ML) และการประมวลผลภาษาธรรมชาติ (NLP) ทำให้งานนี้ง่ายขึ้นและราคาไม่แพงมาก

เราพบว่ามีการใช้ ML เพิ่มขึ้นสำหรับข้อมูลหลายภาษาและปริมาณงานการประมวลผลเอกสาร ลูกค้าองค์กรและภาครัฐกำลังย้ายปริมาณงานการแปลด้วยตนเองเพื่อใช้ประโยชน์จากบริการแปล ML อัตโนมัติ Amazon Translate เป็น การแปลด้วยเครื่องประสาท บริการที่มอบการแปลภาษาที่รวดเร็ว คุณภาพสูง และราคาไม่แพง ระหว่างการจับคู่ภาษาหลายพันคู่ ซึ่งสามารถใช้สำหรับงานแปลแบบซิงโครนัส (เรียลไทม์) หรืออะซิงโครนัส สำหรับรายการคู่การแปลที่มีทั้งหมด โปรดดูที่ ภาษาที่รองรับและรหัสภาษา.

ลูกค้าที่ย้ายข้อมูลและปรับปริมาณงานการแปลให้ทันสมัยต้องการความสามารถในการปรับแต่งการแปลสำหรับโดเมนธุรกิจของตน ปริมาณงานการแปลอาจต้องการความสามารถในการปรับให้เข้ากับภาษาถิ่นหรือการใช้งาน ตัวอย่างเช่น การแปลภาษาสเปนของ "ผู้สูงอายุ" คือ anciano (a) แต่ในเปอร์โตริโก ควรใช้คำว่า envejeciente

ในโพสต์นี้ เราสาธิตวิธีรวมคุณสมบัติ Active Custom Translation (ACT) ของ Amazon Translate เราเสนอวิธีแก้ปัญหาเพื่อสร้างเวิร์กโฟลว์การแปลเอกสารหลายภาษาด้วยการปรับแต่งเฉพาะโดเมนและภาษาที่คุณสามารถตรวจสอบและเพิ่มได้ตามต้องการเพื่อปรับปรุงผลลัพธ์อย่างต่อเนื่องและทำให้ผู้ใช้ปลายทางพึงพอใจ

ภาพรวมโซลูชัน

ACT สร้างเอาต์พุตที่แปลแบบกำหนดเองโดยไม่จำเป็นต้องสร้างและบำรุงรักษาแบบจำลองการแปลแบบกำหนดเอง เมื่อใช้ ACT Amazon Translate จะใช้ตัวอย่างการแปลที่คุณต้องการเป็นข้อมูลคู่ขนานเพื่อปรับแต่งผลการแปลของคุณ ขจัดเวลาและค่าใช้จ่ายที่จำเป็นในการสร้างและฝึกอบรมโมเดลแมชชีนเลิร์นนิงใหม่

โซลูชันที่ครอบคลุมในโพสต์นี้อธิบายวิธีสร้างเวิร์กโฟลว์แบบมนุษย์ในวงโดยใช้ อเมซอน เสริม AI (Amazon A2I) เพื่อปรับปรุงการแปลที่กำหนดเองอย่างต่อเนื่อง Amazon A2I มอบวิธีง่ายๆ ในการผสานการกำกับดูแลของมนุษย์เข้ากับเวิร์กโฟลว์ ML ของคุณ โดยไม่จำเป็นต้องมีประสบการณ์ ML Amazon A2I ทำให้ง่ายต่อการผสานรวมการตัดสินใจของมนุษย์และ AI เข้ากับแอปพลิเคชัน ML ใดๆ ไม่ว่าจะทำงานบน AWS หรือบนแพลตฟอร์มอื่น

ดูรายละเอียดเพิ่มเติมได้ที่ การออกแบบเวิร์กโฟลว์การตรวจสอบโดยเจ้าหน้าที่ด้วย Amazon Translate และ Amazon Augmented AI เสา

ไดอะแกรมต่อไปนี้แสดงโฟลว์คำสั่งและโฟลว์ข้อมูลของโซลูชัน โฟลว์คำสั่งแสดงลำดับตรรกะของเหตุการณ์ในเวิร์กโฟลว์ การไหลของข้อมูลบ่งชี้ว่าข้อมูลถูกสร้างหรือใช้งานโดยส่วนประกอบต่างๆ ในโซลูชันอย่างไร

ไดอะแกรมลำดับต่อไปนี้แสดงสองกระบวนการที่แยกจากกันในโซลูชัน: เวิร์กโฟลว์การแปล (A) และกระบวนการอัปเดตข้อมูลแบบขนาน (B)

เวิร์กโฟลว์การแปลเริ่มต้นโดย an อเมซอน คลาวด์วอตช์ เหตุการณ์ตามกำหนดการซึ่งเริ่มต้นการแปลงาน Invoker AWS แลมบ์ดา การทำงาน. ฟังก์ชันนี้สร้างงานการแปลแบบอะซิงโครนัสใน Amazon Translate โดยส่งผ่านเอกสารเพื่อแปลและตำแหน่งของข้อมูลคู่ขนานเพื่อปรับแต่งการแปล งานแปลจะอ่านข้อมูลแบบคู่ขนาน ดำเนินการแปล และเขียนผลลัพธ์ที่แปลแล้วกลับไปที่an Amazon S3 ถัง. ในการเขียนนี้ เฉพาะงานแปลแบบอะซิงโครนัสเท่านั้นที่สามารถใช้ข้อมูลแบบคู่ขนานได้

เมื่องานแปลเสร็จสมบูรณ์ จะมีการสร้างเหตุการณ์ที่ทริกเกอร์ฟังก์ชัน Translation Job Completion Handler Lambda ฟังก์ชันนี้สร้างการวนรอบเวิร์กโฟลว์ของมนุษย์ ซึ่งเป็นองค์ประกอบหลักของส่วน Amazon A2I ของเวิร์กโฟลว์

เจ้าหน้าที่ตรวจสอบจะประเมินการแปลและยอมรับหรือแก้ไขการแปล การแก้ไขใดๆ จะใช้ในการอัปเดตเอกสารที่แปลแล้ว และเพิ่มลงในพจนานุกรมการปรับแต่งเองด้วย เมื่อการตรวจทานเสร็จสิ้น จะมีการสร้างเหตุการณ์อื่นเพื่อทริกเกอร์ฟังก์ชัน Workflow Completion Handler ฟังก์ชันนี้จะเขียนเอกสารที่แปลล่าสุดกลับไปยัง Amazon S3 ข้อมูลการปรับแต่งใช้เพื่ออัปเดต an อเมซอน ไดนาโมดีบี ตารางที่มีคู่ข้อความต้นฉบับและแปล

ในการปิดลูป เราต้องรวมข้อมูลการปรับแต่งนี้ที่จัดเก็บไว้ใน DynamoDB กลับเข้าไปในข้อมูลคู่ขนานที่จัดเก็บไว้ใน Amazon S3 เพื่อให้บรรลุสิ่งนี้ เราใช้เหตุการณ์ CloudWatch ที่กำหนดเวลาไว้เพื่อทริกเกอร์ฟังก์ชัน Parallel Data Refresher ซึ่งจะอ่านข้อมูลจากตาราง DynamoDB ฟอร์แมตใหม่เป็นข้อมูลแบบขนาน และอัปเดตบัคเก็ต S3 จัดเก็บข้อมูลแบบขนาน

ปรับใช้โซลูชันด้วย AWS CloudFormation

เปิดตัวที่ให้มา การก่อตัวของ AWS Cloud เทมเพลตเพื่อปรับใช้โซลูชันในบัญชีของคุณ สแต็กนี้ใช้ได้เฉพาะในภูมิภาค us-east-1 หากคุณต้องการปรับใช้โซลูชันนี้ในภูมิภาคอื่น ให้อ้างอิงกับต่อไปนี้ repo GitHub.

1. Choose เรียกใช้ Stack:
   
2. ทำตามคำแนะนำเพื่อเติมพารามิเตอร์ที่จำเป็น หากคุณกำลังเรียกใช้สแต็กนี้เป็นครั้งแรก อีเมล SNS เป็นพารามิเตอร์ที่จำเป็นเท่านั้น
3. เกี่ยวกับ รีวิว หน้าใน ความสามารถในการ ส่วน เลือกกล่องกาเครื่องหมายและเลือก สร้าง stack.

สแต็กสร้างองค์ประกอบหลักดังต่อไปนี้:

• ข้อมูลการปรับแต่ง – ตาราง DynamoDB (translate_parallel_data) เพื่อรักษาข้อมูลการปรับแต่ง คุณย้ายข้อมูลการปรับแต่งที่มีอยู่ไปยังตารางนี้ ตารางนี้ใช้เพื่อเพิ่มและอัปเดตการปรับแต่งอย่างต่อเนื่อง
• รีเฟรชข้อมูลคู่ขนาน – ฟังก์ชัน Lambda เพื่อแปลงข้อมูลการปรับแต่งในตาราง DynamoDB เป็นรูปแบบข้อมูลแบบขนาน—CSV, TSV หรือ TMX—และจัดเก็บไว้ใน Amazon S3 สร้างและอัปเดตข้อมูลแบบขนานด้วยไฟล์ข้อมูลแบบขนานใหม่ใน Amazon S3
• ผู้เรียกงานแปล – ฟังก์ชัน Lambda เพื่อเริ่มงานชุดงาน Amazon Translate ด้วยข้อมูลแบบขนาน
• ตัวจัดการงานแปลเสร็จ – ฟังก์ชัน Lambda นี้ทำงานเมื่องานชุดงาน Amazon Translate เสร็จสมบูรณ์ ฟังก์ชันสร้างลูปมนุษย์หนึ่งรายการต่อเอกสาร (เราจะปรับแต่งสิ่งนี้ในอนาคตเพื่อสร้างลูปมนุษย์สำหรับเปอร์เซ็นต์ที่เลือกของเอกสารที่ประมวลผลเท่านั้น) ใช้เอกสารต้นฉบับและที่แปลแล้วเพื่อสร้างลูปของมนุษย์
• เทมเพลตที่กำหนดเองของ Amazon A2I – เทมเพลตนี้ใช้เพื่อแสดงคู่การแปลสำหรับการตรวจสอบโดยเจ้าหน้าที่ แม่แบบมี เพิ่ม ตัวเลือกสำหรับทุกส่วนการแปล ผู้ใช้สามารถเลือกตัวเลือกนี้เพื่อเพิ่มการแก้ไขข้อมูลการปรับแต่ง ข้อมูลการกำหนดเองใหม่จะใช้ในงานแปลชุดงานถัดไป
• ตัวจัดการความสมบูรณ์ของเวิร์กโฟลว์ – ฟังก์ชัน Lambda นี้จะถูกทริกเกอร์เมื่อเวิร์กโฟลว์ของมนุษย์เสร็จสมบูรณ์ ฟังก์ชันจะอัปเดตเอกสารที่แปลด้วยการแก้ไขและตรวจหาการอัปเดตข้อมูลแบบคู่ขนาน ข้อมูลคู่ขนานใหม่ถูกเพิ่มลงในตาราง DynamoDB
• ทีมส่วนตัวของ Amazon A2I – สร้างทีมส่วนตัวของ Amazon A2I โดยมีพนักงานที่เป็นมนุษย์โดยใช้อีเมลที่ให้ไว้ ข้อมูลประจำตัวเริ่มต้นจะถูกส่งทางอีเมลเมื่อสร้างทีมส่วนตัวสำเร็จ คุณใช้อีเมลและข้อมูลรับรองนี้เพื่อเข้าสู่ระบบพอร์ทัลผู้ปฏิบัติงาน Amazon A2I

ทดสอบวิธีแก้ปัญหา

พื้นที่ sample_text.txt ไฟล์จะถูกสร้างขึ้นภายใต้คำนำหน้าอินพุตของบัคเก็ต S3 ที่สร้างโดยสแต็ก เราใช้ไฟล์นี้สำหรับการทดสอบของเรา ประกอบด้วยเนื้อหาดังต่อไปนี้:

Life insurance companies have the freedom to charge different premiums based on risk
factors that predict mortality. Purchasing a life insurance policy often entails a health 
status check or medical exam, and asking for vaccination status is not banned.

Health insurers are a different story. A slew of state and federal regulations in the 
last three decades have heavily restricted their ability to use health factors in issuing 
or pricing polices. The use of health status in any group health insurance policy is 
prohibited by law. The Affordable Care Act, passed in 2014, prevents insurers from pricing 
plans according to health – with one exception: smoking status.

ในการทดสอบโซลูชัน ให้ทำตามขั้นตอนต่อไปนี้:

1. เรียกใช้ฟังก์ชัน Translation Job Invoker ด้วยตนเอง หรือรอให้ CloudWatch เรียกใช้งานตามกำหนดการ cron ที่คุณระบุ
   ฟังก์ชันนี้จะทริกเกอร์งานแบทช์ Amazon Translate คุณสามารถสังเกตความคืบหน้าของงานได้ในคอนโซล Amazon Translate
   งานแบทช์นี้ใช้เวลาประมาณ 30 นาทีจึงจะเสร็จสมบูรณ์ เมื่อเสร็จแล้ว TextTranslationJob เหตุการณ์การเปลี่ยนแปลงสถานะจะทริกเกอร์ฟังก์ชันตัวจัดการงานแปลให้เสร็จ ฟังก์ชันนี้สร้างลูปมนุษย์หนึ่งรายการต่อเอกสารที่แปล
2. ไปที่ พนักงาน Amazon A2I หน้า.
3. เลือก ส่วนตัว แถบ
   
4. เข้าสู่ระบบพอร์ทัลผู้ปฏิบัติงาน Amazon A2I โดยเลือกลิงก์สำหรับ การติดป้ายกำกับ URL การลงชื่อเข้าใช้พอร์ทัล.
5. เลือกงาน Human review task ในรายการงาน
6. Choose เริ่มทำงาน.
   
   คุณสามารถดูหน้าต่อไปนี้ปรากฏขึ้น
   
7. ทำตามคำแนะนำเพื่อทำการแก้ไขเฉพาะโดเมนและภาษา
   ในภาพหน้าจอก่อนหน้านี้ วลี “กฎหมายห้ามการใช้สถานะสุขภาพในกรมธรรม์ประกันสุขภาพกลุ่มใดๆ” ได้รับการแปลเป็น “La ley prohíbe el uso del estado de salud en cualquier póliza de seguro médico de grupo” แม้ว่าการแปลจะถูกต้อง แต่ก็มีการจัดเรียงวลีใหม่
8. มาแก้ไขสิ่งนี้เป็น “El uso del estado de salud en cualquier póliza de seguro de salud grupal está prohibido por ley” เพื่อทำให้คำแปลนี้ตรงยิ่งขึ้นซึ่งสะท้อนถึงการใช้ถ้อยคำดั้งเดิม
9. เลือก เพิ่ม เพื่อเพิ่มสิ่งนี้ลงในพจนานุกรม
10. เสร็จแล้วเลือก ส่ง.
    

ซึ่งจะทริกเกอร์ฟังก์ชัน Workflow Completion Handler และข้อมูลการปรับแต่งจะได้รับการอัปเดตในตาราง DynamoDB ฟังก์ชันนี้ยังจัดเก็บการแปลที่แก้ไขไว้ภายใต้คำนำหน้าหลังการแก้ไข

คุณสามารถสังเกตการปรับแต่งที่เพิ่มเข้ามาใน translate_parallel_data ตารางบนคอนโซล DynamoDB

ลำดับคำสั่ง

ฟังก์ชัน Parallel Data Refresher ถูกทริกเกอร์ทุกชั่วโมงโดยเหตุการณ์ตามกำหนดเวลาของ CloudWatch ฟังก์ชันนี้จะตรวจสอบการอัปเดตใหม่ใน translate_parallel_data ตารางสร้างไฟล์ TMX ข้อมูลแบบขนานใหม่ใน Amazon S3 ภายใต้ parallel_data คำนำหน้า และอัปเดตองค์ประกอบข้อมูลแบบขนานของ Amazon Translate คุณสามารถทริกเกอร์ฟังก์ชันนี้ได้ด้วยตนเองหากคุณไม่ต้องการรอทริกเกอร์เหตุการณ์ตามกำหนดเวลา

คุณสามารถสังเกตข้อมูลคู่ขนานที่ได้รับการอัปเดตบนคอนโซล Amazon Translate

เสร็จแล้วสถานะงานควรจะเป็น ใช้งาน และความคุ้มค่าสำหรับ ปรับปรุงบันทึก ควรสะท้อนถึงจำนวนการปรับแต่งที่คุณเพิ่ม (ในกรณีนี้ 1)

ตอนนี้เราสามารถเรียกใช้งานแปลอีกครั้งด้วยข้อมูลที่อัปเดตแล้ว ทริกเกอร์ฟังก์ชัน Translation Job Invoker อีกครั้งเพื่อสังเกตการปรับแต่งที่เพิ่มเข้าไปในการแปลในการทำซ้ำครั้งที่สอง ตอนนี้ Amazon Translate ใช้ข้อมูลคู่ขนานที่มีให้เพื่อปรับแต่งการแปล

คุณสามารถสังเกตการเปลี่ยนแปลงในผลลัพธ์การแปลในพอร์ทัลการติดฉลาก แทนที่จะใช้การแปลเริ่มต้น เราจะเห็นการแปลที่กำหนดเองถูกนำไปใช้

เวิร์กโฟลว์นี้ช่วยสร้างวงจรที่ดีเพื่อปรับปรุงผลลัพธ์การแปลอย่างต่อเนื่องโดยใช้คุณสมบัติการปรับแต่ง Amazon A2I และ Amazon Translate

ราคา

ด้วย Amazon Translate และ Amazon A2I คุณจะชำระเงินตามจำนวนตัวอักษรที่คุณประมวลผลและสำหรับแต่ละออบเจ็กต์ที่ตรวจสอบโดยเจ้าหน้าที่ เราใช้โหมดตามความต้องการของ DynamoDB สำหรับตัวอย่างนี้ DynamoDB เรียกเก็บเงินจากคุณสำหรับการอ่านและเขียนที่ดำเนินการบนโต๊ะของคุณ อ้างถึงหน้าการกำหนดราคาสำหรับ อเมซอนแปลภาษา, อเมซอน A2Iและ อเมซอน ไดนาโมดีบี สำหรับค่าใช้จ่ายจริง

ทำความสะอาด

เมื่อคุณทดลองใช้โซลูชันนี้เสร็จแล้ว ให้ล้างทรัพยากรของคุณโดยใช้คอนโซล AWS CloudFormation เพื่อลบทรัพยากรทั้งหมดที่ปรับใช้ในตัวอย่างนี้ วิธีนี้ช่วยให้คุณหลีกเลี่ยงค่าใช้จ่ายต่อเนื่องในบัญชีของคุณ

สรุป

คุณสามารถใช้โซลูชันที่นำเสนอในโพสต์นี้เพื่อสร้างเวิร์กโฟลว์การแปลหลายภาษาที่ใช้และเพิ่มการปรับแต่งเฉพาะโดเมนทีละส่วนเพื่อปรับปรุงผลการแปลอย่างต่อเนื่อง เราจัดเตรียมกลไกง่ายๆ ในการผสานรวมสินทรัพย์การปรับแต่งที่มีอยู่ของคุณเข้ากับบริการ AI ที่มีการจัดการ เช่น Amazon Translate และ Amazon A2I เพื่อสร้างบริการแปลภาษาที่มีประสิทธิภาพสำหรับแอปพลิเคชันของคุณ Amazon Translate สามารถช่วยคุณปรับขนาดโซลูชันนี้เพื่อรองรับคู่การแปลมากกว่า 5,550 คู่ตั้งแต่แกะกล่อง Amazon A2I สามารถช่วยให้คุณผสานรวมกับผู้เชี่ยวชาญด้านภาษาศาสตร์ภายในองค์กรของคุณได้อย่างง่ายดาย หรือใช้ประโยชน์จากพนักงานภายนอกเพื่อปรับขนาดโซลูชัน

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Amazon Translate โปรดไปที่ แหล่งข้อมูล Amazon Translate Translate เพื่อค้นหาแหล่งข้อมูลวิดีโอและบล็อกโพสต์ และอ้างอิงถึง คำถามที่พบบ่อยเกี่ยวกับ AWS Translate. กรุณาแบ่งปันความคิดของคุณกับเราในส่วนความคิดเห็นหรือในส่วนประเด็นของโครงการ ที่เก็บ Github.

เกี่ยวกับผู้เขียน

สัตยา บาลากฤษณะ เป็น Sr Customer Delivery Architect ในทีม Professional Services ที่ AWS ซึ่งเชี่ยวชาญด้านโซลูชัน Data/ML เขาทำงานกับลูกค้าการเงินของรัฐบาลกลางสหรัฐ เขาหลงใหลในการสร้างโซลูชันเชิงปฏิบัติเพื่อแก้ปัญหาทางธุรกิจของลูกค้า ในเวลาว่าง เขาชอบดูหนังและเดินป่ากับครอบครัว

พอล ดับบลิว จอยเรแมน เป็น Sr Customer Delivery Architect ใน Professional Services ที่ AWS ซึ่งเชี่ยวชาญด้าน Application Migration และทำงานร่วมกับลูกค้าด้านการเงินของรัฐบาลกลางสหรัฐฯ Paul สนุกกับการสร้างสรรค์โซลูชันด้านเทคโนโลยี เดินทางกับครอบครัว และการเดินป่าในอุทยานแห่งชาติ Shenandoah National Park ตราบใดที่การเดินป่าเสร็จสิ้นที่โรงเบียร์ท้องถิ่น