Alana özgü ve dile özgü özelleştirme ile çok dilli bir belge çevirisi iş akışı oluşturun

Dijital dünyada, yerel dilde bilgi sağlamak yeni bir şey olmasa da sıkıcı ve pahalı bir iş olabilir. Makine öğrenimi (ML) ve doğal dil işlemedeki (NLP) gelişmeler bu görevi çok daha kolay ve daha ucuz hale getirdi.

Çok dilli veri ve belge işleme iş yükleri için makine öğreniminin giderek daha fazla benimsendiğini gördük. Kurumsal ve kamu müşterileri, otomatik makine öğrenimi çeviri hizmetlerinden yararlanmak için manuel çeviri iş yüklerini taşıyor. Amazon Çeviri bir sinir makinesi çevirisi Senkron (gerçek zamanlı) veya asenkron çeviri görevleri için kullanılabilen, birkaç bin dil çifti arasında hızlı, yüksek kaliteli ve uygun fiyatlı dil çevirisi sağlayan hizmet. Mevcut çeviri çiftlerinin tam listesi için bkz. Desteklenen diller ve dil kodları.

Çeviri iş yüklerini taşıyan ve modernleştiren müşterilerin, çevirileri kendi iş alanlarına göre özelleştirme becerisine ihtiyacı vardır. Bir çeviri iş yükünün ayrıca bölgesel dil lehçelerine veya kullanımına uyum sağlama becerisine de ihtiyacı olabilir. Örneğin “yaşlı” kelimesinin İspanyolca çevirisi anciano(a) iken Porto Riko'da envejeciente kelimesi tercih ediliyor.

Bu yazıda Amazon Translate'in Aktif Özel Çeviri (ACT) özelliğinin nasıl dahil edileceğini gösteriyoruz. Sonuçları sürekli olarak iyileştirmek ve son kullanıcıları memnun etmek için gerektiğinde inceleyip geliştirebileceğiniz, etki alanına ve dile özgü özelleştirmelere sahip çok dilli bir belge çeviri iş akışı oluşturmaya yönelik bir çözüm öneriyoruz.

Çözüme genel bakış

ACT, özel bir çeviri modeli oluşturmaya ve sürdürmeye gerek kalmadan özel çevrilmiş çıktılar üretir. Amazon Translate, ACT'yi kullanarak çeviri sonucunuzu özelleştirmek için tercih ettiğiniz çeviri örneklerini paralel veri olarak kullanacak ve yeni bir makine öğrenimi modeli oluşturmak ve eğitmek için gereken zaman ve maliyeti ortadan kaldıracaktır.

Bu yazıda ele alınan çözüm, döngüdeki insan iş akışının nasıl oluşturulacağını açıklamaktadır. Amazon Artırılmış AI (Amazon A2I) özelleştirilmiş çeviriyi sürekli olarak geliştirmek için. Amazon A2I, makine öğrenimi deneyimi gerekmeden insan gözetimini makine öğrenimi iş akışlarınıza entegre etmenin basit bir yolunu sunar. Amazon A2I, AWS'de veya başka bir platformda çalıştırılmasına bakılmaksızın insan muhakemesini ve yapay zekayı herhangi bir makine öğrenimi uygulamasına entegre etmeyi kolaylaştırır.

Daha fazla bilgi için bkz. Amazon Translate ve Amazon Augmented AI ile insan inceleme iş akışları tasarlama sonrası.

Aşağıdaki diyagram çözümün komut akışını ve veri akışını göstermektedir. Komut akışı, iş akışındaki olayların mantıksal sırasını gösterir. Veri akışı, verilerin çözümdeki çeşitli bileşenler tarafından nasıl oluşturulduğunu veya kullanıldığını gösterir.

Aşağıdaki sıra diyagramı çözümdeki iki ayrı süreci göstermektedir: çeviri iş akışı (A) ve paralel verileri güncelleme süreci (B).

Çeviri iş akışı bir kişi tarafından başlatılır. Amazon Bulut İzleme Çeviri İşi Çağırıcısını başlatan planlanmış etkinlik AWS Lambda işlev. Bu işlev, Amazon Translate'de eşzamansız bir çeviri işi oluşturarak, çevrilecek belgeyi ve çeviriyi özelleştirmek için paralel verilerin konumunu iletir. Çeviri işi paralel verileri okur, çeviriyi gerçekleştirir ve çevrilmiş sonucu bir Amazon S3 Kova. Bu yazının yazıldığı an itibarıyla yalnızca eşzamansız çeviri işleri paralel verileri kullanabiliyor.

Çeviri işi tamamlandığında Çeviri İşi Tamamlama İşleyicisi Lambda işlevini tetikleyen bir olay oluşturulur. Bu işlev, iş akışının Amazon A2I bölümünün ana bileşeni olan bir insan iş akışı döngüsü oluşturur.

Gerçek kişi olan incelemeciler çeviriyi değerlendirir ve çeviriyi kabul eder veya değiştirir. Herhangi bir düzeltme, çevrilen belgeyi güncellemek için kullanılır ve ayrıca bir özelleştirme sözlüğüne eklenir. İnceleme tamamlandığında İş Akışı Tamamlama İşleyicisi işlevini tetiklemek için başka bir olay oluşturulur. Bu işlev, en son çevrilmiş belgeyi Amazon S3'e geri yazar. Özelleştirme verileri bir güncellemeyi güncellemek için kullanılır. Amazon DinamoDB kaynak ve çevrilmiş metin çiftlerini içeren tablo.

Döngüyü kapatmak için DynamoDB'de depolanan bu özelleştirme verilerini Amazon S3'te depolanan paralel verilere geri dahil etmemiz gerekir. Bunu başarmak için, DynamoDB tablosundaki verileri okuyan, bunu paralel veriler olarak yeniden biçimlendiren ve S3 klasörünü güncelleyerek paralel verileri depolayan Paralel Veri Yenileme işlevini tetiklemek için planlanmış bir CloudWatch olayı kullanıyoruz.

Çözümü AWS CloudFormation ile dağıtın

Sağlananları başlatın AWS CloudFormation Çözümü hesabınıza dağıtmak için şablon. Bu yığın yalnızca us-east-1 Bölgesinde çalışır. Bu çözümü diğer Bölgelerde dağıtmak istiyorsanız aşağıdakilere bakın GitHub repo.

1. Klinik Yığını Başlat:
   
2. Gerekli parametreleri doldurmak için talimatları izleyin. Bu yığını ilk kez çalıştırıyorsanız, SNS E-postası gereken tek parametredir.
3. Üzerinde Değerlendirme sayfasında, Uygulama Alanı bölümünde onay kutusunu seçin ve Yığın oluştur.

Yığın aşağıdaki temel bileşenleri oluşturur:

• Özelleştirme verileri – Bir DynamoDB tablosu (translate_parallel_data) özelleştirme verilerini korumak için. Mevcut özelleştirme verilerini bu tabloya taşırsınız. Bu tablo, özelleştirmeleri sürekli olarak eklemek ve güncellemek için kullanılır.
• Paralel Veri Tazeleyici – DynamoDB tablosundaki özelleştirme verilerini paralel bir veri biçimine (CSV, TSV veya TMX) dönüştürmek ve bunları Amazon S3'te depolamak için Lambda işlevi. Amazon S3'teki yeni paralel veri dosyasıyla paralel veriler oluşturur ve günceller.
• Çeviri İşi Çağırıcı – Amazon Translate toplu işini paralel verilerle başlatmak için Lambda işlevi.
• Çeviri İşi Tamamlama Yöneticisi – Bu Lambda işlevi, Amazon Translate toplu işi tamamlandığında tetiklenir. İşlev, belge başına bir insan döngüsü oluşturur (ileride bunu, işlenen belgelerin yalnızca belirli bir yüzdesi için bir insan döngüsü oluşturacak şekilde geliştireceğiz). İnsan döngüsünü oluşturmak için orijinal ve tercüme edilmiş belgeleri kullanır.
• Amazon A2I özelleştirilmiş şablonu – Bu şablon, çeviri çiftini insan incelemesi için oluşturmak için kullanılır. Şablon şu özelliklere sahiptir: Ekle her çeviri bölümü için seçenek. Kullanıcılar düzeltmeleri özelleştirme verilerine eklemek için bu seçeneği seçebilir. Yeni özelleştirme verileri bir sonraki toplu çeviri işinde kullanılır.
• İş Akışı Tamamlama İşleyicisi – Bu Lambda işlevi, insan iş akışı tamamlandığında tetiklenir. İşlev, çevrilen belgeyi düzeltmelerle günceller ve paralel veri güncellemelerini kontrol eder. DynamoDB tablosuna yeni paralel veriler eklenir.
• Amazon A2I özel ekibi – Sağlanan e-postayı kullanan bir insan çalışandan oluşan bir Amazon A2I özel ekibi oluşturulur. Özel ekibin başarıyla oluşturulmasının ardından ilk kimlik bilgileri e-postayla gönderilir. Amazon A2I çalışan portalında oturum açmak için bu e-postayı ve kimlik bilgilerini kullanırsınız.

Çözümü test edin

The sample_text.txt dosyası, yığın tarafından oluşturulan S3 kümesinin giriş öneki altında oluşturulmuş olurdu. Bu dosyayı testimiz için kullanıyoruz. Aşağıdaki içeriği içerir:

Life insurance companies have the freedom to charge different premiums based on risk
factors that predict mortality. Purchasing a life insurance policy often entails a health 
status check or medical exam, and asking for vaccination status is not banned.

Health insurers are a different story. A slew of state and federal regulations in the 
last three decades have heavily restricted their ability to use health factors in issuing 
or pricing polices. The use of health status in any group health insurance policy is 
prohibited by law. The Affordable Care Act, passed in 2014, prevents insurers from pricing 
plans according to health – with one exception: smoking status.

Çözümü test etmek için aşağıdaki adımları tamamlayın:

1. Translation Job Invoker işlevini manuel olarak çağırın veya belirttiğiniz cron planına göre CloudWatch tarafından tetiklenmesini bekleyin.
   Bu işlev, Amazon Translate toplu işini tetikler. İşin ilerleyişini Amazon Translate konsolunda gözlemleyebilirsiniz.
   Bu toplu işin tamamlanması yaklaşık 30 dakika sürer. Tamamlandığında, TextTranslationJob durum değişikliği olayı Çeviri İşi Tamamlama İşleyicisi işlevini tetikler. Bu işlev, çevrilen belge başına bir insan döngüsü oluşturur.
2. gidin Amazon A2I iş gücü gidin.
3. Seçin Özel Etkinlik sekmesi.
   
4. Bağlantıyı seçerek Amazon A2I çalışan portalında oturum açın. Portal oturum açma URL'sini etiketleme.
5. Görevi seçin Human review task iş listesinde.
6. Klinik Çalışmaya başlamak.
   
   Aşağıdaki sayfanın görüntülendiğini görebilirsiniz.
   
7. Alana ve dile özel düzeltmeler yapmak için talimatları izleyin.
   Önceki ekran görüntüsünde, "Herhangi bir grup sağlık sigortası poliçesinde sağlık durumunun kullanılması kanunen yasaktır" ifadesi, "La ley prohíbe el uso del estado de salud en cualquier póliza de seguro médico de grupo" şeklinde çevrilmiştir. Çeviri doğru olmasına rağmen ifadeler yeniden düzenlenmiştir.
8. Orijinal ifadeyi yansıtan daha doğrudan bir çeviri yapmak için bunu "El uso del estado de salud en cualquier póliza de seguro de salud grupal está prohibido por ley" olarak değiştirelim.
9. seç Ekle Bunu sözlüğe eklemek için.
10. İşiniz bittiğinde, seçin Gönder.
    

Bu, İş Akışı Tamamlama İşleyicisi işlevini tetikler ve özelleştirme verileri DynamoDB tablosunda güncellenir. İşlev ayrıca düzeltilmiş çeviriyi düzenleme sonrası öneki altında saklar.

Eklenen özelleştirmeleri gözlemleyebilirsiniz translate_parallel_data DynamoDB konsolundaki tablo.

Komut akışı

Paralel Veri Yenileme işlevi her saat başı, planlanmış bir CloudWatch etkinliği tarafından tetiklenir. Bu işlev, yeni güncellemeleri kontrol eder. translate_parallel_data tablosu altında Amazon S3'te yeni bir paralel veri TMX dosyası oluşturur. parallel_data önekini kullanır ve Amazon Translate paralel veri bileşenini günceller. Planlanan etkinliğin tetiklenmesini beklemek istemiyorsanız bu işlevi manuel olarak tetikleyebilirsiniz.

Amazon Translate konsolunda paralel verilerin güncellendiğini görebilirsiniz.

Tamamlandığında, iş durumu şu şekilde olmalıdır: Aktif ve değeri Güncellenen kayıtlar eklediğiniz özelleştirmelerin sayısını yansıtmalıdır (bu durumda 1).

Artık çeviri işini güncellenen verilerle tekrar çalıştırabiliriz. İkinci yinelemede çeviriye eklenen özelleştirmeyi gözlemlemek için Çeviri İşi Çağırıcı işlevini yeniden tetikleyin. Amazon Translate artık çeviriyi özelleştirmek için sağlanan paralel verileri kullanıyor.

Etiketleme portalında çeviri çıktısındaki değişikliği gözlemleyebilirsiniz. Varsayılan çeviri yerine özelleştirilmiş çevirinin uygulandığını görüyoruz.

Bu iş akışı, Amazon A2I ve Amazon Translate özelleştirme özelliklerini kullanarak çeviri çıktısını sürekli olarak iyileştirmek için verimli bir döngü oluşturulmasına yardımcı olur.

Ücret

Amazon Translate ve Amazon A2I ile, işlediğiniz metin karakterlerinin sayısına ve insanlar tarafından incelenen her nesneye göre kullandıkça ödeme yaparsınız. Bu örnek için DynamoDB isteğe bağlı modunu kullanıyoruz. DynamoDB, tablolarınızda gerçekleştirilen okuma ve yazma işlemleri için sizden ücret alır. Fiyatlandırma sayfalarına bakın Amazon Tercüme, Amazon A2I, ve Amazon DinamoDB gerçek maliyetler için.

Temizlemek

Bu çözümle denemelerinizi tamamladığınızda, bu örnekte dağıtılan tüm kaynakları silmek için AWS CloudFormation konsolunu kullanarak kaynaklarınızı temizleyin. Bu, hesabınızda devam eden maliyetlerden kaçınmanıza yardımcı olur.

Sonuç

Çeviri sonuçlarını sürekli olarak iyileştirmek için alana özgü özelleştirmeyi aşamalı olarak kullanan ve artıran çok dilli bir çeviri iş akışı oluşturmak için bu gönderide sunulan çözümü kullanabilirsiniz. Uygulamanız için sağlam bir çeviri hizmeti oluşturmak amacıyla mevcut özelleştirme varlıklarınızı Amazon Translate ve Amazon A2I gibi yönetilen yapay zeka hizmetleriyle entegre etmenize yönelik basit bir mekanizma sağladık. Amazon Translate, bu çözümü kullanıma hazır 5,550'den fazla çeviri çiftini destekleyecek şekilde ölçeklendirmenize yardımcı olabilir. Amazon A2I, şirket içi dil uzmanınızla kolayca entegre olmanıza veya çözümü ölçeklendirmek için harici bir iş gücünden yararlanmanıza yardımcı olabilir.

Amazon Çeviri hakkında daha fazla bilgi için adresini ziyaret edin. Amazon Translate kaynakları video kaynaklarını ve blog gönderilerini bulmak ve AWS Çeviri SSS'leri. Lütfen düşüncelerinizi yorum bölümünde veya proje sayfasının sorunlar bölümünde bizimle paylaşın. Github havuzu.

Yazarlar Hakkında

Sathya Balakrishnan AWS'nin Profesyonel Hizmetler ekibinde Kıdemli Müşteri Teslimat Mimarıdır ve Veri/ML çözümlerinde uzmanlaşmıştır. ABD federal finans müşterileriyle çalışıyor. Müşterilerin iş sorunlarını çözmek için pragmatik çözümler oluşturma konusunda tutkuludur. Boş zamanlarında film izlemeyi ve ailesiyle birlikte yürüyüş yapmayı seviyor.

Paul W. Joireman AWS'de Profesyonel Hizmetler alanında Kıdemli Müşteri Teslimat Mimarıdır, Uygulama Geçişi konusunda uzmanlaşmıştır ve ABD federal finans müşterileriyle çalışmaktadır. Paul, yürüyüş yerel bir butik bira fabrikasında sona erdiği sürece teknoloji çözümleri yaratmaktan, ailesiyle seyahat etmekten ve Shenandoah Ulusal Parkı'nda yürüyüş yapmaktan hoşlanıyor.