Amazon Lex'i bot test sürecini basitleştirecek ve otomatikleştirecek araçlar sağlayan yeni bir bot test çözümü olan Test Workbench'i duyurmanın heyecanını yaşıyor. Bot geliştirme sırasında test, geliştiricilerin ölçeklendirmeden önce sistemdeki hataları, kusurları veya hataları belirleyerek bir botun belirli gereksinimleri, ihtiyaçları ve beklentileri karşılayıp karşılamadığını kontrol ettiği aşamadır. Testler, konuşma akışı (kullanıcı sorgularını anlama ve doğru yanıt verme), amaç örtüşmesi yönetimi ve yöntemler arası tutarlılık gibi çeşitli cephelerde bot performansının doğrulanmasına yardımcı olur. Ancak testler genellikle manuel olarak yapılır, hataya açıktır ve standartlaştırılmamıştır. Test Workbench, chatbot geliştirme ekiplerinin test setlerini tutarlı bir metodolojiyle oluşturmasına, sürdürmesine ve yürütmesine ve özel komut dosyası oluşturma ve anlık entegrasyonlardan kaçınmasına olanak tanıyarak otomatik test yönetimini standartlaştırır. Bu yazıda, Test Workbench'in bir botun ses ve metin yöntemlerinin otomatik testini nasıl kolaylaştırdığını ve hem tek söz girişleri hem de çok turlu konuşmalar için ses transkripsiyonu, amaç tanıma ve yuva çözünürlüğü gibi parametreler için doğruluk ve performans ölçümleri sağladığını öğreneceksiniz. Bu, bot iyileştirme alanlarını hızlı bir şekilde belirlemenize ve zaman içinde doğruluğu ölçmek için tutarlı bir temel oluşturmanıza ve bot güncellemeleri nedeniyle doğrulukta herhangi bir gerileme gözlemlemenize olanak tanır.
Amazon Lex, konuşmaya dayalı ses ve metin arayüzleri oluşturmaya yönelik tam olarak yönetilen bir hizmettir. Amazon Lex, web siteleri, iletişim merkezi hizmetleri ve mesajlaşma kanallarında sohbet robotları ve sanal asistanlar oluşturup dağıtmanıza yardımcı olur. Amazon Lex botları, etkileşimli sesli yanıt (IVR) üretkenliğini artırmaya, basit görevleri otomatikleştirmeye ve kuruluş genelinde operasyonel verimliliği artırmaya yardımcı olur. Amazon Lex için Test Workbench, bot tasarımının iyileştirilmesinde kritik öneme sahip olan bot testi yaşam döngüsünü standartlaştırır ve basitleştirir.
Test Tezgahının Özellikleri
Amazon Lex için Test Workbench aşağıdaki özellikleri içerir:
- Bir botun konuşma günlüklerinden otomatik olarak test veri kümeleri oluşturun
- Manuel olarak oluşturulmuş test seti temellerini yükleyin
- Tek girişli veya çok turlu konuşmaların uçtan uca testini gerçekleştirin
- Bir botun hem ses hem de metin yöntemlerini test edin
- Bot boyutlarına ilişkin toplu ve ayrıntılı metrikleri inceleyin:
- Konuşma transkripsiyonu
- niyet tanıma
- Yuva çözünürlüğü (çok değerli yuvalar veya bileşik yuvalar dahil)
- Bağlam etiketleri
- Oturum özellikleri
- İstek özellikleri
- Çalışma zamanı ipuçları
- Saniye cinsinden zaman gecikmesi
Önkoşullar
Bu özelliği test etmek için aşağıdakilere sahip olmanız gerekir:
Ayrıca aşağıdaki hizmet ve özelliklere ilişkin bilgi ve anlayışa sahip olmanız gerekir:
Test seti oluşturun
Test setinizi oluşturmak için aşağıdaki adımları tamamlayın:
- Üzerinde Amazon Lex konsolualtında Test tezgahı gezinme bölmesinde öğesini seçin. Test setleri.
Ad, açıklama, test girişi sayısı, yöntem ve durum gibi temel bilgileri içeren mevcut test setlerinin listesini inceleyebilirsiniz. Aşağıdaki adımlarda, botla ilişkili konuşma günlüklerinden bir test seti oluşturma veya mevcut manuel olarak oluşturulmuş bir test setini CSV dosya formatında yükleme arasında seçim yapabilirsiniz.
- Klinik Test seti oluştur.
- Konuşma günlüklerinden test setleri oluşturmak aşağıdakileri yapmanıza olanak tanır:
- CloudWatch'ta botun günlüklerinden gerçek çok turlu konuşmaları ekleyin
- Ses kayıtlarını ekleyin ve gerçek konuşma nüanslarını, arka plan seslerini ve aksanları hesaba katan testler yapın
- Test setlerinin oluşturulmasını hızlandırın
- Manuel olarak oluşturulmuş bir test setini yüklemek aşağıdakileri yapmanıza olanak tanır:
- Üretim verileri bulunmayan yeni botları test edin
- Yeni veya değiştirilmiş niyetler, alanlar ve konuşma akışları için mevcut botlar üzerinde regresyon testleri gerçekleştirin
- Oturum özniteliklerini ve istek özniteliklerini belirten dikkatle hazırlanmış ve ayrıntılı senaryoları test edin
Bir test seti oluşturmak için aşağıdaki adımları tamamlayın. Manuel olarak oluşturulmuş bir test setini yüklemek için 7. adıma geçin.
- Klinik Bir temel test seti oluşturun.
- Şunun için seçeneklerinizi seçin: Bot adı, Bot takma adı, ve Dil.
- İçin Zaman aralığı, günlükler için bir zaman aralığı ayarlayın.
- İçin Mevcut IAM rolü, bir rol seçin.
IAM rolünün, konuşma günlüklerinden bilgi almanız için size erişim izni verebildiğinden emin olun. IAM rolleri oluşturma konusuna bakın uygun politikayla bir IAM rolü oluşturmak.
- Manuel olarak oluşturulmuş bir test seti kullanmayı tercih ederseniz Bu test setine bir dosya yükleyin.
- İçin Bu test setine bir dosya yükleyin, aşağıdaki seçenekler arasından seçim yapın:
- seç S3 paketinden yükleme CSV dosyasını bir yerden yüklemek için Amazon Basit Depolama Hizmeti (Amazon S3) kovası.
- seç Bu test setine bir dosya yükleyin Bilgisayarınızdan bir CSV dosyası yüklemek için.
Sen kullanabilirsiniz örnek test seti bu yazıda verilmiştir. Şablonlar hakkında daha fazla bilgi için CSV Şablonu sayfadaki bağlantı.
- İçin Yöntem, test kümenizin yöntemini de seçin Metin or ses.
Test Workbench, ses ve metin giriş formatları için test desteği sağlar.
- İçin S3 konumusonuçların saklanacağı S3 klasör konumunu girin.
- İsteğe bağlı olarak bir tane seçin AWS Anahtar Yönetim Hizmeti (AWS KMS) çıktı transkriptlerini şifrelemek için anahtar.
- Klinik oluşturmak.
Yeni oluşturduğunuz test setiniz şu sayfada listelenecektir: Test setleri aşağıdaki durumlardan birine sahip sayfa:
- Açıklamaya hazır – Amazon Lex bot konuşma günlüklerinden oluşturulan test setleri için açıklama adımı, test girdilerinin kaliteli olmasını sağlamak amacıyla manuel bir geçiş mekanizması görevi görür. Her test satır öğesi için beklenen amaçlara ve beklenen alanlara ilişkin değerleri ekleyerek o satıra ilişkin "temel gerçeği" belirtirsiniz. Bot çalıştırmasından elde edilen test sonuçları toplanır ve test sonuçlarını başarılı veya başarısız olarak işaretlemek için temel gerçeklerle karşılaştırılır. Bu çizgi düzeyi karşılaştırması daha sonra toplu ölçümler oluşturmaya olanak tanır.
- Teste hazır – Bu, test setinin bir Amazon Lex botuna karşı yürütülmeye hazır olduğunu gösterir.
- Doğrulama Hatası - Yüklenen test dosyaları, desteklenen maksimum uzunluğun aşılması, amaç adlarındaki geçersiz karakterler veya ses dosyaları içeren geçersiz Amazon S3 bağlantıları gibi hatalara karşı kontrol edilir. Test seti şuradaysa Doğrulama Hatası durumunda, test girişi sorunlarını veya hatalarını satır satır görmek için doğrulama ayrıntılarını gösteren dosyayı indirin. Bunlar ele alındıktan sonra düzeltilmiş test seti CSV'sini test setine manuel olarak yükleyebilirsiniz.
Bir test setinin yürütülmesi
Bir test kümesinin bir bottan bağlantısı kesilir. Gelecekte iş kullanım durumunuz geliştikçe aynı test seti farklı bir bot veya bot takma adına karşı yürütülebilir. Bir botun performans ölçümlerini temel test verilerine göre raporlamak için aşağıdaki adımları izleyin:
- ithalat örnek bot botu tanımlayın ve oluşturun (bkz. Bir botun içe aktarılması rehberlik için).
- Amazon Lex konsolunda şunu seçin: Test setleri Gezinti bölmesinde.
- Doğrulanmış test setinizi seçin.
Burada test seti ve içe aktarılan test verileri hakkındaki temel bilgileri inceleyebilirsiniz.
- Klinik Testi yürüt.
- için uygun seçenekleri seçin Bot adı, Bot takma adı, ve Dil.
- İçin Test türüseçin ses or Metin.
- İçin Uç nokta seçimiya da birini seçin akış or Akış dışı.
- Klinik Tutarsızlığı doğrula Test veri kümenizi doğrulamak için.
Bir test kümesini yürütmeden önce, test kümesinde bulunan ancak botta bulunmayan amaçları ve yuvaları tanımlamak da dahil olmak üzere test kapsamını doğrulayabilirsiniz. Bu erken uyarı, beklenmeyen test başarısızlıklarına karşı test uzmanının beklentilerini belirlemeye yarar. Test veri kümeniz ile botunuz arasında tutarsızlıklar tespit edilirse Testi yürüt sayfa şu şekilde güncellenecektir: Ayrıntıları görüntüle düğmesine basın.
Test veri setinde bulunan ancak bot takma adında bulunmayan niyetler ve yuvalar, aşağıdaki ekran görüntülerinde gösterildiği gibi listelenmiştir.
- Tutarsızlıkları doğruladıktan sonra Gerçekleştirmek testi çalıştırmak için.
Sonuçları gözden geçir
Bir test kümesinin yürütülmesinden sonra oluşturulan performans ölçümleri, bot tasarımında iyileştirilmesi gereken alanları belirlemenize yardımcı olur ve müşterilerinizi desteklemek amacıyla bot geliştirme ve dağıtımını hızlandırmak için faydalıdır. Test Workbench, uçtan uca konuşma ve tek satırlık giriş seviyesinde amaç sınıflandırması ve slot çözünürlüğü hakkında bilgiler sağlar. Tamamlanan test çalıştırmaları, S3 klasörünüzde zaman damgalarıyla birlikte saklanır ve gelecekteki karşılaştırmalı incelemeler için kullanılabilir.
- Amazon Lex konsolunda şunu seçin: Test sonuçları Gezinti bölmesinde.
- İncelemek istediğiniz sonuçlar için test sonucu kimliğini seçin.
Bir sonraki sayfada, test sonuçları dört ana sekmede düzenlenen sonuçların bir dökümünü içerecektir: Genel sonuçlar, Konuşma sonuçları, Niyet ve slot sonuçları, ve Ayrıntılı sonuçlar.
Genel sonuçlar
Genel sonuçlar sekmesi üç ana bölüm içerir:
- Test seti giriş dökümü — Test setindeki uçtan uca konuşmaların ve tek girdi ifadelerinin toplam sayısını gösteren bir grafik.
- Tek giriş dökümü — Başarılı veya başarısız olan tekli girişlerin sayısını gösteren bir grafik.
- Konuşma dökümü — Başarılı veya başarısız çok dönüşlü girişlerin sayısını gösteren bir grafik.
Ses modunda yürütülen test setleri için, hem tek giriş hem de konuşma türlerinde başarılı veya başarısız konuşma transkripsiyonlarının sayısını göstermek üzere konuşma transkripsiyon grafikleri sağlanır. Ses modunda, tek bir giriş veya çok turlu bir konuşma, konuşma transkripsiyon testini geçebilir, ancak genel uçtan uca testte başarısız olabilir. Bunun nedeni örneğin bir slot çözümü veya bir amaç tanıma sorunu olabilir.
Konuşma sonuçları
Test Workbench, belirli amaçlar veya alanlarla ilişkilendirilebilecek konuşma hatalarını ayrıntılı olarak incelemenize yardımcı olur. Konuşma sonuçları sekmesi, test setinde kullanılan tüm amaçları ve alanları kapsayan üç ana alan halinde düzenlenmiştir:
- Konuşma geçme oranları — Olası konuşma hatalarından hangi amaçların ve aralıkların sorumlu olduğunu görselleştirmek için kullanılan bir tablo.
- Konuşma amacı başarısızlığı metrikleri — Varsa, test kümesindeki en kötü performans gösteren ilk beş amacı gösteren bir çubuk grafik.
- Konuşma yuvası hatası ölçümleri — Varsa, test kümesindeki en kötü performans gösteren ilk beş alanı gösteren bir çubuk grafik.
Niyet ve slot sonuçları
Amaç ve alan sonuçları sekmesi, amaç tanıma ve alan çözünürlüğü gibi bot boyutlarına yönelik ayrıntılı ölçümler sağlar.
- Niyet tanıma metrikleri — Niyet tanıma başarı oranını gösteren bir tablo.
- Yuva çözünürlüğü ölçümleri — Slot çözümleme başarı oranını gösteren bir tablo
Ayrıntılı sonuçlar
Yürütülen test çalıştırmasının ayrıntılı raporuna Ayrıntılı sonuçlar sekmesinden erişebilirsiniz. Bir test setindeki gerçek transkripsiyon, çıktı amacı ve slot değerlerini gösteren bir tablo görüntülenir. Rapor daha fazla analiz için CSV olarak indirilebilir.
Hat düzeyindeki çıktı, bot tasarımını iyileştirmeye ve doğruluğu artırmaya yardımcı olacak bilgiler sağlar. Örneğin, markalı kelimeler gibi yanlış tanınan veya gözden kaçırılan konuşma girdileri, bir amacın özel sözlüğüne veya bir niyet altındaki ifadeler olarak eklenebilir.
Konuşma tasarımını daha da geliştirmek için şu adrese başvurabilirsiniz: Bu mesaj, müşterilerinizi doğru bir şekilde anlayarak memnun edecek bir bot oluşturmak için ML kullanımına ilişkin en iyi uygulamaları özetliyor.
Sonuç
Bu yazıda, bir sohbet robotu otomatik test sürecini standartlaştıran ve geliştiricilerin ve konuşma tasarımcılarının bot tasarımı ve geliştirme sürecini hızlı bir şekilde kolaylaştırmasına ve yinelemesine olanak tanıyan yerel bir yetenek olan Amazon Lex için Test Workbench'i sunduk.
Amazon Lex'in bu yeni işlevini nasıl kullandığınızı duymayı sabırsızlıkla bekliyoruz ve geri bildirimlerinizi bekliyoruz! Sorularınız, hatalarınız veya özellik istekleriniz için lütfen bize şu adresten ulaşın: AWS yeniden: Amazon Lex için Gönderi veya AWS Support kişileriniz.
Daha fazla bilgi için bkz. Amazon Lex SSS'leri ve Amazon Lex V2 Geliştirici Kılavuzu.
yazarlar hakkında
Sandeep Srinivasan Amazon Lex ekibinde bir Ürün Yöneticisidir. İnsan davranışlarının keskin bir gözlemcisi olarak müşteri deneyimi konusunda tutkulu. Uyanma saatlerini insanların, teknolojinin ve geleceğin kesiştiği yerde geçirir.
Grazia Russo Lassner AWS Professional Services Natural Language AI ekibinde Kıdemli Danışmandır. Çeşitli sektörlerdeki müşteriler için AWS teknolojilerini kullanarak karşılıklı etkileşimli yapay zeka çözümleri tasarlama ve geliştirme konusunda uzmandır. İş dışında hafta sonlarını kumsalda geçirmekten, en yeni kurgu kitaplarını okumaktan ve ailesinden hoşlanıyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- EVM Finans. Merkezi Olmayan Finans için Birleşik Arayüz. Buradan Erişin.
- Kuantum Medya Grubu. IR/PR Güçlendirilmiş. Buradan Erişin.
- PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Yapabilmek
- Hakkımızda
- erişim
- Hesap
- doğruluk
- tam olarak
- karşısında
- gerçek
- katma
- ilave
- Sonra
- karşı
- AI
- Türkiye
- Izin
- veriyor
- Amazon
- Amazon Lex'i
- Amazon Web Servisleri
- an
- analiz
- ve
- duyurmak
- herhangi
- uygun
- ARE
- alanlar
- AS
- yardımcıları
- ilişkili
- At
- öznitelikleri
- ses
- otomatikleştirmek
- Otomatik
- otomatik olarak
- önlemek
- AWS
- AWS Profesyonel Hizmetleri
- arka fon
- bar
- Temel
- temel
- temel
- BE
- plaj
- önce
- İYİ
- en iyi uygulamalar
- arasında
- Kitaplar
- artırmak
- Bot
- her ikisi de
- botlar
- markalı
- Arıza
- böcek
- inşa etmek
- bina
- yapılı
- iş
- fakat
- düğmesine tıklayın
- by
- CAN
- dikkatlice
- dava
- neden
- Merkez
- kanallar
- karakterler
- Grafik
- Grafikler
- chatbot
- chatbots
- Kontrol
- kontrol
- Klinik
- sınıflandırma
- karşılaştırıldığında
- karşılaştırma
- tamamlamak
- Tamamlandı
- bilgisayar
- Davranış
- tutarlı
- konsolos
- danışman
- UAF ile
- iletişim merkezi
- kontaklar
- içeren
- konuşma
- konuşkan
- konuşma yapay zekası
- konuşmaları
- düzeltilmiş
- olabilir
- kapsama
- kaplama
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- Oluşturma
- oluşturma
- kritik
- görenek
- müşteri
- müşteri deneyimi
- Müşteriler
- veri
- veri seti
- veri kümeleri
- geciktirmek
- zevk
- teslim
- dağıtmak
- tanım
- Dizayn
- tasarımcıları
- tasarım
- detaylı
- ayrıntılar
- algılandı
- Geliştirici
- geliştiriciler
- gelişen
- gelişme
- farklı
- boyutlar
- do
- aşağı
- indir
- sürücü
- gereken
- sırasında
- her
- Erken
- verimlilikleri
- ya
- son uca
- sağlamak
- Keşfet
- hata
- Hatalar
- geliştikçe
- aşırı
- uyarılmış
- yürütmek
- infaz
- yürütme
- mevcut
- beklenti
- beklentileri
- beklenen
- deneyim
- FAIL
- başarısız
- Başarısızlık
- aile
- Özellikler(Hazırlık aşamasında)
- Özellikler
- Kurgu
- fileto
- dosyalar
- akış
- takip etme
- İçin
- biçim
- ileri
- bulundu
- dört
- itibaren
- tamamen
- işlevsellik
- daha fazla
- gelecek
- oluşturmak
- oluşturulan
- üreten
- vermek
- grafik
- Zemin
- rehberlik
- kullanma
- Var
- he
- işitme
- yardım et
- yardımcı olur
- onun
- SAAT
- Ne kadar
- Ancak
- HTML
- http
- HTTPS
- insan
- ID
- belirlemek
- belirlenmesi
- if
- ithal
- iyileştirmek
- iyileşme
- iyileştirmeler
- geliştirme
- in
- dahil
- içerir
- Dahil olmak üzere
- Artırmak
- belirtmek
- gösterir
- Endüstri
- bilgi
- giriş
- girişler
- anlayışlar
- örnek
- entegrasyonlar
- niyet
- interaktif
- arayüzler
- kavşak
- içine
- konu
- sorunlar
- jpg
- Keskin
- anahtar
- bilgi
- dil
- son
- ÖĞRENİN
- uzunluk
- seviye
- yaşam döngüsü
- çizgi
- LINK
- bağlantılar
- Liste
- Listelenmiş
- yer
- Bakın
- Ana
- korumak
- yönetilen
- yönetim
- müdür
- Manuel
- el ile
- işaret
- maksimum
- ölçmek
- önlemler
- mekanizma
- Toplandı
- mesajlaşma
- metodoloji
- Metrikleri
- cevapsız
- ML
- değiştirilmiş
- Daha
- isim
- isimleri
- yerli
- Doğal (Madenden)
- Navigasyon
- gerek
- ihtiyaçlar
- yeni
- yeni
- sonraki
- yok hayır
- numara
- gözlemek
- of
- sık sık
- on
- bir Zamanlar
- ONE
- işletme
- Opsiyonlar
- or
- sipariş
- kuruluşlar
- Düzenlenmiş
- çıktı
- dışında
- tekrar
- tüm
- Kanal
- bölmesi
- parametreler
- geçmek
- geçti
- tutkulu
- İnsanlar
- performans
- icra
- faz
- Platon
- Plato Veri Zekası
- PlatoVeri
- Lütfen
- politika
- mümkün
- Çivi
- uygulamalar
- tercih
- mevcut
- sundu
- süreç
- PLATFORM
- ürün müdürü
- üretim
- verimlilik
- profesyonel
- sağlanan
- sağlar
- kalite
- sorgular
- Sorular
- hızla
- menzil
- oran
- RE
- ulaşmak
- Okuma
- hazır
- gerçek
- tanıma
- rapor
- talep
- isteklerinizi
- Yer Alan Kurallar
- çözüm
- yanıt
- yanıt
- sorumlu
- sonuç
- Sonuçlar
- yorum
- Yorumları
- Rol
- koşmak
- aynı
- ölçekleme
- senaryolar
- ekran
- bölümler
- görmek
- kıdemli
- vermektedir
- hizmet
- Hizmetler
- Oturum
- set
- Setleri
- birkaç
- o
- meli
- şov
- gösterilen
- Basit
- basitleştirmek
- tek
- yuvaları
- çözüm
- Çözümler
- uzmanlaşmış
- özel
- konuşma
- Eyalet
- Durum
- adım
- Basamaklar
- hafızası
- saklı
- kolaylaştırmak
- başarı
- böyle
- destek
- destekli
- sistem
- tablo
- görevleri
- takım
- takım
- Teknolojileri
- Teknoloji
- şablonları
- test
- Test yapmak
- testleri
- o
- The
- Gelecek
- Onları
- sonra
- Orada.
- onlar
- Re-Tweet
- üç
- İçinden
- zaman
- için
- araçlar
- üst
- Toplam
- Hakikat
- türleri
- altında
- anlayış
- Beklenmedik
- Güncelleme
- Güncellemeler
- Yükleme
- us
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- kullanma
- DOĞRULA
- valide
- onaylama
- Değerler
- çeşitli
- Sanal
- ses
- istemek
- uyarı
- we
- ağ
- web hizmetleri
- web siteleri
- karşılama
- olup olmadığını
- hangi
- irade
- ile
- sözler
- İş
- En kötü
- henüz
- Sen
- zefirnet
- zip