AmazonLex dengan bangga mengumumkan Test Workbench, solusi pengujian bot baru yang menyediakan alat untuk menyederhanakan dan mengotomatiskan proses pengujian bot. Selama pengembangan bot, pengujian adalah fase di mana pengembang memeriksa apakah bot memenuhi persyaratan, kebutuhan, dan harapan spesifik dengan mengidentifikasi kesalahan, cacat, atau bug dalam sistem sebelum melakukan penskalaan. Pengujian membantu memvalidasi kinerja bot di beberapa bidang seperti alur percakapan (memahami pertanyaan pengguna dan merespons secara akurat), penanganan maksud yang tumpang tindih, dan konsistensi di seluruh modalitas. Namun, pengujian sering kali dilakukan secara manual, rawan kesalahan, dan tidak terstandarisasi. Test Workbench menstandardisasi manajemen pengujian otomatis dengan memungkinkan tim pengembangan chatbot membuat, memelihara, dan mengeksekusi set pengujian dengan metodologi yang konsisten dan menghindari pembuatan skrip khusus dan integrasi ad-hoc. Dalam postingan ini, Anda akan mempelajari bagaimana Test Workbench menyederhanakan pengujian otomatis modalitas suara dan teks bot serta memberikan pengukuran akurasi dan performa untuk parameter seperti transkripsi audio, pengenalan maksud, dan resolusi slot untuk input ucapan tunggal dan percakapan multi-putaran. Hal ini memungkinkan Anda dengan cepat mengidentifikasi area peningkatan bot dan mempertahankan garis dasar yang konsisten untuk mengukur akurasi dari waktu ke waktu dan mengamati regresi akurasi apa pun karena pembaruan bot.
Amazon Lex adalah layanan terkelola sepenuhnya untuk membangun antarmuka suara dan teks percakapan. Amazon Lex membantu Anda membangun dan menerapkan chatbots dan asisten virtual di situs web, layanan pusat kontak, dan saluran perpesanan. Bot Amazon Lex membantu meningkatkan produktivitas respons suara interaktif (IVR), mengotomatiskan tugas-tugas sederhana, dan mendorong efisiensi operasional di seluruh organisasi. Test Workbench untuk Amazon Lex menstandardisasi dan menyederhanakan siklus hidup pengujian bot, yang sangat penting untuk meningkatkan desain bot.
Fitur Meja Kerja Uji
Test Workbench untuk Amazon Lex mencakup fitur berikut:
- Hasilkan kumpulan data pengujian secara otomatis dari log percakapan bot
- Unggah garis dasar set pengujian yang dibuat secara manual
- Lakukan pengujian end-to-end pada percakapan input tunggal atau multi-putaran
- Uji modalitas audio dan teks bot
- Tinjau metrik gabungan dan lihat perincian untuk dimensi bot:
- Transkripsi ucapan
- Pengenalan niat
- Resolusi slot (termasuk slot multi-nilai atau slot komposit)
- Tag konteks
- Atribut sesi
- Atribut permintaan
- Petunjuk waktu proses
- Penundaan waktu dalam hitungan detik
Prasyarat
Untuk menguji fitur ini, Anda harus memiliki yang berikut ini:
Selain itu, Anda harus memiliki pengetahuan dan pemahaman tentang layanan dan fitur berikut:
Buat set pengujian
Untuk membuat set pengujian Anda, selesaikan langkah-langkah berikut:
- pada Konsol Amazon Lex, dibawah Uji meja kerja di panel navigasi, pilih Set tes.
Anda dapat meninjau daftar set pengujian yang ada, termasuk informasi dasar seperti nama, deskripsi, jumlah input pengujian, modalitas, dan status. Pada langkah-langkah berikut, Anda dapat memilih antara membuat set pengujian dari log percakapan yang terkait dengan bot atau mengunggah set pengujian yang dibuat secara manual dalam format file CSV.
- Pilih Buat set pengujian.
- Menghasilkan set pengujian dari log percakapan memungkinkan Anda melakukan hal berikut:
- Sertakan percakapan multi-putaran nyata dari log bot di CloudWatch
- Sertakan log audio dan lakukan tes yang memperhitungkan nuansa ucapan, kebisingan latar belakang, dan aksen yang sebenarnya
- Mempercepat pembuatan set pengujian
- Mengunggah set pengujian yang dibuat secara manual memungkinkan Anda melakukan hal berikut:
- Uji bot baru yang data produksinya tidak ada
- Lakukan uji regresi pada bot yang ada untuk setiap maksud, slot, dan alur percakapan yang baru atau yang dimodifikasi
- Uji skenario yang dibuat dengan cermat dan mendetail yang menentukan atribut sesi dan atribut permintaan
Untuk menghasilkan set pengujian, selesaikan langkah-langkah berikut. Untuk mengunggah set pengujian yang dibuat secara manual, lanjutkan ke langkah 7.
- Pilih Hasilkan set pengujian dasar.
- Pilih opsi Anda untuk Nama bot, Alias โโbot, dan Bahasa.
- Untuk Rentang waktu, tetapkan rentang waktu untuk log.
- Untuk Peran IAM yang ada, pilih peran.
Pastikan IAM role dapat memberi Anda akses untuk mengambil informasi dari log percakapan. Lihat Membuat peran IAM untuk membuat IAM role dengan kebijakan yang sesuai.
- Jika Anda lebih suka menggunakan set pengujian yang dibuat secara manual, pilih Unggah file ke set pengujian ini.
- Untuk Unggah file ke set pengujian ini, pilih dari opsi berikut:
- Pilih Unggah dari ember S3 untuk mengunggah file CSV dari Layanan Penyimpanan Sederhana Amazon (Amazon S3).
- Pilih Unggah file ke set pengujian ini untuk mengunggah file CSV dari komputer Anda.
Anda dapat menggunakan kumpulan uji sampel disediakan dalam posting ini. Untuk informasi lebih lanjut tentang templat, pilih Templat CSV tautan di halaman.
- Untuk Pengandaian, pilih modalitas set pengujian Anda Teks or Audio.
Test Workbench menyediakan dukungan pengujian untuk format input audio dan teks.
- Untuk Lokasi S3, masukkan lokasi bucket S3 tempat hasilnya akan disimpan.
- Secara opsional, pilih sebuah Layanan Manajemen Kunci AWS (AWS KMS) kunci untuk mengenkripsi transkrip keluaran.
- Pilih membuat.
Set pengujian yang baru Anda buat akan dicantumkan di Set tes halaman dengan salah satu status berikut:
- Siap untuk anotasi โ Untuk set pengujian yang dihasilkan dari log percakapan bot Amazon Lex, langkah anotasi berfungsi sebagai mekanisme gerbang manual untuk memastikan input pengujian berkualitas. Dengan menganotasi nilai untuk maksud yang diharapkan dan slot yang diharapkan untuk setiap item baris pengujian, Anda menunjukkan โkebenaran dasarโ untuk baris tersebut. Hasil pengujian dari bot dikumpulkan dan dibandingkan dengan kebenaran dasar untuk menandai hasil pengujian sebagai lulus atau gagal. Perbandingan tingkat garis ini kemudian memungkinkan pembuatan pengukuran agregat.
- Siap untuk pengujian โ Hal ini menunjukkan bahwa set pengujian siap dijalankan terhadap bot Amazon Lex.
- Kesalahan validasi โ File pengujian yang diunggah diperiksa untuk menemukan kesalahan seperti melebihi panjang maksimum yang didukung, karakter yang tidak valid dalam nama maksud, atau tautan Amazon S3 yang berisi file audio tidak valid. Jika set tes ada di Kesalahan validasi negara bagian, unduh file yang menunjukkan detail validasi untuk melihat masalah atau kesalahan masukan pengujian setiap baris. Setelah masalah tersebut diatasi, Anda dapat mengunggah CSV set pengujian yang telah diperbaiki secara manual ke dalam set pengujian.
Menjalankan set pengujian
Satu set pengujian dipisahkan dari bot. Kumpulan pengujian yang sama dapat dijalankan terhadap bot atau alias bot yang berbeda di masa mendatang seiring berkembangnya kasus penggunaan bisnis Anda. Untuk melaporkan metrik kinerja bot terhadap data pengujian dasar, selesaikan langkah-langkah berikut:
- impor bot sampel definisi dan buat bot (lihat Mengimpor bot untuk bimbingan).
- Di konsol Amazon Lex, pilih Set tes di panel navigasi.
- Pilih set pengujian Anda yang tervalidasi.
Di sini Anda dapat meninjau informasi dasar tentang set pengujian dan data pengujian yang diimpor.
- Pilih Jalankan tes.
- Pilih opsi yang sesuai untuk Nama bot, Alias โโbot, dan Bahasa.
- Untuk Jenis pengujian, pilih Audio or Teks.
- Untuk Pemilihan titik akhir, pilih salah satu streaming or Non-streaming.
- Pilih Validasi perbedaan untuk memvalidasi kumpulan data pengujian Anda.
Sebelum menjalankan set pengujian, Anda dapat memvalidasi cakupan pengujian, termasuk mengidentifikasi maksud dan slot yang ada di set pengujian tetapi tidak di bot. Peringatan dini ini berfungsi untuk menetapkan ekspektasi penguji terhadap kegagalan pengujian yang tidak terduga. Jika perbedaan antara set data pengujian dan bot Anda terdeteksi, Jalankan tes halaman akan diperbarui dengan Lihat detail .
Maksud dan slot yang ditemukan dalam kumpulan data pengujian tetapi tidak di alias bot dicantumkan seperti yang ditunjukkan pada tangkapan layar berikut.
- Setelah Anda memvalidasi perbedaan, pilih Eksekusi untuk menjalankan tes.
Tinjau hasil
Ukuran kinerja yang dihasilkan setelah menjalankan set pengujian membantu Anda mengidentifikasi area desain bot yang memerlukan perbaikan dan berguna untuk mempercepat pengembangan dan pengiriman bot guna mendukung pelanggan Anda. Test Workbench memberikan wawasan tentang klasifikasi maksud dan resolusi slot dalam percakapan ujung ke ujung dan tingkat masukan satu baris. Uji coba yang telah selesai disimpan dengan stempel waktu di bucket S3 Anda, dan dapat digunakan untuk tinjauan komparatif di masa mendatang.
- Di konsol Amazon Lex, pilih Hasil tes di panel navigasi.
- Pilih ID hasil tes untuk hasil yang ingin Anda tinjau.
Di halaman berikutnya, hasil tes akan menyertakan rincian hasil yang disusun dalam empat tab utama: Hasil keseluruhan, Hasil percakapan, Hasil maksud dan slot, dan Hasil terperinci.
Hasil keseluruhan
Tab Hasil keseluruhan berisi tiga bagian utama:
- Perincian masukan set pengujian โ Bagan yang menunjukkan jumlah total percakapan ujung-ke-ujung dan ucapan masukan tunggal di set pengujian.
- Perincian masukan tunggal โ Bagan yang menunjukkan jumlah input tunggal yang lulus atau gagal.
- Gangguan percakapan โ Bagan yang menunjukkan jumlah input multi-putaran yang berhasil atau gagal.
Untuk set pengujian yang dijalankan dalam modalitas audio, bagan transkripsi ucapan disediakan untuk menunjukkan jumlah transkripsi ucapan yang lulus atau gagal pada input tunggal dan jenis percakapan. Dalam modalitas audio, satu input atau percakapan multi-putaran dapat lulus tes transkripsi ucapan, namun gagal dalam tes end-to-end secara keseluruhan. Hal ini dapat disebabkan, misalnya, oleh resolusi slot atau masalah pengenalan niat.
Hasil percakapan
Test Workbench membantu Anda menelusuri kegagalan percakapan yang dapat dikaitkan dengan maksud atau slot tertentu. Tab Hasil Percakapan disusun menjadi tiga area utama, yang mencakup semua maksud dan slot yang digunakan dalam set pengujian:
- Tingkat kelulusan percakapan โ Tabel yang digunakan untuk memvisualisasikan maksud dan slot mana yang bertanggung jawab atas kemungkinan kegagalan percakapan.
- Metrik kegagalan niat percakapan โ Grafik batang yang menunjukkan lima niat dengan kinerja terburuk dalam set pengujian, jika ada.
- Metrik kegagalan slot percakapan โ Grafik batang yang menunjukkan lima slot dengan kinerja terburuk dalam set pengujian, jika ada.
Maksud dan hasil slot
Tab Hasil niat dan slot menyediakan metrik penelusuran untuk dimensi bot seperti pengenalan niat dan resolusi slot.
- Metrik pengenalan niat โ Tabel yang menunjukkan tingkat keberhasilan pengenalan niat.
- Metrik resolusi slot โ Tabel yang menunjukkan tingkat keberhasilan resolusi slot, menurut
Hasil terperinci
Anda dapat mengakses laporan terperinci tentang pengujian yang dijalankan di tab Hasil terperinci. Tabel ditampilkan untuk memperlihatkan transkripsi aktual, maksud keluaran, dan nilai slot dalam set pengujian. Laporan dapat diunduh sebagai CSV untuk analisis lebih lanjut.
Output tingkat baris memberikan wawasan untuk membantu meningkatkan desain bot dan meningkatkan akurasi. Misalnya, masukan ucapan yang salah dikenali atau terlewatkan seperti kata-kata bermerek dapat ditambahkan ke kosakata khusus dari suatu maksud atau sebagai ucapan di bawah suatu maksud.
Untuk lebih meningkatkan desain percakapan, Anda dapat merujuk ke posting ini, menguraikan praktik terbaik dalam menggunakan ML untuk membuat bot yang akan menyenangkan pelanggan Anda dengan memahami mereka secara akurat.
Kesimpulan
Dalam postingan ini, kami menyajikan Test Workbench untuk Amazon Lex, sebuah kemampuan asli yang menstandardisasi proses pengujian otomatis chatbot dan memungkinkan pengembang dan perancang percakapan untuk menyederhanakan dan melakukan iterasi dengan cepat melalui desain dan pengembangan bot.
Kami menantikan cara Anda menggunakan fungsi baru Amazon Lex ini dan menyambut masukan! Untuk pertanyaan, bug, atau permintaan fitur apa pun, silakan hubungi kami melalui AWS re:Posting untuk Amazon Lex atau kontak AWS Support Anda.
Untuk mempelajari lebih lanjut, lihat FAQ Amazon Lex dan Panduan Pengembang Amazon Lex V2.
Tentang penulis
Sandeep Srinivasan adalah Manajer Produk di tim Amazon Lex. Sebagai pengamat perilaku manusia yang tajam, dia sangat menyukai pengalaman pelanggan. Dia menghabiskan waktu terjaganya di persimpangan orang, teknologi, dan masa depan.
Grazia Russo Lassner adalah Konsultan Senior di tim AWS Professional Services Natural Language AI. Dia berspesialisasi dalam merancang dan mengembangkan solusi AI percakapan menggunakan teknologi AWS untuk pelanggan di berbagai industri. Di luar pekerjaan, dia menikmati akhir pekan di pantai, membaca buku fiksi terbaru, dan keluarga.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Keuangan EVM. Antarmuka Terpadu untuk Keuangan Terdesentralisasi. Akses Di Sini.
- Grup Media Kuantum. IR/PR Diperkuat. Akses Di Sini.
- PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :adalah
- :bukan
- :Di mana
- $NAIK
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Sanggup
- Tentang Kami
- mengakses
- Akun
- ketepatan
- akurat
- di seluruh
- sebenarnya
- menambahkan
- tambahan
- Setelah
- terhadap
- AI
- Semua
- Membiarkan
- memungkinkan
- Amazon
- AmazonLex
- Amazon Web Services
- an
- analisis
- dan
- Mengumumkan
- Apa pun
- sesuai
- ADALAH
- daerah
- AS
- asisten
- terkait
- At
- atribut
- audio
- mengotomatisasikan
- Otomatis
- secara otomatis
- menghindari
- AWS
- Layanan Profesional AWS
- latar belakang
- bar
- Dasar
- dasar
- dasar
- BE
- Pantai
- sebelum
- TERBAIK
- Praktik Terbaik
- antara
- Buku-buku
- mendorong
- Bot
- kedua
- bot
- bermerek
- Kerusakan
- bug
- membangun
- Bangunan
- dibangun di
- bisnis
- tapi
- tombol
- by
- CAN
- hati-hati
- kasus
- disebabkan
- pusat
- saluran
- karakter
- Grafik
- Charts
- ChatBot
- chatbots
- memeriksa
- diperiksa
- Pilih
- klasifikasi
- dibandingkan
- perbandingan
- lengkap
- Lengkap
- komputer
- Mengadakan
- konsisten
- konsul
- konsultan
- kontak
- contact center
- kontak
- mengandung
- Percakapan
- percakapan
- AI percakapan
- percakapan
- dikoreksi
- bisa
- liputan
- penutup
- membuat
- dibuat
- membuat
- penciptaan
- kritis
- adat
- pelanggan
- pengalaman pelanggan
- pelanggan
- data
- kumpulan data
- kumpulan data
- menunda
- menyenangkan
- pengiriman
- menyebarkan
- deskripsi
- Mendesain
- desainer
- merancang
- terperinci
- rincian
- terdeteksi
- Pengembang
- pengembang
- berkembang
- Pengembangan
- berbeda
- ukuran
- do
- turun
- Download
- mendorong
- dua
- selama
- setiap
- Awal
- efisiensi
- antara
- ujung ke ujung
- memastikan
- Enter
- kesalahan
- kesalahan
- berevolusi
- melebihi
- gembira
- menjalankan
- dieksekusi
- mengeksekusi
- ada
- harapan
- harapan
- diharapkan
- pengalaman
- GAGAL
- Gagal
- Kegagalan
- keluarga
- Fitur
- Fitur
- Fiksi
- File
- File
- aliran
- berikut
- Untuk
- format
- Depan
- ditemukan
- empat
- dari
- sepenuhnya
- fungsi
- lebih lanjut
- masa depan
- menghasilkan
- dihasilkan
- menghasilkan
- memberikan
- grafik
- Tanah
- bimbingan
- Penanganan
- Memiliki
- he
- pendengaran
- membantu
- membantu
- -nya
- JAM
- Seterpercayaapakah Olymp Trade? Kesimpulan
- Namun
- HTML
- http
- HTTPS
- manusia
- ID
- mengenali
- mengidentifikasi
- if
- pengimporan
- memperbaiki
- perbaikan
- perbaikan
- meningkatkan
- in
- memasukkan
- termasuk
- Termasuk
- Meningkatkan
- menunjukkan
- menunjukkan
- industri
- informasi
- memasukkan
- input
- wawasan
- contoh
- integrasi
- maksud
- interaktif
- interface
- persimpangan
- ke
- isu
- masalah
- jpg
- Tajam
- kunci
- pengetahuan
- bahasa
- Terbaru
- BELAJAR
- Panjang
- Tingkat
- siklus hidup
- baris
- LINK
- link
- Daftar
- Daftar
- tempat
- melihat
- Utama
- memelihara
- berhasil
- pengelolaan
- manajer
- panduan
- manual
- tanda
- maksimum
- mengukur
- ukuran
- mekanisme
- Memenuhi
- pesan
- Metodologi
- Metrik
- terjawab
- ML
- dimodifikasi
- lebih
- nama
- nama
- asli
- Alam
- Navigasi
- Perlu
- kebutuhan
- New
- baru saja
- berikutnya
- tidak
- jumlah
- mengamati
- of
- sering
- on
- sekali
- ONE
- operasional
- Opsi
- or
- urutan
- organisasi
- terorganisir
- keluaran
- di luar
- lebih
- secara keseluruhan
- halaman
- pane
- parameter
- lulus
- Lulus
- bergairah
- Konsultan Ahli
- prestasi
- melakukan
- tahap
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- kebijaksanaan
- mungkin
- Pos
- praktek
- lebih suka
- menyajikan
- disajikan
- proses
- Produk
- manajer produk
- Produksi
- produktifitas
- profesional
- disediakan
- menyediakan
- kualitas
- query
- Pertanyaan
- segera
- jarak
- Penilaian
- RE
- mencapai
- Bacaan
- siap
- nyata
- pengakuan
- melaporkan
- permintaan
- permintaan
- Persyaratan
- Resolusi
- menanggapi
- tanggapan
- tanggung jawab
- mengakibatkan
- Hasil
- ulasan
- Review
- Peran
- Run
- sama
- skala
- skenario
- screenshot
- bagian
- melihat
- senior
- melayani
- layanan
- Layanan
- Sidang
- set
- set
- beberapa
- dia
- harus
- Menunjukkan
- ditunjukkan
- Sederhana
- menyederhanakan
- tunggal
- slot
- larutan
- Solusi
- spesialisasi
- tertentu
- pidato
- Negara
- Status
- Langkah
- Tangga
- penyimpanan
- tersimpan
- mempersingkat
- sukses
- seperti itu
- mendukung
- Didukung
- sistem
- tabel
- tugas
- tim
- tim
- Teknologi
- Teknologi
- template
- uji
- pengujian
- tes
- bahwa
- Grafik
- Masa depan
- Mereka
- kemudian
- Sana.
- mereka
- ini
- tiga
- Melalui
- waktu
- untuk
- alat
- puncak
- Total
- kebenaran
- jenis
- bawah
- pemahaman
- Tiba-tiba
- Memperbarui
- Pembaruan
- Mengunggah
- us
- menggunakan
- gunakan case
- bekas
- Pengguna
- menggunakan
- MENGESAHKAN
- divalidasi
- pengesahan
- Nilai - Nilai
- berbagai
- maya
- Suara
- ingin
- peringatan
- we
- jaringan
- layanan web
- situs web
- selamat datang
- apakah
- yang
- akan
- dengan
- kata
- Kerja
- terburuk
- namun
- Kamu
- Anda
- zephyrnet.dll
- Zip