Amazon Lex este încântat să anunțe Test Workbench, o nouă soluție de testare a botului care oferă instrumente pentru a simplifica și automatiza procesul de testare a botului. În timpul dezvoltării botului, testarea este faza în care dezvoltatorii verifică dacă un bot îndeplinește cerințele, nevoile și așteptările specifice prin identificarea erorilor, defectelor sau erorilor din sistem înainte de scalare. Testarea ajută la validarea performanței botului pe mai multe fronturi, cum ar fi fluxul conversațional (înțelegerea interogărilor utilizatorilor și răspunsul precis), gestionarea suprapunerii intențiilor și coerența între modalități. Cu toate acestea, testarea este adesea manuală, predispusă la erori și nestandardizate. Test Workbench standardizează gestionarea automată a testelor, permițând echipelor de dezvoltare chatbot să genereze, să mențină și să execute seturi de teste cu o metodologie consecventă și să evite scripturile personalizate și integrările ad-hoc. În această postare, veți afla cum Test Workbench eficientizează testarea automată a modalităților de voce și text ale unui bot și oferă măsuri de acuratețe și performanță pentru parametri precum transcrierea audio, recunoașterea intenției și rezoluția slotului atât pentru intrările cu un singur rostire, cât și pentru conversațiile cu mai multe rânduri. Acest lucru vă permite să identificați rapid zonele de îmbunătățire a botului și să mențineți o linie de bază consecventă pentru a măsura acuratețea în timp și pentru a observa orice regresie a preciziei datorată actualizărilor botului.
Amazon Lex este un serviciu complet gestionat pentru construirea de interfețe conversaționale vocale și text. Amazon Lex vă ajută să construiți și să implementați chatbot și asistenți virtuali pe site-uri web, servicii de contact center și canale de mesagerie. Boții Amazon Lex ajută la creșterea productivității răspunsului vocal interactiv (IVR), la automatizarea sarcinilor simple și la creșterea eficienței operaționale în întreaga organizație. Test Workbench pentru Amazon Lex standardizează și simplifică ciclul de viață al testării bot, care este esențial pentru îmbunătățirea designului botului.
Caracteristicile Test Workbench
Test Workbench pentru Amazon Lex include următoarele caracteristici:
- Generați automat seturi de date de testare din jurnalele de conversații ale unui bot
- Încărcați setul de teste construit manual linii de bază
- Efectuați testarea completă a conversațiilor cu o singură intrare sau cu mai multe rânduri
- Testați atât modalitățile audio, cât și cele text ale unui bot
- Examinați valorile agregate și detaliate pentru parametrii bot:
- Transcrierea vorbirii
- Recunoașterea intenției
- Rezoluție slot (inclusiv sloturi cu valori multiple sau sloturi compozite)
- Etichete de context
- Atributele sesiunii
- Atribute de solicitare
- Sugestii de rulare
- Întârziere în secunde
Cerințe preliminare
Pentru a testa această caracteristică, ar trebui să aveți următoarele:
În plus, ar trebui să aveți cunoștințe și înțelegere a următoarelor servicii și caracteristici:
Creați un set de testare
Pentru a crea setul de testare, parcurgeți următorii pași:
- Pe Consola Amazon Lex, sub Banc de testare în panoul de navigare, alegeți Seturi de testare.
Puteți examina o listă de seturi de testare existente, inclusiv informații de bază, cum ar fi numele, descrierea, numărul de intrări de testare, modalitatea și starea. În următorii pași, puteți alege între generarea unui set de testare din jurnalele de conversație asociate cu botul sau încărcarea unui set de test creat manual într-un format de fișier CSV.
- Alege Creați un set de testare.
- Generarea de seturi de testare din jurnalele de conversație vă permite să faceți următoarele:
- Includeți conversații reale în mai multe rânduri din jurnalele botului în CloudWatch
- Includeți jurnalele audio și efectuați teste care țin cont de nuanțe reale de vorbire, zgomote de fundal și accente
- Accelerați crearea de seturi de testare
- Încărcarea unui set de testare construit manual vă permite să faceți următoarele:
- Testați roboți noi pentru care nu există date de producție
- Efectuați teste de regresie pe roboții existenți pentru orice intenții, sloturi și fluxuri de conversații noi sau modificate
- Testați scenarii detaliate și elaborate cu atenție care specifică atributele sesiunii și atributele solicitării
Pentru a genera un set de testare, parcurgeți următorii pași. Pentru a încărca un set de testare construit manual, treceți la pasul 7.
- Alege Generați un set de teste de bază.
- Alegeți opțiunile pentru Numele botului, Alias de bot, și Limbă.
- Pentru Interval de timp, setați un interval de timp pentru jurnalele.
- Pentru Rol IAM existent, alege un rol.
Asigurați-vă că rolul IAM vă poate acorda acces pentru a prelua informații din jurnalele de conversații. Consultați Crearea rolurilor IAM pentru a crea un rol IAM cu politica corespunzătoare.
- Dacă preferați să utilizați un set de testare creat manual, selectați Încărcați un fișier în acest set de testare.
- Pentru Încărcați un fișier în acest set de testare, alegeți dintre următoarele opțiuni:
- Selectați Încărcați din bucket S3 pentru a încărca un fișier CSV dintr-un Serviciul Amazon de stocare simplă Găleată (Amazon S3)
- Selectați Încărcați un fișier în acest set de testare pentru a încărca un fișier CSV de pe computer.
Aveți posibilitatea să utilizați set de probe de testare furnizate în această postare. Pentru mai multe informații despre șabloane, alegeți Șablon CSV link pe pagină.
- Pentru Modalitatea, selectați modalitatea setului dvs. de testare Text or Audio.
Test Workbench oferă suport de testare pentru formatele de introducere audio și text.
- Pentru Locația S3, introduceți locația găleții S3 unde vor fi stocate rezultatele.
- Opțional, alegeți un AWS Service Management Service (AWS KMS) cheie pentru a cripta transcrierile de ieșire.
- Alege Crea.
Setul dvs. de testare nou creat va fi listat pe Seturi de testare pagină cu una dintre următoarele stări:
- Gata pentru adnotare - Pentru seturile de testare generate din jurnalele de conversație ale botului Amazon Lex, pasul de adnotare servește ca un mecanism de deschidere manuală pentru a asigura intrările de testare de calitate. Prin adnotarea valorilor pentru intențiile așteptate și intervalele așteptate pentru fiecare element rând de testare, indicați „adevărul de bază” pentru acea linie. Rezultatele testelor din rularea botului sunt colectate și comparate cu adevărul de la sol pentru a marca rezultatele testelor ca fiind de succes sau eșuat. Această comparație la nivel de linie permite apoi crearea de măsuri agregate.
- Gata de testare - Aceasta indică faptul că setul de testare este gata pentru a fi executat împotriva unui bot Amazon Lex.
- Eroare de validatie - Fișierele de testare încărcate sunt verificate pentru erori, cum ar fi depășirea lungimii maxime acceptate, caractere nevalide în numele intențiilor sau linkuri Amazon S3 nevalide care conțin fișiere audio. Dacă setul de testare este în Eroare de validatie stare, descărcați fișierul care arată detaliile de validare pentru a vedea problemele sau erorile de introducere a testului, rând cu linie. Odată ce acestea sunt abordate, puteți încărca manual setul de testare corectat CSV în setul de testare.
Executarea unui set de testare
Un set de testare este decuplat de la un bot. Același set de testare poate fi executat împotriva unui alt bot sau alias de bot în viitor, pe măsură ce cazul dvs. de utilizare în afaceri evoluează. Pentru a raporta valorile de performanță ale unui bot în raport cu datele de testare de bază, parcurgeți următorii pași:
- Import botul eșantionului definiți și construiți botul (consultați Importarea unui bot pentru îndrumare).
- În consola Amazon Lex, alegeți Seturi de testare în panoul de navigare.
- Alegeți setul de testare validat.
Aici puteți revizui informațiile de bază despre setul de testare și datele de testare importate.
- Alege Executați testul.
- Alegeți opțiunile potrivite pentru Numele botului, Alias de bot, și Limbă.
- Pentru Tipul testului, Selectați Audio or Text.
- Pentru Selectarea punctului final, selectați fie streaming or Non-streaming.
- Alege Validați discrepanța pentru a valida setul de date de testare.
Înainte de a executa un set de testare, puteți valida acoperirea testului, inclusiv identificarea intențiilor și a sloturilor prezente în setul de testare, dar nu și în bot. Această avertizare timpurie servește la stabilirea așteptărilor testerului pentru eșecurile neașteptate ale testului. Dacă sunt detectate discrepanțe între setul de date de testare și botul dvs., Executați testul pagina se va actualiza cu Vezi detalii butonul.
Intențiile și sloturile găsite în setul de date de testare, dar nu în alias-ul bot sunt listate așa cum se arată în capturile de ecran de mai jos.
- După ce validați discrepanțele, alegeți Executa pentru a rula testul.
Examinați rezultatele
Măsurile de performanță generate după executarea unui set de testare vă ajută să identificați domeniile de proiectare a botului care au nevoie de îmbunătățiri și sunt utile pentru accelerarea dezvoltării și livrării de bot pentru a vă sprijini clienții. Test Workbench oferă informații despre clasificarea intențiilor și rezoluția sloturilor în conversația de la capăt la capăt și nivelul de intrare pe o singură linie. Testele finalizate sunt stocate cu marcaje temporale în compartimentul S3 și pot fi folosite pentru recenzii comparative viitoare.
- În consola Amazon Lex, alegeți Rezultatele testului în panoul de navigare.
- Alegeți ID-ul rezultatului testului pentru rezultatele pe care doriți să le examinați.
Pe pagina următoare, rezultatele testului vor include o defalcare a rezultatelor organizate în patru file principale: Rezultatele generale, rezultatele conversației, rezultatele intenției și intervalului, și Rezultate detaliate.
Rezultate generale
Fila Rezultate generale conține trei secțiuni principale:
- Testează defalcarea intrării setului — O diagramă care arată numărul total de conversații de la capăt la capăt și de enunțuri de intrare unice din setul de testare.
- Defalcare cu o singură intrare — O diagramă care arată numărul de intrări simple reușite sau eșuate.
- Defalcarea conversației — O diagramă care arată numărul de intrări cu mai multe ture trecute sau eșuate.
Pentru seturile de testare care rulează în modul audio, sunt furnizate diagrame de transcriere a vorbirii pentru a arăta numărul de transcripții de vorbire reușite sau nereușite atât pentru tipurile de intrare unică, cât și pentru conversații. În modul audio, o singură intrare sau o conversație cu mai multe rânduri ar putea trece testul de transcriere a vorbirii, dar nu poate trece testul general de la capăt la capăt. Acest lucru poate fi cauzat, de exemplu, de o rezoluție a slotului sau de o problemă de recunoaștere a intenției.
Rezultatele conversației
Test Workbench vă ajută să analizați eșecurile de conversație care pot fi atribuite unor intenții sau intervale specifice. Fila Rezultatele conversației este organizată în trei zone principale, acoperind toate intențiile și intervalele utilizate în setul de testare:
- Rate de promovare a conversației — Un tabel folosit pentru a vizualiza care intenții și intervale sunt responsabile pentru posibilele eșecuri ale conversației.
- Valori pentru eșecul intenției de conversație — Un grafic cu bare care arată primele cinci intenții cu cele mai proaste performanțe din setul de testare, dacă există.
- Valori pentru eșecul spațiului de conversație — Un grafic cu bare care arată primele cinci sloturi cu cele mai slabe performanțe din setul de testare, dacă există.
Intenția și rezultatele slotului
Fila Rezultate privind intenția și intervalul oferă valori detaliate pentru parametrii bot, cum ar fi recunoașterea intenției și rezoluția spațiului.
- Valori de recunoaștere a intenției — Un tabel care arată rata de succes a recunoașterii intenției.
- Valori de rezoluție a sloturilor — Un tabel care arată rata de succes a rezoluției sloturilor, de
Rezultate detaliate
Puteți accesa un raport detaliat al testului executat în fila Rezultate detaliate. Este afișat un tabel pentru a afișa transcripția reală, intenția de ieșire și valorile slotului dintr-un set de testare. Raportul poate fi descărcat ca CSV pentru analize suplimentare.
Ieșirea la nivel de linie oferă informații pentru a ajuta la îmbunătățirea designului botului și la creșterea preciziei. De exemplu, intrările de vorbire greșite sau ratate, cum ar fi cuvintele de marcă, pot fi adăugate la vocabularul personalizat al unei intenții sau ca enunțuri sub o intenție.
Pentru a îmbunătăți și mai mult designul conversației, puteți consulta acest post, subliniind cele mai bune practici privind utilizarea ML pentru a crea un bot care va încânta clienții dvs. înțelegându-i cu acuratețe.
Concluzie
În această postare, am prezentat Test Workbench pentru Amazon Lex, o capacitate nativă care standardizează un proces automat de testare chatbot și permite dezvoltatorilor și designerilor de conversații să simplifice și să repete rapid prin proiectarea și dezvoltarea botului.
Așteptăm cu nerăbdare să aflăm cum utilizați această nouă funcționalitate Amazon Lex și feedback binevenit! Pentru orice întrebări, erori sau solicitări de funcții, vă rugăm să ne contactați prin intermediul AWS re:Post pentru Amazon Lex sau contactele dvs. de asistență AWS.
Pentru a afla mai multe, vedeți Întrebări frecvente Amazon Lex si Ghid pentru dezvoltatori Amazon Lex V2.
Despre autori
Sandeep Srinivasan este manager de produs în echipa Amazon Lex. În calitate de observator pasionat al comportamentului uman, este pasionat de experiența clienților. El își petrece orele de veghe la intersecția dintre oameni, tehnologie și viitor.
Grazia Russo Lassner este consultant senior al echipei AWS Professional Services Natural Language AI. Ea este specializată în proiectarea și dezvoltarea de soluții conversaționale AI folosind tehnologii AWS pentru clienți din diverse industrii. În afara serviciului, îi place weekendurile pe plajă, citind cele mai recente cărți de ficțiune și familia.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- EVM Finance. Interfață unificată pentru finanțare descentralizată. Accesați Aici.
- Grupul Quantum Media. IR/PR amplificat. Accesați Aici.
- PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :este
- :nu
- :Unde
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Capabil
- Despre Noi
- acces
- Cont
- precizie
- precis
- peste
- curent
- adăugat
- plus
- După
- împotriva
- AI
- TOATE
- Permiterea
- permite
- Amazon
- Amazon Lex
- Amazon Web Services
- an
- analiză
- și
- anunța
- Orice
- adecvat
- SUNT
- domenii
- AS
- asistenți
- asociate
- At
- atribute
- audio
- automatizarea
- Automata
- în mod automat
- evita
- AWS
- Servicii profesionale AWS
- fundal
- bar
- De bază
- de bază
- bază
- BE
- Plajă
- înainte
- CEL MAI BUN
- Cele mai bune practici
- între
- Manuale
- a stimula
- Bot
- atât
- roboţii
- marcă
- Defalcarea
- gandaci
- construi
- Clădire
- construit
- afaceri
- dar
- buton
- by
- CAN
- cu grijă
- caz
- cauzată
- Centru
- canale
- caractere
- Diagramă
- Grafice
- chatbot
- chatbots
- verifica
- verificat
- Alege
- clasificare
- comparație
- comparație
- Completă
- Terminat
- calculator
- Conduce
- consistent
- Consoleze
- consultant
- contactați-ne
- centru de contact
- contacte
- conține
- Conversație
- de conversaţie
- AI de conversație
- conversații
- corectat
- ar putea
- acoperire
- acoperire
- crea
- a creat
- Crearea
- creaţie
- critic
- personalizat
- client
- experienta clientului
- clienţii care
- de date
- set de date
- seturi de date
- întârziere
- încânta
- livrare
- implementa
- descriere
- Amenajări
- Designerii
- proiect
- detaliat
- detalii
- detectat
- Dezvoltator
- Dezvoltatorii
- în curs de dezvoltare
- Dezvoltare
- diferit
- Dimensiuni
- do
- jos
- Descarca
- conduce
- două
- în timpul
- fiecare
- Devreme
- eficiență
- oricare
- un capăt la altul
- asigura
- Intrați
- eroare
- Erori
- evoluează
- depășire
- excitat
- a executa
- executat
- executând
- existent
- aşteptare
- aşteptări
- de aşteptat
- experienţă
- FAIL
- A eșuat
- Eșec
- familie
- Caracteristică
- DESCRIERE
- Ficţiune
- Fișier
- Fişiere
- debit
- următor
- Pentru
- format
- Înainte
- găsit
- patru
- din
- complet
- funcționalitate
- mai mult
- viitor
- genera
- generată
- generator
- acordarea
- grafic
- Teren
- îndrumare
- Manipularea
- Avea
- he
- auz
- ajutor
- ajută
- lui
- ORE
- Cum
- Totuși
- HTML
- http
- HTTPS
- uman
- ID
- identifica
- identificarea
- if
- importatoare
- îmbunătăţi
- îmbunătățire
- îmbunătățiri
- îmbunătățirea
- in
- include
- include
- Inclusiv
- Crește
- indica
- indică
- industrii
- informații
- intrare
- intrări
- perspective
- instanță
- integrările
- scop
- interactiv
- interfeţe
- intersecție
- în
- problema
- probleme de
- jpg
- pasionat
- Cheie
- cunoştinţe
- limbă
- Ultimele
- AFLAȚI
- Lungime
- Nivel
- ciclu de viață
- Linie
- LINK
- Link-uri
- Listă
- listat
- locaţie
- Uite
- Principal
- menține
- gestionate
- administrare
- manager
- manual
- manual
- marca
- maxim
- măsura
- măsuri
- mecanism
- se intalneste
- mesagerie
- Metodologie
- Metrici
- ratat
- ML
- modificată
- mai mult
- nume
- nume
- nativ
- Natural
- Navigare
- Nevoie
- nevoilor
- Nou
- recent
- următor
- Nu.
- număr
- observa
- of
- de multe ori
- on
- dată
- ONE
- operațional
- Opţiuni
- or
- comandă
- organizație
- Organizat
- producție
- exterior
- peste
- global
- pagină
- pâine
- parametrii
- trece
- Trecut
- pasionat
- oameni
- performanță
- efectuarea
- fază
- Plato
- Informații despre date Platon
- PlatoData
- "vă rog"
- Politica
- posibil
- Post
- practicile
- a prefera
- prezenta
- prezentat
- proces
- Produs
- manager de produs
- producere
- productivitate
- profesional
- prevăzut
- furnizează
- calitate
- interogări
- Întrebări
- repede
- gamă
- rată
- RE
- ajunge
- Citind
- gata
- real
- recunoaştere
- raportează
- solicita
- cereri de
- Cerinţe
- Rezoluţie
- răspunde
- răspuns
- responsabil
- rezultat
- REZULTATE
- revizuiască
- Recenzii
- Rol
- Alerga
- acelaşi
- scalare
- scenarii
- capturi de ecran
- secțiuni
- vedea
- senior
- servește
- serviciu
- Servicii
- sesiune
- set
- Seturi
- câteva
- ea
- să
- Arăta
- indicat
- simplu
- simplifica
- singur
- sloturi
- soluţie
- soluţii
- specializată
- specific
- discurs
- Stat
- Stare
- Pas
- paşi
- depozitare
- stocate
- simplifica
- succes
- astfel de
- a sustine
- Suportat
- sistem
- tabel
- sarcini
- echipă
- echipe
- Tehnologii
- Tehnologia
- şabloane
- test
- Testarea
- teste
- acea
- Viitorul
- Lor
- apoi
- Acolo.
- ei
- acest
- trei
- Prin
- timp
- la
- Unelte
- top
- Total
- Adevăr
- Tipuri
- în
- înţelegere
- Neașteptat
- Actualizează
- actualizări
- Se încarcă
- us
- utilizare
- carcasa de utilizare
- utilizat
- Utilizator
- folosind
- VALIDA
- validate
- validare
- Valori
- diverse
- Virtual
- Voce
- vrea
- de avertizare
- we
- web
- servicii web
- site-uri web
- bun venit
- dacă
- care
- voi
- cu
- cuvinte
- Apartamente
- Mini rulouri de absorbție
- încă
- Tu
- Ta
- zephyrnet
- Zip