Amazon-Lex è lieta di annunciare Test Workbench, una nuova soluzione di test dei bot che fornisce strumenti per semplificare e automatizzare il processo di test dei bot. Durante lo sviluppo del bot, il test è la fase in cui gli sviluppatori verificano se un bot soddisfa requisiti, esigenze e aspettative specifici identificando errori, difetti o bug nel sistema prima della scalabilità. I test aiutano a convalidare le prestazioni dei bot su diversi fronti, come il flusso della conversazione (comprensione delle query degli utenti e risposta accurata), gestione della sovrapposizione degli intenti e coerenza tra le modalità. Tuttavia, i test sono spesso manuali, soggetti a errori e non standardizzati. Test Workbench standardizza la gestione automatizzata dei test consentendo ai team di sviluppo di chatbot di generare, mantenere ed eseguire set di test con una metodologia coerente ed evitare script personalizzati e integrazioni ad hoc. In questo post imparerai come Test Workbench semplifica il test automatizzato delle modalità vocali e di testo di un bot e fornisce misure di accuratezza e prestazioni per parametri come la trascrizione audio, il riconoscimento dell'intento e la risoluzione dello slot sia per gli input di singole espressioni che per le conversazioni a più turni. Ciò consente di identificare rapidamente le aree di miglioramento del bot e mantenere una linea di base coerente per misurare l'accuratezza nel tempo e osservare qualsiasi regressione dell'accuratezza dovuta agli aggiornamenti del bot.
Amazon Lex è un servizio completamente gestito per la creazione di interfacce vocali e di testo conversazionali. Amazon Lex ti aiuta a creare e distribuire chatbot e assistenti virtuali su siti Web, servizi di contact center e canali di messaggistica. I bot di Amazon Lex aiutano ad aumentare la produttività della risposta vocale interattiva (IVR), automatizzare attività semplici e promuovere l'efficienza operativa in tutta l'organizzazione. Test Workbench per Amazon Lex standardizza e semplifica il ciclo di vita dei test dei bot, che è fondamentale per migliorare la progettazione dei bot.
Caratteristiche del banco di lavoro di prova
Test Workbench per Amazon Lex include le seguenti funzionalità:
- Genera automaticamente set di dati di test dai registri delle conversazioni di un bot
- Carica linee di base del set di test create manualmente
- Esegui test end-to-end di conversazioni a singolo input o a più turni
- Testa le modalità audio e testuale di un bot
- Esamina le metriche aggregate e drill-down per le dimensioni del bot:
- Trascrizione del discorso
- Riconoscimento dell'intento
- Risoluzione slot (inclusi slot multivalore o slot compositi)
- Tag di contesto
- Attributi di sessione
- Richiedi attributi
- Suggerimenti sull'autonomia
- Ritardo in secondi
Prerequisiti
Per testare questa funzione, dovresti avere quanto segue:
Inoltre, è necessario conoscere e comprendere i seguenti servizi e funzionalità:
Crea un set di prova
Per creare il tuo set di test, completa i seguenti passaggi:
- Sulla Console Amazon Lex, sotto Banco di prova nel pannello di navigazione, scegli Set di prova.
È possibile rivedere un elenco di set di test esistenti, incluse informazioni di base come nome, descrizione, numero di input di test, modalità e stato. Nei passaggi seguenti, puoi scegliere tra la generazione di un set di test dai registri delle conversazioni associati al bot o il caricamento di un set di test esistente creato manualmente in un formato di file CSV.
- Scegli Crea set di test.
- La generazione di set di test dai registri delle conversazioni consente di eseguire le seguenti operazioni:
- Includi vere conversazioni a più turni dai log del bot in CloudWatch
- Includi registri audio e conduci test che tengono conto delle sfumature reali del parlato, dei rumori di sottofondo e degli accenti
- Velocizza la creazione di set di test
- Il caricamento di un set di test creato manualmente consente di eseguire le seguenti operazioni:
- Testare nuovi bot per i quali non sono disponibili dati di produzione
- Esegui test di regressione sui bot esistenti per eventuali intenti, slot e flussi di conversazione nuovi o modificati
- Testa scenari dettagliati e realizzati con cura che specificano attributi di sessione e attributi di richiesta
Per generare un set di test, completare i passaggi seguenti. Per caricare un set di test creato manualmente, vai al passaggio 7.
- Scegli Genera un set di test di riferimento.
- Scegli le opzioni per Nome del bot, Alias bote Lingua.
- Nel Intervallo di tempo, impostare un intervallo di tempo per i log.
- Nel Ruolo IAM esistente, scegli un ruolo.
Assicurati che il ruolo IAM sia in grado di concederti l'accesso per recuperare le informazioni dai log delle conversazioni. Fai riferimento a Creazione di ruoli IAM per creare un ruolo IAM con la policy appropriata.
- Se preferisci utilizzare un set di test creato manualmente, seleziona Carica un file in questo set di test.
- Nel Carica un file in questo set di test, scegli tra le seguenti opzioni:
- Seleziona Carica dal bucket S3 per caricare un file CSV da un Servizio di archiviazione semplice Amazon (Amazon S3) secchio.
- Seleziona Carica un file in questo set di test per caricare un file CSV dal tuo computer.
È possibile utilizzare il insieme di prova del campione fornito in questo post. Per ulteriori informazioni sui modelli, scegliere il file Modello CSV collegamento nella pagina.
- Nel Modalità, seleziona anche la modalità del set di test Testo or audio.
Test Workbench fornisce il supporto di test per i formati di input audio e di testo.
- Nel Posizione S3, inserisci la posizione del bucket S3 in cui verranno archiviati i risultati.
- Facoltativamente, scegli un Servizio di gestione delle chiavi AWS (AWS KMS) per crittografare le trascrizioni di output.
- Scegli Creare.
Il set di test appena creato verrà elencato nel file Set di prova pagina con uno dei seguenti stati:
- Pronto per l'annotazione - Per i set di test generati dai log delle conversazioni dei bot di Amazon Lex, la fase di annotazione funge da meccanismo di gating manuale per garantire input di test di qualità. Annotando i valori per gli intenti previsti e gli slot previsti per ciascun elemento pubblicitario di test, indichi la "verità fondamentale" per quella riga. I risultati del test dall'esecuzione del bot vengono raccolti e confrontati con la verità di base per contrassegnare i risultati del test come superati o falliti. Questo confronto a livello di riga consente quindi di creare misure aggregate.
- Pronto per il test - Ciò indica che il set di test è pronto per essere eseguito su un bot di Amazon Lex.
- Errore di convalida - I file di test caricati vengono controllati per errori come il superamento della lunghezza massima supportata, i caratteri non validi nei nomi degli intenti o i collegamenti Amazon S3 non validi contenenti file audio. Se il set di test è in formato Errore di convalida state, scarica il file che mostra i dettagli di convalida per vedere i problemi o gli errori di input del test riga per riga. Una volta risolti, puoi caricare manualmente il CSV del set di test corretto nel set di test.
Esecuzione di un set di prova
Un set di test è disaccoppiato da un bot. Lo stesso set di test può essere eseguito su un bot o un alias bot diverso in futuro man mano che il tuo caso d'uso aziendale si evolve. Per segnalare le metriche delle prestazioni di un bot rispetto ai dati del test di base, completare i seguenti passaggi:
- Importare il bot di esempio definizione e costruire il bot (fare riferimento a Importazione di un bot per l'orientamento).
- Sulla console Amazon Lex, selezionare Set di prova nel pannello di navigazione.
- Scegli il tuo set di test convalidato.
Qui è possibile esaminare le informazioni di base sul set di test ei dati di test importati.
- Scegli Esegui test.
- Scegli le opzioni appropriate per Nome del bot, Alias bote Lingua.
- Nel Tipo di test, selezionare audio or Testo.
- Nel Selezione dell'endpoint, selezionare uno Streaming or Non in streaming.
- Scegli Convalidare la discrepanza per convalidare il set di dati di test.
Prima di eseguire un set di test, puoi convalidare la copertura del test, inclusa l'identificazione di intenti e slot presenti nel set di test ma non nel bot. Questo avviso preventivo serve a impostare le aspettative del tester per errori di test imprevisti. Se vengono rilevate discrepanze tra il set di dati di test e il bot, il file Esegui test la pagina si aggiornerà con il Scopri i dettagli pulsante.
Gli intent e gli slot trovati nel set di dati di test ma non nell'alias del bot sono elencati come mostrato negli screenshot seguenti.
- Dopo aver convalidato le discrepanze, scegli Eseguire per eseguire il test.
Esamina i risultati
Le misure delle prestazioni generate dopo l'esecuzione di un set di test consentono di identificare le aree della progettazione del bot che necessitano di miglioramenti e sono utili per accelerare lo sviluppo e la consegna del bot per supportare i clienti. Test Workbench fornisce approfondimenti sulla classificazione degli intenti e sulla risoluzione degli slot nella conversazione end-to-end e nel livello di input a riga singola. Le esecuzioni di test completate vengono archiviate con timestamp nel tuo bucket S3 e possono essere utilizzate per future revisioni comparative.
- Sulla console Amazon Lex, selezionare Risultati del test nel pannello di navigazione.
- Scegli l'ID del risultato del test per i risultati che desideri esaminare.
Nella pagina successiva, i risultati del test includeranno una ripartizione dei risultati organizzati in quattro schede principali: Risultati complessivi, risultati di conversazione, risultati di intenti e slot, ed Risultati dettagliati.
Risultati complessivi
La scheda Risultati complessivi contiene tre sezioni principali:
- Analisi dell'input del set di prova — Un grafico che mostra il numero totale di conversazioni end-to-end e di singole espressioni di input nel set di test.
- Scomposizione a ingresso singolo — Un grafico che mostra il numero di input singoli superati o falliti.
- Interruzione della conversazione — Un grafico che mostra il numero di ingressi multigiro superati o falliti.
Per i set di test eseguiti in modalità audio, vengono forniti grafici di trascrizione vocale per mostrare il numero di trascrizioni vocali superate o non riuscite su entrambi i tipi di input singolo e conversazione. In modalità audio, un singolo input o una conversazione a più turni potrebbe superare il test di trascrizione vocale, ma fallire il test end-to-end complessivo. Ciò può essere causato, ad esempio, da una risoluzione dello slot o da un problema di riconoscimento dell'intento.
Risultati della conversazione
Test Workbench consente di eseguire il drill-down degli errori di conversazione che possono essere attribuiti a intenti o slot specifici. La scheda Risultati conversazione è organizzata in tre aree principali, che coprono tutti gli intenti e gli slot utilizzati nel set di test:
- Tassi di passaggio di conversazione — Una tabella utilizzata per visualizzare quali intenti e slot sono responsabili di possibili errori di conversazione.
- Metriche di fallimento dell'intento di conversazione — Un grafico a barre che mostra i primi cinque intenti con le prestazioni peggiori nel set di test, se presenti.
- Metriche di errore dello slot di conversazione — Un grafico a barre che mostra i primi cinque slot con le prestazioni peggiori nel set di test, se presenti.
Intenzione e risultati di slot
La scheda Risultati intento e slot fornisce metriche approfondite per le dimensioni del bot come il riconoscimento dell'intento e la risoluzione dello slot.
- Metriche di riconoscimento dell'intento — Una tabella che mostra la percentuale di successo del riconoscimento dell'intento.
- Metriche di risoluzione dello slot — Una tabella che mostra il tasso di successo della risoluzione degli slot, entro
Risultati dettagliati
È possibile accedere a un report dettagliato dell'esecuzione del test eseguito nella scheda Risultati dettagliati. Viene visualizzata una tabella per mostrare la trascrizione effettiva, l'intento di output e i valori degli slot in un set di test. Il rapporto può essere scaricato come CSV per ulteriori analisi.
L'output a livello di linea fornisce approfondimenti per aiutare a migliorare la progettazione del bot e aumentare la precisione. Ad esempio, gli input vocali non riconosciuti o persi, come le parole di marca, possono essere aggiunti al vocabolario personalizzato di un intento o come espressioni sotto un intento.
Per migliorare ulteriormente il design della conversazione, puoi fare riferimento a questo post, che delinea le best practice sull'utilizzo del machine learning per creare un bot che delizierà i tuoi clienti comprendendoli accuratamente.
Conclusione
In questo post, abbiamo presentato Test Workbench per Amazon Lex, una funzionalità nativa che standardizza un processo di test automatizzato di chatbot e consente a sviluppatori e progettisti di conversazioni di semplificare e iterare rapidamente attraverso la progettazione e lo sviluppo di bot.
Non vediamo l'ora di sapere come utilizzi questa nuova funzionalità di Amazon Lex e di ricevere feedback! Per qualsiasi domanda, bug o richiesta di funzionalità, contattaci tramite AWS re:Post per Amazon Lex o i tuoi contatti di AWS Support.
Per saperne di più, vedere Domande frequenti su Amazon Lex e la Guida per sviluppatori Amazon Lex V2.
Circa gli autori
Sandeep Srinivasan è un Product Manager nel team di Amazon Lex. Essendo un acuto osservatore del comportamento umano, è appassionato dell'esperienza del cliente. Trascorre le sue ore di veglia all'incrocio tra persone, tecnologia e futuro.
Grazia Russo Lassner è un consulente senior del team AI di AWS Professional Services Natural Language. È specializzata nella progettazione e nello sviluppo di soluzioni AI conversazionali utilizzando le tecnologie AWS per clienti in vari settori. Al di fuori del lavoro, le piacciono i fine settimana in spiaggia, la lettura degli ultimi libri di narrativa e la famiglia.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- EVM Finance. Interfaccia unificata per la finanza decentralizzata. Accedi qui.
- Quantum Media Group. IR/PR amplificato. Accedi qui.
- PlatoAiStream. Intelligenza dei dati Web3. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :È
- :non
- :Dove
- $ SU
- 10
- 100
- 500
- 610
- 7
- 9
- a
- capace
- WRI
- accesso
- Il mio account
- precisione
- con precisione
- operanti in
- presenti
- aggiunto
- aggiunta
- Dopo shavasana, sedersi in silenzio; saluti;
- contro
- AI
- Tutti
- Consentire
- consente
- Amazon
- Amazon-Lex
- Amazon Web Services
- an
- .
- ed
- Annunciare
- in qualsiasi
- opportuno
- SONO
- aree
- AS
- assistenti
- associato
- At
- gli attributi
- Audio
- automatizzare
- Automatizzata
- automaticamente
- evitare
- AWS
- Servizi professionali AWS
- sfondo
- bar
- Linea di base
- basic
- base
- BE
- Beach
- prima
- MIGLIORE
- best practice
- fra
- Libri
- Incremento
- Bot
- entrambi
- bots
- marcato
- Guasto
- bug
- costruire
- Costruzione
- costruito
- affari
- ma
- pulsante
- by
- Materiale
- attentamente
- Custodie
- ha causato
- centro
- canali
- caratteri
- Grafico
- Grafici
- chatbot
- chatbots
- dai un'occhiata
- controllato
- Scegli
- classificazione
- rispetto
- confronto
- completamento di una
- Completato
- computer
- Segui il codice di Condotta
- coerente
- consolle
- consulente
- contatti
- centralino
- contatti
- contiene
- Conversazione
- discorsivo
- AI conversazionale
- Conversazioni
- corretto
- potuto
- copertura
- copertura
- creare
- creato
- Creazione
- creazione
- critico
- costume
- cliente
- esperienza del cliente
- Clienti
- dati
- set di dati
- dataset
- ritardo
- deliziare
- consegna
- schierare
- descrizione
- Design
- designer e gli illustratori veneziani,
- progettazione
- dettagliati
- dettagli
- rilevato
- Costruttori
- sviluppatori
- in via di sviluppo
- Mercato
- diverso
- dimensioni
- do
- giù
- scaricare
- guidare
- dovuto
- durante
- ogni
- Presto
- efficienze
- o
- da un capo all'altro
- garantire
- entrare
- errore
- errori
- si evolve
- superiore
- eccitato
- eseguire
- eseguito
- esecuzione
- esistente
- aspettativa
- le aspettative
- previsto
- esperienza
- FAIL
- fallito
- Fallimento
- famiglia
- caratteristica
- Caratteristiche
- Fantasia
- Compila il
- File
- flusso
- i seguenti
- Nel
- formato
- Avanti
- essere trovato
- quattro
- da
- completamente
- funzionalità
- ulteriormente
- futuro
- generare
- generato
- la generazione di
- concedere
- grafico
- Terra
- guida
- Manovrabilità
- Avere
- he
- udito
- Aiuto
- aiuta
- il suo
- ORE
- Come
- Tuttavia
- HTML
- http
- HTTPS
- umano
- ID
- identificare
- identificazione
- if
- importazione
- competenze
- miglioramento
- miglioramenti
- miglioramento
- in
- includere
- inclusi
- Compreso
- Aumento
- indicare
- indica
- industrie
- informazioni
- ingresso
- Ingressi
- intuizioni
- esempio
- integrazioni
- intento
- interattivo
- interfacce
- intersezione
- ai miglioramenti
- problema
- sicurezza
- jpg
- Acuto
- Le
- conoscenze
- Lingua
- con i più recenti
- IMPARARE
- Lunghezza
- Livello
- ciclo di vita
- linea
- LINK
- Collegamento
- Lista
- elencati
- località
- Guarda
- Principale
- mantenere
- gestito
- gestione
- direttore
- Manuale
- manualmente
- marchio
- massimo
- misurare
- analisi
- meccanismo
- Soddisfa
- di messaggistica
- Metodologia
- Metrica
- perse
- ML
- modificato
- Scopri di più
- Nome
- nomi
- nativo
- Naturale
- Navigazione
- Bisogno
- esigenze
- New
- recentemente
- GENERAZIONE
- no
- numero
- osservare
- of
- di frequente
- on
- una volta
- ONE
- operativa
- Opzioni
- or
- minimo
- organizzazione
- Organizzato
- produzione
- al di fuori
- ancora
- complessivo
- pagina
- vetro
- parametri
- passare
- Passato
- appassionato
- Persone
- performance
- esecuzione
- fase
- Platone
- Platone Data Intelligence
- PlatoneDati
- per favore
- politica
- possibile
- Post
- pratiche
- preferire
- presenti
- presentata
- processi
- Prodotto
- product manager
- Produzione
- della produttività
- professionale
- purché
- fornisce
- qualità
- query
- Domande
- rapidamente
- gamma
- tasso
- RE
- raggiungere
- Lettura
- pronto
- di rose
- riconoscimento
- rapporto
- richiesta
- richieste
- Requisiti
- Risoluzione
- risponde
- risposta
- responsabile
- colpevole
- Risultati
- recensioni
- Recensioni
- Ruolo
- Correre
- stesso
- scala
- Scenari
- screenshot
- sezioni
- vedere
- anziano
- serve
- servizio
- Servizi
- Sessione
- set
- Set
- alcuni
- lei
- dovrebbero
- mostrare attraverso le sue creazioni
- mostrato
- Un'espansione
- semplificare
- singolo
- slot
- soluzione
- Soluzioni
- specializzata
- specifico
- discorso
- Regione / Stato
- Stato dei servizi
- step
- Passi
- conservazione
- memorizzati
- snellire
- il successo
- tale
- supporto
- supportato
- sistema
- tavolo
- task
- team
- le squadre
- Tecnologie
- Tecnologia
- modelli
- test
- Testing
- test
- che
- Il
- Il futuro
- Li
- poi
- Là.
- di
- questo
- tre
- Attraverso
- tempo
- a
- strumenti
- top
- Totale
- Verità
- Tipi di
- per
- e una comprensione reciproca
- Inaspettato
- Aggiornanento
- Aggiornamenti
- Caricamento
- us
- uso
- caso d'uso
- utilizzato
- Utente
- utilizzando
- CONVALIDARE
- convalidato
- convalida
- Valori
- vario
- virtuale
- Voce
- volere
- identificazione dei warning
- we
- sito web
- servizi web
- siti web
- il benvenuto
- se
- quale
- volere
- con
- parole
- Lavora
- Salsiccia di assorbimento
- ancora
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro
- Codice postale