Amazon Lex är glada över att presentera Test Workbench, en ny bottestlösning som tillhandahåller verktyg för att förenkla och automatisera bottestningsprocessen. Under botutveckling är testning den fas där utvecklare kontrollerar om en bot uppfyller de specifika kraven, behoven och förväntningarna genom att identifiera fel, defekter eller buggar i systemet innan de skalas. Testning hjälper till att validera botprestanda på flera fronter, såsom konversationsflöde (förstå användarfrågor och svara korrekt), hantering av avsiktsöverlappning och konsekvens över modaliteter. Men testning är ofta manuell, felbenägen och icke-standardiserad. Test Workbench standardiserar automatiserad testhantering genom att tillåta chatbotutvecklingsteam att generera, underhålla och köra testset med en konsekvent metod och undvika anpassade skript och ad-hoc-integrationer. I det här inlägget kommer du att lära dig hur Test Workbench effektiviserar automatiserad testning av en bots röst- och textmodaliteter och ger noggrannhets- och prestandamått för parametrar som ljudtranskription, avsiktsigenkänning och slotupplösning för både enstaka yttranden och konversationer med flera svängar. Detta gör att du snabbt kan identifiera botförbättringsområden och upprätthålla en konsekvent baslinje för att mäta noggrannhet över tid och observera eventuella noggrannhetsregressioner på grund av botuppdateringar.
Amazon Lex är en helt hanterad tjänst för att bygga konversationsröst- och textgränssnitt. Amazon Lex hjälper dig att bygga och distribuera chatbots och virtuella assistenter på webbplatser, kontaktcentertjänster och meddelandekanaler. Amazon Lex-bots hjälper till att öka produktiviteten för interaktiv röstsvar (IVR), automatisera enkla uppgifter och driva operativ effektivitet i hela organisationen. Test Workbench för Amazon Lex standardiserar och förenklar bottestningens livscykel, vilket är avgörande för att förbättra botdesignen.
Funktioner hos Test Workbench
Test Workbench för Amazon Lex innehåller följande funktioner:
- Generera testdatauppsättningar automatiskt från en bots konversationsloggar
- Ladda upp manuellt byggda testset baslinjer
- Utför end-to-end-testning av konversationer med en ingång eller flera svängar
- Testa både ljud- och textmodaliteter för en bot
- Granska sammanställda och detaljerade mätvärden för botdimensioner:
- Taltranskription
- Avsiktsigenkänning
- Slotsupplösning (inklusive slots med flera värden eller sammansatta platser)
- Kontexttaggar
- Sessionattribut
- Begär attribut
- Runtime-tips
- Tidsfördröjning i sekunder
Förutsättningar
För att testa den här funktionen bör du ha följande:
Dessutom bör du ha kunskap och förståelse för följande tjänster och funktioner:
Skapa ett testset
Utför följande steg för att skapa ditt testset:
- På Amazon Lex-konsol, under Testa arbetsbänk välj i navigeringsfönstret Testset.
Du kan granska en lista över befintliga testuppsättningar, inklusive grundläggande information som namn, beskrivning, antal testingångar, modalitet och status. I följande steg kan du välja mellan att generera en testuppsättning från konversationsloggarna som är kopplade till boten eller att ladda upp en befintlig manuellt byggd testuppsättning i ett CSV-filformat.
- Välja Skapa testuppsättning.
- Genom att generera testuppsättningar från konversationsloggar kan du göra följande:
- Inkludera riktiga konversationer med flera svängar från botens loggar i CloudWatch
- Inkludera ljudloggar och utför tester som tar hänsyn till verkliga talnyanser, bakgrundsljud och accenter
- Snabba upp skapandet av testset
- Genom att ladda upp en manuellt byggd testuppsättning kan du göra följande:
- Testa nya bots för vilka det inte finns produktionsdata
- Utför regressionstester på befintliga bots för nya eller modifierade syften, slots och konversationsflöden
- Testa noggrant utformade och detaljerade scenarier som anger sessionsattribut och begärandeattribut
Utför följande steg för att generera en testuppsättning. För att ladda upp en manuellt byggd testuppsättning, hoppa till steg 7.
- Välja Skapa en baslinjetestuppsättning.
- Välj dina alternativ för Botnamn, Bot aliasoch Språk.
- För Tidsintervall, ställ in ett tidsintervall för loggarna.
- För Befintlig IAM-roll, välj en roll.
Se till att IAM-rollen kan ge dig tillgång till att hämta information från konversationsloggarna. Se Skapa IAM-roller att skapa en IAM-roll med lämplig policy.
- Om du föredrar att använda en manuellt skapad testuppsättning, välj Ladda upp en fil till detta testset.
- För Ladda upp en fil till detta testset, välj bland följande alternativ:
- Välja Ladda upp från S3 bucket för att ladda upp en CSV-fil från en Amazon enkel lagringstjänst (Amazon S3) hink.
- Välja Ladda upp en fil till detta testset för att ladda upp en CSV-fil från din dator.
Du kan använda provuppsättning anges i detta inlägg. För mer information om mallar, välj CSV-mall länk på sidan.
- För Modalitet, välj modaliteten för ditt testset, antingen text or Audio.
Test Workbench tillhandahåller teststöd för ljud- och textinmatningsformat.
- För S3-plats, ange platsen för S3-hinken där resultaten kommer att lagras.
- Välj valfritt en AWS nyckelhanteringstjänst (AWS KMS)-nyckel för att kryptera utdatautskrifter.
- Välja Skapa.
Din nyskapade testuppsättning kommer att listas på Testset sida med en av följande statusar:
- Klar för anteckning – För testuppsättningar som genereras från Amazon Lex botkonversationsloggar, fungerar annoteringssteget som en manuell grindmekanism för att säkerställa kvalitetstestingångar. Genom att kommentera värden för förväntade syften och förväntade platser för varje testrad, anger du "grundsanningen" för den raden. Testresultaten från botkörningen samlas in och jämförs mot grundsanningen för att markera testresultaten som godkända eller underkända. Denna jämförelse på linjenivå gör det sedan möjligt att skapa aggregerade mått.
- Klar för testning - Detta indikerar att testsetet är redo att köras mot en Amazon Lex-bot.
- Valideringsfel - Uppladdade testfiler kontrolleras för fel som överskridande av maximal längd som stöds, ogiltiga tecken i avsiktsnamn eller ogiltiga Amazon S3-länkar som innehåller ljudfiler. Om testsetet finns i Valideringsfel tillstånd, ladda ner filen som visar valideringsdetaljerna för att se testingångsproblem eller fel rad för rad. När de är adresserade kan du manuellt ladda upp den korrigerade testuppsättningen CSV till testuppsättningen.
Utför en testuppsättning
Ett testset kopplas bort från en bot. Samma testuppsättning kan köras mot en annan bot eller bot-alias i framtiden när ditt affärsanvändningsfall utvecklas. För att rapportera prestandastatistik för en bot mot baslinjetestdata, utför följande steg:
- Importera provboten definition och bygg bot (se Importera en bot för vägledning).
- Välj på Amazon Lex-konsolen Testset i navigeringsfönstret.
- Välj ditt validerade testset.
Här kan du granska grundläggande information om testsetet och de importerade testdata.
- Välja Utför testet.
- Välj lämpliga alternativ för Botnamn, Bot aliasoch Språk.
- För Testtyp, Välj Audio or text.
- För Val av slutpunkt, välj antingen streaming or Icke-streaming.
- Välja Validera avvikelse för att validera din testdatauppsättning.
Innan du kör ett testset kan du validera testtäckning, inklusive att identifiera avsikter och slots som finns i testsetet men inte i boten. Denna tidiga varning tjänar till att ställa testarens förväntningar på oväntade testfel. Om avvikelser mellan din testdatauppsättning och din bot upptäcks, Utför testet sidan kommer att uppdateras med Visa detaljer knapp.
Avsikter och platser som finns i testdatauppsättningen men inte i botaliaset listas som visas i följande skärmdumpar.
- När du har validerat avvikelserna väljer du Utförande att köra testet.
Granska resultaten
Prestandamåtten som genereras efter exekvering av ett testset hjälper dig att identifiera områden inom botdesign som behöver förbättras och är användbara för att påskynda utveckling och leverans av bot för att stödja dina kunder. Test Workbench ger insikter om avsiktsklassificering och slotupplösning i konversation från slut till slut och en rad ingångsnivå. De genomförda testkörningarna lagras med tidsstämplar i din S3-hink och kan användas för framtida jämförande recensioner.
- Välj på Amazon Lex-konsolen Testresultat i navigeringsfönstret.
- Välj testresultat-ID för resultaten du vill granska.
På nästa sida kommer testresultaten att innehålla en uppdelning av resultaten organiserade på fyra huvudflikar: Övergripande resultat, konversationsresultat, avsikts- och platsresultat, och Detaljerade resultat.
Övergripande resultat
Fliken Övergripande resultat innehåller tre huvudavsnitt:
- Testset ingångsfördelning — Ett diagram som visar det totala antalet konversationer från början till slut och enstaka inmatningsyttringar i testsetet.
- Enskild ingångsfördelning — Ett diagram som visar antalet godkända eller misslyckade enstaka ingångar.
- Konversationsuppdelning — Ett diagram som visar antalet godkända eller misslyckade flervarvsingångar.
För testuppsättningar som körs i ljudmodalitet tillhandahålls taltranskriptionsdiagram för att visa antalet godkända eller misslyckade taltranskriptioner på både enstaka ingångs- och konversationstyper. I ljudmodalitet kan en enstaka ingång eller flervarvskonversation klara taltranskriptionstestet, men misslyckas med det övergripande end-to-end-testet. Detta kan till exempel orsakas av en slotupplösning eller ett problem med avsiktsigenkänning.
Konversationsresultat
Test Workbench hjälper dig att gå ner i konversationsfel som kan tillskrivas specifika avsikter eller platser. Fliken Konversationsresultat är organiserad i tre huvudområden, som täcker alla syften och platser som används i testsetet:
- Antal godkända konversationer — En tabell som används för att visualisera vilka avsikter och luckor som är ansvariga för eventuella konversationsfel.
- Mätvärden för misslyckande för konversationsavsikt — Ett stapeldiagram som visar de fem sämst presterande avsikterna i testsetet, om några.
- Mätvärden för konversationsplatsfel — Ett stapeldiagram som visar de fem sämst presterande luckorna i testsetet, om några.
Avsikts- och slotresultat
Fliken Avsikt och platsresultat ger detaljerad statistik för botdimensioner som avsiktsigenkänning och platsupplösning.
- Mätvärden för avsiktsigenkänning — En tabell som visar framgångsfrekvensen för avsiktsigenkänning.
- Upplösningsmått för plats — En tabell som visar framgångsfrekvensen för slotupplösning, efter
Detaljerade resultat
Du kan komma åt en detaljerad rapport över den utförda testkörningen på fliken Detaljerade resultat. En tabell visas för att visa de faktiska transkriptionsvärdena, utmatningsavsikten och slotvärdena i en testuppsättning. Rapporten kan laddas ner som CSV för vidare analys.
Utdata på linjenivå ger insikter för att förbättra botdesignen och öka noggrannheten. Till exempel kan felaktigt igenkända eller missade inmatningar av tal som varumärkesord läggas till i en anpassad vokabulär för en avsikt eller som yttranden under en avsikt.
För att ytterligare förbättra konversationsdesignen kan du hänvisa till detta inlägg, som beskriver bästa praxis för att använda ML för att skapa en bot som kommer att glädja dina kunder genom att förstå dem korrekt.
Slutsats
I det här inlägget presenterade vi Test Workbench för Amazon Lex, en inbyggd funktion som standardiserar en chatbot automatiserad testprocess och låter utvecklare och konversationsdesigners effektivisera och iterera snabbt genom botdesign och utveckling.
Vi ser fram emot att höra hur du använder den här nya funktionen hos Amazon Lex och välkomna feedback! För frågor, buggar eller funktionsförfrågningar, vänligen kontakta oss via AWS re:Post för Amazon Lex eller dina AWS-supportkontakter.
För att lära dig mer, se Vanliga frågor om Amazon Lex och Amazon Lex V2 utvecklarguide.
Om författarna
Sandeep Srinivasan är produktchef i Amazon Lex-teamet. Som en skarp observatör av mänskligt beteende brinner han för kundupplevelse. Han tillbringar sina vakna timmar i skärningspunkten mellan människor, teknik och framtiden.
Grazia Russo Lassner är seniorkonsult med AWS Professional Services Natural Language AI-team. Hon är specialiserad på att designa och utveckla konversations-AI-lösningar med hjälp av AWS-teknologier för kunder i olika branscher. Utanför jobbet njuter hon av strandhelger, läsa de senaste skönlitterära böckerna och familjen.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- EVM Finans. Unified Interface for Decentralized Finance. Tillgång här.
- Quantum Media Group. IR/PR förstärkt. Tillgång här.
- PlatoAiStream. Web3 Data Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :är
- :inte
- :var
- $UPP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Able
- Om Oss
- tillgång
- Konto
- noggrannhet
- exakt
- tvärs
- faktiska
- lagt till
- Dessutom
- Efter
- mot
- AI
- Alla
- tillåta
- tillåter
- amason
- Amazon Lex
- Amazon Web Services
- an
- analys
- och
- Meddela
- vilken som helst
- lämpligt
- ÄR
- områden
- AS
- assistenter
- associerad
- At
- attribut
- audio
- automatisera
- Automatiserad
- automatiskt
- undvika
- AWS
- AWS professionella tjänster
- bakgrund
- bar
- Baslinje
- grundläggande
- grund
- BE
- Beach
- innan
- BÄST
- bästa praxis
- mellan
- Böcker
- lyft
- Bot
- båda
- botar
- branded
- Fördelning
- fel
- SLUTRESULTAT
- Byggnad
- byggt
- företag
- men
- Knappen
- by
- KAN
- försiktigt
- Vid
- orsakas
- Centrum
- kanaler
- tecken
- Diagram
- Diagram
- chatbot
- chatbots
- ta
- kontrollerade
- Välja
- klassificering
- jämfört
- jämförelse
- fullborda
- Avslutade
- dator
- Genomför
- konsekvent
- Konsol
- konsult
- kontakta
- kontaktcenter
- kontakter
- innehåller
- Konversation
- konversera
- konversations AI
- konversationer
- Korrigerad
- kunde
- täckning
- beläggning
- skapa
- skapas
- Skapa
- skapande
- kritisk
- beställnings
- kund
- kundupplevelse
- Kunder
- datum
- datauppsättning
- datauppsättningar
- fördröja
- behag
- leverans
- distribuera
- beskrivning
- Designa
- konstruktörer
- design
- detaljerad
- detaljer
- detekterad
- Utvecklare
- utvecklare
- utveckla
- Utveckling
- olika
- dimensioner
- do
- ner
- ladda ner
- driv
- grund
- under
- varje
- Tidig
- effektiviteter
- antingen
- början till slut
- säkerställa
- ange
- fel
- fel
- utvecklas
- överstiger
- exciterade
- exekvera
- exekveras
- exekvera
- befintliga
- förväntan
- förväntningar
- förväntat
- erfarenhet
- MISSLYCKAS
- Misslyckades
- Misslyckande
- familj
- Leverans
- Funktioner
- Fiktion
- Fil
- Filer
- flöda
- efter
- För
- format
- Framåt
- hittade
- fyra
- från
- fullständigt
- funktionalitet
- ytterligare
- framtida
- generera
- genereras
- generera
- bevilja
- diagram
- Marken
- vägleda
- Arbetsmiljö
- Har
- he
- hörsel
- hjälpa
- hjälper
- hans
- ÖPPETTIDER
- Hur ser din drömresa ut
- Men
- html
- http
- HTTPS
- humant
- ID
- identifiera
- identifiera
- if
- importera
- förbättra
- förbättring
- förbättringar
- förbättra
- in
- innefattar
- innefattar
- Inklusive
- Öka
- indikerar
- pekar på
- industrier
- informationen
- ingång
- ingångar
- insikter
- exempel
- integrationer
- uppsåt
- interaktiva
- gränssnitt
- skärning
- in
- fråga
- problem
- jpg
- Angelägen
- Nyckel
- kunskap
- språk
- senaste
- LÄRA SIG
- Längd
- Nivå
- livscykel
- linje
- LINK
- länkar
- Lista
- Noterade
- läge
- se
- Huvudsida
- bibehålla
- förvaltade
- ledning
- chef
- manuell
- manuellt
- markera
- maximal
- mäta
- åtgärder
- mekanism
- möter
- meddelandehantering
- Metodik
- Metrics
- missade
- ML
- modifierad
- mer
- namn
- namn
- nativ
- Natural
- Navigering
- Behöver
- behov
- Nya
- nytt
- Nästa
- Nej
- antal
- observera
- of
- Ofta
- on
- gång
- ONE
- operativa
- Tillbehör
- or
- beställa
- organisation
- Organiserad
- produktion
- utanför
- över
- övergripande
- sida
- panelen
- parametrar
- passera
- Godkänd
- brinner
- Personer
- prestanda
- utför
- fas
- plato
- Platon Data Intelligence
- PlatonData
- snälla du
- policy
- möjlig
- Inlägg
- praxis
- föredra
- presentera
- presenteras
- process
- Produkt
- produktchef
- Produktion
- produktivitet
- professionell
- förutsatt
- ger
- kvalitet
- sökfrågor
- frågor
- snabbt
- område
- Betygsätta
- RE
- nå
- Läsning
- redo
- verklig
- erkännande
- rapport
- begära
- förfrågningar
- Krav
- Upplösning
- reagera
- respons
- ansvarig
- resultera
- Resultat
- översyn
- Omdömen
- Roll
- Körning
- Samma
- skalning
- scenarier
- skärmdumpar
- sektioner
- se
- senior
- serverar
- service
- Tjänster
- session
- in
- uppsättningar
- flera
- hon
- skall
- show
- visas
- Enkelt
- förenkla
- enda
- spelautomater
- lösning
- Lösningar
- specialiserat
- specifik
- tal
- Ange
- status
- Steg
- Steg
- förvaring
- lagras
- effektivisera
- framgång
- sådana
- stödja
- Som stöds
- system
- bord
- uppgifter
- grupp
- lag
- Tekniken
- Teknologi
- mallar
- testa
- Testning
- tester
- den där
- Smakämnen
- Framtiden
- Dem
- sedan
- Där.
- de
- detta
- tre
- Genom
- tid
- till
- verktyg
- topp
- Totalt
- sanningen
- typer
- under
- förståelse
- Oväntat
- Uppdatering
- Uppdateringar
- uppladdning
- us
- användning
- användningsfall
- Begagnade
- Användare
- med hjälp av
- BEKRÄFTA
- validerade
- godkännande
- Värden
- olika
- Virtuell
- Röst
- vill
- varning
- we
- webb
- webbservice
- webbsidor
- välkommen
- om
- som
- kommer
- med
- ord
- Arbete
- värsta
- ännu
- Om er
- Din
- zephyrnet
- Postnummer