Amazon-Lex is verheugd om Test Workbench aan te kondigen, een nieuwe bottestoplossing die tools biedt om het bottestproces te vereenvoudigen en te automatiseren. Tijdens de botontwikkeling is testen de fase waarin ontwikkelaars controleren of een bot aan de specifieke vereisten, behoeften en verwachtingen voldoet door fouten, defecten of bugs in het systeem te identificeren voordat ze worden geschaald. Testen helpt bij het valideren van botprestaties op verschillende fronten, zoals de conversatiestroom (het begrijpen van gebruikersvragen en nauwkeurig reageren), de afhandeling van intentieoverlappingen en consistentie tussen modaliteiten. Testen is echter vaak handmatig, foutgevoelig en niet-gestandaardiseerd. Test Workbench standaardiseert geautomatiseerd testbeheer door chatbot-ontwikkelteams in staat te stellen testsets te genereren, onderhouden en uit te voeren met een consistente methodologie en aangepaste scripting en ad-hoc-integraties te vermijden. In dit bericht leert u hoe Test Workbench het geautomatiseerde testen van de stem- en tekstmodaliteiten van een bot stroomlijnt en nauwkeurigheid en prestatiemetingen biedt voor parameters zoals audiotranscriptie, intentieherkenning en slotresolutie voor zowel invoer van enkele uitingen als gesprekken met meerdere beurten. Hierdoor kunt u snel botverbeteringsgebieden identificeren en een consistente basislijn handhaven om de nauwkeurigheid in de loop van de tijd te meten en eventuele nauwkeurigheidsregressie als gevolg van botupdates te observeren.
Amazon Lex is een volledig beheerde service voor het bouwen van spraak- en tekstinterfaces. Amazon Lex helpt je bij het bouwen en implementeren van chatbots en virtuele assistenten op websites, contactcenterdiensten en berichtenkanalen. Amazon Lex-bots helpen de productiviteit van Interactive Voice Response (IVR) te verhogen, eenvoudige taken te automatiseren en de operationele efficiëntie in de hele organisatie te vergroten. Test Workbench voor Amazon Lex standaardiseert en vereenvoudigt de levenscyclus van het testen van bots, wat van cruciaal belang is voor het verbeteren van het botontwerp.
Kenmerken van Testwerkbank
Test Workbench voor Amazon Lex bevat de volgende functies:
- Genereer automatisch testgegevenssets uit de gesprekslogboeken van een bot
- Upload handmatig opgebouwde testsetbaselines
- Voer end-to-end tests uit van gesprekken met één invoer of meerdere beurten
- Test zowel de audio- als de tekstmodaliteiten van een bot
- Bekijk de verzamelde en gedetailleerde statistieken voor botdimensies:
- Transcriptie van spraak
- Intentieherkenning
- Slotresolutie (inclusief slots met meerdere waarden of samengestelde slots)
- Contexttags
- Sessie-attributen
- Attributen opvragen
- Runtime-tips
- Tijdvertraging in seconden
Voorwaarden
Om deze functie te testen, moet u over het volgende beschikken:
Bovendien moet u kennis en begrip hebben van de volgende diensten en functies:
Maak een testset
Om uw testset aan te maken, voert u de volgende stappen uit:
- Op de Amazon Lex-console, onder Werkbank testen in het navigatievenster, kies Testsets.
U kunt een lijst met bestaande testsets bekijken, inclusief basisinformatie zoals naam, beschrijving, aantal testinvoer, modaliteit en status. In de volgende stappen kunt u kiezen tussen het genereren van een testset uit de gesprekslogboeken die aan de bot zijn gekoppeld of het uploaden van een bestaande, handmatig opgebouwde testset in een CSV-bestandsformaat.
- Kies Maak een testset.
- Door testsets te genereren op basis van gesprekslogboeken kunt u het volgende doen:
- Neem echte multi-turn gesprekken op uit de logs van de bot in CloudWatch
- Voeg audiologboeken toe en voer tests uit die rekening houden met echte spraaknuances, achtergrondgeluiden en accenten
- Versnel het maken van testsets
- Als u een handmatig samengestelde testset uploadt, kunt u het volgende doen:
- Test nieuwe bots waarvoor geen productiegegevens beschikbaar zijn
- Voer regressietests uit op bestaande bots voor nieuwe of gewijzigde intenties, slots en gespreksstromen
- Test zorgvuldig opgestelde en gedetailleerde scenario's waarin sessiekenmerken en verzoekkenmerken worden gespecificeerd
Om een testset te genereren, voert u de volgende stappen uit. Om een handmatig opgebouwde testset te uploaden, gaat u naar stap 7.
- Kies Genereer een basislijntestset.
- Kies uw opties voor Bot naam, Bot-alias en Taal.
- Voor Tijdsbestek, stel een tijdsbereik in voor de logboeken.
- Voor Bestaande IAM-rol, kies een rol.
Zorg ervoor dat de IAM-rol u toegang kan verlenen om informatie uit de gesprekslogboeken op te halen. Raadpleeg IAM-rollen creëren het creëren van een IAM-rol met het juiste beleid.
- Als u liever een handmatig gemaakte testset gebruikt, selecteert u Upload een bestand naar deze testset.
- Voor Upload een bestand naar deze testset, kies uit de volgende opties:
- kies Uploaden vanuit S3-bucket om een CSV-bestand te uploaden vanuit een Amazon eenvoudige opslagservice (Amazon S3) emmer.
- kies Upload een bestand naar deze testset om een CSV-bestand vanaf uw computer te uploaden.
U kunt gebruik maken van de voorbeeld testset verstrekt in dit bericht. Voor meer informatie over sjablonen kiest u de CSV-sjabloon link op de pagina.
- Voor ModaliteitSelecteer ook de modaliteit van uw testset Tekst or Audio.
Test Workbench biedt testondersteuning voor audio- en tekstinvoerformaten.
- Voor S3 locatieVoer de S3-bucketlocatie in waar de resultaten worden opgeslagen.
- Kies eventueel een AWS Sleutelbeheerservice (AWS KMS)-sleutel om uitvoertranscripties te coderen.
- Kies creëren.
Uw nieuw gemaakte testset wordt vermeld op de Testsets pagina met een van de volgende statussen:
- Klaar voor annotatie – Voor testsets die zijn gegenereerd op basis van Amazon Lex-botgespreklogboeken, dient de annotatiestap als een handmatig poortmechanisme om de kwaliteit van de testinvoer te garanderen. Door waarden voor verwachte intenties en verwachte slots voor elk testregelitem te annoteren, geeft u de ‘grondwaarheid’ voor die regel aan. De testresultaten van de botrun worden verzameld en vergeleken met de grondwaarheid om de testresultaten als geslaagd of mislukt te markeren. Deze vergelijking op lijnniveau maakt het vervolgens mogelijk om geaggregeerde metingen te creëren.
- Klaar om te testen – Dit geeft aan dat de testset klaar is om te worden uitgevoerd tegen een Amazon Lex-bot.
- Validatiefout – Geüploade testbestanden worden gecontroleerd op fouten zoals het overschrijden van de maximaal ondersteunde lengte, ongeldige tekens in intentnamen of ongeldige Amazon S3-links die audiobestanden bevatten. Als de testset zich in de Validatiefout download het bestand met de validatiedetails om problemen of fouten bij de testinvoer regel voor regel te bekijken. Zodra ze zijn geadresseerd, kunt u de gecorrigeerde testset CSV handmatig uploaden naar de testset.
Het uitvoeren van een testset
Een testset wordt losgekoppeld van een bot. Dezelfde testset kan in de toekomst tegen een andere bot of botalias worden uitgevoerd naarmate uw zakelijke gebruiksscenario evolueert. Voer de volgende stappen uit om prestatiestatistieken van een bot te rapporteren op basis van de basislijntestgegevens:
- import de voorbeeldbot definitie en bouw de bot (zie Een bot importeren voor begeleiding).
- Kies op de Amazon Lex-console Testsets in het navigatievenster.
- Kies uw gevalideerde testset.
Hier kunt u basisinformatie over de testset en de geïmporteerde testgegevens bekijken.
- Kies Test uitvoeren.
- Kies de juiste opties voor Bot naam, Bot-alias en Taal.
- Voor Testtypeselecteer Audio or Tekst.
- Voor Eindpunt selectie, selecteer een van beide streaming or Niet-streaming.
- Kies Valideer de discrepantie om uw testgegevensset te valideren.
Voordat u een testset uitvoert, kunt u de testdekking valideren, inclusief het identificeren van intenties en slots die aanwezig zijn in de testset, maar niet in de bot. Deze vroege waarschuwing dient om de verwachtingen van de tester te wekken voor onverwachte testfouten. Als er discrepanties tussen uw testgegevensset en uw bot worden gedetecteerd, wordt de Test uitvoeren pagina wordt bijgewerkt met de Bekijk details knop.
Intents en slots gevonden in de testdataset, maar niet in de botalias, worden weergegeven zoals weergegeven in de volgende schermafbeeldingen.
- Nadat u de verschillen hebt gevalideerd, kiest u Uitvoeren om de test uit te voeren.
Bekijk de resultaten
De prestatiemetingen die worden gegenereerd na het uitvoeren van een testset helpen u gebieden van het botontwerp te identificeren die verbeteringen behoeven en zijn nuttig voor het versnellen van de botontwikkeling en -levering om uw klanten te ondersteunen. Test Workbench biedt inzicht in intentieclassificatie en slotresolutie in end-to-end-gesprekken en invoerniveau op één regel. De voltooide testruns worden met tijdstempels opgeslagen in uw S3-bucket en kunnen worden gebruikt voor toekomstige vergelijkende beoordelingen.
- Kies op de Amazon Lex-console Test resultaten in het navigatievenster.
- Kies de testresultaat-ID voor de resultaten die u wilt bekijken.
Op de volgende pagina bevatten de testresultaten een overzicht van de resultaten, georganiseerd in vier hoofdtabbladen: Algemene resultaten, gespreksresultaten, intentie- en slotresultaten, en Gedetailleerde resultaten.
Algehele resultaat
Het tabblad Algemene resultaten bevat drie hoofdsecties:
- Uitsplitsing van de invoer van de testset — Een grafiek met het totale aantal end-to-end-gesprekken en afzonderlijke invoeruitingen in de testset.
- Uitsplitsing van enkele invoer — Een grafiek met het aantal geslaagde of mislukte afzonderlijke invoeringen.
- Gesprek uiteenvallen — Een grafiek met het aantal geslaagde of mislukte multi-turn-invoer.
Voor testsets die in audiomodaliteit worden uitgevoerd, zijn spraaktranscriptiegrafieken beschikbaar om het aantal geslaagde of mislukte spraaktranscripties weer te geven voor zowel afzonderlijke invoer- als gesprekstypen. Bij audiomodaliteit kan een gesprek met één invoer of meerdere beurten de spraaktranscriptietest doorstaan, maar toch niet slagen voor de algehele end-to-end-test. Dit kan bijvoorbeeld worden veroorzaakt door een slotresolutie of een probleem met intentieherkenning.
Gespreksresultaten
Met Test Workbench kunt u dieper ingaan op mislukte gesprekken die kunnen worden toegeschreven aan specifieke intenties of tijdstippen. Het tabblad Gespreksresultaten is onderverdeeld in drie hoofdgebieden, die alle intenties en slots omvatten die in de testset worden gebruikt:
- Slagingspercentages voor gesprekken — Een tabel die wordt gebruikt om te visualiseren welke intenties en slots verantwoordelijk zijn voor mogelijke mislukte gesprekken.
- Statistieken over mislukte gesprekken — Een staafdiagram met de vijf slechtst presterende bedoelingen in de testset, indien aanwezig.
- Statistieken over mislukte gesprekken — Een staafdiagram met de vijf slechtst presterende slots in de testset, indien aanwezig.
Intentie- en slotresultaten
Het tabblad Intent- en slotresultaten biedt gedetailleerde statistieken voor botdimensies, zoals intentieherkenning en slotresolutie.
- Statistieken voor intentieherkenning — Een tabel met het succespercentage van de intentieherkenning.
- Statistieken voor slotresolutie — Een tabel met het succespercentage van slotresolutie, per
Gedetailleerde resultaten
Op het tabblad Gedetailleerde resultaten vindt u een gedetailleerd rapport van de uitgevoerde testrun. Er wordt een tabel weergegeven waarin de daadwerkelijke transcriptie, uitvoerintentie en slotwaarden in een testset worden weergegeven. Het rapport kan worden gedownload als CSV-bestand voor verdere analyse.
De uitvoer op lijnniveau biedt inzichten om het botontwerp te helpen verbeteren en de nauwkeurigheid te vergroten. Verkeerd herkende of gemiste spraakinvoer, zoals merkwoorden, kunnen bijvoorbeeld worden toegevoegd aan het aangepaste vocabulaire van een intentie of als uitingen onder een intentie.
Om het gespreksontwerp verder te verbeteren, kunt u verwijzen naar dit bericht, waarin best practices worden beschreven voor het gebruik van ML om een bot te maken die uw klanten zal verrassen door ze nauwkeurig te begrijpen.
Conclusie
In dit bericht presenteerden we de Test Workbench voor Amazon Lex, een native mogelijkheid die het geautomatiseerde testproces van een chatbot standaardiseert en ontwikkelaars en gespreksontwerpers in staat stelt om het ontwerp en de ontwikkeling van bots snel te stroomlijnen en te itereren.
We kijken ernaar uit om te horen hoe je deze nieuwe functionaliteit van Amazon Lex gebruikt en verwelkomen feedback! Voor vragen, bugs of functieverzoeken kunt u contact met ons opnemen via AWS re:Post voor Amazon Lex of uw AWS-ondersteuningscontacten.
Zie voor meer informatie Veelgestelde vragen over Amazon Lex en Amazon Lex V2 Ontwikkelaarsgids.
Over de auteurs
Sandeep Srinivasan is een productmanager in het Amazon Lex-team. Als scherp waarnemer van menselijk gedrag heeft hij een passie voor klantervaring. Zijn wakkere uren brengt hij door op het snijvlak van mens, technologie en de toekomst.
Grazia Russo Lassner is een Senior Consultant bij het AWS Professional Services Natural Language AI-team. Ze is gespecialiseerd in het ontwerpen en ontwikkelen van conversationele AI-oplossingen met behulp van AWS-technologieën voor klanten in verschillende industrieën. Buiten haar werk houdt ze van strandweekenden, het lezen van de nieuwste fictieboeken en familie.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- EVM Financiën. Uniforme interface voor gedecentraliseerde financiën. Toegang hier.
- Quantum Media Groep. IR/PR versterkt. Toegang hier.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :is
- :niet
- :waar
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- in staat
- Over
- toegang
- Account
- nauwkeurigheid
- nauwkeurig
- over
- daadwerkelijk
- toegevoegd
- toevoeging
- Na
- tegen
- AI
- Alles
- Het toestaan
- toestaat
- Amazone
- Amazon-Lex
- Amazon Web Services
- an
- analyse
- en
- aankondigen
- elke
- passend
- ZIJN
- gebieden
- AS
- assistenten
- geassocieerd
- At
- attributen
- audio
- automatiseren
- geautomatiseerde
- webmaster.
- vermijd
- AWS
- AWS professionele services
- achtergrond
- bars
- Baseline
- basis-
- basis
- BE
- Beach
- vaardigheden
- BEST
- 'best practices'
- tussen
- Boeken
- boost
- Bot
- zowel
- bots
- branded
- Storing
- bugs
- bouw
- Gebouw
- bebouwd
- bedrijfsdeskundigen
- maar
- by
- CAN
- voorzichtig
- geval
- veroorzaakt
- Centreren
- kanalen
- tekens
- tabel
- Grafieken
- Chatbot
- chatbots
- controle
- gecontroleerd
- Kies
- classificatie
- vergeleken
- vergelijking
- compleet
- Voltooid
- computer
- Gedrag
- consequent
- troosten
- consultant
- contact
- contactcentrum
- contacten
- bevat
- Gesprek
- spraakzaam
- conversatie AI
- conversaties
- gecorrigeerd
- kon
- dekking
- aan het bedekken
- en je merk te creëren
- aangemaakt
- Wij creëren
- het aanmaken
- kritisch
- gewoonte
- klant
- klantervaring
- Klanten
- gegevens
- gegevensset
- datasets
- vertraging
- verrukking
- levering
- implementeren
- beschrijving
- Design
- ontwerpers
- ontwerpen
- gedetailleerd
- gegevens
- gedetecteerd
- Ontwikkelaar
- ontwikkelaars
- het ontwikkelen van
- Ontwikkeling
- anders
- Afmeting
- do
- beneden
- Download
- rit
- twee
- gedurende
- elk
- Vroeg
- efficiëntie
- beide
- eind tot eind
- verzekeren
- Enter
- fout
- fouten
- evolueert
- meer dan
- opgewonden
- uitvoeren
- uitgevoerd
- uitvoeren
- bestaand
- verwachting
- verwachtingen
- verwacht
- ervaring
- FAIL
- Mislukt
- Storing
- familie
- Kenmerk
- Voordelen
- Fictie
- Dien in
- Bestanden
- stroom
- volgend
- Voor
- formaat
- Naar voren
- gevonden
- vier
- oppompen van
- geheel
- functionaliteit
- verder
- toekomst
- voortbrengen
- gegenereerde
- het genereren van
- toe te kennen
- diagram
- Ground
- leiding
- Behandeling
- Hebben
- he
- gehoor
- hulp
- helpt
- zijn
- HOURS
- Hoe
- Echter
- HTML
- http
- HTTPS
- menselijk
- ID
- identificeren
- het identificeren van
- if
- importeren
- verbeteren
- verbetering
- verbeteringen
- het verbeteren van
- in
- omvatten
- omvat
- Inclusief
- Laat uw omzet
- aangeven
- geeft aan
- industrieën
- informatie
- invoer
- ingangen
- inzichten
- instantie
- integraties
- aandachtig
- interactieve
- interfaces
- kruispunt
- in
- kwestie
- problemen
- jpg
- Keen
- sleutel
- kennis
- taal
- laatste
- LEARN
- Lengte
- Niveau
- levenscyclus van uw product
- Lijn
- LINK
- links
- Lijst
- opgesomd
- plaats
- Kijk
- Hoofd
- onderhouden
- beheerd
- management
- manager
- handboek
- handmatig
- Mark
- maximaal
- maatregel
- maatregelen
- mechanisme
- Meets
- messaging
- Methodologie
- Metriek
- gemiste
- ML
- gewijzigd
- meer
- naam
- namen
- inheemse
- Naturel
- Navigatie
- Noodzaak
- behoeften
- New
- onlangs
- volgende
- geen
- aantal
- waarnemen
- of
- vaak
- on
- eens
- EEN
- operationele
- Opties
- or
- bestellen
- organisatie
- Georganiseerd
- uitgang
- buiten
- over
- totaal
- pagina
- brood
- parameters
- passeren
- voorbij
- hartstochtelijk
- Mensen
- prestatie
- uitvoerend
- fase
- Plato
- Plato gegevensintelligentie
- PlatoData
- dan
- beleidsmaatregelen
- mogelijk
- Post
- praktijken
- de voorkeur geven
- presenteren
- gepresenteerd
- Product
- product manager
- productie
- produktiviteit
- professioneel
- mits
- biedt
- kwaliteit
- queries
- Contact
- snel
- reeks
- tarief
- RE
- bereiken
- lezing
- klaar
- vast
- erkenning
- verslag
- te vragen
- verzoeken
- Voorwaarden
- Resolutie
- reageert
- antwoord
- verantwoordelijk
- resultaat
- Resultaten
- beoordelen
- Recensies
- Rol
- lopen
- dezelfde
- scaling
- scenario's
- screenshots
- secties
- zien
- senior
- bedient
- service
- Diensten
- Sessie
- reeks
- Sets
- verscheidene
- ze
- moet
- tonen
- getoond
- Eenvoudig
- vereenvoudigen
- single
- speelautomaten
- oplossing
- Oplossingen
- specialiseert
- specifiek
- toespraak
- Land
- Status
- Stap voor
- Stappen
- mediaopslag
- opgeslagen
- gestroomlijnd
- succes
- dergelijk
- ondersteuning
- ondersteunde
- system
- tafel
- taken
- team
- teams
- Technologies
- Technologie
- templates
- proef
- Testen
- testen
- dat
- De
- De toekomst
- Ze
- harte
- Er.
- ze
- dit
- drie
- Door
- niet de tijd of
- naar
- tools
- top
- Totaal
- waarheid
- types
- voor
- begrip
- Onverwacht
- bijwerken
- updates
- Uploaden
- us
- .
- use case
- gebruikt
- Gebruiker
- gebruik
- BEVESTIG
- gevalideerd
- bevestiging
- Values
- divers
- Virtueel
- Stem
- willen
- waarschuwing
- we
- web
- webservices
- websites
- welkom
- of
- welke
- wil
- Met
- woorden
- Mijn werk
- Slechtst
- nog
- You
- Your
- zephyrnet
- Postcode