Amazon Lex z veseljem najavlja Test Workbench, novo rešitev za testiranje botov, ki ponuja orodja za poenostavitev in avtomatizacijo postopka testiranja botov. Med razvojem botov je testiranje faza, v kateri razvijalci preverijo, ali bot izpolnjuje posebne zahteve, potrebe in pričakovanja, tako da identificirajo napake, napake ali hrošče v sistemu pred skaliranjem. Testiranje pomaga pri preverjanju uspešnosti bota na več področjih, kot je potek pogovora (razumevanje uporabniških poizvedb in natančno odzivanje), obravnavanje prekrivanja namena in doslednost med modalitetami. Vendar je testiranje pogosto ročno, nagnjeno k napakam in nestandardizirano. Test Workbench standardizira avtomatizirano upravljanje testiranja tako, da razvojnim skupinam chatbotov omogoča ustvarjanje, vzdrževanje in izvajanje testnih nizov z dosledno metodologijo ter izogibanje skriptiranju po meri in ad hoc integracijam. V tej objavi boste izvedeli, kako Test Workbench poenostavlja avtomatizirano testiranje glasovnih in besedilnih modalitet robota ter zagotavlja meritve natančnosti in učinkovitosti za parametre, kot so zvočni prepis, prepoznavanje namena in ločljivost reže tako za enojne izrečene vnose kot za večkratne pogovore. To vam omogoča, da hitro prepoznate področja izboljšave botov in vzdržujete dosledno izhodišče za merjenje natančnosti v daljšem časovnem obdobju in opazujete morebitno nazadovanje natančnosti zaradi posodobitev botov.
Amazon Lex je popolnoma upravljana storitev za gradnjo pogovornih glasovnih in besedilnih vmesnikov. Amazon Lex vam pomaga zgraditi in uvesti klepetalne robote in virtualne pomočnike na spletnih mestih, v storitvah kontaktnih centrov in kanalih za sporočanje. Boti Amazon Lex pomagajo povečati produktivnost interaktivnega glasovnega odziva (IVR), avtomatizirajo preprosta opravila in spodbujajo operativno učinkovitost v celotni organizaciji. Test Workbench za Amazon Lex standardizira in poenostavi življenjski cikel testiranja botov, ki je ključnega pomena za izboljšanje oblikovanja botov.
Funkcije Test Workbench
Test Workbench za Amazon Lex vključuje naslednje funkcije:
- Samodejno ustvari testne nize podatkov iz dnevnikov pogovorov robota
- Naložite ročno zgrajene osnovne črte testnega niza
- Izvedite testiranje od konca do konca pogovorov z enim vnosom ali več obratov
- Preizkusite zvočne in besedilne modalitete bota
- Oglejte si združene in podrobne meritve za dimenzije botov:
- Transkripcija govora
- Prepoznavanje namena
- Ločljivost reže (vključno z večvrednostnimi režami ali sestavljenimi režami)
- Kontekstne oznake
- Atributi seje
- Atributi zahteve
- Namigi za čas izvajanja
- Časovni zamik v sekundah
Predpogoji
Če želite preizkusiti to funkcijo, morate imeti naslednje:
Poleg tega morate poznati in razumeti naslednje storitve in funkcije:
Ustvari testni niz
Če želite ustvariti testni niz, izvedite naslednje korake:
- o Konzola Amazon Lex, Spodaj Testna delovna miza v podoknu za krmarjenje izberite Testni kompleti.
Ogledate si lahko seznam obstoječih preskusnih nizov, vključno z osnovnimi informacijami, kot so ime, opis, število testnih vnosov, način in stanje. V naslednjih korakih lahko izbirate med ustvarjanjem preskusnega niza iz dnevnikov pogovorov, povezanih z botom, ali nalaganjem obstoječega ročno zgrajenega testnega niza v obliki datoteke CSV.
- Izberite Ustvari testni niz.
- Ustvarjanje preskusnih nizov iz dnevnikov pogovorov vam omogoča naslednje:
- V CloudWatch vključite resnične večobratne pogovore iz dnevnikov bota
- Vključite zvočne dnevnike in izvedite teste, ki upoštevajo dejanske nianse govora, hrup v ozadju in poudarke
- Pospešite ustvarjanje testnih nizov
- Nalaganje ročno zgrajenega preskusnega niza vam omogoča naslednje:
- Preizkusite nove bote, za katere ni proizvodnih podatkov
- Izvedite regresijske teste na obstoječih robotih za vse nove ali spremenjene namere, reže in tokove pogovorov
- Preizkusite skrbno oblikovane in podrobne scenarije, ki določajo atribute seje in atribute zahteve
Če želite ustvariti testni niz, izvedite naslednje korake. Če želite naložiti ročno zgrajen preskusni niz, preskočite na 7. korak.
- Izberite Ustvarite osnovni preskusni niz.
- Izberite svoje možnosti za Ime bota, Vzdevek botain Jezik.
- za Časovno obdobje, nastavite časovni razpon za dnevnike.
- za Obstoječa vloga IAM, izberite vlogo.
Zagotovite, da vam lahko vloga IAM odobri dostop za pridobivanje informacij iz dnevnikov pogovorov. Glejte Ustvarjanje vlog IAM ustvariti vlogo IAM z ustreznim pravilnikom.
- Če raje uporabljate ročno ustvarjen preskusni niz, izberite Naložite datoteko v ta preskusni niz.
- za Naložite datoteko v ta preskusni niz, izberite med naslednjimi možnostmi:
- Izberite Nalaganje iz vedra S3 za nalaganje datoteke CSV iz Preprosta storitev shranjevanja Amazon (Amazon S3) vedro.
- Izberite Naložite datoteko v ta preskusni niz za nalaganje datoteke CSV iz vašega računalnika.
Lahko uporabite vzorčni testni niz na voljo v tej objavi. Za več informacij o predlogah izberite Predloga CSV povezava na strani.
- za Modaliteta, izberite tudi modalnost svojega preskusnega niza Besedilo or Audio.
Test Workbench nudi podporo za testiranje zvočnih in besedilnih vnosnih formatov.
- za S3 lokacija, vnesite lokacijo vedra S3, kjer bodo shranjeni rezultati.
- Po želji izberite AWS Service Key Management (AWS KMS) ključ za šifriranje izhodnih prepisov.
- Izberite ustvarjanje.
Vaš na novo ustvarjen testni niz bo naveden na Testni kompleti stran z enim od naslednjih statusov:
- Pripravljeno za pripis – Za testne nize, ustvarjene iz dnevnikov pogovorov z botom Amazon Lex, korak opomb služi kot ročni mehanizem preklopa za zagotavljanje kakovostnih testnih vnosov. Z označevanjem vrednosti za pričakovane namere in pričakovane reže za vsako postavko preskusne vrstice navedete »osnovno resnico« za to vrstico. Rezultati testiranja iz izvajanja bota se zbirajo in primerjajo z realno resnico, da se rezultati testa označijo kot uspešni ali neuspešni. Ta primerjava na ravni črte nato omogoča ustvarjanje združenih mer.
- Pripravljen na testiranje – To pomeni, da je testni niz pripravljen za izvedbo proti botu Amazon Lex.
- Napaka pri preverjanju – Naložene preskusne datoteke se preverijo glede napak, kot so prekoračitev največje podprte dolžine, neveljavni znaki v imenih namenov ali neveljavne povezave Amazon S3, ki vsebujejo zvočne datoteke. Če je testni niz v Napaka pri preverjanju stanje, prenesite datoteko, ki prikazuje podrobnosti preverjanja, da si ogledate težave pri vnosu testa ali napake po vrsticah. Ko so naslovljeni, lahko ročno naložite CSV popravljenega preskusnega niza v testni niz.
Izvajanje testnega niza
Testni niz je ločen od bota. Isti testni niz se lahko v prihodnosti izvede proti drugemu botu ali vzdevku bota, ko se bo vaš primer poslovne uporabe razvijal. Če želite poročati o meritvah uspešnosti bota v primerjavi z osnovnimi testnimi podatki, dokončajte naslednje korake:
- uvoz vzorčni bot definicija in izdelava bota (glejte Uvoz bota za vodenje).
- Na konzoli Amazon Lex izberite Testni kompleti v podoknu za krmarjenje.
- Izberite svoj potrjen niz testov.
Tukaj si lahko ogledate osnovne informacije o testnem nizu in uvožene testne podatke.
- Izberite Izvedite test.
- Izberite ustrezne možnosti za Ime bota, Vzdevek botain Jezik.
- za Vrsta preskusatako, da izberete Audio or Besedilo.
- za Izbira končne točke, izberite eno ali drugo Streaming or Brez pretakanja.
- Izberite Potrdite neskladje za potrditev nabora testnih podatkov.
Preden izvedete testni niz, lahko preverite pokritost testa, vključno z identifikacijo namenov in rež, ki so prisotni v testnem nizu, vendar ne v botu. To zgodnje opozorilo služi za nastavitev pričakovanj preizkuševalcev glede nepričakovanih neuspešnih preizkusov. Če so zaznana neskladja med vašim testnim naborom podatkov in vašim botom, bo Izvedite test stran bo posodobljena z Ogled podrobnosti gumb.
Nameni in reže, najdeni v naboru testnih podatkov, vendar ne v vzdevku bota, so navedeni, kot je prikazano na naslednjih posnetkih zaslona.
- Ko potrdite neskladja, izberite Izvedba za izvedbo testa.
Preglejte rezultate
Meritve uspešnosti, ustvarjene po izvedbi preskusnega nabora, vam pomagajo prepoznati področja oblikovanja botov, ki potrebujejo izboljšave, in so uporabna za pospešitev razvoja in dostave botov za podporo vašim strankam. Test Workbench ponuja vpogled v klasifikacijo namenov in ločljivost rež v pogovoru od konca do konca in na ravni enovrstičnega vnosa. Dokončani preizkusi so s časovnimi žigi shranjeni v vašem vedru S3 in jih je mogoče uporabiti za prihodnje primerjalne preglede.
- Na konzoli Amazon Lex izberite Rezultati testov v podoknu za krmarjenje.
- Izberite ID rezultata testa za rezultate, ki jih želite pregledati.
Na naslednji strani bodo rezultati testa vključevali razčlenitev rezultatov, organiziranih v štirih glavnih zavihkih: Skupni rezultati, rezultati pogovorov, rezultati namena in reže, in Podrobni rezultati.
Skupni rezultati
Zavihek Splošni rezultati vsebuje tri glavne razdelke:
- Razčlenitev vnosa preskusnega niza — Grafikon, ki prikazuje skupno število pogovorov od konca do konca in enojnih vnosnih izjav v testnem nizu.
- Razčlenitev enega vhoda — Grafikon, ki prikazuje število opravljenih ali neuspešnih posameznih vnosov.
- Razčlenitev pogovora — Grafikon, ki prikazuje število opravljenih ali neuspešnih večobratnih vhodov.
Za testne nize, ki se izvajajo v zvočni modalnosti, so na voljo diagrami prepisov govora, ki prikazujejo število opravljenih ali neuspešnih prepisov govora pri posameznih vnosih in vrstah pogovorov. V zvočni modalnosti lahko en sam vnos ali pogovor z več obrati uspešno prestane preizkus prepisa govora, vendar ne uspe na splošnem preizkusu od konca do konca. To je lahko na primer posledica razrešitve reže ali težave s prepoznavanjem namena.
Rezultati pogovora
Test Workbench vam pomaga poglobiti se v neuspešne pogovore, ki jih je mogoče pripisati določenim namenom ali režam. Zavihek z rezultati pogovora je organiziran v tri glavna področja, ki zajemajo vse namene in mesta, uporabljena v preskusnem nizu:
- Uspešne stopnje pogovorov — Tabela, ki se uporablja za vizualizacijo, kateri nameni in reže so odgovorni za morebitne neuspešne pogovore.
- Meritve napak pri namenu pogovora — Stolčni graf, ki prikazuje prvih pet najslabših namenov v preskusnem nizu, če sploh obstaja.
- Meritve neuspeha reže za pogovor — Stolčni graf, ki prikazuje prvih pet najslabše uspešnih slotov v testnem nizu, če obstajajo.
Namera in rezultati reže
Zavihek z rezultati namena in reže ponuja podrobne meritve za dimenzije botov, kot sta prepoznavanje namena in ločljivost reže.
- Meritve prepoznavanja namena — Tabela, ki prikazuje stopnjo uspešnosti prepoznavanja namena.
- Meritve ločljivosti reže — Tabela, ki prikazuje stopnjo uspešnosti reševanja reže, glede na
Podrobni rezultati
Do podrobnega poročila o izvedenem preizkusu lahko dostopate na zavihku Podrobni rezultati. Prikaže se tabela za prikaz dejanskega prepisa, izhodnega namena in vrednosti rež v testnem nizu. Poročilo lahko prenesete kot CSV za nadaljnjo analizo.
Izhod na ravni vrstice zagotavlja vpoglede, ki pomagajo izboljšati zasnovo bota in povečati natančnost. Na primer, napačno prepoznane ali zgrešene govorne vnose, kot so blagovne znamke, je mogoče dodati v besednjak po meri namena ali kot izjave pod namenom.
Če želite še izboljšati oblikovanje pogovora, se lahko obrnete na to delovno mesto, ki opisuje najboljše prakse pri uporabi strojnega jezika za ustvarjanje bota, ki bo navdušil vaše stranke, tako da jih bo natančno razumel.
zaključek
V tej objavi smo predstavili Test Workbench za Amazon Lex, izvorno zmožnost, ki standardizira proces samodejnega testiranja klepetalnega robota in omogoča razvijalcem in oblikovalcem pogovorov, da poenostavijo in hitro ponovijo skozi načrtovanje in razvoj botov.
Veselimo se, kako uporabljate to novo funkcionalnost Amazon Lex, in dobrodošli povratni podatki! Za kakršna koli vprašanja, napake ali zahteve po funkcijah se obrnite na nas AWS re:Post za Amazon Lex ali vaši kontakti za podporo AWS.
Če želite izvedeti več, glejte Pogosta vprašanja o Amazon Lex in Priročnik za razvijalce Amazon Lex V2.
O avtorjih
Sandeep Srinivasan je produktni vodja v ekipi Amazon Lex. Kot navdušen opazovalec človeškega vedenja je navdušen nad izkušnjo strank. Svoje budne ure preživi na stičišču ljudi, tehnologije in prihodnosti.
Grazia Russo Lassner je višji svetovalec pri skupini AWS Professional Services Natural Language AI. Specializirana je za oblikovanje in razvoj pogovornih rešitev AI z uporabo tehnologij AWS za stranke v različnih panogah. Poleg službe uživa v vikendih na plaži, prebiranju najnovejših leposlovnih knjig in družini.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- EVM Finance. Poenoten vmesnik za decentralizirane finance. Dostopite tukaj.
- Quantum Media Group. IR/PR ojačan. Dostopite tukaj.
- PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- : je
- :ne
- :kje
- $GOR
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Sposobna
- O meni
- dostop
- Račun
- natančnost
- natančno
- čez
- dejanska
- dodano
- Poleg tega
- po
- proti
- AI
- vsi
- Dovoli
- omogoča
- Amazon
- Amazon Lex
- Amazon Web Services
- an
- Analiza
- in
- Objavi
- kaj
- primerno
- SE
- območja
- AS
- pomočniki
- povezan
- At
- lastnosti
- audio
- avtomatizirati
- Avtomatizirano
- samodejno
- izogniti
- AWS
- Strokovne storitve AWS
- ozadje
- bar
- Izhodišče
- Osnovni
- Osnova
- BE
- Beach
- pred
- BEST
- najboljše prakse
- med
- knjige
- povečanje
- Bot
- tako
- bote
- blagovno znamko
- Razčlenitev
- hrošči
- izgradnjo
- Building
- zgrajena
- poslovni
- vendar
- Gumb
- by
- CAN
- previdno
- primeru
- povzročilo
- center
- kanali
- znaki
- Graf
- Charts
- chatbot
- klepetalnice
- preveriti
- preverjeno
- Izberite
- Razvrstitev
- v primerjavi z letom
- Primerjava
- dokončanje
- Končana
- računalnik
- Ravnanje
- dosledno
- Konzole
- svetovalec
- kontakt
- kontaktni center
- kontakti
- Vsebuje
- Pogovor
- pogovorni
- pogovorni AI
- pogovorov
- popravljen
- bi
- pokritost
- kritje
- ustvarjajo
- ustvaril
- Ustvarjanje
- Oblikovanje
- kritično
- po meri
- stranka
- Izkušnje s strankami
- Stranke, ki so
- datum
- nabor podatkov
- nabor podatkov
- zamuda
- Očarala
- dostava
- razporedi
- opis
- Oblikovanje
- oblikovalci
- oblikovanje
- podrobno
- Podrobnosti
- Zaznali
- Razvojni
- Razvijalci
- razvoju
- Razvoj
- drugačen
- dimenzije
- do
- navzdol
- prenesi
- pogon
- 2
- med
- vsak
- Zgodnje
- učinkovitosti
- bodisi
- konec koncev
- zagotovitev
- Vnesite
- Napaka
- napake
- razvija
- presega
- razburjen
- izvršiti
- izvršeno
- izvršitve
- obstoječih
- pričakovanja
- pričakovanja
- Pričakuje
- izkušnje
- FAIL
- ni uspelo
- Napaka
- družina
- Feature
- Lastnosti
- Fiction
- file
- datoteke
- Pretok
- po
- za
- format
- Naprej
- je pokazala,
- štiri
- iz
- v celoti
- funkcionalnost
- nadalje
- Prihodnost
- ustvarjajo
- ustvarila
- ustvarjajo
- odobri
- graf
- Igrišče
- Navodila
- Ravnanje
- Imajo
- he
- sluha
- pomoč
- Pomaga
- njegov
- URE
- Kako
- Vendar
- HTML
- http
- HTTPS
- človeškega
- ID
- identificirati
- identifikacijo
- if
- uvoz
- izboljšanje
- Izboljšanje
- Izboljšave
- izboljšanju
- in
- vključujejo
- vključuje
- Vključno
- Povečajte
- Navedite
- označuje
- industrij
- Podatki
- vhod
- vhodi
- vpogledi
- primer
- integracije
- namen
- interaktivno
- vmesniki
- križišče
- v
- vprašanje
- Vprašanja
- jpg
- Keen
- Ključne
- znanje
- jezik
- Zadnji
- UČITE
- dolžina
- Stopnja
- življenski krog
- vrstica
- LINK
- Povezave
- Seznam
- Navedeno
- kraj aktivnosti
- Poglej
- Glavne
- vzdrževati
- upravlja
- upravljanje
- upravitelj
- Navodilo
- ročno
- znamka
- največja
- merjenje
- ukrepe
- Mehanizem
- ustreza
- sporočanje
- Metodologija
- Meritve
- zamudili
- ML
- spremembe
- več
- Ime
- Imena
- materni
- naravna
- ostalo
- Nimate
- potrebe
- Novo
- na novo
- Naslednja
- št
- Številka
- opazujejo
- of
- pogosto
- on
- enkrat
- ONE
- operativno
- možnosti
- or
- Da
- Organizacija
- Organizirano
- izhod
- zunaj
- več
- Splošni
- Stran
- podokno
- parametri
- mimo
- opravil
- strastno
- ljudje
- performance
- izvajati
- faza
- platon
- Platonova podatkovna inteligenca
- PlatoData
- prosim
- politika
- mogoče
- Prispevek
- vaje
- raje
- predstaviti
- predstavljeni
- Postopek
- Izdelek
- produktni vodja
- proizvodnja
- produktivnost
- strokovni
- če
- zagotavlja
- kakovost
- poizvedbe
- vprašanja
- hitro
- območje
- Oceniti
- RE
- dosežejo
- reading
- pripravljen
- pravo
- Priznanje
- poročilo
- zahteva
- zahteva
- Zahteve
- Resolucija
- odziva
- Odgovor
- odgovorna
- povzroči
- Rezultati
- pregleda
- Mnenja
- vloga
- Run
- Enako
- skaliranje
- scenariji
- galerija
- oddelki
- glej
- višji
- služi
- Storitev
- Storitve
- Zasedanje
- nastavite
- Kompleti
- več
- je
- shouldnt
- Prikaži
- pokazale
- Enostavno
- poenostavitev
- sam
- reže
- Rešitev
- rešitve
- specializirano
- specifična
- govor
- Država
- Status
- Korak
- Koraki
- shranjevanje
- shranjeni
- racionalizirati
- uspeh
- taka
- podpora
- Podprti
- sistem
- miza
- Naloge
- skupina
- Skupine
- Tehnologije
- Tehnologija
- predloge
- Test
- Testiranje
- testi
- da
- O
- Prihodnost
- Njih
- POTEM
- Tukaj.
- jih
- ta
- 3
- skozi
- čas
- do
- orodja
- vrh
- Skupaj za plačilo
- Resnica
- Vrste
- pod
- razumevanje
- Nepričakovana
- Nadgradnja
- posodobitve
- Prenos
- us
- uporaba
- primeru uporabe
- Rabljeni
- uporabnik
- uporabo
- POTRDI
- potrjeno
- potrjevanje
- Vrednote
- različnih
- Virtual
- Voice
- želeli
- opozorilo
- we
- web
- spletne storitve
- spletne strani
- dobrodošli
- ali
- ki
- bo
- z
- besede
- delo
- Klobase
- še
- Vi
- Vaša rutina za
- zefirnet
- Zip