Amazon Lex örömmel jelenti be, hogy a Test Workbench egy új bottesztelési megoldás, amely eszközöket biztosít a bottesztelési folyamat egyszerűsítésére és automatizálására. A botok fejlesztése során a tesztelés az a fázis, amikor a fejlesztők ellenőrzik, hogy a bot megfelel-e a konkrét követelményeknek, igényeknek és elvárásoknak azáltal, hogy a méretezés előtt azonosítja a rendszerben található hibákat, hibákat vagy hibákat. A tesztelés több fronton is segít a bot teljesítményének érvényesítésében, például a beszélgetési folyamatban (a felhasználói lekérdezések megértésében és a pontos válaszadásban), a szándékos átfedések kezelésében és a modalitások közötti konzisztenciában. A tesztelés azonban gyakran manuális, hibás és nem szabványosított. A Test Workbench szabványosítja az automatizált tesztkezelést azáltal, hogy lehetővé teszi a chatbot-fejlesztő csapatok számára, hogy konzisztens módszertannal hozzanak létre, tartsanak karban és hajtsanak végre tesztkészleteket, elkerülve az egyéni parancsfájlokat és az ad-hoc integrációkat. Ebből a bejegyzésből megtudhatja, hogy a Test Workbench hogyan egyszerűsíti a robotok hang- és szövegmódszereinek automatizált tesztelését, valamint pontosságot és teljesítményméréseket biztosít az olyan paraméterekhez, mint a hangátírás, a szándékfelismerés és a résfelbontás mind az egyszeri bemenetek, mind a többfordulós beszélgetések esetén. Ez lehetővé teszi, hogy gyorsan azonosítsa a botfejlesztési területeket, és konzisztens kiindulási állapotot tartson fenn az idő múlásával történő pontosság mérésére, valamint a botfrissítések miatti esetleges regresszió megfigyelésére.
Az Amazon Lex egy teljesen felügyelt szolgáltatás társalgási hang- és szöveges interfészek létrehozásához. Az Amazon Lex segít chatbotok és virtuális asszisztensek létrehozásában és üzembe helyezésében a webhelyeken, a kapcsolattartói szolgáltatásokon és az üzenetküldő csatornákon. Az Amazon Lex robotok segítenek növelni az interaktív hangreakció (IVR) termelékenységét, automatizálni az egyszerű feladatokat, és javítani a működési hatékonyságot a szervezeten belül. Az Amazon Lex-hez készült Test Workbench szabványosítja és leegyszerűsíti a bottesztelési életciklust, ami kritikus fontosságú a robottervezés javítása szempontjából.
A Test Workbench jellemzői
A Test Workbench for Amazon Lex a következő funkciókat tartalmazza:
- Tesztadatkészletek automatikus generálása a robotok beszélgetési naplóiból
- Töltsön fel manuálisan összeállított tesztkészlet-alapvonalakat
- Végezze el az egybemenetes vagy többfordulós beszélgetések végpontok közötti tesztelését
- Tesztelje a bot hang- és szövegmódszereit
- Tekintse át a robotdimenziókra vonatkozó összesített és részletező mutatókat:
- Beszéd átírása
- A szándék felismerése
- Slot felbontás (beleértve a többértékű vagy összetett bővítőhelyeket)
- Kontextus címkék
- Munkamenet attribútumok
- Kérjen attribútumokat
- Futásidejű tippek
- Időkésleltetés másodpercben
Előfeltételek
A funkció teszteléséhez a következőkre van szükség:
Ezenkívül ismernie kell a következő szolgáltatásokat és funkciókat:
Hozzon létre egy tesztkészletet
A tesztkészlet létrehozásához hajtsa végre a következő lépéseket:
- A Amazon Lex konzol, al Teszt munkapad a navigációs ablakban válassza a lehetőséget Tesztkészletek.
Megtekintheti a meglévő tesztkészletek listáját, beleértve az alapvető információkat, például a nevet, a leírást, a tesztbemenetek számát, a modalitást és az állapotot. A következő lépésekben választhat, hogy tesztkészletet generál a bothoz társított beszélgetési naplókból, vagy feltölt egy meglévő, manuálisan összeállított tesztkészletet CSV-fájlformátumban.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Tesztkészlet létrehozása.
- A beszélgetésnaplókból tesztkészletek létrehozása lehetővé teszi a következőket:
- A CloudWatch szolgáltatásban valós, többfordulós beszélgetéseket is tartalmazhat a robot naplóiból
- Tartalmazzon hangnaplókat, és végezzen teszteket, amelyek figyelembe veszik a valódi beszédárnyalatokat, háttérzajokat és hangsúlyokat
- Gyorsítsa fel a tesztkészletek létrehozását
- A manuálisan összeállított tesztkészlet feltöltésével a következőket teheti:
- Teszteljen új robotokat, amelyekhez nincsenek gyártási adatok
- Végezzen regressziós teszteket a meglévő robotokon minden új vagy módosított szándékra, résre és beszélgetési folyamatra vonatkozóan
- Teszteljen gondosan kidolgozott és részletes forgatókönyveket, amelyek munkamenet-attribútumokat és kérésattribútumokat határoznak meg
Tesztkészlet létrehozásához hajtsa végre a következő lépéseket. Manuálisan összeállított tesztkészlet feltöltéséhez ugorjon a 7. lépésre.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre egy kiindulási tesztkészletet.
- Válassza ki a lehetőségeket Bot neve, Bot aliasés Nyelv.
- A Időtartományban, állítson be egy időtartományt a naplókhoz.
- A Meglévő IAM-szerep, válasszon szerepet.
Győződjön meg arról, hogy az IAM-szerep hozzáférést biztosít Önnek a beszélgetési naplókból való információk lekéréséhez. Lásd: IAM-szerepek létrehozása IAM szerepkör létrehozásához a megfelelő házirenddel.
- Ha inkább manuálisan létrehozott tesztkészletet szeretne használni, válassza a lehetőséget Töltsön fel egy fájlt ebbe a tesztkészletbe.
- A Töltsön fel egy fájlt ebbe a tesztkészletbe, válasszon a következő lehetőségek közül:
- választ Feltöltés S3 vödörből CSV-fájl feltöltéséhez egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör.
- választ Töltsön fel egy fájlt ebbe a tesztkészletbe CSV-fájl feltöltéséhez a számítógépről.
Használhatja a minta tesztkészlet ebben a bejegyzésben. A sablonokkal kapcsolatos további információkért válassza a CSV-sablon link az oldalon.
- A Modalitás, válassza ki a tesztkészlet módozatait szöveg or Audio.
A Test Workbench támogatja a hang- és szövegbeviteli formátumok tesztelését.
- A S3 hely, adja meg az S3 vödör helyét, ahol az eredményeket tárolni fogja.
- Opcionálisan válasszon egy AWS kulcskezelési szolgáltatás (AWS KMS) kulcs a kimeneti átiratok titkosításához.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.
Az újonnan létrehozott tesztkészlet megjelenik a Tesztkészletek oldal a következő állapotok egyikével:
- Annotációra készen – Az Amazon Lex bot-beszélgetési naplóiból generált tesztkészletek esetében az annotációs lépés kézi kapuzási mechanizmusként szolgál a minőségi tesztbemenetek biztosítására. A várt szándékok és várt helyek értékeinek megjegyzésével minden egyes tesztsorhoz megadja az adott sor „alapigazságát”. A bot futtatásából származó teszteredményeket összegyűjtik és összehasonlítják az alapigazsággal, hogy a teszteredményeket sikeresnek vagy sikertelennek jelöljék. Ez a sorszintű összehasonlítás lehetővé teszi aggregált mérőszámok létrehozását.
- Tesztelésre készen - Ez azt jelzi, hogy a tesztkészlet készen áll az Amazon Lex bot elleni végrehajtására.
- Érvényesítési hiba – A feltöltött tesztfájlokat a rendszer ellenőrzi, hogy vannak-e olyan hibák, mint például a maximális támogatott hossz túllépése, érvénytelen karakterek a szándéknevekben vagy az audiofájlokat tartalmazó érvénytelen Amazon S3 hivatkozások. Ha a tesztkészlet a Érvényesítési hiba állapotában töltse le az érvényesítés részleteit mutató fájlt, hogy soronként megtekinthesse a tesztbeviteli problémákat vagy hibákat. Miután meg lettek oldva, manuálisan feltöltheti a javított tesztkészlet CSV-t a tesztkészletbe.
Tesztkészlet végrehajtása
A tesztkészletet leválasztják egy botról. Ugyanez a tesztkészlet végrehajtható egy másik bottal vagy botaliassal a jövőben, ahogyan az üzleti felhasználási eset fejlődik. A robot teljesítménymutatóinak jelentéséhez az alaptesztadatokhoz képest, hajtsa végre a következő lépéseket:
- import a minta bot meghatározás és a bot megépítése (lásd: Bot importálása útmutatásért).
- Az Amazon Lex konzolon válassza a lehetőséget Tesztkészletek a navigációs ablaktáblában.
- Válassza ki az érvényesített tesztkészletet.
Itt tekintheti át a tesztkészlettel és az importált tesztadatokkal kapcsolatos alapvető információkat.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teszt végrehajtása.
- Válassza ki a megfelelő opciókat Bot neve, Bot aliasés Nyelv.
- A Teszt típusaválassza Audio or szöveg.
- A Végpont kiválasztása, válasszon egyet folyó or Nem adatfolyam.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Érvényesítse az eltérést a tesztadatkészlet érvényesítéséhez.
A tesztkészlet végrehajtása előtt ellenőrizheti a teszt lefedettségét, beleértve a tesztkészletben található szándékok és helyek azonosítását, de a botban nem. Ez a korai figyelmeztetés arra szolgál, hogy beállítsa a tesztelők elvárásait a váratlan teszthibák esetén. Ha eltéréseket észlel a tesztadatkészlet és a robot között, a Teszt végrehajtása oldal frissül a Részletek megtekintése gombot.
A tesztadatkészletben, de a bot-álnévben nem található szándékok és helyek a következő képernyőképeken láthatók szerint vannak felsorolva.
- Miután ellenőrizte az eltéréseket, válassza a lehetőséget Végrehajt a teszt futtatásához.
Tekintse át az eredményeket
A tesztkészlet végrehajtása után generált teljesítménymérők segítenek azonosítani a bottervezés azon területeit, amelyek fejlesztésre szorulnak, és hasznosak a botok fejlesztésének és szállításának felgyorsításában az ügyfelek támogatása érdekében. A Test Workbench betekintést nyújt a szándékok besorolására és a helyek felbontására a végpontok közötti beszélgetésekben és az egysoros beviteli szinten. A befejezett tesztfutásokat időbélyegekkel együtt tárolja az S3-tároló, és felhasználhatja őket a jövőbeni összehasonlító áttekintésekhez.
- Az Amazon Lex konzolon válassza a lehetőséget Vizsgálati eredmények a navigációs ablaktáblában.
- Válassza ki a vizsgálni kívánt eredményekhez tartozó teszteredmény-azonosítót.
A következő oldalon a teszteredmények négy fő lapra osztva tartalmazzák az eredményeket: Összesített eredmények, beszélgetési eredmények, szándékok és helyek eredményei, és a Részletes eredmények.
Összesített eredmények
Az Összesített eredmények lap három fő részből áll:
- Tesztkészlet bemeneti bontása — Diagram, amely a végpontok közötti beszélgetések és egyetlen bemeneti megnyilatkozások teljes számát mutatja a tesztkészletben.
- Egyetlen bemeneti bontás — Egy diagram, amely a sikeres vagy sikertelen egyszeri bemenetek számát mutatja.
- Beszélgetés lebontása — Egy diagram, amely a sikeres vagy sikertelen többfordulatú bemenetek számát mutatja.
Az audio modalitásban futtatott tesztkészletekhez beszédátírási diagramok állnak rendelkezésre, amelyek megmutatják a sikeres vagy sikertelen beszédátírások számát mind az egyszeri bemeneten, mind a beszélgetéstípuson. Az audio modalitásban az egyetlen bemeneti vagy többfordulatos beszélgetés átmenhet a beszédátírási teszten, de az általános végpontok közötti teszten nem. Ezt okozhatja például a résfeloldás vagy a szándékfelismerési probléma.
A beszélgetés eredményei
A Test Workbench segítségével részletezheti azokat a beszélgetési hibákat, amelyek bizonyos szándékoknak vagy időszakoknak tulajdoníthatók. A Beszélgetés eredményei lap három fő területre van felosztva, amelyek lefedik a tesztkészletben használt összes szándékot és területet:
- Beszélgetési arányok — Egy táblázat annak megjelenítésére, hogy mely szándékok és helyek felelősek az esetleges beszélgetési hibákért.
- A beszélgetési szándék meghibásodásának mutatói — A tesztkészlet öt legrosszabbul teljesítő szándékát bemutató oszlopdiagram, ha van ilyen.
- A beszélgetési helyek meghibásodásának mutatói — Oszlopdiagram, amely a tesztkészlet öt legrosszabbul teljesítő szakaszát mutatja, ha van ilyen.
Szándék és rés eredmények
A Szándékok és helyek eredményei lap részletező mérőszámokat kínál a robotok dimenzióihoz, például az intent felismeréshez és a helyfelbontáshoz.
- Szándékfelismerési mutatók — A szándékfelismerés sikerességi arányát bemutató táblázat.
- Résfelbontási mérőszámok — A résfelbontás sikerességi arányát mutató táblázat
Részletes eredmények
A végrehajtott tesztüzem részletes jelentését a Részletes eredmények lapon érheti el. Megjelenik egy táblázat a tényleges átírási, kimeneti szándék és helyértékek megjelenítéséhez a tesztkészletben. A jelentés CSV formátumban letölthető további elemzés céljából.
A vonalszintű kimenet betekintést nyújt a bot tervezésének javításához és a pontosság növeléséhez. Például a félreismert vagy kihagyott beszédbevitelek, például a márkanevű szavak hozzáadhatók egy szándék egyéni szókészletéhez, vagy egy szándék alatti megnyilatkozásként.
A beszélgetés kialakításának további javítása érdekében hivatkozhat a ezt a hozzászólást, amely felvázolja az ML használatával kapcsolatos bevált módszereket egy olyan bot létrehozásához, amely örömet okoz az ügyfeleknek azáltal, hogy pontosan megérti őket.
Következtetés
Ebben a bejegyzésben bemutattuk az Amazon Lexhez készült Test Workbench-et, egy natív képességet, amely szabványosítja a chatbot automatizált tesztelési folyamatát, és lehetővé teszi a fejlesztők és a beszélgetéstervezők számára, hogy egyszerűsítsék és gyorsan iterálják a robottervezés és -fejlesztés révén.
Kíváncsian várjuk, hogyan használja az Amazon Lex új funkcióját, és szívesen fogadjuk a visszajelzéseket! Bármilyen kérdése, programhibája vagy funkcióra vonatkozó kérése esetén forduljon hozzánk AWS re:Post az Amazon Lex számára vagy az AWS ügyfélszolgálati kapcsolattartóit.
További információkért lásd: Amazon Lex GYIK és a Amazon Lex V2 fejlesztői útmutató.
A szerzőkről
Sandeep Srinivasan az Amazon Lex csapat termékmenedzsere. Az emberi viselkedés figyelmes megfigyelőjeként szenvedélyesen rajong a vásárlói élményért. Ébren töltött óráit az emberek, a technológia és a jövő találkozásánál tölti.
Grazia Russo Lassner az AWS Professional Services Natural Language AI csapatának vezető tanácsadója. Szakterülete az AWS technológiát használó párbeszédes AI megoldások tervezése és fejlesztése különböző iparágakban dolgozó ügyfelek számára. A munkán kívül élvezi a tengerparti hétvégéket, a legújabb szépirodalmi könyvek olvasását és a családját.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- EVM Finance. Egységes felület a decentralizált pénzügyekhez. Hozzáférés itt.
- Quantum Media Group. IR/PR erősített. Hozzáférés itt.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :is
- :nem
- :ahol
- $ UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Képes
- Rólunk
- hozzáférés
- Fiók
- pontosság
- pontosan
- át
- tényleges
- hozzáadott
- mellett
- Után
- ellen
- AI
- Minden termék
- lehetővé téve
- lehetővé teszi, hogy
- amazon
- Amazon Lex
- Az Amazon Web Services
- an
- elemzés
- és a
- bejelent
- bármilyen
- megfelelő
- VANNAK
- területek
- AS
- asszisztensek
- társult
- At
- attribútumok
- hang-
- automatizált
- Automatizált
- automatikusan
- elkerülése érdekében
- AWS
- AWS professzionális szolgáltatások
- háttér
- bár
- kiindulási
- alapvető
- alap
- BE
- strand
- előtt
- BEST
- legjobb gyakorlatok
- között
- Könyvek
- fellendítésére
- Bot
- mindkét
- botok
- márkás
- Bontás
- bogarak
- épít
- Épület
- épült
- üzleti
- de
- gomb
- by
- TUD
- gondosan
- eset
- okozott
- Központ
- csatornák
- karakter
- Táblázatos
- táblázatok
- chatbot
- chatbots
- ellenőrizze
- ellenőrzött
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- besorolás
- képest
- összehasonlítás
- teljes
- Befejezett
- számítógép
- Magatartás
- következetes
- Konzol
- szaktanácsadó
- kapcsolat
- kapcsolatközpont
- Kapcsolatok
- tartalmaz
- Beszélgetés
- társalgó
- társalgási AI
- beszélgetések
- korrigált
- tudott
- lefedettség
- fedő
- teremt
- készítette
- létrehozása
- teremtés
- kritikai
- szokás
- vevő
- Vásárlói élmény
- Ügyfelek
- dátum
- adatkészlet
- adatkészletek
- késleltetés
- élvezet
- kézbesítés
- telepíteni
- leírás
- Design
- tervezők
- tervezés
- részletes
- részletek
- észlelt
- Fejlesztő
- fejlesztők
- fejlesztése
- Fejlesztés
- különböző
- méretek
- do
- le-
- letöltés
- hajtás
- két
- alatt
- minden
- Korai
- hatékonyság
- bármelyik
- végtől végig
- biztosítására
- belép
- hiba
- hibák
- fejlődik
- meghaladó
- izgatott
- kivégez
- végrehajtott
- végrehajtó
- létező
- várakozás
- várakozások
- várható
- tapasztalat
- FAIL
- Sikertelen
- Kudarc
- család
- Funkció
- Jellemzők
- Fiction
- filé
- Fájlok
- áramlási
- következő
- A
- formátum
- Előre
- talált
- négy
- ból ből
- teljesen
- funkcionalitás
- további
- jövő
- generál
- generált
- generáló
- biztosít
- grafikon
- Földi
- útmutatást
- Kezelés
- Legyen
- he
- hallás
- segít
- segít
- övé
- NYITVATARTÁS
- Hogyan
- azonban
- HTML
- http
- HTTPS
- emberi
- ID
- azonosítani
- azonosító
- if
- importáló
- javul
- javulás
- fejlesztések
- javuló
- in
- tartalmaz
- magában foglalja a
- Beleértve
- Növelje
- jelez
- jelzi
- iparágak
- információ
- bemenet
- bemenet
- meglátások
- példa
- integrációk
- A szándék
- interaktív
- interfészek
- útkereszteződés
- bele
- kérdés
- kérdések
- jpg
- Lelkes
- Kulcs
- tudás
- nyelv
- legutolsó
- TANUL
- Hossz
- szint
- életciklus
- vonal
- LINK
- linkek
- Lista
- Listázott
- elhelyezkedés
- néz
- Fő
- fenntartása
- sikerült
- vezetés
- menedzser
- kézikönyv
- kézzel
- jel
- maximális
- intézkedés
- intézkedések
- mechanizmus
- Megfelel
- üzenetküldés
- Módszertan
- Metrics
- megszakított
- ML
- módosított
- több
- név
- nevek
- bennszülött
- Természetes
- Navigáció
- Szükség
- igények
- Új
- újonnan
- következő
- nem
- szám
- megfigyelni
- of
- gyakran
- on
- egyszer
- ONE
- operatív
- Opciók
- or
- érdekében
- szervezet
- Szervezett
- teljesítmény
- kívül
- felett
- átfogó
- oldal
- üvegtábla
- paraméterek
- elhalad
- Elmúlt
- szenvedélyes
- Emberek (People)
- teljesítmény
- előadó
- fázis
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- politika
- lehetséges
- állás
- gyakorlat
- jobban szeret
- be
- bemutatott
- folyamat
- Termékek
- termék menedzser
- Termelés
- termelékenység
- szakmai
- feltéve,
- biztosít
- világítás
- lekérdezések
- Kérdések
- gyorsan
- hatótávolság
- Arány
- RE
- el
- Olvasás
- kész
- igazi
- elismerés
- jelentést
- kérni
- kéri
- követelmények
- Felbontás
- válaszol
- válasz
- felelős
- eredményez
- Eredmények
- Kritika
- Vélemények
- Szerep
- futás
- azonos
- skálázás
- forgatókönyvek
- screenshotok
- szakaszok
- lát
- idősebb
- szolgálja
- szolgáltatás
- Szolgáltatások
- ülés
- készlet
- Szettek
- számos
- ő
- kellene
- előadás
- mutatott
- Egyszerű
- egyszerűsítése
- egyetlen
- nyílások
- megoldások
- Megoldások
- specializálódott
- különleges
- beszéd
- Állami
- Állapot
- Lépés
- Lépései
- tárolás
- memorizált
- áramvonal
- siker
- ilyen
- támogatás
- Támogatott
- rendszer
- táblázat
- feladatok
- csapat
- csapat
- Technologies
- Technológia
- sablonok
- teszt
- Tesztelés
- tesztek
- hogy
- A
- A jövő
- Őket
- akkor
- Ott.
- ők
- ezt
- három
- Keresztül
- idő
- nak nek
- szerszámok
- felső
- Végösszeg
- igazság
- típusok
- alatt
- megértés
- Váratlan
- Frissítések
- Frissítés
- Feltöltés
- us
- használ
- használati eset
- használt
- használó
- segítségével
- ÉRVÉNYESÍT
- érvényesített
- érvényesítés
- Értékek
- különféle
- Tényleges
- Hang
- akar
- figyelmeztetés
- we
- háló
- webes szolgáltatások
- honlapok
- fogadtatás
- vajon
- ami
- lesz
- val vel
- szavak
- Munka
- Legrosszabb
- még
- te
- A te
- zephyrnet
- Postai irányítószám