Amazon-Lex on innoissaan voidessaan julkistaa Test Workbenchin, uuden bot-testausratkaisun, joka tarjoaa työkaluja bottien testausprosessin yksinkertaistamiseen ja automatisointiin. Botin kehityksen aikana testaus on vaihe, jossa kehittäjät tarkistavat, täyttääkö botti tietyt vaatimukset, tarpeet ja odotukset tunnistamalla virheet, viat tai bugit järjestelmästä ennen skaalausta. Testaus auttaa validoimaan botin suorituskyvyn useilla rintamilla, kuten keskustelun sujuvuudessa (käyttäjien kyselyjen ymmärtäminen ja tarkka vastaaminen), päällekkäisyyksien käsittelyssä ja eri menetelmien johdonmukaisuudessa. Testaus on kuitenkin usein manuaalista, virhealtista ja standardoimatonta. Test Workbench standardoi automaattisen testinhallinnan sallimalla chatbot-kehitystiimien luoda, ylläpitää ja suorittaa testijoukkoja johdonmukaisella menetelmällä ja välttää mukautettuja komentosarjoja ja ad-hoc-integraatioita. Tässä viestissä opit, kuinka Test Workbench virtaviivaistaa robotin ääni- ja tekstimodaliteetin automaattista testausta ja tarjoaa tarkkuuden ja suorituskyvyn parametreille, kuten äänen transkriptio, tarkoituksentunnistus ja paikan resoluutio sekä yksittäisille ilmauksille että monikäänteisille keskusteluille. Tämän avulla voit nopeasti tunnistaa botin parannusalueet ja ylläpitää johdonmukaista lähtötasoa tarkkuuden mittaamiseksi ajan mittaan ja tarkkuuden regression havaitsemiseksi bottipäivityksistä.
Amazon Lex on täysin hallittu palvelu puhe- ja tekstiliittymien rakentamiseen. Amazon Lex auttaa sinua rakentamaan ja ottamaan käyttöön chatbotteja ja virtuaalisia avustajia verkkosivustoilla, yhteyskeskuksen palveluissa ja viestikanavissa. Amazon Lex -botit auttavat lisäämään interaktiivisen äänivasteen (IVR) tuottavuutta, automatisoivat yksinkertaisia tehtäviä ja tehostavat toimintaa koko organisaatiossa. Test Workbench for Amazon Lex standardoi ja yksinkertaistaa bottien testauksen elinkaarta, mikä on ratkaisevan tärkeää botin suunnittelun parantamisen kannalta.
Test Workbenchin ominaisuudet
Test Workbench for Amazon Lex sisältää seuraavat ominaisuudet:
- Luo testitietojoukot automaattisesti botin keskustelulokeista
- Lataa manuaalisesti luodut testijoukon perusviivat
- Suorita yhden syötteen tai usean kierroksen keskustelujen päästä päähän -testaus
- Testaa botin ääni- ja tekstimodaliteetit
- Tarkista bot-mittojen koostetut ja yksityiskohtaiset tiedot:
- Puheen transkriptio
- Tarkoituksen tunnistaminen
- Paikan resoluutio (mukaan lukien moniarvoiset paikat tai yhdistelmäpaikat)
- Kontekstitunnisteet
- Istuntoattribuutit
- Pyydä attribuutteja
- Ajonaikaisia vihjeitä
- Aikaviive sekunneissa
Edellytykset
Tämän ominaisuuden testaamiseksi sinulla tulee olla seuraavat:
Lisäksi sinulla tulee olla tietoa ja ymmärrystä seuraavista palveluista ja ominaisuuksista:
Luo testisarja
Luo testisarja suorittamalla seuraavat vaiheet:
- On Amazon Lex -konsoli, alla Testityöpöytä valitse siirtymisruudussa Testisarjat.
Voit tarkastella luetteloa olemassa olevista testisarjoista, mukaan lukien perustiedot, kuten nimi, kuvaus, testisyötteiden lukumäärä, modaliteetti ja tila. Seuraavissa vaiheissa voit valita, luodaanko testisarja bottiin liittyvistä keskustelulokeista vai ladataanko olemassa oleva manuaalisesti luotu testisarja CSV-tiedostomuodossa.
- Valita Luo testisarja.
- Luomalla testijoukkoja keskustelulokeista voit tehdä seuraavan:
- Sisällytä todellisia usean kierroksen keskusteluja botin lokeista CloudWatchiin
- Sisällytä äänilokeja ja suorita testejä, jotka huomioivat puheen todelliset vivahteet, taustaäänet ja aksentit
- Nopeuta testisarjojen luomista
- Manuaalisesti kootun testisarjan lähettäminen mahdollistaa seuraavan:
- Testaa uusia botteja, joista ei ole tuotantotietoja
- Suorita regressiotestejä olemassa oleville boteille uusille tai muokatuille tavoitteille, paikoilla ja keskusteluvirroille
- Testaa huolellisesti suunniteltuja ja yksityiskohtaisia skenaarioita, jotka määrittävät istunnon attribuutit ja pyyntöattribuutit
Luo testisarja suorittamalla seuraavat vaiheet. Jos haluat ladata manuaalisesti kootun testisarjan, siirry vaiheeseen 7.
- Valita Luo perustestisarja.
- Valitse vaihtoehtosi Botin nimi, Botin aliasja Kieli.
- varten Aikahaarukka, aseta lokeille aikaväli.
- varten Nykyinen IAM-rooli, valitse rooli.
Varmista, että IAM-rooli voi antaa sinulle oikeuden hakea tietoja keskustelulokeista. Katso IAM-roolien luominen luoda IAM-rooli asianmukaisella käytännöllä.
- Jos haluat mieluummin käyttää manuaalisesti luotua testisarjaa, valitse Lataa tiedosto tähän testisarjaan.
- varten Lataa tiedosto tähän testisarjaan, valitse seuraavista vaihtoehdoista:
- valita Lataa S3-ämpäristä ladataksesi CSV-tiedoston Amazonin yksinkertainen tallennuspalvelu (Amazon S3)-kauha.
- valita Lataa tiedosto tähän testisarjaan ladataksesi CSV-tiedoston tietokoneeltasi.
Voit käyttää näytetestisarja tarjotaan tässä viestissä. Saat lisätietoja malleista valitsemalla CSV-malli linkki sivulla.
- varten Liikennemuotojen, valitse joko testisarjasi modaliteetti teksti or Audio-.
Test Workbench tarjoaa testaustuen ääni- ja tekstinsyöttömuodoille.
- varten S3 sijainti, anna S3-säihön sijainti, johon tulokset tallennetaan.
- Vaihtoehtoisesti valitse an AWS-avainhallintapalvelu (AWS KMS) -avain tulostettujen transkriptien salaamiseen.
- Valita luoda.
Äskettäin luomasi testisarja näkyy luettelossa Testisarjat sivu jollakin seuraavista tiloista:
- Valmiina huomautukseen - Amazon Lex -bottikeskustelulokeista luoduille testisarjoille merkintävaihe toimii manuaalisena portituksena varmistaakseen laadukkaat testisyötteet. Merkitsemällä arvot odotetuille tarkoituksille ja odotetuille aikavälille jokaiselle testirivikohdalle, osoitat kyseisen rivin "perustatuuden". Botin ajon testitulokset kerätään ja verrataan totuuteen, jotta testitulokset voidaan merkitä hyväksytyiksi tai hylätyiksi. Tämän rivitason vertailun avulla voidaan sitten luoda aggregoituja mittareita.
- Valmiina testaukseen - Tämä osoittaa, että testisarja on valmis suoritettavaksi Amazon Lex -bottia vastaan.
- Vahvistusvirhe - Ladatut testitiedostot tarkistetaan virheiden, kuten tuetun enimmäispituuden ylittämisen, virheellisten merkkien nimissä tai virheellisten äänitiedostoja sisältävien Amazon S3 -linkkien varalta. Jos testisarja on Vahvistusvirhe tilassa, lataa vahvistustiedot sisältävä tiedosto nähdäksesi testisyöttöongelmat tai -virheet rivi riviltä. Kun ne on käsitelty, voit ladata korjatun testisarjan CSV:n manuaalisesti testijoukkoon.
Testisarjan suorittaminen
Testisarja on irrotettu robotista. Sama testisarja voidaan suorittaa eri botille tai bottialiakselle tulevaisuudessa, kun yrityskäyttösi kehittyy. Jos haluat raportoida botin suorituskykymittaukset perustestitietojen perusteella, suorita seuraavat vaiheet:
- Tuo näytebotti määritelmä ja rakentaa botti (katso Botin tuominen opastusta varten).
- Valitse Amazon Lex -konsolissa Testisarjat navigointipaneelissa.
- Valitse validoitu testisarja.
Täällä voit tarkastella perustietoja testisarjasta ja tuoduista testitiedoista.
- Valita Suorita testi.
- Valitse sopivat vaihtoehdot Botin nimi, Botin aliasja Kieli.
- varten Testityyppivalitse Audio- or teksti.
- varten Päätepisteen valinta, valitse joko streaming or Ei suoratoistoa.
- Valita Vahvista ristiriita vahvistaaksesi testitietojoukon.
Ennen testisarjan suorittamista voit vahvistaa testin kattavuuden, mukaan lukien testausjoukossa, mutta ei robotissa, olevien tarkoitusten ja paikkojen tunnistamisen. Tämä varhainen varoitus määrittää testaajan odotukset odottamattomien testivirheiden varalta. Jos testitietojoukon ja bottisi välillä havaitaan eroja, Suorita testi sivu päivittyy Näytä tiedot painiketta.
Testitietojoukosta mutta ei botin aliaksesta löytyneet tavoitteet ja paikat on lueteltu seuraavissa kuvakaappauksissa.
- Kun olet vahvistanut erot, valitse Suorittaa suorittaaksesi testin.
Tarkastele tuloksia
Testisarjan suorittamisen jälkeen luodut suorituskykymittaukset auttavat sinua tunnistamaan parannuksia vaativat bot-suunnittelun osa-alueet, ja niistä on hyötyä botin kehittämisen ja toimituksen nopeuttamisessa asiakkaiden tukemiseksi. Test Workbench tarjoaa näkemyksiä tarkoitusluokittelusta ja paikkojen resoluutiosta päästä päähän -keskustelussa ja yksirivisisessä syöttötasossa. Valmiit testiajot tallennetaan aikaleimoineen S3-säihösi, ja niitä voidaan käyttää tulevissa vertailevissa tarkasteluissa.
- Valitse Amazon Lex -konsolissa Testitulokset navigointipaneelissa.
- Valitse testitulostunnus niille tuloksille, joita haluat tarkastella.
Seuraavalla sivulla testitulokset sisältävät tulosten erittelyn neljään päävälilehteen: Kokonaistulokset, keskustelutulokset, tarkoitus- ja paikkatulokset, ja Yksityiskohtaiset tulokset.
Kokonaistulokset
Yleiset tulokset -välilehti sisältää kolme pääosiota:
- Testaa sarjan tulon erittely — Kaavio, joka näyttää testijoukon päästä päähän -keskustelujen ja yksittäisten syötteiden kokonaismäärän.
- Yhden tulon erittely — Kaavio, joka näyttää hyväksyttyjen tai epäonnistuneiden yksittäisten syötteiden lukumäärän.
- Keskustelun erittely — Kaavio, jossa näkyy hyväksyttyjen tai epäonnistuneiden monikierrossyöttöjen määrä.
Äänimoodilla suoritetuille testisarjoille tarjotaan puheen transkriptiokaavioita, jotka osoittavat hyväksyttyjen tai epäonnistuneiden puhetranskriptioiden määrän sekä yksittäisellä syötteellä että keskustelutyypeillä. Äänimuodossa yksi syöttö tai usean kierroksen keskustelu voi läpäistä puheen transkriptiotestin, mutta epäonnistua yleisessä päästä päähän -testissä. Tämä voi johtua esimerkiksi paikan resoluutiosta tai tarkoituksentunnistusongelmasta.
Keskustelun tulokset
Test Workbench auttaa sinua syventymään keskustelun epäonnistumiseen, joka voidaan johtua tietyistä tavoitteista tai paikoista. Keskustelutulokset-välilehti on järjestetty kolmeen pääalueeseen, jotka kattavat kaikki testisarjassa käytetyt tarkoitukset ja ajat:
- Keskustelun läpäisyprosentit — Taulukko, jota käytetään visualisoimaan, mitkä tavoitteet ja paikat ovat vastuussa mahdollisista keskustelun epäonnistumisista.
- Keskusteluaikeiden epäonnistumisen mittarit — Pylväsdiagrammi, joka näyttää viisi parasta testisarjan huonoiten suoriutunutta tarkoitusta, jos sellaisia on.
- Keskustelupaikan virhemittarit — Pylväsdiagrammi, joka näyttää testisarjan viisi huonoimmin menestyvää paikkaa, jos sellaisia on.
Tarkoitus ja paikkatulokset
Tarkoitus ja paikkatulokset -välilehti tarjoaa yksityiskohtaisia mittareita bot-mitoista, kuten tarkoituksentunnistuksesta ja paikan resoluutiosta.
- Tarkoituksen tunnistuksen mittarit — Taulukko, jossa näkyy tarkoituksentunnistuksen onnistumisprosentti.
- Paikkaresoluutiomittarit — Taulukko, joka näyttää paikan resoluution onnistumisprosentin, by
Yksityiskohtaiset tulokset
Voit tarkastella suoritetun testiajon yksityiskohtaista raporttia Yksityiskohtaiset tulokset -välilehdeltä. Näyttöön tulee taulukko, joka näyttää testisarjan todelliset transkriptio-, tulostavoitteet ja paikkaarvot. Raportti voidaan ladata CSV-tiedostona lisäanalyysiä varten.
Linjatason tulos tarjoaa oivalluksia, jotka auttavat parantamaan botin suunnittelua ja lisäämään tarkkuutta. Esimerkiksi väärin tunnistetut tai huomaamatta jääneet puhesyötteet, kuten merkkisanoja, voidaan lisätä tarkoituksen mukautettuun sanastoon tai ilmaisuiksi tarkoituksen alla.
Voit edelleen parantaa keskustelun suunnittelua Tämä viesti, jossa esitellään parhaat käytännöt ML:n käyttämiseksi sellaisen botin luomiseen, joka ilahduttaa asiakkaitasi ymmärtämällä heidät tarkasti.
Yhteenveto
Tässä viestissä esittelimme Amazon Lexin Test Workbenchin, alkuperäisen ominaisuuden, joka standardoi chatbotin automatisoidun testausprosessin ja antaa kehittäjille ja keskustelusuunnittelijoille mahdollisuuden virtaviivaistaa ja iteroida nopeasti robottien suunnittelun ja kehityksen kautta.
Odotamme innolla kuulevamme, kuinka käytät tätä Amazon Lexin uutta toimintoa, ja otamme vastaan palautetta! Jos sinulla on kysyttävää, virheitä tai ominaisuuspyyntöjä, ota meihin yhteyttä AWS re:Post for Amazon Lex tai AWS-tukiyhteystietosi.
Jos haluat lisätietoja, katso Amazon Lexin UKK ja Amazon Lex V2 -kehittäjäopas.
Tietoja kirjoittajista
Sandeep Srinivasan on Amazon Lex -tiimin tuotepäällikkö. Ihmisen käyttäytymisen tarkkailijana hän on intohimoinen asiakaskokemukseen. Hän viettää valveillaoloaikansa ihmisten, teknologian ja tulevaisuuden risteyksessä.
Grazia Russo Lassner on AWS Professional Services Natural Language AI -tiimin vanhempi konsultti. Hän on erikoistunut suunnittelemaan ja kehittämään AWS-teknologioita hyödyntäviä keskustelupohjaisia tekoälyratkaisuja eri toimialojen asiakkaille. Työn ulkopuolella hän nauttii rantaviikonloppuista, lukee uusimpia kaunokirjallisia kirjoja ja nauttii perheestä.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- EVM Finance. Hajautetun rahoituksen yhtenäinen käyttöliittymä. Pääsy tästä.
- Quantum Media Group. IR/PR vahvistettu. Pääsy tästä.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :On
- :ei
- :missä
- $ YLÖS
- 10
- 100
- 500
- 610
- 7
- 9
- a
- pystyy
- Meistä
- pääsy
- Tili
- tarkkuus
- tarkasti
- poikki
- todellinen
- lisä-
- Lisäksi
- Jälkeen
- vastaan
- AI
- Kaikki
- Salliminen
- mahdollistaa
- Amazon
- Amazon-Lex
- Amazon Web Services
- an
- analyysi
- ja
- Ilmoittaa
- Kaikki
- sopiva
- OVAT
- alueet
- AS
- avustajat
- liittyvä
- At
- attribuutteja
- audio-
- automatisoida
- Automatisoitu
- automaattisesti
- välttää
- AWS
- AWS-asiantuntijapalvelut
- tausta
- baari
- Lähtötilanne
- perustiedot
- perusta
- BE
- Ranta
- ennen
- PARAS
- parhaat käytännöt
- välillä
- Kirjat
- edistää
- Bot
- sekä
- botit
- merkkituotteiden
- Erittely
- Bugs
- rakentaa
- Rakentaminen
- rakennettu
- liiketoiminta
- mutta
- nappia
- by
- CAN
- huolellisesti
- tapaus
- aiheutti
- keskus
- kanavat
- merkkejä
- Kaavio
- Kaaviot
- chatbot
- chatbots
- tarkastaa
- tarkistettu
- Valita
- luokittelu
- verrattuna
- vertailu
- täydellinen
- Valmistunut
- tietokone
- Suorittaa
- johdonmukainen
- Console
- konsultti
- ottaa yhteyttä
- yhteyskeskukseen
- Yhteydet
- sisältää
- Keskustelu
- puhekielen
- keskusteleva AI
- keskustelut
- korjattu
- voisi
- kattavuus
- päällyste
- luoda
- luotu
- Luominen
- luominen
- kriittinen
- asiakassuhde
- asiakas
- asiakaskokemus
- Asiakkaat
- tiedot
- tietojoukko
- aineistot
- viivyttää
- ilahduttaa
- toimitus
- sijoittaa
- kuvaus
- Malli
- suunnittelijat
- suunnittelu
- yksityiskohtainen
- yksityiskohdat
- havaittu
- Kehittäjä
- kehittäjille
- kehittämällä
- Kehitys
- eri
- mitat
- do
- alas
- download
- ajaa
- kaksi
- aikana
- kukin
- Varhainen
- hyötysuhteet
- myöskään
- päittäin
- varmistaa
- enter
- virhe
- virheet
- kehittyy
- ylittävät
- innoissaan
- suorittaa
- teloitettiin
- täytäntöönpanosta
- olemassa
- odotus
- odotukset
- odotettu
- experience
- FAIL
- Epäonnistui
- Epäonnistuminen
- perhe
- Ominaisuus
- Ominaisuudet
- Kaunokirjallisuus
- filee
- Asiakirjat
- virtaus
- jälkeen
- varten
- muoto
- Eteenpäin
- löytyi
- neljä
- alkaen
- täysin
- toiminnallisuus
- edelleen
- tulevaisuutta
- tuottaa
- syntyy
- tuottaa
- myöntää
- kaavio
- Maa
- ohjaus
- Käsittely
- Olla
- he
- kuulo
- auttaa
- auttaa
- hänen
- TUNTIA
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- ihmisen
- ID
- tunnistaa
- tunnistaminen
- if
- tuovan
- parantaa
- parannus
- parannuksia
- parantaminen
- in
- sisältää
- sisältää
- Mukaan lukien
- Kasvaa
- osoittaa
- ilmaisee
- teollisuuden
- tiedot
- panos
- tuloa
- oivalluksia
- esimerkki
- integraatiot
- tahallisuus
- vuorovaikutteinen
- rajapinnat
- leikkauspiste
- tulee
- kysymys
- kysymykset
- jpg
- Innokas
- avain
- tuntemus
- Kieli
- uusin
- OPPIA
- Pituus
- Taso
- elinkaari
- linja
- LINK
- linkit
- Lista
- lueteltu
- sijainti
- katso
- tärkein
- ylläpitää
- onnistui
- johto
- johtaja
- manuaalinen
- käsin
- Merkitse
- maksimi
- mitata
- toimenpiteet
- mekanismi
- Meets
- Viestit
- Metodologia
- Metrics
- hukata
- ML
- muokattu
- lisää
- nimi
- nimet
- syntyperäinen
- Luonnollinen
- suunnistus
- Tarve
- tarpeet
- Uusi
- hiljattain
- seuraava
- Nro
- numero
- tarkkailla
- of
- usein
- on
- kerran
- ONE
- toiminta-
- Vaihtoehdot
- or
- tilata
- organisaatio
- Järjestetty
- ulostulo
- ulkopuolella
- yli
- yleinen
- sivulla
- lasi
- parametrit
- kulkea
- Hyväksytty
- intohimoinen
- Ihmiset
- suorituskyky
- esittävä
- vaihe
- Platon
- Platonin tietotieto
- PlatonData
- Ole hyvä
- politiikka
- mahdollinen
- Kirje
- käytännöt
- mieluummin
- esittää
- esitetty
- prosessi
- Tuotteet
- tuotepäällikkö
- tuotanto
- tuottavuus
- ammatillinen
- mikäli
- tarjoaa
- laatu
- kyselyt
- kysymykset
- nopeasti
- alue
- hinta
- RE
- tavoittaa
- Lukeminen
- valmis
- todellinen
- tunnustaminen
- raportti
- pyyntö
- pyynnöt
- vaatimukset
- päätöslauselma
- vastaamisen
- vastaus
- vastuullinen
- johtua
- tulokset
- arviot
- Arvostelut
- Rooli
- ajaa
- sama
- skaalaus
- skenaariot
- kuvakaappauksia
- osiot
- nähdä
- vanhempi
- palvelee
- palvelu
- Palvelut
- Istunto
- setti
- Setit
- useat
- hän
- shouldnt
- näyttää
- esitetty
- Yksinkertainen
- yksinkertaistaa
- single
- lähtö
- ratkaisu
- Ratkaisumme
- erikoistunut
- erityinen
- puhe
- Osavaltio
- Tila
- Vaihe
- Askeleet
- Levytila
- tallennettu
- tehostaa
- menestys
- niin
- tuki
- Tuetut
- järjestelmä
- taulukko
- tehtävät
- joukkue-
- tiimit
- Technologies
- Elektroniikka
- malleja
- testi
- Testaus
- testit
- että
- -
- Tulevaisuus
- Niitä
- sitten
- Siellä.
- ne
- tätä
- kolmella
- Kautta
- aika
- että
- työkalut
- ylin
- Yhteensä
- Totuus
- tyypit
- varten
- ymmärtäminen
- Odottamaton
- Päivitykset
- Päivitykset
- Ladataan
- us
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- käyttämällä
- VAHVISTA
- validoitu
- validointi
- arvot
- eri
- Virtual
- Ääni
- haluta
- varoitus
- we
- verkko
- verkkopalvelut
- sivustot
- tervetuloa
- onko
- joka
- tulee
- with
- sanoja
- Referenssit
- pahin
- vielä
- Voit
- Sinun
- zephyrnet
- Postinumero