Amazonka Lex z radością ogłasza Test Workbench, nowe rozwiązanie do testowania botów, które zapewnia narzędzia upraszczające i automatyzujące proces testowania botów. Podczas tworzenia bota testowanie to faza, w której programiści sprawdzają, czy bot spełnia określone wymagania, potrzeby i oczekiwania, identyfikując błędy, defekty lub błędy w systemie przed skalowaniem. Testowanie pomaga zweryfikować wydajność bota na kilku frontach, takich jak przepływ konwersacji (zrozumienie zapytań użytkowników i dokładne odpowiadanie), obsługa nakładania się zamiarów i spójność między modalnościami. Jednak testowanie jest często ręczne, podatne na błędy i niestandardowe. Test Workbench standaryzuje zautomatyzowane zarządzanie testami, umożliwiając zespołom programistów chatbotów generowanie, utrzymywanie i wykonywanie zestawów testów przy użyciu spójnej metodologii oraz unikanie niestandardowych skryptów i integracji ad hoc. W tym poście dowiesz się, jak Test Workbench usprawnia automatyczne testowanie modalności głosu i tekstu bota oraz zapewnia miary dokładności i wydajności dla takich parametrów, jak transkrypcja audio, rozpoznawanie intencji i rozdzielczość szczeliny zarówno dla pojedynczych wypowiedzi, jak i rozmów wieloobrotowych. Umożliwia to szybką identyfikację obszarów ulepszeń bota i utrzymanie spójnej linii bazowej w celu pomiaru dokładności w czasie i zaobserwowania regresji dokładności spowodowanej aktualizacjami bota.
Amazon Lex to w pełni zarządzana usługa służąca do budowania konwersacyjnych interfejsów głosowych i tekstowych. Amazon Lex pomaga budować i wdrażać chatboty i wirtualnych asystentów na stronach internetowych, w usługach contact center i kanałach komunikacyjnych. Boty Amazon Lex pomagają zwiększyć produktywność interaktywnej odpowiedzi głosowej (IVR), automatyzować proste zadania i zwiększać efektywność operacyjną w całej organizacji. Test Workbench dla Amazon Lex standaryzuje i upraszcza cykl życia testowania botów, co ma kluczowe znaczenie dla ulepszania projektowania botów.
Funkcje środowiska testowego
Test Workbench dla Amazon Lex zawiera następujące funkcje:
- Automatycznie generuj testowe zestawy danych na podstawie dzienników rozmów bota
- Prześlij ręcznie utworzone linie bazowe zestawu testowego
- Wykonuj kompleksowe testy pojedynczych wejść lub rozmów wieloobrotowych
- Przetestuj moduły audio i tekstowe bota
- Przejrzyj zagregowane i szczegółowe dane dotyczące wymiarów bota:
- Transkrypcja mowy
- Rozpoznanie intencji
- Rozdzielczość slotów (w tym slotów wielowartościowych lub slotów złożonych)
- Tagi kontekstowe
- Atrybuty sesji
- Poproś o atrybuty
- Wskazówki dotyczące czasu wykonania
- Opóźnienie czasowe w sekundach
Wymagania wstępne
Aby przetestować tę funkcję, powinieneś mieć następujące elementy:
Ponadto należy posiadać wiedzę i zrozumienie następujących usług i funkcji:
Utwórz zestaw testowy
Aby utworzyć zestaw testowy, wykonaj następujące kroki:
- Na Konsola Amazon Lex, pod Testowy stół warsztatowy w okienku nawigacji wybierz Zestawy testowe.
Możesz przejrzeć listę istniejących zestawów testowych, w tym podstawowe informacje, takie jak nazwa, opis, liczba wejść testowych, modalność i stan. W poniższych krokach możesz wybrać pomiędzy wygenerowaniem zestawu testowego na podstawie dzienników konwersacji powiązanych z botem lub przesłaniem istniejącego, ręcznie zbudowanego zestawu testowego w formacie pliku CSV.
- Dodaj Utwórz zestaw testowy.
- Generowanie zestawów testowych z dzienników konwersacji umożliwia wykonanie następujących czynności:
- Uwzględnij prawdziwe wieloobrotowe rozmowy z logów bota w CloudWatch
- Dołącz dzienniki audio i przeprowadzaj testy, które uwzględniają rzeczywiste niuanse mowy, dźwięki tła i akcenty
- Przyspiesz tworzenie zestawów testowych
- Przesłanie ręcznie zbudowanego zestawu testowego umożliwia wykonanie następujących czynności:
- Testuj nowe boty, dla których nie ma danych produkcyjnych
- Wykonuj testy regresyjne na istniejących botach pod kątem nowych lub zmodyfikowanych intencji, gniazd i przepływów konwersacji
- Przetestuj starannie przygotowane i szczegółowe scenariusze określające atrybuty sesji i atrybuty żądań
Aby wygenerować zestaw testowy, wykonaj następujące kroki. Aby przesłać ręcznie zbudowany zestaw testowy, przejdź do kroku 7.
- Dodaj Wygeneruj podstawowy zestaw testowy.
- Wybierz opcje dla Nazwa bota, Alias bota, Wybierz język.
- W razie zamówieenia projektu Zakres czasu, ustaw zakres czasu dla dzienników.
- W razie zamówieenia projektu Istniejąca rola uprawnień, wybierz rolę.
Upewnij się, że rola IAM może przyznać Ci dostęp umożliwiający pobieranie informacji z dzienników konwersacji. Zobacz Tworzenie ról IAM aby utworzyć rolę IAM z odpowiednią polityką.
- Jeśli wolisz użyć ręcznie utworzonego zestawu testowego, wybierz Prześlij plik do tego zestawu testowego.
- W razie zamówieenia projektu Prześlij plik do tego zestawu testowego, wybierz jedną z następujących opcji:
- Wybierz Prześlij z segmentu S3 aby przesłać plik CSV z pliku Usługa Amazon Simple Storage Łyżka (Amazon S3).
- Wybierz Prześlij plik do tego zestawu testowego aby przesłać plik CSV z komputera.
Możesz użyć przykładowy zestaw testowy podane w tym poście. Aby uzyskać więcej informacji na temat szablonów, wybierz opcję Szablon CSV link na stronie.
- W razie zamówieenia projektu Modalność, wybierz także modalność zestawu testowego Tekst or Audio.
Test Workbench zapewnia obsługę testowania formatów wejściowych audio i tekstowych.
- W razie zamówieenia projektu Lokalizacja S3, wprowadź lokalizację segmentu S3, w którym będą przechowywane wyniki.
- Opcjonalnie wybierz Usługa zarządzania kluczami AWS (AWS KMS) do szyfrowania transkryptów wyjściowych.
- Dodaj Stwórz.
Twój nowo utworzony zestaw testowy zostanie wyświetlony na liście Zestawy testowe strona o jednym z następujących statusów:
- Gotowe do adnotacji – W przypadku zestawów testowych generowanych na podstawie dzienników konwersacji botów Amazon Lex etap adnotacji służy jako ręczny mechanizm bramkowania w celu zapewnienia jakości danych wejściowych testu. Adnotując wartości oczekiwanych zamiarów i oczekiwanych miejsc dla każdego elementu linii testowej, wskazujesz „podstawową prawdę” dla tej linii. Wyniki testów z użyciem bota są zbierane i porównywane z podstawową prawdą, aby oznaczyć wyniki testu jako pozytywne lub negatywne. To porównanie na poziomie linii umożliwia następnie utworzenie miar zagregowanych.
- Gotowy do testów – Oznacza to, że zestaw testowy jest gotowy do wykonania przeciwko botowi Amazon Lex.
- Błąd walidacji – Przesłane pliki testowe są sprawdzane pod kątem błędów, takich jak przekroczenie maksymalnej obsługiwanej długości, nieprawidłowe znaki w nazwach intencji lub nieprawidłowe linki Amazon S3 zawierające pliki audio. Jeśli zestaw testowy znajduje się w Błąd walidacji stanu, pobierz plik zawierający szczegóły sprawdzania poprawności, aby sprawdzić problemy z danymi wejściowymi testu lub błędy linia po linii. Po ich rozwiązaniu możesz ręcznie przesłać poprawiony plik CSV zestawu testowego do zestawu testowego.
Wykonanie zestawu testowego
Zestaw testowy jest odłączony od bota. Ten sam zestaw testów można w przyszłości wykonać względem innego bota lub aliasu bota, w miarę rozwoju przypadku biznesowego. Aby zgłosić metryki wydajności bota w porównaniu z bazowymi danymi testowymi, wykonaj następujące kroki:
- import przykładowy bot zdefiniuj i zbuduj bota (zobacz Importowanie bota w celu uzyskania pomocy).
- Na konsoli Amazon Lex wybierz Zestawy testowe w okienku nawigacji.
- Wybierz swój zatwierdzony zestaw testowy.
Tutaj możesz przejrzeć podstawowe informacje o zestawie testowym i zaimportowanych danych testowych.
- Dodaj Wykonaj test.
- Wybierz odpowiednie opcje dla Nazwa bota, Alias bota, Wybierz język.
- W razie zamówieenia projektu Rodzaj testu, Wybierz Audio or Tekst.
- W razie zamówieenia projektu Wybór punktu końcowego, wybierz albo Streaming or Brak transmisji strumieniowej.
- Dodaj Zweryfikuj rozbieżność aby zweryfikować testowy zbiór danych.
Przed wykonaniem zestawu testowego możesz sprawdzić pokrycie testu, w tym zidentyfikować intencje i miejsca obecne w zestawie testowym, ale nie w bocie. To wczesne ostrzeżenie służy do określenia oczekiwań testera w przypadku nieoczekiwanych niepowodzeń testów. Jeśli zostaną wykryte rozbieżności między testowym zbiorem danych a botem, plik Wykonaj test strona zostanie zaktualizowana za pomocą Pokaż szczegóły przycisk.
Intencje i sloty znalezione w zestawie danych testowych, ale nie w aliasie bota, są wymienione w sposób pokazany na poniższych zrzutach ekranu.
- Po sprawdzeniu rozbieżności wybierz Wykonać do przeprowadzenia testu.
Sprawdź wyniki
Miary wydajności wygenerowane po wykonaniu zestawu testowego pomagają zidentyfikować obszary projektu bota, które wymagają ulepszeń, i są przydatne do przyspieszania tworzenia i dostarczania botów w celu wspierania klientów. Test Workbench zapewnia wgląd w klasyfikację intencji i rozdzielczość szczelin w kompleksowej rozmowie i na poziomie wprowadzania jednowierszowego. Ukończone przebiegi testowe są przechowywane ze znacznikami czasu w zasobniku S3 i można je wykorzystać w przyszłych przeglądach porównawczych.
- Na konsoli Amazon Lex wybierz Wyniki testu w okienku nawigacji.
- Wybierz identyfikator wyniku testu dla wyników, które chcesz sprawdzić.
Na następnej stronie wyniki testu będą zawierały zestawienie wyników zorganizowane w czterech głównych zakładkach: Wyniki ogólne, Wyniki rozmów, Wyniki zamiarów i przedziałów czasowych, i Szczegółowe wyniki.
Ogólne wyniki
Karta Wyniki ogólne zawiera trzy główne sekcje:
- Podział wejścia zestawu testowego — Wykres przedstawiający całkowitą liczbę rozmów typu end-to-end i pojedynczych wypowiedzi wejściowych w zestawie testowym.
- Podział pojedynczego wejścia — Wykres przedstawiający liczbę pojedynczych wejść zakończonych sukcesem lub niepowodzeniem.
- Załamanie rozmowy — Wykres przedstawiający liczbę pomyślnie lub nieudanych wejść wieloobrotowych.
W przypadku zestawów testowych uruchamianych w trybie audio dostępne są wykresy transkrypcji mowy pokazujące liczbę pomyślnych lub nieudanych transkrypcji mowy zarówno w przypadku pojedynczego wejścia, jak i typów konwersacji. W przypadku modalności audio pojedyncze wejście lub wieloetapowa rozmowa może przejść test transkrypcji mowy, ale nie przejść ogólnego testu typu end-to-end. Może to być spowodowane na przykład rozdzielczością gniazda lub problemem z rozpoznawaniem intencji.
Wyniki rozmowy
Test Workbench pomaga przeanalizować niepowodzenia konwersacji, które można przypisać konkretnym celom lub szczelinom. Karta Wyniki konwersacji jest podzielona na trzy główne obszary obejmujące wszystkie intencje i miejsca używane w zestawie testowym:
- Wskaźniki zdawalności rozmów — Tabela używana do wizualizacji, które intencje i miejsca są odpowiedzialne za możliwe niepowodzenia konwersacji.
- Wskaźniki niepowodzenia zamiaru rozmowy — Wykres słupkowy przedstawiający pięć zamiarów o najgorszych wynikach w zestawie testowym, jeśli takie istnieją.
- Wskaźniki niepowodzenia przedziału konwersacji — Wykres słupkowy przedstawiający pięć gniazd o najgorszych wynikach w zestawie testowym, jeśli takie istnieją.
Wyniki zamiarów i przedziałów
Karta Wyniki zamiarów i botów zawiera szczegółowe dane dotyczące wymiarów bota, takie jak rozpoznawanie intencji i rozdzielczość botów.
- Metryki rozpoznawania intencji — Tabela pokazująca wskaźnik powodzenia rozpoznawania intencji.
- Metryki rozdzielczości gniazd — Tabela pokazująca współczynnik powodzenia rozwiązywania slotów, wg
Szczegółowe wyniki
Dostęp do szczegółowego raportu z przeprowadzonego testu można uzyskać w zakładce Wyniki szczegółowe. Wyświetlana jest tabela przedstawiająca rzeczywistą transkrypcję, zamiar wyjściowy i wartości przedziałów w zestawie testowym. Raport można pobrać w formacie CSV w celu dalszej analizy.
Dane wyjściowe na poziomie liniowym zapewniają szczegółowe informacje, które pomagają ulepszyć projekt bota i zwiększyć dokładność. Na przykład błędnie rozpoznane lub pominięte wejścia mowy, takie jak markowe słowa, można dodać do niestandardowego słownictwa dotyczącego intencji lub jako wypowiedzi w ramach intencji.
Aby jeszcze bardziej ulepszyć projekt konwersacji, możesz odwołać się do ten post, przedstawiający najlepsze praktyki wykorzystania ML do stworzenia bota, który zachwyci Twoich klientów, dokładnie ich rozumiejąc.
Wnioski
W tym poście zaprezentowaliśmy Test Workbench dla Amazon Lex, natywną funkcję, która standaryzuje proces automatycznego testowania chatbota i pozwala programistom i projektantom konwersacji usprawniać i szybko wykonywać iteracje podczas projektowania i rozwoju bota.
Nie możemy się doczekać, aby usłyszeć, jak korzystasz z tej nowej funkcjonalności Amazon Lex i czekamy na opinie! W przypadku jakichkolwiek pytań, błędów lub próśb o funkcje, skontaktuj się z nami za pośrednictwem AWS re: Post dla Amazon Lex lub kontakty pomocy technicznej AWS.
Aby dowiedzieć się więcej, zobacz Najczęściej zadawane pytania dotyczące Amazon Lex oraz Przewodnik dla programistów Amazon Lex V2.
O autorach
Sandeepa Srinivasana jest Product Managerem w zespole Amazon Lex. Jako uważny obserwator ludzkich zachowań pasjonuje się doświadczeniem klienta. Spędza godziny na jawie na skrzyżowaniu ludzi, technologii i przyszłości.
Grazii Russo Lassner jest starszym konsultantem w zespole sztucznej inteligencji języka naturalnego AWS Professional Services. Specjalizuje się w projektowaniu i rozwijaniu konwersacyjnych rozwiązań AI z wykorzystaniem technologii AWS dla klientów z różnych branż. Poza pracą lubi weekendy na plaży, czytanie najnowszych książek beletrystycznych i rodzinę.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- EVM Finanse. Ujednolicony interfejs dla zdecentralizowanych finansów. Dostęp tutaj.
- Quantum Media Group. Wzmocnienie IR/PR. Dostęp tutaj.
- PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Zdolny
- O nas
- dostęp
- Konto
- precyzja
- dokładnie
- w poprzek
- rzeczywisty
- w dodatku
- dodatek
- Po
- przed
- AI
- Wszystkie kategorie
- Pozwalać
- pozwala
- Amazonka
- Amazonka Lex
- Amazon Web Services
- an
- analiza
- i
- Ogłosić
- każdy
- właściwy
- SĄ
- obszary
- AS
- asystenci
- powiązany
- At
- atrybuty
- audio
- zautomatyzować
- zautomatyzowane
- automatycznie
- uniknąć
- AWS
- Usługi profesjonalne AWS
- tło
- bar
- Baseline
- podstawowy
- podstawa
- BE
- Plaża
- zanim
- BEST
- Najlepsze praktyki
- pomiędzy
- Książki
- podnieść
- Bot
- obie
- boty
- markowe
- awaria
- błędy
- budować
- Budowanie
- wybudowany
- biznes
- ale
- przycisk
- by
- CAN
- ostrożnie
- walizka
- powodowany
- Centrum
- kanały
- znaków
- Wykres
- Wykresy
- chatbot
- nasze chatboty
- ZOBACZ
- w kratę
- Dodaj
- klasyfikacja
- w porównaniu
- porównanie
- kompletny
- Zakończony
- komputer
- Prowadzenie
- zgodny
- Konsola
- konsultant
- skontaktuj się
- contact center
- łączność
- zawiera
- Rozmowa
- konwersacyjny
- konwersacyjna sztuczna inteligencja
- rozmowy
- poprawione
- mógłby
- pokrycie
- pokrycie
- Stwórz
- stworzony
- Tworzenie
- tworzenie
- krytyczny
- zwyczaj
- klient
- doświadczenie klienta
- Klientów
- dane
- zbiór danych
- zbiory danych
- opóźnienie
- zachwycać
- dostawa
- rozwijać
- opis
- Wnętrze
- projektanci
- projektowanie
- szczegółowe
- detale
- wykryte
- Deweloper
- deweloperzy
- rozwijanie
- oprogramowania
- różne
- Wymiary
- do
- na dół
- pobieranie
- napęd
- z powodu
- podczas
- każdy
- Wcześnie
- efektywność
- bądź
- koniec końców
- zapewnić
- Wchodzę
- błąd
- Błędy
- ewoluuje
- nadzwyczajny
- podniecony
- wykonać
- wykonany
- wykonywania
- Przede wszystkim system został opracowany
- oczekiwanie
- oczekiwania
- spodziewany
- doświadczenie
- FAIL
- Failed
- Brak
- członków Twojej rodziny
- Cecha
- Korzyści
- Fikcja
- filet
- Akta
- pływ
- następujący
- W razie zamówieenia projektu
- format
- Naprzód
- znaleziono
- cztery
- od
- w pełni
- Funkcjonalność
- dalej
- przyszłość
- Generować
- wygenerowane
- generujący
- przyznać
- wykres
- Ziemia
- poradnictwo
- Prowadzenie
- Have
- he
- przesłuchanie
- pomoc
- pomaga
- jego
- GODZINY
- W jaki sposób
- Jednak
- HTML
- http
- HTTPS
- człowiek
- ID
- zidentyfikować
- identyfikacja
- if
- importowanie
- podnieść
- poprawa
- ulepszenia
- poprawy
- in
- zawierać
- obejmuje
- Włącznie z
- Zwiększać
- wskazać
- wskazuje
- przemysłowa
- Informacja
- wkład
- Wejścia
- spostrzeżenia
- przykład
- integracje
- zamiar
- interaktywne
- interfejsy
- skrzyżowanie
- najnowszych
- problem
- problemy
- jpg
- Zapalony
- Klawisz
- wiedza
- język
- firmy
- UCZYĆ SIĘ
- Długość
- poziom
- wifecycwe
- Linia
- LINK
- linki
- Lista
- Katalogowany
- lokalizacja
- Popatrz
- Główny
- utrzymać
- zarządzane
- i konserwacjami
- kierownik
- podręcznik
- ręcznie
- znak
- maksymalny
- zmierzyć
- środków
- mechanizm
- Spełnia
- wiadomości
- Metodologia
- Metryka
- nieodebranych
- ML
- zmodyfikowano
- jeszcze
- Nazwa
- Nazwy
- rodzimy
- Naturalny
- Nawigacja
- Potrzebować
- wymagania
- Nowości
- nowo
- Następny
- Nie
- numer
- obserwować
- of
- często
- on
- pewnego razu
- ONE
- operacyjny
- Opcje
- or
- zamówienie
- organizacja
- Zorganizowany
- wydajność
- zewnętrzne
- koniec
- ogólny
- strona
- chleb
- parametry
- przechodzić
- minęło
- namiętny
- Ludzie
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- wykonywania
- faza
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- polityka
- możliwy
- Post
- praktyki
- woleć
- teraźniejszość
- przedstawione
- wygląda tak
- Produkt
- product manager
- Produkcja
- wydajność
- profesjonalny
- pod warunkiem,
- zapewnia
- jakość
- zapytania
- pytania
- szybko
- zasięg
- Kurs
- RE
- dosięgnąć
- Czytający
- gotowy
- real
- uznanie
- raport
- zażądać
- wywołań
- wymagania
- Rozkład
- odpowiadanie
- odpowiedź
- odpowiedzialny
- dalsze
- Efekt
- przeglądu
- Recenzje
- Rola
- run
- taki sam
- skalowaniem
- scenariusze
- screeny
- działy
- widzieć
- senior
- służy
- usługa
- Usługi
- Sesja
- zestaw
- Zestawy
- kilka
- ona
- powinien
- pokazać
- pokazane
- Prosty
- upraszczać
- pojedynczy
- automatach
- rozwiązanie
- Rozwiązania
- specjalizuje się
- specyficzny
- przemówienie
- Stan
- Rynek
- Ewolucja krok po kroku
- Cel
- przechowywanie
- przechowywany
- opływowy
- sukces
- taki
- wsparcie
- Utrzymany
- system
- stół
- zadania
- zespół
- Zespoły
- Technologies
- Technologia
- Szablony
- test
- Testowanie
- Testy
- że
- Połączenia
- Przyszłość
- Im
- następnie
- Tam.
- one
- to
- trzy
- Przez
- czas
- do
- narzędzia
- Top
- Kwota produktów:
- Prawda
- typy
- dla
- zrozumienie
- Nieoczekiwany
- Aktualizacja
- Nowości
- Uploading
- us
- posługiwać się
- przypadek użycia
- używany
- Użytkownik
- za pomocą
- UPRAWOMOCNIĆ
- zatwierdzony
- uprawomocnienie
- Wartości
- różnorodny
- Wirtualny
- Głos
- chcieć
- ostrzeżenie
- we
- sieć
- usługi internetowe
- strony internetowe
- powitanie
- czy
- który
- będzie
- w
- słowa
- Praca
- najgorszy
- jeszcze
- You
- Twój
- zefirnet
- Zamek błyskawiczny