Амазон Лекс з радістю анонсує Test Workbench, нове рішення для тестування ботів, яке надає інструменти для спрощення й автоматизації процесу тестування ботів. Під час розробки бота тестування — це етап, на якому розробники перевіряють, чи відповідає бот конкретним вимогам, потребам і очікуванням, виявляючи помилки, дефекти або баги в системі перед масштабуванням. Тестування допомагає перевірити продуктивність бота на кількох фронтах, таких як потік розмови (розуміння запитів користувачів і точна відповідь), обробка накладень намірів і узгодженість між модальностями. Однак тестування часто проводиться вручну, схильне до помилок і нестандартизоване. Test Workbench стандартизує автоматизоване керування тестуванням, дозволяючи командам розробників чат-ботів генерувати, підтримувати та виконувати набори тестів із узгодженою методологією та уникати спеціальних сценаріїв і спеціальних інтеграцій. У цій публікації ви дізнаєтесь, як Test Workbench оптимізує автоматизоване тестування голосових і текстових модальностей бота та забезпечує вимірювання точності та продуктивності для таких параметрів, як транскрипція аудіо, розпізнавання намірів і роздільна здатність як для одноразових вводів, так і для багаточергових розмов. Це дає змогу швидко визначати області вдосконалення бота та підтримувати узгоджену базову лінію для вимірювання точності з часом і спостерігати за будь-яким регресом точності через оновлення бота.
Amazon Lex — це повністю керований сервіс для створення розмовних голосових і текстових інтерфейсів. Amazon Lex допомагає створювати та розгортати чат-ботів і віртуальних помічників на веб-сайтах, у службах контакт-центру та каналах обміну повідомленнями. Боти Amazon Lex допомагають підвищити продуктивність інтерактивної голосової відповіді (IVR), автоматизувати прості завдання та підвищити ефективність роботи всієї організації. Test Workbench для Amazon Lex стандартизує та спрощує життєвий цикл тестування ботів, що має вирішальне значення для вдосконалення дизайну ботів.
Особливості Test Workbench
Test Workbench для Amazon Lex містить такі функції:
- Автоматично генеруйте тестові набори даних із журналів розмов бота
- Завантажте створені вручну бази тестів
- Виконайте наскрізне тестування одноразових або багаточергових розмов
- Перевірте аудіо та текстові модальності бота
- Перегляньте зведені показники та показники деталізації для параметрів бота:
- Транскрипція мовлення
- Розпізнавання наміру
- Роздільна здатність слота (включаючи багатозначні слоти або складені слоти)
- Контекстні теги
- Атрибути сесії
- Атрибути запиту
- Підказки щодо виконання
- Час затримки в секундах
Передумови
Щоб перевірити цю функцію, ви повинні мати наступне:
Крім того, ви повинні мати знання та розуміння наступних послуг і функцій:
Створіть тестовий набір
Щоб створити тестовий набір, виконайте такі кроки:
- на Консоль Amazon Lex, під Тестовий верстак на панелі навігації виберіть Тестові набори.
Ви можете переглянути список наявних тестових наборів, включаючи основну інформацію, таку як назва, опис, кількість тестових вхідних даних, модальність і статус. У наступних кроках ви можете вибрати між створенням тестового набору з журналів розмов, пов’язаних із ботом, або завантаженням наявного вручну створеного тестового набору у форматі файлу CSV.
- Вибирати Створити тестовий набір.
- Створення наборів тестів із журналів розмов дозволяє робити наступне:
- Включайте реальні багаточергові розмови з журналів бота в CloudWatch
- Додайте аудіожурнали та проведіть тести, які враховують реальні нюанси мовлення, фонові шуми та акценти
- Прискорити створення тестових наборів
- Завантаження створеного вручну набору тестів дає змогу виконувати такі дії:
- Тестуйте нових ботів, для яких немає продуктивних даних
- Виконайте регресійні тести існуючих ботів для будь-яких нових або змінених намірів, слотів і потоків розмов
- Тестуйте ретельно розроблені та детальні сценарії, які визначають атрибути сеансу та атрибути запиту
Щоб створити тестовий набір, виконайте наступні кроки. Щоб завантажити створений вручну набір тестів, перейдіть до кроку 7.
- Вибирати Створіть набір базових тестів.
- Виберіть свої варіанти для Ім'я бота, Псевдонім бота та Language.
- для Часовий діапазон, установіть часовий діапазон для журналів.
- для Існуюча роль IAM, вибрати роль.
Переконайтеся, що роль IAM може надати вам доступ для отримання інформації з журналів розмов. Див. Створення ролей IAM щоб створити роль IAM із відповідною політикою.
- Якщо ви бажаєте використовувати створений вручну набір тестів, виберіть Завантажте файл до цього тестового набору.
- для Завантажте файл до цього тестового набору, виберіть із наведених нижче варіантів.
- Select Завантажити з сегмента S3 щоб завантажити файл CSV із Служба простого зберігання Amazon (Amazon S3) відро.
- Select Завантажте файл до цього тестового набору щоб завантажити файл CSV зі свого комп’ютера.
Ви можете використовувати зразок тестового набору надані в цій публікації. Щоб дізнатися більше про шаблони, виберіть Шаблон CSV посилання на сторінці.
- для Модальність, також виберіть модальність свого тестового набору текст or аудіо.
Test Workbench підтримує тестування форматів введення аудіо та тексту.
- для Розташування S3, введіть розташування сегмента S3, де будуть зберігатися результати.
- За бажанням виберіть Служба управління ключами AWS (AWS KMS) ключ для шифрування вихідних транскриптів.
- Вибирати Створювати.
Ваш щойно створений тестовий набір буде вказано на Тестові набори сторінка з одним із наступних статусів:
- Готовий до анотації – Для наборів тестів, згенерованих із журналів розмов бота Amazon Lex, етап анотації служить ручним механізмом стробування для забезпечення якості тестових вхідних даних. Анотуючи значення очікуваних намірів і очікуваних слотів для кожного тестового рядка, ви вказуєте «основну правду» для цього рядка. Результати тестування від запуску бота збираються та порівнюються з базовою правдою, щоб оцінити результати тесту як успішно або невдало. Це порівняння на рівні лінії дозволяє створювати агреговані заходи.
- Готовий до тестування – Це означає, що набір тестів готовий до виконання проти бота Amazon Lex.
- Помилка підтвердження – Завантажені тестові файли перевіряються на наявність таких помилок, як перевищення максимально допустимої довжини, недійсні символи в назвах намірів або недійсні посилання Amazon S3, що містять аудіофайли. Якщо тестовий набір знаходиться в Помилка перевірки стан, завантажте файл із деталями перевірки, щоб побачити проблеми з тестовим введенням або помилки рядок за рядком. Після того, як їх буде розглянуто, ви можете вручну завантажити виправлений тестовий набір CSV у тестовий набір.
Виконання тестового набору
Тестовий набір відокремлюється від бота. Той самий набір тестів можна виконати проти іншого бота або псевдоніма бота в майбутньому, коли ваш бізнес-випадок буде розвиватися. Щоб повідомити показники продуктивності бота порівняно з базовими тестовими даними, виконайте такі кроки:
- Імпортувати зразок бота визначення та створення бота (див. Імпорт бота для керівництва).
- На консолі Amazon Lex виберіть Тестові набори у навігаційній панелі.
- Виберіть перевірений набір тестів.
Тут ви можете переглянути основну інформацію про тестовий набір та імпортовані тестові дані.
- Вибирати Виконати тест.
- Виберіть відповідні варіанти для Ім'я бота, Псевдонім бота та Language.
- для Тип тестувиберіть аудіо or текст.
- для Вибір кінцевої точки, виберіть або потоковий or Не потоковий.
- Вибирати Перевірте невідповідність щоб перевірити ваш тестовий набір даних.
Перед виконанням набору тестів ви можете перевірити покриття тесту, зокрема визначити наміри та слоти, присутні в наборі тестів, але не в боті. Це раннє попередження служить для встановлення очікувань тестувальника щодо неочікуваних помилок тесту. Якщо виявлено розбіжності між вашим тестовим набором даних і вашим ботом, Виконати тест сторінка буде оновлена з Детальніше кнопки.
Наміри та слоти, знайдені в тестовому наборі даних, але не в псевдонімі бота, перераховані, як показано на наступних знімках екрана.
- Після перевірки розбіжностей виберіть Виконати щоб запустити тест.
Перегляньте результати
Показники продуктивності, згенеровані після виконання тестового набору, допомагають визначити області дизайну бота, які потребують покращення, і корисні для прискорення розробки та доставки бота для підтримки ваших клієнтів. Test Workbench надає інформацію про класифікацію намірів і дозвіл слотів у наскрізній розмові та на рівні однорядкового введення. Завершені тестові прогони зберігаються з часовими мітками у вашому сегменті S3 і можуть використовуватися для майбутніх порівняльних оглядів.
- На консолі Amazon Lex виберіть Результати тестування у навігаційній панелі.
- Виберіть ідентифікатор результату тесту для результатів, які ви хочете переглянути.
На наступній сторінці результати тестування включатимуть розподіл результатів, упорядкованих у чотирьох основних вкладках: Загальні результати, результати розмови, результати намірів і слотів, та Детальні результати.
Загальні результати
Вкладка «Загальні результати» містить три основні розділи:
- Розбивка тестового набору вхідних даних — Діаграма, що показує загальну кількість наскрізних розмов і одноразових висловлювань у тестовому наборі.
- Розбивка одного входу — Діаграма, яка показує кількість пройдених або невдалих одноразових вводів.
- Зрив розмови — Діаграма, яка показує кількість пройдених або невдалих багатооборотних входів.
Для наборів тестів, що виконуються в аудіомодальності, надаються діаграми транскрипції мовлення, які показують кількість пройдених або невдалих транскрипцій мовлення як для одного введення, так і для типів розмови. У аудіомодальності одноразове введення або багаточергова розмова може пройти тест на транскрипцію мовлення, але не пройти загальний наскрізний тест. Це може бути викликано, наприклад, роздільною здатністю слота або проблемою розпізнавання наміру.
Результати бесіди
Test Workbench допомагає детально визначити помилки розмов, які можна віднести до певних намірів або слотів. Вкладка «Результати бесіди» організована за трьома основними областями, що охоплюють усі наміри та слоти, що використовуються в тестовому наборі:
- Прохідні показники розмови — Таблиця, яка використовується для візуалізації намірів і слотів, відповідальних за можливі збої розмови.
- Показники помилок наміру розмови — Гістограма, що показує п’ять найгірших намірів у тестовому наборі, якщо такі є.
- Показники несправності слота розмови — Гістограма, що показує п’ять найгірших слотів у тестовому наборі, якщо такі є.
Намір і результати слотів
Вкладка «Наміри та результати слотів» містить детальні показники для параметрів бота, таких як розпізнавання намірів і роздільна здатність слотів.
- Показники розпізнавання намірів — Таблиця, що показує відсоток успішного розпізнавання наміру.
- Показники роздільної здатності слота — Таблиця, що показує відсоток успішного вирішення слота, за
Детальні результати
Ви можете отримати доступ до детального звіту про виконане тестування на вкладці Детальні результати. Відображається таблиця, яка показує фактичну транскрипцію, призначення виведення та значення слотів у тестовому наборі. Звіт можна завантажити у форматі CSV для подальшого аналізу.
Вихідні дані на рівні рядків надають інформацію, яка допоможе покращити дизайн бота та підвищити точність. Наприклад, неправильно розпізнані або пропущені мовні введення, такі як фірмові слова, можна додати до спеціального словника наміру або як висловлювання під наміром.
Щоб ще більше покращити дизайн розмови, ви можете звернутися до це повідомлення, що описує найкращі практики використання машинного навчання для створення бота, який буде радувати ваших клієнтів, точно розуміючи їх.
Висновок
У цьому дописі ми представили Test Workbench для Amazon Lex, вбудовану функцію, яка стандартизує автоматизований процес тестування чат-бота та дозволяє розробникам і дизайнерам бесід оптимізувати та швидко повторювати дизайн і розробку ботів.
Ми з нетерпінням чекаємо почути, як ви використовуєте цю нову функцію Amazon Lex, і чекаємо відгуків! З будь-якими запитаннями, помилками чи запитами щодо функцій зв’яжіться з нами AWS re:Post для Amazon Lex або ваші контакти служби підтримки AWS.
Щоб дізнатися більше, див Поширені запитання про Amazon Lex і Посібник розробника Amazon Lex V2.
Про авторів
Сандіп Шрінівасан є менеджером з продуктів у команді Amazon Lex. Як уважний спостерігач за людською поведінкою, він захоплений досвід роботи з клієнтами. Він проводить час неспання на перетині людей, технологій і майбутнього.
Грація Руссо Ласснер є старшим консультантом команди AWS Professional Services Natural Language AI. Вона спеціалізується на проектуванні та розробці розмовних рішень ШІ з використанням технологій AWS для клієнтів у різних галузях. Поза роботою вона насолоджується пляжними вихідними, читанням останніх художніх книг і сім’єю.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- EVM Фінанси. Уніфікований інтерфейс для децентралізованих фінансів. Доступ тут.
- Quantum Media Group. ІЧ/ПР посилений. Доступ тут.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :є
- : ні
- :де
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- Здатний
- МЕНЮ
- доступ
- рахунки
- точність
- точно
- через
- фактичний
- доданий
- доповнення
- після
- проти
- AI
- ВСІ
- Дозволити
- дозволяє
- Amazon
- Амазон Лекс
- Amazon Web Services
- an
- аналіз
- та
- Оголосити
- будь-який
- відповідний
- ЕСТЬ
- області
- AS
- помічники
- асоційований
- At
- Атрибути
- аудіо
- автоматизувати
- Автоматизований
- автоматично
- уникнути
- AWS
- Професійні послуги AWS
- фон
- бар
- Базова лінія
- основний
- основа
- BE
- Пляж
- перед тим
- КРАЩЕ
- передового досвіду
- між
- книги
- підвищення
- Бот
- обидва
- боти
- фірмова
- Пробій
- помилки
- будувати
- Створюємо
- побудований
- бізнес
- але
- button
- by
- CAN
- обережно
- випадок
- викликаний
- Центр
- канали
- символи
- Графік
- Чарти
- Chatbot
- chatbots
- перевірка
- перевірено
- Вибирати
- класифікація
- порівняний
- порівняння
- повний
- Зроблено
- комп'ютер
- Проводити
- послідовний
- Консоль
- консультант
- контакт
- контакт-центр
- Наші контакти
- містить
- Розмова
- діалоговий
- розмовний ШІ
- розмови
- виправлений
- може
- охоплення
- покриття
- створювати
- створений
- створення
- створення
- критичний
- виготовлений на замовлення
- клієнт
- Досвід клієнтів
- Клієнти
- дані
- набір даних
- набори даних
- затримка
- захват
- доставка
- розгортання
- description
- дизайн
- Дизайнери
- проектування
- докладно
- деталі
- виявлено
- Розробник
- розробників
- розвивається
- розробка
- різний
- розміри
- do
- вниз
- скачати
- управляти
- два
- під час
- кожен
- Рано
- Ефективність
- або
- кінець в кінець
- забезпечувати
- Що натомість? Створіть віртуальну версію себе у
- помилка
- помилки
- еволюціонує
- перевищує
- збуджений
- виконувати
- виконано
- виконання
- існуючий
- очікування
- очікування
- очікуваний
- досвід
- FAIL
- не вдалося
- Провал
- сім'я
- особливість
- риси
- Художня література
- філе
- Файли
- потік
- після
- для
- формат
- Вперед
- знайдений
- чотири
- від
- повністю
- функціональність
- далі
- майбутнє
- породжувати
- генерується
- породжує
- надавати
- графік
- Земля
- керівництво
- Обробка
- Мати
- he
- слух
- допомога
- допомагає
- його
- ГОДИННИК
- Як
- Однак
- HTML
- HTTP
- HTTPS
- людина
- ID
- ідентифікувати
- ідентифікує
- if
- імпорт
- удосконалювати
- поліпшення
- поліпшення
- поліпшення
- in
- включати
- includes
- У тому числі
- Augmenter
- вказувати
- вказує
- промисловості
- інформація
- вхід
- витрати
- розуміння
- екземпляр
- інтеграцій
- намір
- інтерактивний
- Інтерфейси
- перетин
- в
- питання
- питання
- JPG
- Кін
- ключ
- знання
- мова
- останній
- УЧИТЬСЯ
- довжина
- рівень
- Життєвий цикл
- Лінія
- LINK
- зв'язку
- список
- Перераховані
- розташування
- подивитися
- головний
- підтримувати
- вдалося
- управління
- менеджер
- керівництво
- вручну
- позначити
- максимальний
- вимір
- заходи
- механізм
- відповідає
- обмін повідомленнями
- Методологія
- Метрика
- пропущений
- ML
- модифікований
- більше
- ім'я
- Імена
- рідний
- Природний
- навігація
- Необхідність
- потреби
- Нові
- нещодавно
- наступний
- немає
- номер
- спостерігати
- of
- часто
- on
- один раз
- ONE
- оперативний
- Опції
- or
- порядок
- організація
- Організований
- вихід
- поза
- над
- загальний
- сторінка
- pane
- параметри
- проходити
- Пройшов
- пристрасний
- Люди
- продуктивність
- виконанні
- фаза
- plato
- Інформація про дані Платона
- PlatoData
- будь ласка
- політика
- це можливо
- пошта
- практики
- надавати перевагу
- представити
- представлений
- процес
- Product
- менеджер по продукції
- Production
- продуктивність
- професійний
- за умови
- забезпечує
- якість
- запити
- питань
- швидко
- діапазон
- ставка
- RE
- досягати
- читання
- готовий
- реальний
- визнання
- звітом
- запросити
- запитів
- Вимога
- дозвіл
- відповідаючи
- відповідь
- відповідальний
- результат
- результати
- огляд
- Відгуки
- Роль
- прогін
- то ж
- Масштабування
- сценарії
- скріншоти
- розділам
- побачити
- старший
- служить
- обслуговування
- Послуги
- Сесія
- комплект
- набори
- кілька
- вона
- Повинен
- Показувати
- показаний
- простий
- спростити
- один
- ігрові автомати
- рішення
- Рішення
- спеціалізується
- конкретний
- мова
- стан
- Статус
- Крок
- заходи
- зберігання
- зберігати
- раціоналізувати
- успіх
- такі
- підтримка
- Підтриманий
- система
- таблиця
- завдання
- команда
- команди
- Технології
- Технологія
- Шаблони
- тест
- Тестування
- Тести
- Що
- Команда
- Майбутнє
- Їх
- потім
- Там.
- вони
- це
- три
- через
- час
- до
- інструменти
- топ
- Усього:
- Правда
- Типи
- при
- розуміння
- Unexpected
- Оновити
- Updates
- Завантаження
- us
- використання
- використання випадку
- використовуваний
- користувач
- використання
- ПЕРЕВІР
- підтверджено
- перевірка достовірності
- Цінності
- різний
- Віртуальний
- Голос
- хотіти
- попередження
- we
- Web
- веб-сервіси
- веб-сайти
- ласкаво просимо
- Чи
- який
- волі
- з
- слова
- Work
- найгірше
- ще
- Ти
- вашу
- зефірнет
- Zip