아마존 렉스 는 봇 테스트 프로세스를 단순화하고 자동화하는 도구를 제공하는 새로운 봇 테스트 솔루션인 Test Workbench를 발표하게 되어 기쁩니다. 봇 개발 중 테스트는 개발자가 확장하기 전에 시스템의 오류, 결함 또는 버그를 식별하여 봇이 특정 요구 사항, 요구 사항 및 기대치를 충족하는지 확인하는 단계입니다. 테스트는 대화 흐름(사용자 쿼리 이해 및 정확한 응답), 의도 중복 처리 및 양식 간 일관성과 같은 여러 측면에서 봇 성능을 검증하는 데 도움이 됩니다. 그러나 테스트는 수동적이고 오류가 발생하기 쉬우며 표준화되지 않은 경우가 많습니다. Test Workbench는 챗봇 개발 팀이 일관된 방법론으로 테스트 세트를 생성, 유지 및 실행하고 사용자 정의 스크립팅 및 임시 통합을 피할 수 있도록 하여 자동화된 테스트 관리를 표준화합니다. 이 게시물에서는 Test Workbench가 봇의 음성 및 텍스트 형식의 자동화된 테스트를 간소화하고 단일 발화 입력 및 다중 회전 대화 모두에 대한 오디오 기록, 의도 인식 및 슬롯 해상도와 같은 매개 변수에 대한 정확도 및 성능 측정을 제공하는 방법을 알아봅니다. 이를 통해 봇 개선 영역을 빠르게 식별하고 일관된 기준을 유지하여 시간이 지남에 따라 정확도를 측정하고 봇 업데이트로 인한 정확도 저하를 관찰할 수 있습니다.
Amazon Lex는 대화형 음성 및 텍스트 인터페이스를 구축하기 위한 완전관리형 서비스입니다. Amazon Lex는 웹 사이트, 고객 센터 서비스 및 메시징 채널에서 챗봇 및 가상 도우미를 구축하고 배포하는 데 도움이 됩니다. Amazon Lex 봇은 대화형 음성 응답(IVR) 생산성을 높이고 간단한 작업을 자동화하며 조직 전체에서 운영 효율성을 높이는 데 도움이 됩니다. Amazon Lex용 Test Workbench는 봇 디자인을 개선하는 데 중요한 봇 테스트 수명 주기를 표준화하고 간소화합니다.
테스트 워크벤치의 기능
Amazon Lex용 Test Workbench에는 다음 기능이 포함되어 있습니다.
- 봇의 대화 로그에서 자동으로 테스트 데이터 세트 생성
- 수동으로 빌드된 테스트 세트 기준선 업로드
- 단일 입력 또는 다중 회전 대화의 종단 간 테스트 수행
- 봇의 오디오 및 텍스트 모달리티 테스트
- 봇 차원에 대한 집계 및 드릴다운 메트릭을 검토합니다.
- 음성 전사
- 의도 인식
- 슬롯 해상도(다중 값 슬롯 또는 복합 슬롯 포함)
- 컨텍스트 태그
- 세션 속성
- 요청 속성
- 런타임 힌트
- 시간 지연(초)
사전 조건
이 기능을 테스트하려면 다음이 있어야 합니다.
또한 다음 서비스 및 기능에 대한 지식과 이해가 있어야 합니다.
테스트 세트 만들기
테스트 세트를 만들려면 다음 단계를 완료하세요.
- 에 Amazon Lex 콘솔, 아래에 테스트 작업대 탐색 창에서 테스트 세트.
이름, 설명, 테스트 입력 수, 양식 및 상태와 같은 기본 정보를 포함하여 기존 테스트 세트 목록을 검토할 수 있습니다. 다음 단계에서는 봇과 연결된 대화 로그에서 테스트 세트를 생성하거나 수동으로 빌드한 기존 테스트 세트를 CSV 파일 형식으로 업로드하는 것 중에서 선택할 수 있습니다.
- 왼쪽 메뉴에서 테스트 세트 만들기.
- 대화 로그에서 테스트 세트를 생성하면 다음을 수행할 수 있습니다.
- CloudWatch에서 봇 로그의 실제 다단계 대화 포함
- 오디오 로그를 포함하고 실제 음성 뉘앙스, 배경 소음 및 억양을 설명하는 테스트를 수행합니다.
- 테스트 세트 생성 속도 향상
- 수동으로 빌드한 테스트 세트를 업로드하면 다음을 수행할 수 있습니다.
- 생산 데이터가 없는 새로운 봇 테스트
- 새롭거나 수정된 의도, 슬롯 및 대화 흐름에 대해 기존 봇에서 회귀 테스트를 수행합니다.
- 세션 속성 및 요청 속성을 지정하는 세심하게 제작된 세부 시나리오 테스트
테스트 세트를 생성하려면 다음 단계를 완료하십시오. 수동으로 빌드한 테스트 세트를 업로드하려면 7단계로 건너뜁니다.
- 왼쪽 메뉴에서 기준선 테스트 세트를 생성합니다.
- 다음 옵션을 선택하세요. 봇 이름, 봇 별칭및 지원하는 언어.
- 럭셔리 시간 범위, 로그의 시간 범위를 설정합니다.
- 럭셔리 기존 IAM 역할, 역할을 선택하십시오.
IAM 역할이 대화 로그에서 정보를 검색할 수 있는 액세스 권한을 부여할 수 있는지 확인합니다. IAM 역할 생성을 참조하십시오. 적절한 정책으로 IAM 역할을 생성합니다.
- 수동으로 생성된 테스트 세트를 사용하려면 다음을 선택하십시오. 이 테스트 세트에 파일 업로드.
- 럭셔리 이 테스트 세트에 파일 업로드, 다음 옵션 중에서 선택합니다.
- 선택 S3 버킷에서 업로드 에서 CSV 파일을 업로드하려면 아마존 단순 스토리지 서비스 (Amazon S3) 버킷.
- 선택 이 테스트 세트에 파일 업로드 컴퓨터에서 CSV 파일을 업로드합니다.
당신은을 사용할 수 있습니다 샘플 테스트 세트 이 게시물에서 제공됩니다. 템플릿에 대한 자세한 내용을 보려면 CSV 템플릿 페이지의 링크.
- 럭셔리 양식적임, 테스트 세트의 형식을 선택합니다. 본문 or 오디오.
Test Workbench는 오디오 및 텍스트 입력 형식에 대한 테스트 지원을 제공합니다.
- 럭셔리 S3 위치, 결과가 저장될 S3 버킷 위치를 입력합니다.
- 선택적으로 AWS 키 관리 서비스 (AWS KMS) 키는 출력 기록을 암호화합니다.
- 왼쪽 메뉴에서 만들기.
새로 만든 테스트 세트는 테스트 세트 다음 상태 중 하나의 페이지:
- 주석 준비 – Amazon Lex 봇 대화 로그에서 생성된 테스트 세트의 경우 주석 단계는 품질 테스트 입력을 보장하기 위한 수동 게이팅 메커니즘 역할을 합니다. 각 테스트 광고 항목에 대한 예상 의도 및 예상 슬롯에 대한 값에 주석을 달아 해당 줄에 대한 "실측 정보"를 나타냅니다. 봇 실행의 테스트 결과는 테스트 결과를 통과 또는 실패로 표시하기 위해 수집되고 Ground Truth와 비교됩니다. 그런 다음 이 라인 레벨 비교를 통해 집계된 측정값을 생성할 수 있습니다.
- 테스트 준비 – 이것은 테스트 세트가 Amazon Lex 봇에 대해 실행될 준비가 되었음을 나타냅니다.
- 유효성 검사 오류 – 업로드된 테스트 파일은 최대 지원 길이 초과, 의도 이름의 유효하지 않은 문자 또는 오디오 파일이 포함된 유효하지 않은 Amazon S3 링크와 같은 오류를 확인합니다. 테스트 세트가 유효성 검사 오류 유효성 검사 세부 정보를 보여주는 파일을 다운로드하여 라인별로 테스트 입력 문제 또는 오류를 확인합니다. 문제가 해결되면 수정된 테스트 세트 CSV를 테스트 세트에 수동으로 업로드할 수 있습니다.
테스트 세트 실행
테스트 세트는 봇에서 분리됩니다. 향후 비즈니스 사용 사례가 발전함에 따라 동일한 테스트 세트를 다른 봇 또는 봇 별칭에 대해 실행할 수 있습니다. 기준 테스트 데이터에 대한 봇의 성능 지표를 보고하려면 다음 단계를 완료하십시오.
- 수입 샘플 봇 정의 및 봇 빌드(봇 가져오기를 참조하십시오. 안내용).
- Amazon Lex 콘솔에서 테스트 세트 탐색 창에서
- 검증된 테스트 세트를 선택하십시오.
여기에서 테스트 세트 및 가져온 테스트 데이터에 대한 기본 정보를 검토할 수 있습니다.
- 왼쪽 메뉴에서 테스트 실행.
- 에 대한 적절한 옵션을 선택합니다. 봇 이름, 봇 별칭및 지원하는 언어.
- 럭셔리 테스트 유형, 고르다 오디오 or 본문.
- 럭셔리 끝점 선택, 스트리밍 or 비 스트리밍.
- 왼쪽 메뉴에서 불일치 확인 테스트 데이터 세트의 유효성을 검사합니다.
테스트 세트를 실행하기 전에 테스트 세트에는 있지만 봇에는 없는 의도 및 슬롯 식별을 포함하여 테스트 범위를 검증할 수 있습니다. 이 조기 경고는 예상치 못한 테스트 실패에 대한 테스터의 기대치를 설정하는 역할을 합니다. 테스트 데이터 세트와 봇 간의 불일치가 감지되면 테스트 실행 페이지는 세부 정보보기 버튼을 클릭합니다.
테스트 데이터 세트에는 있지만 봇 별칭에는 없는 인텐트 및 슬롯이 다음 스크린샷과 같이 나열됩니다.
- 불일치를 확인한 후 다음을 선택하십시오. 실행하다 테스트를 실행합니다.
결과 검토
테스트 세트를 실행한 후 생성된 성능 측정은 개선이 필요한 봇 디자인 영역을 식별하는 데 도움이 되며 고객을 지원하기 위해 봇 개발 및 제공을 촉진하는 데 유용합니다. Test Workbench는 종단 간 대화 및 단일 라인 입력 수준에서 의도 분류 및 슬롯 해결에 대한 통찰력을 제공합니다. 완료된 테스트 실행은 S3 버킷에 타임스탬프와 함께 저장되며 향후 비교 검토에 사용할 수 있습니다.
- Amazon Lex 콘솔에서 시험 결과 탐색 창에서
- 검토하려는 결과의 테스트 결과 ID를 선택합니다.
다음 페이지의 테스트 결과에는 XNUMX개의 기본 탭으로 구성된 결과 분석이 포함됩니다. 전체 결과, 대화 결과, 의도 및 슬롯 결과, 및 자세한 결과.
전체 결과
전체 결과 탭에는 세 가지 주요 섹션이 있습니다.
- 테스트 세트 입력 분류 — 테스트 세트의 총 종단 간 대화 및 단일 입력 발화 수를 보여주는 차트입니다.
- 단일 입력 분류 — 통과 또는 실패한 단일 입력의 수를 보여주는 차트.
- 대화 분류 — 통과 또는 실패한 다중 회전 입력 수를 보여주는 차트.
오디오 양식에서 실행되는 테스트 세트의 경우 단일 입력 및 대화 유형 모두에서 통과 또는 실패한 음성 전사의 수를 표시하는 음성 전사 차트가 제공됩니다. 오디오 형식에서 단일 입력 또는 다중 회전 대화는 음성 전사 테스트를 통과할 수 있지만 전체 종단 간 테스트는 실패할 수 있습니다. 예를 들어 이는 슬롯 해상도 또는 의도 인식 문제로 인해 발생할 수 있습니다.
대화 결과
Test Workbench는 특정 의도 또는 슬롯으로 인해 발생할 수 있는 대화 실패로 드릴다운하는 데 도움이 됩니다. 대화 결과 탭은 테스트 세트에 사용된 모든 의도와 슬롯을 다루는 세 가지 주요 영역으로 구성됩니다.
- 대화 합격률 — 가능한 대화 실패의 원인이 되는 의도와 슬롯을 시각화하는 데 사용되는 테이블입니다.
- 대화 의도 실패 지표 — 테스트 세트에서 성능이 가장 낮은 상위 XNUMX개 의도를 보여주는 막대 그래프입니다(있는 경우).
- 대화 슬롯 실패 메트릭 — 테스트 세트에서 가장 성능이 떨어지는 상위 XNUMX개 슬롯을 보여주는 막대 그래프입니다.
의도 및 슬롯 결과
의도 및 슬롯 결과 탭은 의도 인식 및 슬롯 해결과 같은 봇 차원에 대한 드릴다운 메트릭을 제공합니다.
- 의도 인식 지표 — 의도 인식 성공률을 보여주는 표입니다.
- 슬롯 해상도 지표 — 슬롯 해결 성공률을 보여주는 표
자세한 결과
세부 결과 탭에서 실행된 테스트 실행의 세부 보고서에 액세스할 수 있습니다. 테스트 세트의 실제 기록, 출력 의도 및 슬롯 값을 표시하는 테이블이 표시됩니다. 추가 분석을 위해 보고서를 CSV로 다운로드할 수 있습니다.
라인 수준 출력은 봇 디자인을 개선하고 정확도를 높이는 데 도움이 되는 통찰력을 제공합니다. 예를 들어 브랜드 단어와 같이 잘못 인식되거나 누락된 음성 입력을 의도의 사용자 정의 어휘에 추가하거나 의도 아래 발화로 추가할 수 있습니다.
대화 디자인을 더욱 개선하기 위해 다음을 참조할 수 있습니다. 이 게시물에, ML을 사용하여 고객을 정확하게 이해함으로써 고객을 만족시킬 봇을 만드는 모범 사례를 간략하게 설명합니다.
결론
이 게시물에서는 챗봇 자동화 테스트 프로세스를 표준화하고 개발자와 대화 디자이너가 봇 설계 및 개발을 통해 신속하게 간소화하고 반복할 수 있도록 하는 기본 기능인 Amazon Lex용 Test Workbench를 소개했습니다.
Amazon Lex의 이 새로운 기능을 사용하는 방법을 듣고 피드백을 환영합니다! 질문, 버그 또는 기능 요청이 있는 경우 다음을 통해 문의하십시오. Amazon Lex용 AWS re:Post 또는 귀하의 AWS Support 연락처.
자세한 내용은 Amazon Lex FAQ 그리고 Amazon Lex V2 개발자 안내서.
저자 소개
산딥 스리니바산 Amazon Lex 팀의 제품 관리자입니다. 인간 행동에 대한 예리한 관찰자로서 그는 고객 경험에 열정적입니다. 그는 깨어 있는 시간을 사람, 기술, 미래의 교차점에서 보냅니다.
그라치아 루소 라스너 AWS Professional Services Natural Language AI 팀의 선임 컨설턴트입니다. 그녀는 다양한 산업 분야의 고객을 위해 AWS 기술을 사용하여 대화형 AI 솔루션을 설계하고 개발하는 것을 전문으로 합니다. 직장 밖에서 그녀는 해변 주말, 최신 소설 읽기 및 가족을 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- EVM 금융. 탈중앙화 금융을 위한 통합 인터페이스. 여기에서 액세스하십시오.
- 퀀텀미디어그룹. IR/PR 증폭. 여기에서 액세스하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/expedite-the-amazon-lex-chatbot-development-lifecycle-with-test-workbench/
- :이다
- :아니
- :어디
- $UP
- 10
- 100
- 500
- 610
- 7
- 9
- a
- 할 수 있는
- 소개
- ACCESS
- 계정
- 정확히
- 가로질러
- 실제
- 추가
- 또한
- 후
- 반대
- AI
- All
- 허용
- 수
- 아마존
- 아마존 렉스
- Amazon Web Services
- an
- 분석
- 및
- 알리다
- 어떤
- 적당한
- 있군요
- 지역
- AS
- 비서
- 관련
- At
- 속성
- 오디오
- 자동화
- 자동화
- 자동적으로
- 피하기
- AWS
- AWS 전문 서비스
- 배경
- 바
- 기준
- 기본
- 기초
- BE
- 바닷가
- 전에
- BEST
- 모범 사례
- 사이에
- 도서
- 후원
- 봇
- 두
- 봇
- 상표가 붙은
- 분석
- 버그
- 빌드
- 건물
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- 단추
- by
- CAN
- 면밀히
- 케이스
- 발생
- 센터
- 채널
- 문자
- 거래차트
- 차트
- 채팅 봇
- 잡담
- 검사
- 체크
- 왼쪽 메뉴에서
- 분류
- 비교
- 비교
- 완전한
- 진행완료
- 컴퓨터
- 행위
- 일관된
- 콘솔에서
- 컨설턴트
- CONTACT
- 연락 센터
- 콘택트 렌즈
- 이 포함되어 있습니다
- 대화
- 이야기 잘하는
- 대화 형 AI
- 대화
- 수정
- 수
- 적용 범위
- 피복
- 만들
- 만든
- 만들기
- 창조
- 임계
- 관습
- 고객
- 고객 경험
- 고객
- 데이터
- 데이터 세트
- 데이터 세트
- 지연
- 기쁨
- 배달
- 배포
- 설명
- 디자인
- 디자이너
- 설계
- 상세한
- 세부설명
- 탐지 된
- 개발자
- 개발자
- 개발
- 개발
- 다른
- 치수
- do
- 아래 (down)
- 다운로드
- 드라이브
- 두
- ...동안
- 마다
- 초기의
- 효율성
- 중
- 끝으로 종료
- 확인
- 엔터 버튼
- 오류
- 오류
- 진화하다
- 초과
- 흥분한
- 실행
- 처형 된
- 실행
- 현존하는
- 기대
- 기대
- 기대하는
- 경험
- 실패
- 실패한
- 고장
- 가족
- 특색
- 특징
- 소설
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 흐름
- 수행원
- 럭셔리
- 체재
- 앞으로
- 발견
- 사
- 에
- 충분히
- 기능
- 추가
- 미래
- 생성
- 생성
- 생성
- 부여
- 그래프
- 육로
- 지도
- 처리
- 있다
- he
- 듣기
- 도움
- 도움이
- 그의
- 진료 시간
- 방법
- 그러나
- HTML
- HTTP
- HTTPS
- 사람의
- ID
- 확인
- 식별
- if
- 가져 오기
- 개선
- 개량
- 개량
- 개선
- in
- 포함
- 포함
- 포함
- 증가
- 표시
- 표시
- 산업
- 정보
- 입력
- 입력
- 통찰력
- 예
- 통합
- 의지
- 대화형
- 인터페이스
- 교차
- 으로
- 발행물
- 문제
- JPG
- 날카로운
- 키
- 지식
- 언어
- 최근
- 배우다
- 길이
- 레벨
- wifecycwe
- 라인
- LINK
- 모래밭
- 명부
- 상장 된
- 위치
- 보기
- 본관
- 유지하다
- 관리
- 구축
- 매니저
- 조작
- 수동으로
- 표
- 최고
- 측정
- 조치들
- 기구
- 만족
- 메시지
- 방법론
- 통계
- 놓친
- ML
- 수정
- 배우기
- name
- 이름
- 출신
- 자연의
- 카테고리
- 필요
- 요구
- 신제품
- 새로운
- 다음 것
- 아니
- 번호
- 관찰
- of
- 자주
- on
- 일단
- ONE
- 운영
- 옵션
- or
- 주문
- 조직
- 최
- 출력
- 외부
- 위에
- 전체
- 페이지
- 빵
- 매개 변수
- 패스
- 합격
- 열렬한
- 사람들
- 성능
- 실행할 수 있는
- 상
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 정책
- 가능한
- 게시하다
- 사례
- 취하다
- 제시
- 제시
- 방법
- 프로덕트
- 제품 관리자
- 생산
- 생산력
- 링크를
- 제공
- 제공
- 품질
- 쿼리
- 문의
- 빨리
- 범위
- 율
- RE
- 도달
- 읽기
- 준비
- 현실
- 인식
- 신고
- 의뢰
- 요청
- 요구조건 니즈
- 분해능
- 응답
- 응답
- 책임
- 결과
- 결과
- 리뷰
- 리뷰
- 직위별
- 달리기
- 같은
- 스케일링
- 시나리오
- 스크린 샷
- 섹션
- 참조
- 연장자
- 봉사하다
- 서비스
- 서비스
- 세션
- 세트
- 설정
- 몇몇의
- 그녀
- 영상을
- 표시
- 표시
- 단순, 간단, 편리
- 단순화
- 단일
- 슬롯
- 해결책
- 솔루션
- 전문적으로
- 구체적인
- 연설
- 주 정부
- Status
- 단계
- 단계
- 저장
- 저장
- 유선
- 성공
- 이러한
- SUPPORT
- 지원
- 체계
- 테이블
- 작업
- 팀
- 팀
- 기술
- Technology
- 템플릿
- test
- 지원
- 테스트
- 그
- XNUMXD덴탈의
- 미래
- 그들
- 그때
- 그곳에.
- 그들
- 이
- 세
- 을 통하여
- 시간
- 에
- 검색을
- 상단
- 금액
- 진실
- 유형
- 아래에
- 이해
- 예기치 않은
- 업데이트
- 업데이트
- 업로드
- us
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용
- 유효 기간
- 검증 된
- 확인
- 마케팅은:
- 여러
- 온라인
- 목소리
- 필요
- 경고
- we
- 웹
- 웹 서비스
- 웹 사이트
- 환영
- 여부
- 어느
- 의지
- 과
- 말
- 작업
- 가장 나쁜
- 아직
- 자신의
- 너의
- 제퍼 넷
- 지퍼