지표에 대한 Amazon Lookout 머신 러닝(ML)을 사용하여 비즈니스에 가장 중요한 지표를 더 빠르고 정확하게 자동으로 모니터링하는 AWS 서비스입니다. 또한 이 서비스를 통해 예상치 못한 수익 감소, 높은 장바구니 포기 비율, 결제 거래 실패 급증, 신규 사용자 가입 증가 등과 같은 이상 현상의 근본 원인을 더 쉽게 진단할 수 있습니다. Lookout for Metrics는 단순한 이상 탐지 이상입니다. 이를 통해 개발자는 중요한 메트릭에 대한 자율 모니터링을 설정하여 이상을 감지하고 몇 번의 클릭만으로 근본 원인을 식별하여 메트릭에서 이상을 감지할 수 있습니다. 이 모든 것이 ML 경험이 필요하지 않습니다.
아마존 아테나 데이터를 쉽게 분석할 수 있는 대화형 쿼리 서비스입니다. Amazon Simple Storage Service(Amazon S3) 표준 SQL을 사용합니다. Amazon S3의 데이터를 가리키고 스키마를 정의한 다음 표준 SQL을 사용하여 쿼리를 시작하기만 하면 됩니다. 대부분의 결과는 몇 초 이내에 전달됩니다. Athena를 사용하면 분석을 위해 데이터를 준비하기 위해 복잡한 ETL 작업이 필요하지 않습니다. 이를 통해 SQL 기술을 가진 모든 사람이 대규모 데이터 세트를 신속하게 분석할 수 있습니다.
오늘 출시로 Lookout for Metrics는 이제 Athena의 데이터에 원활하게 연결하여 매우 정확한 이상 감지기를 설정할 수 있습니다. 이를 통해 Athena에서 사용 가능한 모든 데이터 세트에 대해 Lookout for Metrics를 사용하여 ML을 통해 최첨단 이상 감지를 신속하게 배포할 수 있습니다.
Athena 연결은 다음과 같은 이점을 제공하여 Lookout for Metrics의 기능을 확장합니다.
- Lookout for Metrics의 기능을 다음과 같이 확장합니다. 파일 형식 지원. 이전에 Lookout for Metrics는 CSV 및 JSONLines 형식의 파일을 지원했지만 Athena에서는 Parquet, Avro, Plaintext 등으로 확장되었습니다. Athena를 통해 구문 분석할 수 있다면 이제 Lookout for Metrics로 가져오고 활용할 수 있습니다.
- 또한 다음과 같은 데이터 지원을 도입합니다. 연합 쿼리. 이 출시 이전에 데이터가 여러 데이터베이스 또는 소스에 저장된 경우 모든 데이터를 CSV 또는 JSONLines 파일로 내보내고 입력하기 전에 완전한 복잡한 ETL 프로세스를 정의하고 성능 특성을 관리해야 했습니다. 이상 탐지를 위한 지표를 살펴보세요. Athena의 연합 쿼리를 사용하여 조인을 수행하는 방법과 데이터가 처리되고 Athena에서 쿼리할 수 있는 시점은 물론 서로 다른 소스를 정의하면 Lookout for Metrics를 즉시 사용할 수 있습니다. 이를 통해 데이터 변환, 집계 및 전달 위치에 대한 부담을 Athena에 넘기고 Lookout for Metrics에서 식별된 이상 항목에만 집중할 수 있습니다.
솔루션 개요
이 게시물에서는 Athena 테이블을 통합하고 수익 메트릭에서 이상을 감지하는 방법을 보여줍니다. 또한 주문율과 재고 지표가 어떻게 영향을 받는지 추적합니다. 소스 데이터는 Amazon S3에 있으며 Athena 테이블에서 데이터를 쿼리할 수 있도록 구성했습니다. 안 AWS 람다 Lookout for Metrics에서 이상을 감지하는 데 사용하는 Athena 내의 파티션 업데이트를 담당합니다. 이 솔루션을 사용하면 Lookout for Metrics에 Athena 데이터 원본을 사용할 수 있습니다.
당신은 제공된 AWS 클라우드 포메이션 스택을 사용하여 연습에 대한 리소스를 설정합니다. 여기에는 라이브 데이터를 지속적으로 생성하고 Athena에서 쿼리할 수 있도록 하는 리소스가 포함되어 있습니다.
- 다음 링크에서 스택을 시작하고 선택하십시오. 다음 것 스택 생성 페이지에서
- 에 스택 세부 사항 지정 페이지에서 위의 값을 추가하고 스택 이름을 지정합니다(예:
L4MAthenaDetector
)를 선택하고 다음 보기. - 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택 다음 보기.
Athena를 데이터 소스로 사용하여 새 감지기 설정
1단계
에 로그인 AWS Console Lookout for Metrics로 Anomaly Detector 만들기 시작하기 첫 번째 단계는 "탐지기 만들기" 버튼을 선택하는 것입니다.
2단계
이름과 같은 필수 감지기 필드를 작성하십시오. Lookout for Metrics가 데이터를 쿼리하고 이상 징후를 모니터링할 빈도에 따라 결정되는 탐지기의 탐지 간격을 선택합니다. 암호화 정보는 필수가 아닙니다. 암호화 정보를 통해 Lookout for Metrics는 다음을 사용하여 데이터를 암호화할 수 있습니다. AWS 키 관리 서비스(KMS) 열쇠. 이 예에서는 암호화 키 추가를 건너뛰고, 암호화 정보가 제공되지 않은 경우 Lookout for Metrics는 기본 암호화를 사용하여 데이터를 암호화하고 "만들기" 버튼을 선택하여 진행합니다.
3단계
이상 감지기가 생성되면 상단의 배너에 확인 메시지가 표시됩니다. 배너 또는 "데이터 세트 추가" 아래의 버튼을 통해 "데이터 세트 추가"를 선택하여 계속 진행할 수 있습니다.
데이터 소스에 대한 기본 정보를 입력합니다. 시간대는 선택 필드입니다. 드롭다운을 선택하여 데이터 소스를 선택합니다.
Lookout for Metrics는 고객의 편의를 위해 여러 데이터 소스를 지원합니다. 이 예에서는 Athena를 선택합니다.
Athena가 데이터 소스로 선택되면 감지기에 대해 백테스트 또는 연속 모드를 선택할 수 있습니다. 이 예에서는 연속 모드를 사용하여 진행합니다. 이상 징후를 모니터링하려는 Athena 테이블에 대한 세부 정보를 추가하여 진행합니다.
서비스가 서비스 역할을 생성하도록 허용하거나 기존 AWS 자격 증명 및 액세스 관리 (IAM) 통합 쿼리에 대한 계정의 역할. Lookout for Metrics는 연합 쿼리에 대한 IAM 역할의 자동 생성을 지원하지 않습니다. 따라서 Athena가 데이터에 대해 다음 작업을 수행하도록 허용하려면 새 IAM 역할을 생성해야 합니다.
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
서비스에서 생성한 IAM 역할은 다음과 같습니다.
4단계
이제 감지기에 대한 관련 측정항목을 정의합니다. Lookout for Metrics는 제공된 Athena 테이블에 있는 열로 드롭다운을 채웁니다. 최대 XNUMX개의 측정항목과 XNUMX개의 측정기준을 선택할 수 있습니다. Lookout for Metrics를 사용하려면 테이블의 데이터를 타임스탬프 열에 대한 타임스탬프로 분할해야 합니다. 차원 전체에 값의 수를 추가하여 이 감지기의 비용을 추정할 수도 있습니다.
모든 측정항목을 선택했으면 "다음" 버튼을 선택하여 진행합니다. 세부 정보를 검토하고 "데이터 세트 저장" 버튼을 선택하여 데이터 세트를 저장합니다.
5단계
데이터 세트가 생성되면 상단의 "활성화" 버튼을 선택하거나 "작동 방식" 섹션 아래의 "탐지기 활성화" 버튼을 선택하여 탐지기를 활성화합니다.
지속적인 감지를 위해 감지기를 활성화할지 확인하는 메시지가 표시됩니다. "활성화"를 선택하여 확인합니다.
감지기가 활성화 중임을 알리는 확인 메시지가 표시됩니다.
6단계
이상 탐지기가 활성화되면 탐지기 세부 정보 페이지의 "탐지기 로그" 탭을 사용하여 서비스에서 수행한 탐지 실행을 검토할 수 있습니다.
7단계
감지기 세부 정보 페이지에서 "이상 항목 보기" 버튼을 선택하여 서비스에서 감지했을 수 있는 이상 항목을 수동으로 검사할 수 있습니다.
8단계
이상 항목 검토 페이지에서 임계값 다이얼의 심각도 점수 임계값을 조정하여 선택한 점수 이상의 이상을 필터링할 수 있습니다.
결과 검토 및 분석
이상을 감지할 때 Lookout for Metrics는 우선 순위 지정을 돕기 위해 심각도 점수를 할당하여 가장 중요한 것에 집중할 수 있도록 도와줍니다. 근본 원인을 찾는 데 도움이 되도록 동일한 사고와 관련될 수 있는 이상 항목을 지능적으로 그룹화한 다음 영향의 여러 소스를 요약합니다.
또한 Lookout for Metrics를 사용하면 탐지된 이상 항목의 관련성에 대한 실시간 피드백을 제공할 수 있으므로 강력한 Human-in-the-loop 메커니즘을 활성화할 수 있습니다. 이 정보는 거의 실시간으로 정확도를 개선하기 위해 이상 탐지 모델에 피드백됩니다.
정리
데모용으로 설정된 리소스에 대한 추가 요금이 발생하지 않도록 하기 위해 Lookout for Metrics에서 생성된 감지기와 CloudFormation을 통해 생성된 스택을 삭제할 수 있습니다.
결론
Athena의 데이터에 Lookout for Metrics에 원활하게 연결하여 Athena 테이블 내의 메트릭과 차원에서 매우 정확한 이상 감지기를 설정할 수 있습니다. 이 기능을 시작하려면 다음을 참조하십시오. 지표에 대한 Lookout과 함께 Amazon Athena 사용. Lookout for Metrics가 공개적으로 제공되는 모든 리전에서 이 기능을 사용할 수 있습니다. 지역 가용성에 대한 자세한 내용은 다음을 참조하십시오. AWS 지역 서비스.
저자에 관하여
데베시 라토 Lookout for Metrics 팀의 소프트웨어 개발 엔지니어입니다. 그의 관심은 확장 가능한 분산 시스템을 구축하는 데 있습니다. 여가 시간에는 시뮬레이션 레이싱을 즐깁니다.
크리스 킹 Applied AI with AWS의 선임 솔루션 아키텍트입니다. 그는 AI 서비스 출시에 특별한 관심을 갖고 있으며 Amazon Lookout for Metrics에 집중하기 전에 Amazon Personalize 및 Amazon Forecast의 성장 및 구축을 도왔습니다. 여가 시간에는 요리, 독서, 복싱 및 전투 스포츠의 결과 예측을위한 모델 구축을 즐깁니다.
- "
- 100
- 소개
- ACCESS
- 계정
- 정확한
- 가로질러
- 동작
- 행위
- 활동적인
- 추가
- AI
- AI 서비스
- All
- 아마존
- 분석
- 누군가
- 자동화
- 자발적인
- 유효성
- 가능
- AWS
- 기치
- 전에
- 혜택
- 그 너머
- 경계
- 권투
- 빌드
- 건물
- 사업
- 기능
- 원인
- 요금
- 단
- 싸우기
- 복잡한
- 조건
- 연결하기
- 입/출력 라인
- 이 포함되어 있습니다
- 편의
- 수
- 만들
- 만든
- 만들기
- 창조
- 고객
- 데이터
- 데이터베이스
- 전달
- 배달
- 보여
- 배포
- 세부설명
- 탐지 된
- Detection System
- 개발자
- 개발
- 다른
- 분산
- 하지 않습니다
- 효과
- 가능
- 암호화
- 기사
- 견적
- 모두
- 예
- 현존하는
- 확대하는
- 경험
- 연방 준비 은행
- 피드백
- Fields
- 먼저,
- 초점
- 초점
- 수행원
- 생성
- 큰
- 여러 떼
- 성장
- 도움
- 도움이
- 높은
- 고도로
- 방법
- How To
- HTTPS
- 확인
- 통합 인증
- 영향
- 중대한
- 개선
- 정보
- 입력
- 통합
- 대화형
- 관심
- 이해
- 목록
- IT
- 작업
- 어울리다
- 키
- 왕
- 시작
- 진수
- 배우기
- 휴가
- 이점
- LINK
- 위치
- 기계
- 기계 학습
- 제작
- 관리
- 구축
- 필수
- 수동으로
- 문제
- 사항
- 통계
- ML
- 모델
- 모델
- 모니터
- 모니터링
- 배우기
- 가장
- 여러
- 번호
- 선택권
- 주문
- 지불
- 성능
- 개인
- 포인트 적립
- 가능한
- 강한
- 예측
- Prepare
- 제시
- 방법
- 제공
- 빨리
- 경마
- 거주비용
- 읽기
- 실시간
- 지역적인
- 관련된
- 필수
- 필요
- 의지
- 자료
- 책임
- 결과
- 수익
- 리뷰
- 확장성
- 완벽하게
- 초
- 선택된
- 서비스
- 서비스
- 세트
- 쇼핑
- YES
- 단순, 간단, 편리
- 기술
- 소프트웨어
- 소프트웨어 개발
- 고체
- 해결책
- 솔루션
- 특별한
- 속도
- 스포츠
- 스택
- 표준
- 스타트
- 시작
- 최첨단
- 성명서
- 저장
- SUPPORT
- 지원
- 지원
- 시스템은
- 팀
- 소스
- 따라서
- 임계값
- 을 통하여
- 시간
- 오늘의
- 상단
- 선로
- 거래
- 변환
- 아래에
- 업데이트
- 사용
- 버전
- 뭐
- 이내
- 겠지