Amazon QuickSight를 사용하여 지표 이상 결과에 대한 Amazon Lookout 시각화

사용하는 팀이 직면한 과제 중 하나는 지표에 대한 Amazon Lookout 데이터 시각화에 빠르고 효율적으로 연결하고 있습니다. 이상은 각각 자체 그래프가 있는 Lookout for Metrics 콘솔에 개별적으로 표시되므로 집합을 전체적으로 보기 어렵습니다. 심층 분석을 위해서는 자동화된 통합 솔루션이 필요합니다.

이 게시물에서는 다음 단계에 따라 구축된 Lookout for Metrics 라이브 감지기를 사용합니다. 시작 가이드 의 섹션 AWS 샘플, 지표용 Amazon Lookout GitHub 리포지토리. 탐지기가 활성화되고 데이터세트에서 이상이 생성된 후 Lookout for Metrics를 연결합니다. 아마존 퀵 사이트. 차원 테이블을 비정상 테이블과 조인하여 하나와 라이브 데이터와 비정상 테이블을 조인하여 두 개의 데이터 세트를 생성합니다. 그런 다음 이 두 데이터세트를 QuickSight 분석에 추가하여 단일 대시보드에 차트를 추가할 수 있습니다.

Lookout for Metrics 감지기에 두 가지 유형의 데이터(연속 및 기록)를 제공할 수 있습니다. 그만큼 AWS 샘플 GitHub 리포지토리 우리는 지속적인 라이브 데이터에 중점을 두고 있지만 두 가지를 모두 제공합니다. 탐지기는 이 라이브 데이터를 모니터링하여 이상을 식별하고 이상을 기록합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 생성될 때. 지정된 간격이 끝나면 감지기가 데이터를 분석합니다. 시간이 지남에 따라 탐지기는 발견한 패턴을 기반으로 이상을 보다 정확하게 식별하는 방법을 학습합니다.

Lookout for Metrics는 머신 러닝(ML)을 사용하여 판매 수익이나 고객 확보율의 급격한 하락과 같은 비즈니스 및 운영 데이터의 이상을 자동으로 감지하고 진단합니다. 이 서비스는 이제 25년 2021월 XNUMX일부터 일반 공급됩니다. 다양한 소스의 데이터를 자동으로 검사하고 준비하여 기존의 이상 감지 방법보다 더 빠르고 정확하게 이상을 감지합니다. 또한 탐지된 이상 항목에 대한 피드백을 제공하여 결과를 조정하고 시간이 지남에 따라 정확도를 향상시킬 수 있습니다. Lookout for Metrics를 사용하면 동일한 이벤트와 관련된 이상을 그룹화하고 잠재적 근본 원인에 대한 요약이 포함된 경고를 보내 감지된 이상을 쉽게 진단할 수 있습니다. 또한 심각도에 따라 이상 항목의 순위를 지정하므로 비즈니스에 가장 중요한 것에 주의를 집중할 수 있습니다.

QuickSight는 데이터에 쉽게 연결하여 대화형 대시보드를 만들고 게시할 수 있는 완전 관리형 클라우드 네이티브 비즈니스 인텔리전스(BI) 서비스입니다. 또한 다음을 사용할 수 있습니다. 아마존 퀵 사이트 자연어 쿼리를 통해 즉각적인 답변을 얻을 수 있습니다.

모든 장치에서 서버리스의 확장성이 뛰어난 QuickSight 대시보드에 액세스하고 이를 애플리케이션, 포털 및 웹 사이트에 원활하게 포함할 수 있습니다. 다음 스크린샷은 이 게시물이 끝날 때까지 달성할 수 있는 작업의 예입니다.

솔루션 개요

이 솔루션은 AWS 서비스, 주로 Lookout for Metrics, QuickSight, AWS 람다, 아마존 아테나, AWS 접착제및 Amazon S3.

다음 다이어그램은 솔루션 아키텍처를 보여줍니다. Lookout for Metrics는 경보를 통해 이상을 감지하고 Lambda에 보냅니다. Lambda 함수는 이상 결과를 CSV 파일로 생성하고 Amazon S3에 저장합니다. AWS Glue 크롤러는 메타데이터를 분석하고 Athena에 테이블을 생성합니다. QuickSight는 Athena를 사용하여 Amazon S3 데이터를 쿼리하므로 대시보드를 구축하여 이상 결과와 라이브 데이터를 모두 시각화할 수 있습니다.

이 솔루션은 에서 생성된 리소스를 확장합니다. 시작 가이드 GitHub 리포지토리 섹션. 각 단계에 대해 다음을 사용하여 리소스를 생성하는 옵션이 포함되어 있습니다. AWS 관리 콘솔 또는 제공된 시작 AWS 클라우드 포메이션 스택. 사용자 정의된 Lookout for Metrics 감지기가 있는 경우 이를 사용하고 다음과 같이 조정할 수 있습니다. 수첩 동일한 결과를 얻기 위해.

구현 단계는 다음과 같습니다.

1. 만들기 아마존 세이지 메이커 노트북 인스턴스(ALFMTestNotebook) 및 에서 제공하는 스택을 사용하는 노트북 초기 설정 의 섹션 GitHub 레포.
2. SageMaker 콘솔에서 노트북 인스턴스를 열고 amazon-lookout-for-metrics-samples/getting_started 폴더에 있습니다.
3. S3 버킷을 생성하고 첫 번째를 사용하여 데이터 준비를 완료합니다. 수첩 (1.PrereqSetupData.ipynb). 로 노트북을 엽니다. conda_python3 메시지가 표시되면 커널.

우리는 두 번째를 건너 뜁니다. 수첩 데이터를 백테스팅하는 데 중점을 두고 있기 때문입니다.

4. 콘솔을 사용하여 예제를 진행하는 경우 세 번째를 사용하여 Lookout for Metrics 라이브 감지기 및 해당 경고를 생성합니다. 수첩 (3.GettingStartedWithLiveData.ipynb).

제공된 CloudFormation 스택을 사용하는 경우 세 번째 노트북이 필요하지 않습니다. 감지기와 경보는 스택의 일부로 생성됩니다.

5. Lookout for Metrics 라이브 감지기를 생성한 후 콘솔에서 활성화해야 합니다.

모델을 초기화하고 이상 징후를 감지하는 데 최대 2시간이 걸릴 수 있습니다.

6. Pandas 라이브러리 계층과 함께 Python을 사용하여 Lambda 함수를 배포하고 라이브 감지기에 연결된 경고를 생성하여 시작합니다.
7. Athena와 AWS Glue의 조합을 사용하여 QuickSight용 데이터를 검색하고 준비하십시오.
8. QuickSight 데이터 소스 및 데이터세트를 생성합니다.
9. 마지막으로 데이터세트를 사용하여 시각화를 위한 QuickSight 분석을 생성합니다.

CloudFormation 스크립트는 일반적으로 프로덕션 환경에서 중첩 스택 세트로 실행됩니다. 단계별 연습을 용이하게 하기 위해 이 게시물에서 개별적으로 제공됩니다.

사전 조건

이 연습을 진행하려면 솔루션을 배포할 AWS 계정이 필요합니다. 배포하는 모든 리소스가 동일한 리전에 있는지 확인하십시오. 노트북 1과 3에서 빌드된 지표에 대한 Lookout 감지기가 실행 중이어야 합니다. GitHub 레포. 실행 중인 Lookout for Metrics 감지기가 없는 경우 두 가지 옵션이 있습니다.

• 노트북 1과 3을 실행하고 이 게시물의 1단계에서 계속 진행합니다(Lambda 함수 및 경고 생성).
• 노트북 1을 실행한 다음 CloudFormation 템플릿을 사용하여 Lookout for Metrics 감지기를 생성합니다.

AWS CloudFormation을 사용하여 라이브 감지기 생성

XNUMXD덴탈의 L4MLiveDetector.yaml CloudFormation 스크립트는 소스가 지정된 S3 버킷의 라이브 데이터를 가리키는 Lookout for Metrics 이상 감지기를 생성합니다. 감지기를 만들려면 다음 단계를 완료하세요.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에서 다음 정보를 제공합니다.
   1. 스택 이름입니다. 예를 들어, L4MLiveDetector.
   2. S3 버킷, <Account Number>-lookoutmetrics-lab.
   3. 역할 ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. 이상 감지 빈도입니다. 선택하다 PT1H (시간당).
4. 왼쪽 메뉴에서 다음 보기.
5. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
6. 에 검토 페이지에서 모든 것을 그대로 두고 선택하십시오. 스택 생성.

AWS CloudFormation을 사용하여 라이브 감지기 SMS 알림 생성(선택 사항)

이 단계는 선택 사항입니다. 경고는 데이터 세트 생성에 영향을 주지 않고 예시로 제공됩니다. 그만큼 L4MLiveDetectorAlert.yaml CloudFormation 스크립트는 SMS 대상이 있는 Lookout for Metrics 이상 감지기 경고를 생성합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에서 SMS 전화번호를 업데이트하고 스택 이름을 입력합니다(예: L4MLiveDetectorAlert).
4. 왼쪽 메뉴에서 다음 보기.
5. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
6. 에 검토 페이지에서 승인 확인란을 선택하고 나머지는 그대로 두고 다음을 선택합니다. 스택 생성.

리소스 정리

다음 단계를 진행하기 전에 불필요한 비용이 발생하지 않도록 SageMaker 노트북 인스턴스를 중지하십시오. 더 이상 필요하지 않습니다.

Lambda 함수 및 알림 생성

이 섹션에서는 콘솔 또는 AWS CloudFormation을 통해 Lambda 함수 및 알림을 생성하는 방법에 대한 지침을 제공합니다.

콘솔로 함수 및 경고 생성

람다가 필요합니다 AWS 자격 증명 및 액세스 관리 (나는) 역할 다음 최소 권한 모범 사례 결과를 저장할 버킷에 액세스합니다.

1. 1. Lambda 콘솔에서 새 함수를 생성합니다.
   2. 선택 처음부터 저자.
   3. 럭셔리 기능 명¸ 이름을 입력하십시오.
   4. 럭셔리 런타임선택한다. 파이썬 3.8.
   5. 럭셔리 실행 역할, 고르다 기존 역할 사용 생성한 역할을 지정합니다.
   6. 왼쪽 메뉴에서 기능 만들기.
2. 
   7. 다운로드 Lambda 함수에 필요한 코드가 포함된 ZIP 파일.
   8. Lambda 콘솔에서 함수를 엽니다.
   9. 에 암호 탭에서 다음에서 업로드선택한다. .압축 파일, 다운로드한 파일을 업로드합니다.
   10. 왼쪽 메뉴에서 찜하기.

ZIP 파일을 업로드한 후에도 파일 트리가 동일하게 유지되어야 합니다.

11. . 레이어 섹션 선택 레이어 추가.
12. 선택 ARN 지정.
13. 다음에서 GitHub 레포에서 작업 중인 리전에 해당하는 CSV를 선택하고 최신 Pandas 버전에서 ARN을 복사합니다.
14. 럭셔리 ARN 지정, 복사한 ARN을 입력합니다.
15. 왼쪽 메뉴에서 추가.

16. 함수를 환경에 맞게 조정하려면 lambda_function.py 파일의 코드 하단에서 이상 결과를 저장할 버킷으로 버킷 이름을 업데이트하고 DataSet_ARN 당신의 이상 탐지기에서.
17. 왼쪽 메뉴에서 배포 변경 사항을 활성화합니다.

이제 Lookout for Metrics 감지기를 함수에 연결해야 합니다.

18. Lookout for Metrics 콘솔에서 감지기로 이동하여 다음을 선택합니다. 경고 추가.
19. 경고 이름과 원하는 심각도 임계값을 입력합니다.
20. 채널 목록에서 람다.
21. 생성한 함수를 선택하고 이를 트리거할 올바른 역할이 있는지 확인하십시오.
22. 왼쪽 메뉴에서 경고 추가.

이제 경고가 트리거될 때까지 기다립니다. 탐지기가 이상을 발견한 시점에 따라 시간이 달라집니다.

이상이 감지되면 Lookout for Metrics가 Lambda 함수를 트리거합니다. Lookout for Metrics에서 필요한 정보를 수신하고 이상 항목의 해당 타임스탬프에 Amazon S3에 이미 저장된 CSV 파일이 있는지 확인합니다. 파일이 없으면 Lambda가 파일을 생성하고 이상 데이터를 추가합니다. 파일이 이미 있는 경우 Lambda는 수신된 추가 데이터로 파일을 업데이트합니다. 이 함수는 각기 다른 타임스탬프에 대해 별도의 CSV 파일을 생성합니다.

AWS CloudFormation을 사용하여 함수 및 알림 생성

콘솔 지침과 유사하게, ZIP 파일을 다운로드 Lambda 함수에 필요한 코드를 포함합니다. 그러나 이 경우 AWS CloudFormation 코드가 함수 생성 중에 로드할 수 있도록 S3 버킷에 업로드해야 합니다.

Lookout for Metrics 검출기 생성에 지정된 S3 버킷에서 lambda-code라는 폴더를 생성하고 ZIP 파일을 업로드합니다.

Lambda 함수는 생성 중에 이를 코드로 로드합니다.

XNUMXD덴탈의 L4MLambdaFunction.yaml CloudFormation 스크립트는 Lambda 함수 및 알림 리소스를 생성하고 동일한 S3 버킷에 저장된 함수 코드 아카이브를 사용합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에서 스택 이름을 지정합니다(예: L4MLambdaFunction).
4. 다음에서 GitHub 레포, 작업 중인 리전에 해당하는 CSV를 열고 최신 Pandas 버전에서 ARN을 복사합니다.
5. ARN을 Pandas Lambda 계층 ARN 파라미터로 입력합니다.
6. 왼쪽 메뉴에서 다음 보기.
7. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
8. 에 검토 페이지에서 승인 확인란을 선택하고 나머지는 그대로 두고 다음을 선택합니다. 스택 생성.

감지기 활성화

다음 단계로 진행하기 전에 콘솔에서 감지기를 활성화해야 합니다.

1. Lookout for Metrics 콘솔에서 검출기 탐색 창에서
2. 새로 생성된 감지기를 선택하십시오.
3. 왼쪽 메뉴에서 활성화다음을 선택 활성화 다시 확인하십시오.

활성화하면 감지기가 초기화됩니다. 모델이 학습 주기를 완료하면 완료됩니다. 최대 2시간이 소요될 수 있습니다.

QuickSight용 데이터 준비

이 단계를 완료하기 전에 감지기가 이상 징후를 찾을 시간을 주십시오. 생성한 Lambda 함수는 이상 결과를 Lookout for Metrics 버킷에 저장합니다. anomalyResults 예배 규칙서. 이제 이 데이터를 처리하여 QuickSight용으로 준비할 수 있습니다.

콘솔에서 AWS Glue 크롤러 생성

일부 이상 CSV 파일이 생성된 후 AWS Glue 크롤러를 사용하여 메타데이터 테이블을 생성합니다.

1. AWS Glue 콘솔에서 겉옷 탐색 창에서
2. 왼쪽 메뉴에서 크롤러 추가.

3. 크롤러의 이름을 입력하십시오(예: L4MCrawler).
4. 왼쪽 메뉴에서 다음 보기.
5. 럭셔리 크롤러 소스 유형, 고르다 데이터 저장소.
6. 럭셔리 S3 데이터 저장소의 반복 크롤링, 고르다 모든 폴더 크롤링.
7. 왼쪽 메뉴에서 다음 보기.

8. 데이터 저장소 구성 페이지에서 데이터 크롤링, 고르다 내 계정에 지정된 경로.
9. 럭셔리 경로 포함, 당신의 경로를 입력 dimensionContributions 파일 (s3://YourBucketName/anomalyResults/dimensionContributions).
10. 왼쪽 메뉴에서 다음 보기.
11. 왼쪽 메뉴에서 가능 다른 데이터 저장소를 추가하고 지침을 반복하려면 metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Lookout for Metrics 이상 감지기(이는 Lookout for Metrics 감지기의 S3 데이터 세트 위치)에서 분석할 라이브 데이터에 대해 지침을 다시 반복합니다.

이제 크롤러가 처리할 XNUMX개의 데이터 저장소가 있어야 합니다.

이제 크롤러가 데이터의 S3 위치를 통과하도록 허용하는 역할을 선택해야 합니다.

13. 이 게시물의 경우 IAM 역할 생성 역할 이름을 입력합니다.
14. 왼쪽 메뉴에서 다음 보기.

15. 럭셔리 진동수, 그대로 두다 주문형 실행 선택하고 다음 보기.
16. . 크롤러의 출력 구성 섹션 선택 데이터베이스 추가.

그러면 크롤러가 완료된 후 메타데이터 테이블이 있는 Athena 데이터베이스가 생성됩니다.

17. 데이터베이스 이름을 입력하고 만들기.
18. 왼쪽 메뉴에서 다음 보기다음을 선택 마감재 .

19. 에 겉옷 AWS Glue 콘솔의 페이지에서 생성한 크롤러를 선택하고 크롤러 실행.

데이터 크기에 따라 몇 분 정도 기다려야 할 수도 있습니다. 완료되면 크롤러의 상태가 다음과 같이 표시됩니다. 준비. 메타데이터 테이블을 보려면 다음에서 데이터베이스로 이동합니다. 데이터베이스 페이지를 선택하고 테이블 탐색 창에서

이 예에서 live라는 메타데이터 테이블은 Lookout for Metrics 라이브 감지기의 S3 데이터 세트를 나타냅니다. 모범 사례로 다음을 수행하는 것이 좋습니다. AWS Glue 데이터 카탈로그 메타데이터 암호화.

Athena는 메타데이터 테이블을 자동으로 인식하고 QuickSight는 Athena를 사용하여 데이터를 쿼리하고 결과를 시각화합니다.

AWS CloudFormation을 사용하여 AWS Glue 크롤러 생성

XNUMXD덴탈의 L4MGlueCrawler.yaml CloudFormation 스크립트는 AWS Glue 크롤러, 연결된 IAM 역할 및 출력 Athena 데이터베이스를 생성합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에서 스택 이름을 입력합니다(예: L4MGlueCrawler)를 선택하고 다음 보기.
4. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
5. 에 검토 페이지에서 승인 확인란을 선택하고 나머지는 그대로 두고 다음을 선택합니다. 스택 생성.

AWS Glue 크롤러 실행

크롤러를 만든 후 다음 단계로 이동하기 전에 실행해야 합니다. 콘솔이나 AWS 명령 줄 인터페이스 (AWS CLI). 콘솔을 사용하려면 다음 단계를 완료하십시오.

1. AWS Glue 콘솔에서 겉옷 탐색 창에서
2. 크롤러 선택(L4MCrawler).
3. 왼쪽 메뉴에서 크롤러 실행.

크롤러가 완료되면 상태가 표시됩니다. 준비.

QuickSight 계정 만들기

이 다음 단계를 시작하기 전에 QuickSight 콘솔로 이동하여 아직 계정이 없는 경우 계정을 만드십시오. 해당 서비스(Athena 및 S3 버킷)에 대한 액세스 권한이 있는지 확인하려면 오른쪽 상단에서 계정 이름을 선택하고 QuickSight 관리, 선택 보안 및 권한, 필요한 서비스를 추가할 수 있습니다. Amazon S3 액세스를 설정할 때 다음을 선택해야 합니다. Athena Workgroup에 대한 쓰기 권한.

이제 QuickSight에서 데이터를 시각화할 준비가 되었습니다.

콘솔에서 QuickSight 데이터 세트 생성

Athena를 처음 사용하는 경우 쿼리의 출력 위치를 구성해야 합니다. 지침은 의 1-6단계를 참조하십시오. 데이터베이스 만들기. 그런 다음 다음 단계를 완료하십시오.

1. QuickSight 콘솔에서 데이터 세트.
2. 왼쪽 메뉴에서 새로운 데이터 세트.
3. Athena를 소스로 선택하십시오.
4. 데이터 소스의 이름을 입력합니다.
5. 왼쪽 메뉴에서 데이터 소스 생성.

6. 데이터베이스에 대해 AWS Glue 크롤러를 사용하여 이전에 생성한 데이터베이스를 지정합니다.
7. 라이브 데이터가 포함된 테이블을 지정합니다(이상 사항 아님).
8. 왼쪽 메뉴에서 데이터 편집/미리보기.

다음 스크린샷과 유사한 인터페이스로 리디렉션됩니다.

다음 단계는 추가하고 결합하는 것입니다. metricValue_AnomalyScore 라이브 데이터와 데이터.

9. 왼쪽 메뉴에서 데이터 추가.
10. 왼쪽 메뉴에서 데이터 소스 추가.
11. 생성한 데이터베이스를 지정하고 metricValue_AnomalyScore 테이블.
12. 왼쪽 메뉴에서 선택.

이제 두 테이블의 조인을 구성해야 합니다.

13. 두 테이블 사이의 링크를 선택합니다.
14. 조인 유형을 다음과 같이 둡니다. 좌회전, 조인 절로 가지고 있는 타임스탬프와 각 차원을 추가하고 다음을 선택합니다. 신청.

다음 예에서는 타임스탬프, 플랫폼 및 마켓플레이스를 조인 절로 사용합니다.

오른쪽 창에서 유지하고 싶지 않은 필드를 제거할 수 있습니다.

15. 에서 타임스탬프를 제거합니다. metricValue_AnomalyScore 테이블에 중복된 열이 없도록 합니다.
16. 타임스탬프 데이터 유형(라이브 데이터 테이블의)을 문자열에서 날짜로 변경하고 올바른 체재. 우리의 경우에는 다음과 같아야 합니다. yyyy-MM-dd HH:mm:ss.

다음 스크린샷은 일부 필드를 제거하고 데이터 유형을 조정한 후의 보기를 보여줍니다.

17. 왼쪽 메뉴에서 저장 및 시각화.
18. 데이터세트 옆에 있는 연필 아이콘을 선택합니다.
19. 왼쪽 메뉴에서 데이터세트 추가 선택하고 dimensioncontributions.

AWS CloudFormation을 사용하여 QuickSight 데이터 세트 생성

이 단계에는 XNUMX개의 CloudFormation 스택이 포함됩니다.

첫 번째 CloudFormation 스크립트, L4MQuickSightDataSource.yaml, QuickSight Athena 데이터 소스를 생성합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에서 QuickSight 사용자 이름, QuickSight 계정 리전(QuickSight 계정 생성 시 지정) 및 스택 이름(예: L4MQuickSightDataSource).
4. 왼쪽 메뉴에서 다음 보기.
5. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
6. 에 검토 페이지에서 모든 것을 그대로 두고 선택하십시오. 스택 생성.

두 번째 CloudFormation 스크립트, L4MQuickSightDataSet1.yaml, 차원 테이블을 비정상 테이블과 조인하는 QuickSight 데이터 세트를 생성합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 생성 페이지에서 선택 다음 보기.
3. 에 스택 세부 사항 지정, 스택 이름을 입력합니다(예: L4MQuickSightDataSet1).
4. 왼쪽 메뉴에서 다음 보기.
5. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
6. 에 검토 페이지에서 모든 것을 그대로 두고 선택하십시오. 스택 생성.

세 번째 CloudFormation 스크립트, L4MQuickSightDataSet2.yaml, 이상 테이블을 라이브 데이터 테이블과 조인하는 QuickSight 데이터 세트를 생성합니다.

1. 다음 링크에서 스택을 시작합니다.

2. 에 스택 페이지 생성¸ 선택 다음 보기.
3. 에 스택 세부 사항 지정 페이지에 스택 이름을 입력합니다(예: L4MQuickSightDataSet2).
4. 왼쪽 메뉴에서 다음 보기.
5. 에 스택 옵션 구성 페이지에서 모든 것을 그대로 두고 선택하십시오. 다음 보기.
6. 에 검토 페이지에서 모든 것을 그대로 두고 선택하십시오. 스택 생성.

대시보드 생성을 위한 QuickSight 분석 생성

이 단계는 콘솔에서만 완료할 수 있습니다. QuickSight 데이터 세트를 생성한 후 다음 단계를 완료하십시오.

1. QuickSight 콘솔에서 Analysis 탐색 창에서
2. 왼쪽 메뉴에서 새로운 분석.
3. 첫 번째 데이터 세트를 선택하고, L4MQuickSightDataSetWithLiveData.

4. 왼쪽 메뉴에서 분석 생성.

QuickSight 분석은 처음에 첫 번째 데이터 세트로만 생성됩니다.

5. 두 번째 데이터세트를 추가하려면 옆에 있는 연필 아이콘을 선택합니다. 데이터 세트 선택하고 데이터세트 추가.
6. 두 번째 데이터 세트를 선택하고 선택.

그런 다음 차트를 생성하기 위해 두 데이터세트 중 하나를 선택하여 사용할 수 있습니다. 데이터 세트 드롭 다운 메뉴.

데이터세트 측정항목

Lookout for Metrics 추론 결과 및 라이브 데이터에서 QuickSight 분석을 성공적으로 생성했습니다. QuickSight에는 다음 두 가지 데이터 세트를 사용할 수 있습니다. L4M_Visualization_dataset_with_liveData 과 L4M_Visualization_dataset_with_dimensionContribution.

XNUMXD덴탈의 L4M_Visualization_dataset_with_liveData 데이터세트에는 다음 측정항목이 포함됩니다.

• 따라서 오른쪽 하단에 – Lookout for Metrics에 전달된 라이브 데이터의 날짜 및 시간
• 보기 – 조회수 측정항목의 값
• 수익 – 수익 지표의 가치
• 플랫폼, 시장, 수익AnomalyMetricValue, viewsAnomalyMetricValue, 수익그룹점수 및 보기그룹점수 – 이 메트릭은 두 데이터 세트의 일부입니다.

XNUMXD덴탈의 L4M_Visualization_dataset_with_dimensionContribution 데이터세트에는 다음 측정항목이 포함됩니다.

• 따라서 오른쪽 하단에 – 이상이 감지된 날짜 및 시간
• 메트릭 이름 – 모니터링 중인 메트릭
• 차원 이름 – 메트릭 내의 차원
• 차원값 – 차원의 값
• 가치기여 – 감지될 때 dimensionValue가 이상에 영향을 미치는 정도에 대한 백분율

다음 스크린샷은 Lookout for Metrics 감지기의 이상 대시보드에 있는 이러한 XNUMX가지 메트릭을 보여줍니다.

다음 측정항목은 두 데이터세트의 일부입니다.

• 플랫폼 – 이상이 발생한 플랫폼
• 시장 – 이상이 발생한 마켓플레이스
• 수익AnomalyMetricValue 및 viewsAnomalyMetricValue – 이상이 감지되었을 때 해당 메트릭 값(이 상황에서 메트릭은 수익 또는 조회수임)
• 수익그룹점수 및 보기그룹점수 – 감지된 이상 항목에 대한 각 메트릭의 심각도 점수

이러한 마지막 지표를 더 잘 이해하기 위해 저장한 S3 버킷에서 Lambda 함수에 의해 생성된 CSV 파일을 검토할 수 있습니다. anomalyResults/metricValue_AnomalyScore.

다음 단계

다음 단계는 보고 싶은 데이터에 대한 대시보드를 구축하는 것입니다. 이 게시물에는 QuickSight 차트 생성에 대한 설명이 포함되어 있지 않습니다. QuickSight를 처음 사용하는 경우 다음을 참조하십시오. Amazon QuickSight에서 데이터 분석 시작하기 소개를 위해. 다음 스크린샷은 기본 대시보드의 예를 보여줍니다. 자세한 내용은 QuickSight 워크샵.

결론

이상은 각각 자체 그래프가 있는 Lookout for Metrics 콘솔에 개별적으로 표시되므로 집합을 전체적으로 보기 어렵습니다. 심층 분석을 위해서는 자동화된 통합 솔루션이 필요합니다. 이 게시물에서는 Lookout for Metrics 검출기를 사용하여 이상을 생성하고 데이터를 QuickSight에 연결하여 시각화를 생성했습니다. 이 솔루션을 통해 우리는 이상 현상에 대한 심층 분석을 수행하고 모든 것을 하나의 단일 장소/대시보드에 보관할 수 있습니다.

다음 단계로 이 솔루션은 데이터 세트를 추가하고 여러 탐지기의 이상을 결합하여 확장할 수도 있습니다. Lambda 함수를 조정할 수도 있습니다. Lambda 함수에는 QuickSight 대시보드에 사용하는 데이터 세트와 변수 이름을 생성하는 코드가 포함되어 있습니다. 데이터 세트 자체 또는 자신에게 더 적합한 변수 이름을 변경하여 이 코드를 특정 사용 사례에 적용할 수 있습니다.

피드백이나 질문이 있으면 댓글에 남겨주세요.

---

저자에 관하여

베누아 드 파툴 AWS의 AI/ML 전문가 솔루션 아키텍트입니다. 그는 AWS를 사용할 때 AI/ML과 관련된 솔루션을 구축하기 위한 지침과 기술 지원을 제공하여 고객을 돕습니다.

폴 트로이아노 조지아주 애틀랜타에 위치한 AWS의 수석 솔루션 아키텍트입니다. 그는 AWS의 기술 전략 및 솔루션에 대한 지침을 제공하여 고객을 돕습니다. 그는 AI/ML 및 솔루션 자동화에 대한 모든 것에 열정적입니다.