Hình dung kết quả bất thường trên Amazon Lookout for Metrics của bạn với Amazon QuickSight

Một trong những thách thức mà các đội gặp phải khi sử dụng Amazon Lookout cho số liệu đang kết nối nó với trực quan hóa dữ liệu một cách nhanh chóng và hiệu quả. Các điểm bất thường được trình bày riêng lẻ trên bảng điều khiển Lookout for Metrics, mỗi điểm đều có biểu đồ riêng, gây khó khăn cho việc xem toàn bộ tập hợp. Một giải pháp tự động, tích hợp là cần thiết để phân tích sâu hơn.

Trong bài đăng này, chúng tôi sử dụng trình phát hiện trực tiếp Lookout for Metrics được xây dựng sau Bắt đầu phần từ Mẫu AWS, Amazon Lookout for Metrics GitHub repo. Sau khi trình phát hiện hoạt động và các điểm bất thường được tạo ra từ tập dữ liệu, chúng tôi kết nối Lookout for Metrics với Amazon QuickSight. Chúng tôi tạo hai tập dữ liệu: một bằng cách kết hợp bảng kích thước với bảng bất thường và một bằng cách kết hợp bảng bất thường với dữ liệu trực tiếp. Sau đó, chúng tôi có thể thêm hai tập dữ liệu này vào phân tích QuickSight, nơi chúng tôi có thể thêm biểu đồ trong một trang tổng quan.

Chúng tôi có thể cung cấp hai loại dữ liệu cho trình dò ​​tìm Chỉ số: liên tục và lịch sử. Các AWS Mẫu GitHub repo cung cấp cả hai, mặc dù chúng tôi tập trung vào dữ liệu trực tiếp liên tục. Máy dò giám sát dữ liệu trực tiếp này để xác định các điểm bất thường và ghi các điểm bất thường vào Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) khi chúng được tạo. Vào cuối một khoảng thời gian xác định, bộ dò phân tích dữ liệu. Theo thời gian, máy dò học cách xác định chính xác hơn các điểm bất thường dựa trên các mẫu mà nó tìm thấy.

Lookout for Metrics sử dụng công nghệ máy học (ML) để tự động phát hiện và chẩn đoán các bất thường trong dữ liệu kinh doanh và hoạt động, chẳng hạn như doanh thu bán hàng hoặc tỷ lệ thu hút khách hàng giảm đột ngột. Dịch vụ hiện có sẵn kể từ ngày 25 tháng 2021 năm XNUMX. Nó tự động kiểm tra và chuẩn bị dữ liệu từ nhiều nguồn khác nhau để phát hiện các điểm bất thường với tốc độ và độ chính xác cao hơn so với các phương pháp truyền thống được sử dụng để phát hiện sự bất thường. Bạn cũng có thể cung cấp phản hồi về các điểm bất thường được phát hiện để điều chỉnh kết quả và cải thiện độ chính xác theo thời gian. Lookout for Metrics giúp dễ dàng chẩn đoán các dị thường đã phát hiện bằng cách nhóm các dị thường liên quan đến cùng một sự kiện lại với nhau và gửi cảnh báo bao gồm tóm tắt nguyên nhân gốc rễ tiềm ẩn. Nó cũng xếp hạng các bất thường theo thứ tự mức độ nghiêm trọng để bạn có thể ưu tiên tập trung vào những gì quan trọng nhất đối với doanh nghiệp của mình.

QuickSight là một dịch vụ thông minh kinh doanh (BI) được quản lý hoàn toàn, dựa trên đám mây, giúp dễ dàng kết nối với dữ liệu của bạn để tạo và xuất bản các trang tổng quan tương tác. Ngoài ra, bạn có thể sử dụng Amazon QuickSight để nhận câu trả lời tức thì thông qua các truy vấn ngôn ngữ tự nhiên.

Bạn có thể truy cập trang tổng quan QuickSight không máy chủ, có khả năng mở rộng cao từ bất kỳ thiết bị nào và nhúng chúng vào các ứng dụng, cổng thông tin và trang web của bạn một cách liền mạch. Ảnh chụp màn hình sau đây là một ví dụ về những gì bạn có thể đạt được vào cuối bài đăng này.

Tổng quan về giải pháp

Giải pháp là sự kết hợp của các dịch vụ AWS, chủ yếu là Lookout for Metrics, QuickSight, AWS Lambda, amazon Athena, Keo AWSvà Amazon S3.

Sơ đồ sau minh họa kiến ​​trúc giải pháp. Lookout for Metrics phát hiện và gửi các điểm bất thường cho Lambda thông qua một cảnh báo. Hàm Lambda tạo ra các kết quả bất thường dưới dạng tệp CSV và lưu chúng trong Amazon S3. Trình thu thập dữ liệu AWS Glue phân tích siêu dữ liệu và tạo các bảng trong Athena. QuickSight sử dụng Athena để truy vấn dữ liệu Amazon S3, cho phép xây dựng trang tổng quan để trực quan hóa cả kết quả bất thường và dữ liệu trực tiếp.

Giải pháp này mở rộng trên các tài nguyên được tạo trong Bắt đầu của repo GitHub. Đối với mỗi bước, chúng tôi bao gồm các tùy chọn để tạo tài nguyên bằng cách sử dụng Bảng điều khiển quản lý AWS hoặc khởi chạy Hình thành đám mây AWS cây rơm. Nếu bạn có trình phát hiện Lookout for Metrics được tùy chỉnh, bạn có thể sử dụng nó và điều chỉnh nó như sau máy tính xách tay để đạt được kết quả tương tự.

Các bước thực hiện như sau:

1. tạo Amazon SageMaker phiên bản sổ tay (ALFMTestNotebook) và sổ ghi chép sử dụng ngăn xếp được cung cấp trong Thiết lập ban đầu phần từ Repo GitHub.
2. Mở phiên bản sổ ghi chép trên bảng điều khiển SageMaker và điều hướng đến amazon-lookout-for-metrics-samples/getting_started thư mục.
3. Tạo nhóm S3 và hoàn thành việc chuẩn bị dữ liệu bằng cách sử dụng máy tính xách tay (1.PrereqSetupData.ipynb). Mở sổ tay với conda_python3 kernel, nếu được nhắc.

Chúng tôi bỏ qua phần thứ hai máy tính xách tay bởi vì nó tập trung vào dữ liệu backteting.

4. Nếu bạn đang xem qua ví dụ bằng bảng điều khiển, hãy tạo trình phát hiện trực tiếp Lookout for Metrics và cảnh báo của nó bằng cách sử dụng máy tính xách tay (3.GettingStartedWithLiveData.ipynb).

Nếu bạn đang sử dụng các ngăn xếp CloudFormation được cung cấp, thì sổ ghi chép thứ ba không bắt buộc. Máy dò và cảnh báo của nó được tạo ra như một phần của ngăn xếp.

5. Sau khi bạn tạo trình dò ​​trực tiếp Lookout for Metrics, bạn cần kích hoạt nó từ bảng điều khiển.

Quá trình này có thể mất tới 2 giờ để khởi tạo mô hình và phát hiện các điểm bất thường.

6. Triển khai một hàm Lambda, sử dụng Python với lớp thư viện Pandas và tạo một cảnh báo được gắn vào bộ dò trực tiếp để khởi chạy nó.
7. Sử dụng kết hợp Athena và AWS Glue để khám phá và chuẩn bị dữ liệu cho QuickSight.
8. Tạo nguồn dữ liệu QuickSight và bộ dữ liệu.
9. Cuối cùng, tạo phân tích QuickSight để trực quan hóa, sử dụng bộ dữ liệu.

Các tập lệnh CloudFormation thường được chạy dưới dạng một tập hợp các ngăn xếp lồng nhau trong môi trường sản xuất. Chúng được cung cấp riêng lẻ trong bài đăng này để hỗ trợ hướng dẫn từng bước.

Điều kiện tiên quyết

Để xem hướng dẫn này, bạn cần có tài khoản AWS nơi giải pháp sẽ được triển khai. Đảm bảo rằng tất cả các tài nguyên bạn triển khai đều nằm trong cùng một Vùng. Bạn cần một trình dò ​​tìm Chỉ số đang chạy được xây dựng từ sổ ghi chép 1 và 3 từ Repo GitHub. Nếu bạn không có trình phát hiện Lookout for Metrics đang chạy, bạn có hai tùy chọn:

• Chạy sổ ghi chép 1 và 3 và tiếp tục từ bước 1 của bài đăng này (tạo hàm Lambda và cảnh báo)
• Chạy sổ ghi chép 1 và sau đó sử dụng mẫu CloudFormation để tạo trình phát hiện Lookout for Metrics

Tạo trình phát hiện trực tiếp bằng AWS CloudFormation

Sản phẩm L4MLiveDetector.yaml Tập lệnh CloudFormation tạo trình phát hiện bất thường Lookout for Metrics với nguồn của nó trỏ đến dữ liệu trực tiếp trong nhóm S3 được chỉ định. Để tạo máy dò, hãy hoàn thành các bước sau:

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp , cung cấp thông tin sau:
   1. Tên ngăn xếp. Ví dụ, L4MLiveDetector.
   2. Nhóm S3, <Account Number>-lookoutmetrics-lab.
   3. ARN Vai trò, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Tần số phát hiện bất thường. Chọn PT1H (hàng giờ).
4. Chọn Sau.
5. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
6. trên Đánh giá trang, để nguyên mọi thứ và chọn Tạo ngăn xếp.

Tạo cảnh báo SMS của máy dò trực tiếp bằng AWS CloudFormation (Tùy chọn)

Bước này là tùy chọn. Cảnh báo được trình bày như một ví dụ, không ảnh hưởng đến việc tạo tập dữ liệu. Các L4MLiveDetectorAlert.yaml Tập lệnh CloudFormation tạo cảnh báo phát hiện bất thường Lookout for Metrics với mục tiêu SMS.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp , cập nhật số điện thoại SMS và nhập tên cho ngăn xếp (ví dụ: L4MLiveDetectorAlert).
4. Chọn Sau.
5. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
6. trên Đánh giá trang, chọn hộp kiểm xác nhận, giữ nguyên mọi thứ khác và chọn Tạo ngăn xếp.

Dọn dẹp tài nguyên

Trước khi tiếp tục bước tiếp theo, hãy dừng phiên bản sổ ghi chép SageMaker của bạn để đảm bảo không phát sinh chi phí không cần thiết. Nó không còn cần thiết nữa.

Tạo hàm Lambda và cảnh báo

Trong phần này, chúng tôi cung cấp hướng dẫn về cách tạo chức năng Lambda và cảnh báo của bạn thông qua bảng điều khiển hoặc AWS CloudFormation.

Tạo chức năng và cảnh báo với bảng điều khiển

Bạn cần một chiếc Lambda Quản lý truy cập và nhận dạng AWS (TÔI LÀ) vai trò sau phương pháp hay nhất về đặc quyền ít nhất để truy cập nhóm nơi bạn muốn lưu kết quả.

1. 1. Trên bảng điều khiển Lambda, hãy tạo một hàm mới.
   2. Chọn Tác giả từ đầu.
   3. Trong Tên chức năng¸ nhập tên.
   4. Trong Runtime, chọn Python 3.8.
   5. Trong Vai trò thực thi, lựa chọn Sử dụng vai trò hiện có và chỉ định vai trò bạn đã tạo.
   6. Chọn Tạo chức năng.
2. 
   7. Tải về tệp ZIP chứa mã cần thiết cho hàm Lambda.
   8. Trên bảng điều khiển Lambda, mở chức năng.
   9. trên Mã tab, chọn Tải lên từ, chọn tệp .zipvà tải lên tệp bạn đã tải xuống.
   10. Chọn Lưu.

Cây tệp của bạn sẽ được giữ nguyên sau khi tải lên tệp ZIP.

11. Trong tạp chí Layers phần, chọn Thêm lớp.
12. Chọn Chỉ định một ARN.
13. Trong những điều sau đây Repo GitHub, chọn CSV tương ứng với Khu vực bạn đang làm việc và sao chép ARN từ phiên bản Pandas mới nhất.
14. Trong Chỉ định một ARN, nhập ARN bạn đã sao chép.
15. Chọn Thêm.

16. Để điều chỉnh hàm phù hợp với môi trường của bạn, ở cuối mã từ tệp lambda_ domains.py, hãy đảm bảo cập nhật tên nhóm với nhóm của bạn nơi bạn muốn lưu các kết quả bất thường và DataSet_ARN từ máy phát hiện bất thường của bạn.
17. Chọn Triển khai để làm cho các thay đổi hoạt động.

Bây giờ bạn cần kết nối trình dò ​​tìm Chỉ số với chức năng của mình.

18. Trên bảng điều khiển Lookout for Metrics, điều hướng đến trình phát hiện của bạn và chọn Thêm cảnh báo.
19. Nhập tên cảnh báo và ngưỡng mức độ nghiêm trọng ưa thích của bạn.
20. Từ danh sách kênh, hãy chọn Lambda.
21. Chọn chức năng bạn đã tạo và đảm bảo rằng bạn có vai trò phù hợp để kích hoạt chức năng đó.
22. Chọn Thêm cảnh báo.

Bây giờ bạn chờ cảnh báo của bạn kích hoạt. Thời gian thay đổi tùy thuộc vào thời điểm máy dò tìm thấy điểm bất thường.

Khi phát hiện sự bất thường, Lookout for Metrics sẽ kích hoạt hàm Lambda. Nó nhận thông tin cần thiết từ Lookout for Metrics và kiểm tra xem đã có tệp CSV được lưu trong Amazon S3 ở dấu thời gian tương ứng của sự bất thường hay chưa. Nếu không có tệp, Lambda sẽ tạo tệp và thêm dữ liệu bất thường. Nếu tệp đã tồn tại, Lambda cập nhật tệp với dữ liệu bổ sung nhận được. Hàm tạo tệp CSV riêng biệt cho từng dấu thời gian khác nhau.

Tạo chức năng và cảnh báo bằng AWS CloudFormation

Tương tự như hướng dẫn trên bảng điều khiển, bạn tải xuống tệp ZIP chứa mã cần thiết cho hàm Lambda. Tuy nhiên, trong trường hợp này, nó cần được tải lên nhóm S3 để mã AWS CloudFormation tải nó trong quá trình tạo hàm.

Trong nhóm S3 được chỉ định trong tạo trình phát hiện Lookout for Metrics, hãy tạo một thư mục có tên lambda-code và tải lên tệp ZIP.

Hàm Lambda tải nó dưới dạng mã của nó trong quá trình tạo.

Sản phẩm L4MLambdaFunction.yaml Tập lệnh CloudFormation tạo chức năng Lambda và tài nguyên cảnh báo và sử dụng kho lưu trữ mã chức năng được lưu trữ trong cùng một nhóm S3.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp trang, chỉ định tên ngăn xếp (ví dụ: L4MLambdaFunction).
4. Trong những điều sau đây Repo GitHub, mở CSV tương ứng với Khu vực bạn đang làm việc và sao chép ARN từ phiên bản Pandas mới nhất.
5. Nhập ARN làm tham số ARN lớp Pandas Lambda.
6. Chọn Sau.
7. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
8. trên Đánh giá trang, chọn hộp kiểm xác nhận, giữ nguyên mọi thứ khác và chọn Tạo ngăn xếp.

Kích hoạt máy dò

Trước khi thực hiện bước tiếp theo, bạn cần kích hoạt bộ dò từ bảng điều khiển.

1. Trên bảng điều khiển Lookout for Metrics, hãy chọn Máy dò trong khung điều hướng.
2. Chọn máy dò mới tạo của bạn.
3. Chọn Kích hoạt, sau đó chọn Kích hoạt một lần nữa để xác nhận.

Kích hoạt khởi tạo máy dò; nó hoàn thành khi mô hình đã hoàn thành chu trình học tập của nó. Quá trình này có thể mất đến 2 giờ.

Chuẩn bị dữ liệu cho QuickSight

Trước khi bạn hoàn thành bước này, hãy cho máy dò thời gian để tìm ra điểm bất thường. Hàm Lambda bạn đã tạo lưu các kết quả bất thường trong nhóm Tìm kiếm Chỉ số trong anomalyResults danh mục. Bây giờ chúng tôi có thể xử lý dữ liệu này để chuẩn bị cho QuickSight.

Tạo trình thu thập AWS Glue trên bảng điều khiển

Sau khi tạo một số tệp CSV bất thường, chúng tôi sử dụng trình thu thập thông tin AWS Glue để tạo bảng siêu dữ liệu.

1. Trên bảng điều khiển AWS Glue, hãy chọn Trình thu thập thông tin trong khung điều hướng.
2. Chọn Thêm trình thu thập thông tin.

3. Nhập tên cho trình thu thập thông tin (ví dụ: L4MCrawler).
4. Chọn Sau.
5. Trong Loại nguồn trình thu thập thông tin, lựa chọn Kho dữ liệu.
6. Trong Thu thập thông tin lặp lại các kho dữ liệu S3, lựa chọn Thu thập thông tin tất cả các thư mục.
7. Chọn Sau.

8. Trên trang cấu hình kho dữ liệu, cho Thu thập dữ liệu trong, lựa chọn Đường dẫn được chỉ định trong tài khoản của tôi.
9. Trong Bao gồm đường dẫn, nhập con đường của bạn dimensionContributions tập tin (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Chọn Sau.
11. Chọn Có để thêm một kho dữ liệu khác và lặp lại các hướng dẫn cho metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Lặp lại các hướng dẫn một lần nữa để dữ liệu trực tiếp được phân tích bởi trình phát hiện bất thường của Lookout for Metrics (đây là vị trí của tập dữ liệu S3 từ trình phát hiện Lookout for Metrics của bạn).

Bây giờ bạn sẽ có ba kho dữ liệu để trình thu thập thông tin xử lý.

Bây giờ bạn cần chọn vai trò để cho phép trình thu thập thông tin đi qua các vị trí S3 của dữ liệu của bạn.

13. Đối với bài đăng này, hãy chọn Tạo vai trò IAM và nhập tên cho vai trò.
14. Chọn Sau.

15. Trong tần số, để lại như Chạy theo yêu cầu Và chọn Sau.
16. Trong tạp chí Định cấu hình đầu ra của trình thu thập thông tin phần, chọn Thêm cơ sở dữ liệu.

Điều này tạo ra cơ sở dữ liệu Athena nơi các bảng siêu dữ liệu của bạn được đặt sau khi trình thu thập thông tin hoàn tất.

17. Nhập tên cho cơ sở dữ liệu của bạn và chọn Tạo.
18. Chọn Sau, sau đó chọn Kết thúc.

19. trên Trình thu thập thông tin trang của bảng điều khiển AWS Glue, chọn trình thu thập thông tin bạn đã tạo và chọn Chạy trình thu thập thông tin.

Bạn có thể cần đợi một vài phút, tùy thuộc vào kích thước của dữ liệu. Khi hoàn tất, trạng thái của trình thu thập thông tin hiển thị là Sẵn sàng. Để xem các bảng siêu dữ liệu, hãy điều hướng đến cơ sở dữ liệu của bạn trên Cơ sở dữ liệu trang và chọn Bàn trong khung điều hướng.

Trong ví dụ này, bảng siêu dữ liệu được gọi là trực tiếp đại diện cho tập dữ liệu S3 từ trình phát hiện trực tiếp Lookout for Metrics. Như một phương pháp hay nhất, bạn nên mã hóa siêu dữ liệu Danh mục dữ liệu AWS Glue của bạn.

Athena tự động nhận dạng các bảng siêu dữ liệu và QuickSight sử dụng Athena để truy vấn dữ liệu và trực quan hóa kết quả.

Tạo trình thu thập thông tin AWS Glue bằng AWS CloudFormation

Sản phẩm L4MGlueCrawler.yaml Tập lệnh CloudFormation tạo trình thu thập AWS Glue, vai trò IAM liên quan của nó và cơ sở dữ liệu Athena đầu ra.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp trang, hãy nhập tên cho ngăn xếp của bạn (ví dụ: L4MGlueCrawler), và lựa chọn Sau.
4. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
5. trên Đánh giá trang, chọn hộp kiểm xác nhận, giữ nguyên mọi thứ khác và chọn Tạo ngăn xếp.

Chạy trình thu thập AWS Glue

Sau khi tạo trình thu thập thông tin, bạn cần chạy trình thu thập thông tin trước khi chuyển sang bước tiếp theo. Bạn có thể chạy nó từ bảng điều khiển hoặc Giao diện dòng lệnh AWS (AWS CLI). Để sử dụng bảng điều khiển, hãy hoàn thành các bước sau:

1. Trên bảng điều khiển AWS Glue, hãy chọn Trình thu thập thông tin trong khung điều hướng.
2. Chọn trình thu thập thông tin của bạn (L4MCrawler).
3. Chọn Chạy trình thu thập thông tin.

Khi trình thu thập thông tin hoàn tất, nó sẽ hiển thị trạng thái Sẵn sàng.

Tạo tài khoản QuickSight

Trước khi bắt đầu bước tiếp theo này, hãy điều hướng đến bảng điều khiển QuickSight và tạo tài khoản nếu bạn chưa có. Để đảm bảo bạn có quyền truy cập vào các dịch vụ tương ứng (Athena và S3 bucket), hãy chọn tên tài khoản của bạn ở trên cùng bên phải, chọn Quản lý QuickSight, và lựa chọn Bảo mật và Quyền, nơi bạn có thể thêm các dịch vụ cần thiết. Khi thiết lập quyền truy cập Amazon S3 của bạn, hãy đảm bảo chọn Viết quyền cho Athena Workgroup.

Bây giờ bạn đã sẵn sàng để trực quan hóa dữ liệu của mình trong QuickSight.

Tạo bộ dữ liệu QuickSight trên bảng điều khiển

Nếu đây là lần đầu tiên bạn sử dụng Athena, bạn phải định cấu hình vị trí đầu ra của các truy vấn. Để biết hướng dẫn, hãy tham khảo Bước 1–6 trong Tạo cơ sở dữ liệu. Sau đó hoàn thành các bước sau:

1. Trên bảng điều khiển QuickSight, chọn Bộ dữ liệu.
2. Chọn Tập dữ liệu mới.
3. Chọn Athena làm nguồn của bạn.
4. Nhập tên cho nguồn dữ liệu của bạn.
5. Chọn Tạo nguồn dữ liệu.

6. Đối với cơ sở dữ liệu của bạn, hãy chỉ định cơ sở dữ liệu bạn đã tạo trước đó bằng trình thu thập AWS Glue.
7. Chỉ định bảng chứa dữ liệu trực tiếp của bạn (không phải bảng bất thường).
8. Chọn Chỉnh sửa / xem trước dữ liệu.

Bạn được chuyển hướng đến một giao diện tương tự như ảnh chụp màn hình sau.

Bước tiếp theo là thêm và kết hợp metricValue_AnomalyScore dữ liệu với dữ liệu trực tiếp.

9. Chọn Thêm dữ liệu.
10. Chọn Thêm nguồn dữ liệu.
11. Chỉ định cơ sở dữ liệu bạn đã tạo và metricValue_AnomalyScore bảng.
12. Chọn Chọn.

Bây giờ bạn cần cấu hình phép nối của hai bảng.

13. Chọn liên kết giữa hai bảng.
14. Để loại tham gia là Còn lại, thêm dấu thời gian và từng thứ nguyên bạn có làm mệnh đề tham gia và chọn Đăng Nhập.

Trong ví dụ sau, chúng tôi sử dụng dấu thời gian, nền tảng và thị trường làm điều khoản tham gia.

Trên ngăn bên phải, bạn có thể xóa các trường mà bạn không muốn giữ lại.

15. Xóa dấu thời gian khỏi metricValue_AnomalyScore bảng để không có một cột trùng lặp.
16. Thay đổi kiểu dữ liệu dấu thời gian (của bảng dữ liệu trực tiếp) từ chuỗi thành ngày và chỉ định chính xác định dạng. Trong trường hợp của chúng tôi, nó phải yyyy-MM-dd HH:mm:ss.

Ảnh chụp màn hình sau đây hiển thị chế độ xem của bạn sau khi bạn xóa một số trường và điều chỉnh loại dữ liệu.

17. Chọn Lưu và hình dung.
18. Chọn biểu tượng bút chì bên cạnh tập dữ liệu.
19. Chọn Thêm tập dữ liệu Và chọn dimensioncontributions.

Tạo tập dữ liệu QuickSight bằng AWS CloudFormation

Bước này chứa ba ngăn xếp CloudFormation.

Tập lệnh CloudFormation đầu tiên, L4MQuickSightDataSource.yaml, tạo nguồn dữ liệu QuickSight Athena.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp , nhập tên người dùng QuickSight của bạn, Vùng tài khoản QuickSight (được chỉ định khi tạo tài khoản QuickSight) và tên ngăn xếp (ví dụ: L4MQuickSightDataSource).
4. Chọn Sau.
5. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
6. trên Đánh giá trang, để nguyên mọi thứ và chọn Tạo ngăn xếp.

Tập lệnh CloudFormation thứ hai, L4MQuickSightDataSet1.yaml, tạo tập dữ liệu QuickSight kết hợp bảng kích thước với bảng bất thường.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo ngăn xếp trang, chọn Sau.
3. trên Chỉ định chi tiết ngăn xếp, nhập tên ngăn xếp (ví dụ: L4MQuickSightDataSet1).
4. Chọn Sau.
5. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
6. trên Đánh giá trang, để nguyên mọi thứ và chọn Tạo ngăn xếp.

Tập lệnh CloudFormation thứ ba, L4MQuickSightDataSet2.yaml, tạo tập dữ liệu QuickSight kết hợp bảng bất thường với bảng dữ liệu trực tiếp.

1. Khởi chạy ngăn xếp từ liên kết sau:

2. trên Tạo trang ngăn xếpchọn Sau.
3. trên Chỉ định chi tiết ngăn xếp trang, nhập tên ngăn xếp (ví dụ: L4MQuickSightDataSet2).
4. Chọn Sau.
5. trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
6. trên Đánh giá trang, để nguyên mọi thứ và chọn Tạo ngăn xếp.

Tạo phân tích QuickSight để tạo bảng điều khiển

Bước này chỉ có thể được hoàn thành trên bảng điều khiển. Sau khi bạn đã tạo tập dữ liệu QuickSight của mình, hãy hoàn thành các bước sau:

1. Trên bảng điều khiển QuickSight, chọn nghiên cứu trong khung điều hướng.
2. Chọn Phân tích mới.
3. Chọn tập dữ liệu đầu tiên, L4MQuickSightDataSetWithLiveData.

4. Chọn Tạo phân tích.

Phân tích QuickSight ban đầu chỉ được tạo với tập dữ liệu đầu tiên.

5. Để thêm tập dữ liệu thứ hai, hãy chọn biểu tượng bút chì bên cạnh Bộ dữ liệu Và chọn Thêm tập dữ liệu.
6. Chọn tập dữ liệu thứ hai và chọn Chọn.

Sau đó, bạn có thể sử dụng một trong hai tập dữ liệu để tạo biểu đồ bằng cách chọn nó trên Bộ dữ liệu trình đơn thả xuống.

Số liệu tập dữ liệu

Bạn đã tạo thành công phân tích QuickSight từ kết quả suy luận của Lookout for Metrics và dữ liệu trực tiếp. Hai bộ dữ liệu có trong QuickSight để bạn sử dụng: L4M_Visualization_dataset_with_liveData và L4M_Visualization_dataset_with_dimensionContribution.

Sản phẩm L4M_Visualization_dataset_with_liveData tập dữ liệu bao gồm các số liệu sau:

• dấu thời gian - Ngày và giờ của dữ liệu trực tiếp được chuyển đến Lookout for Metrics
• Lượt xem - Giá trị của số liệu lượt xem
• doanh thu - Giá trị của chỉ số doanh thu
• nền tảng, thị trường, doanh thuAnomalyMetricValue, lượt xemAnomalyMetricValue, doanh thuGroupScore và lượt xemGroupScore - Các chỉ số này là một phần của cả hai tập dữ liệu

Sản phẩm L4M_Visualization_dataset_with_dimensionContribution tập dữ liệu bao gồm các số liệu sau:

• dấu thời gian - Ngày và giờ phát hiện sự bất thường
• tên chỉ số - Các chỉ số bạn đang theo dõi
• kích thước - Thứ nguyên trong số liệu
• kích thước - Giá trị của thứ nguyên
• giá trịĐóng góp - Tỷ lệ phần trăm về giá trị thứ nguyên ảnh hưởng đến sự bất thường khi được phát hiện

Ảnh chụp màn hình sau đây hiển thị năm số liệu này trên bảng điều khiển bất thường của trình phát hiện Lookout for Metrics.

Các chỉ số sau là một phần của cả hai tập dữ liệu:

• nền tảng - Nền tảng nơi điều bất thường đã xảy ra
• thị trường - Khu chợ nơi xảy ra điều bất thường
• doanh thuAnomalyMetricValue và lượt xemAnomalyMetricValue - Các giá trị tương ứng của chỉ số khi sự bất thường được phát hiện (trong trường hợp này, chỉ số là doanh thu hoặc lượt xem)
• Doanh thuGroupScore và lượt xemGroupScore - Điểm số mức độ nghiêm trọng cho từng số liệu đối với sự bất thường được phát hiện

Để hiểu rõ hơn về các chỉ số cuối cùng này, bạn có thể xem lại các tệp CSV được tạo bởi hàm Lambda trong nhóm S3 nơi bạn đã lưu anomalyResults/metricValue_AnomalyScore.

Các bước tiếp theo

Bước tiếp theo là xây dựng trang tổng quan cho dữ liệu bạn muốn xem. Bài đăng này không bao gồm giải thích về cách tạo biểu đồ QuickSight. Nếu bạn chưa quen với QuickSight, hãy tham khảo Bắt đầu với phân tích dữ liệu trong Amazon QuickSight để được giới thiệu. Ảnh chụp màn hình sau đây cho thấy các ví dụ về trang tổng quan cơ bản. Để biết thêm thông tin, hãy xem Hội thảo QuickSight.

Kết luận

Các điểm bất thường được trình bày riêng lẻ trên bảng điều khiển Lookout for Metrics, mỗi điểm đều có biểu đồ riêng, gây khó khăn cho việc xem toàn bộ tập hợp. Một giải pháp tự động, tích hợp là cần thiết để phân tích sâu hơn. Trong bài đăng này, chúng tôi đã sử dụng trình phát hiện Lookout for Metrics để tạo ra các điểm bất thường và kết nối dữ liệu với QuickSight để tạo hình ảnh trực quan. Giải pháp này cho phép chúng tôi tiến hành phân tích sâu hơn về các điểm bất thường và đưa tất cả chúng vào một nơi / bảng điều khiển duy nhất.

Bước tiếp theo, giải pháp này cũng có thể được mở rộng bằng cách thêm một tập dữ liệu bổ sung và kết hợp các điểm bất thường từ nhiều máy dò. Bạn cũng có thể điều chỉnh hàm Lambda. Hàm Lambda chứa mã tạo tập dữ liệu và tên biến mà chúng tôi sử dụng cho trang tổng quan QuickSight. Bạn có thể điều chỉnh mã này cho phù hợp với trường hợp sử dụng cụ thể của mình bằng cách thay đổi chính bộ dữ liệu hoặc tên biến có ý nghĩa hơn đối với bạn.

Nếu bạn có bất kỳ phản hồi hoặc câu hỏi nào, vui lòng để lại trong phần bình luận.

---

Về các tác giả

Benoit de Patoul là Kiến trúc sư Giải pháp Chuyên gia về AI / ML tại AWS. Anh ấy giúp đỡ khách hàng bằng cách cung cấp hướng dẫn và hỗ trợ kỹ thuật để xây dựng các giải pháp liên quan đến AI / ML khi sử dụng AWS.

Phao-lô Troiano là Kiến trúc sư Giải pháp Cao cấp tại AWS, có trụ sở tại Atlanta, GA. Anh ấy giúp đỡ khách hàng bằng cách cung cấp hướng dẫn về các chiến lược và giải pháp công nghệ trên AWS. Anh ấy đam mê tất cả những thứ AI / ML và giải pháp tự động hóa.