Amazon Lookout cho số liệu là một dịch vụ AWS sử dụng máy học (ML) để tự động theo dõi các chỉ số quan trọng nhất đối với doanh nghiệp với tốc độ và độ chính xác cao hơn. Dịch vụ này cũng giúp dễ dàng chẩn đoán nguyên nhân gốc rễ của sự bất thường, chẳng hạn như doanh thu giảm đột ngột, tỷ lệ giỏ hàng bị bỏ rơi cao, thất bại trong giao dịch thanh toán tăng đột biến, số lượt đăng ký người dùng mới tăng lên, v.v. Lookout for Metrics vượt ra ngoài khả năng phát hiện bất thường đơn giản. Nó cho phép các nhà phát triển thiết lập giám sát tự động đối với các chỉ số quan trọng để phát hiện sự bất thường và xác định nguyên nhân gốc rễ của chúng chỉ bằng một vài cú nhấp chuột để phát hiện sự bất thường trong các chỉ số của nó — tất cả đều không yêu cầu kinh nghiệm ML.
amazon Athena là một dịch vụ truy vấn tương tác giúp dễ dàng phân tích dữ liệu trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) sử dụng SQL tiêu chuẩn. Chỉ cần trỏ đến dữ liệu của bạn trong Amazon S3, xác định lược đồ và bắt đầu truy vấn bằng cách sử dụng SQL tiêu chuẩn. Hầu hết các kết quả được cung cấp trong vòng vài giây. Với Athena, không cần các công việc ETL phức tạp để chuẩn bị dữ liệu của bạn để phân tích. Điều này giúp bất kỳ ai có kỹ năng SQL dễ dàng phân tích nhanh các tập dữ liệu quy mô lớn.
Với sự ra mắt hôm nay, Lookout for Metrics hiện có thể kết nối liền mạch với dữ liệu của bạn trong Athena để thiết lập các thiết bị phát hiện bất thường có độ chính xác cao. Điều này cho phép bạn nhanh chóng triển khai tính năng phát hiện bất thường hiện đại qua ML với Lookout for Metrics dựa trên bất kỳ bộ dữ liệu nào có sẵn trong Athena.
Kết nối Athena mở rộng khả năng của Lookout for Metrics bằng cách mang lại những lợi ích sau:
- Nó mở rộng khả năng của Lookout for Metrics về hỗ trợ loại tệp. Trước đó, Lookout for Metrics đã hỗ trợ các tệp định dạng CSV và JSONLines, nhưng với Athena, tệp này đã được mở rộng sang Parquet, Avro, Plaintext, v.v. Nếu bạn có thể phân tích cú pháp thông qua Athena, thì bây giờ bạn có thể nhập và tận dụng với Lookout for Metrics.
- Nó cũng giới thiệu hỗ trợ cho dữ liệu với truy vấn liên hợp. Trước lần khởi chạy này, nếu dữ liệu của bạn được lưu trữ trong nhiều cơ sở dữ liệu hoặc nhiều nguồn, bạn sẽ cần xác định một quy trình ETL phức tạp hoàn chỉnh cũng như quản lý các đặc điểm hiệu suất của nó trước khi bạn có thể xuất tất cả dữ liệu thành tệp CSV hoặc JSONLines và nhập nó vào Lookout for Metrics để phát hiện bất thường. Với các truy vấn được liên kết từ Athena, bạn xác định các nguồn khác nhau cũng như cách kết hợp sẽ được thực hiện và khi dữ liệu đã được xử lý và có thể được Athena truy vấn, nó ngay lập tức sẵn sàng cho Lookout for Metrics. Điều này cho phép bạn giao gánh nặng chuyển đổi, tổng hợp và vị trí phân phối dữ liệu cho Athena và chỉ tập trung vào các điểm bất thường đã xác định từ Lookout for Metrics.
Tổng quan về giải pháp
Trong bài đăng này, chúng tôi trình bày cách tích hợp bảng Athena và phát hiện các điểm bất thường trong chỉ số doanh thu. Chúng tôi cũng theo dõi mức độ ảnh hưởng của các chỉ số về tỷ lệ đặt hàng và khoảng không quảng cáo. Dữ liệu nguồn nằm trong Amazon S3 và chúng tôi đã định cấu hình các bảng Athena để có thể truy vấn dữ liệu trong đó. Một AWS Lambda chịu trách nhiệm cập nhật các phân vùng trong Athena, được sử dụng bởi Lookout for Metrics để phát hiện các điểm bất thường. Giải pháp này cho phép bạn sử dụng nguồn dữ liệu Athena cho Lookout for Metrics.
Bạn có thể sử dụng Hình thành đám mây AWS ngăn xếp để thiết lập tài nguyên cho hướng dẫn. Nó chứa các tài nguyên để liên tục tạo dữ liệu trực tiếp và làm cho chúng có thể truy vấn trong Athena.
- Khởi chạy ngăn xếp từ liên kết sau và chọn tiếp theo trên trang Tạo ngăn xếp.
- trên Chỉ định chi tiết ngăn xếp trang, thêm các giá trị từ phía trên, đặt tên Ngăn xếp (ví dụ:
L4MAthenaDetector
), và chọn Sau. - trên Cấu hình tùy chọn ngăn xếp trang, để nguyên mọi thứ và chọn Sau.
Thiết lập một bộ dò mới với Athena làm nguồn dữ liệu
Bước 1
Đăng nhập vào Bảng điều khiển AWS để bắt đầu với việc tạo Máy phát hiện bất thường với Lookout for Metrics. Bước đầu tiên là chọn nút “Tạo máy dò”.
Bước 2
Điền vào các trường dò bắt buộc như tên. Chọn khoảng thời gian phát hiện cho bộ phát hiện, được xác định bởi tần suất mà bạn muốn Lookout for Metrics truy vấn dữ liệu của bạn và theo dõi chúng để tìm các điểm bất thường. Thông tin mã hóa là không bắt buộc. Thông tin mã hóa cho phép Lookout for Metrics mã hóa dữ liệu của bạn bằng cách sử dụng Dịch vụ quản lý khóa AWS (KMS) Chìa khóa. Trong ví dụ này, chúng tôi sẽ bỏ qua việc thêm khóa mã hóa, Lookout for Metrics sẽ sử dụng mã hóa mặc định để mã hóa dữ liệu của bạn nếu không có thông tin mã hóa nào được cung cấp và tiếp tục bằng cách chọn nút “Tạo”.
Bước 3
Sau khi tạo ra thiết bị phát hiện bất thường, bạn sẽ thấy xác nhận trong một biểu ngữ ở trên cùng. Bạn có thể tiếp tục bằng cách chọn “Thêm tập dữ liệu” thông qua biểu ngữ hoặc nút bên dưới “Thêm tập dữ liệu”.
Điền thông tin cơ bản cho nguồn dữ liệu. Múi giờ là một trường tùy chọn. Chọn menu thả xuống để chọn nguồn dữ liệu.
Lookout for Metrics hỗ trợ nhiều nguồn dữ liệu để tạo sự thuận tiện cho khách hàng. Đối với ví dụ này, chúng tôi sẽ chọn Athena.
Khi Athena được chọn làm nguồn dữ liệu, bạn sẽ có tùy chọn chọn chế độ Kiểm tra lại hoặc Liên tục cho máy dò. Đối với ví dụ này, chúng tôi sẽ tiếp tục bằng cách sử dụng chế độ Liên tục. Tiếp tục bằng cách thêm chi tiết cho bảng Athena mà bạn muốn theo dõi các điểm bất thường.
Bạn có thể cho phép dịch vụ tạo vai trò Dịch vụ hoặc bạn có thể sử dụng Quản lý truy cập và nhận dạng AWS (IAM) vai trò trong tài khoản của bạn đối với các truy vấn được liên kết. Lưu ý rằng Lookout for Metrics không hỗ trợ tạo vai trò IAM tự động cho các truy vấn được liên kết. Do đó, bạn sẽ phải tạo một vai trò IAM mới để cho phép Athena thực hiện các hành động sau trên dữ liệu của bạn,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Vai trò IAM do dịch vụ tạo ra trông giống như sau:
Bước 4
Bây giờ chúng tôi sẽ xác định các số liệu có liên quan cho máy dò. Lookout for Metrics sẽ điền vào menu thả xuống với các cột có trong bảng Athena được cung cấp. Bạn có thể chọn tối đa năm chỉ số và năm thứ nguyên. Lookout for Metrics yêu cầu dữ liệu trong bảng của bạn phải được phân vùng dưới dạng dấu thời gian cho cột dấu thời gian. Bạn cũng sẽ có một tùy chọn để ước tính chi phí cho máy dò này bằng cách thêm số lượng giá trị trên các thứ nguyên của bạn.
Khi bạn đã chọn tất cả các chỉ số, hãy tiếp tục bằng cách chọn nút “Tiếp theo”. Xem lại chi tiết và chọn nút “Lưu tập dữ liệu” để lưu tập dữ liệu.
Bước 5
Sau khi tập dữ liệu được tạo, chúng tôi sẽ kích hoạt bộ phát hiện bằng cách chọn nút “Kích hoạt” ở trên cùng hoặc nút “Kích hoạt bộ phát hiện” trong phần “Cách hoạt động”.
Bạn sẽ được nhắc xác nhận xem bạn có muốn kích hoạt máy dò để phát hiện liên tục hay không. Chọn “Kích hoạt” để xác nhận.
Bạn sẽ thấy xác nhận thông báo rằng máy dò đang kích hoạt.
Bước 6
Sau khi Máy phát hiện bất thường đang hoạt động, bạn có thể sử dụng tab “Nhật ký máy phát hiện” trên trang chi tiết Máy phát hiện để xem lại các lần phát hiện đã được dịch vụ thực hiện.
Bước 7
Bạn có thể chọn nút “Xem các điểm bất thường” từ trang chi tiết của máy phát hiện để kiểm tra các điểm bất thường có thể đã được dịch vụ phát hiện theo cách thủ công.
Bước 8
Trên trang đánh giá Dị thường, bạn có thể điều chỉnh ngưỡng điểm mức độ nghiêm trọng trên quay số ngưỡng để lọc các điểm bất thường trên điểm đã chọn.
Xem xét và phân tích kết quả
Khi phát hiện sự bất thường, Lookout for Metrics giúp bạn tập trung vào điều quan trọng nhất bằng cách ấn định điểm mức độ nghiêm trọng để hỗ trợ ưu tiên. Để giúp bạn tìm ra nguyên nhân gốc rễ, nó nhóm một cách thông minh các điểm bất thường có thể liên quan đến cùng một sự cố, sau đó tóm tắt các nguồn tác động khác nhau.
Lookout for Metrics cũng cho phép bạn cung cấp phản hồi trong thời gian thực về mức độ liên quan của các điểm bất thường được phát hiện, do đó kích hoạt cơ chế nhân lực mạnh mẽ. Thông tin này được đưa trở lại mô hình phát hiện bất thường để cải thiện độ chính xác của nó trong thời gian gần thực.
Làm sạch
Để tránh phải trả thêm phí cho tài nguyên được thiết lập cho bản demo, bạn có thể xóa trình dò đã tạo trong Lookout for Metrics và ngăn xếp được tạo qua CloudFormation.
Kết luận
Bạn có thể kết nối liền mạch với dữ liệu của mình trong Athena với Lookout for Metrics để thiết lập trình phát hiện bất thường có độ chính xác cao trên các chỉ số và thứ nguyên trong bảng Athena của bạn. Để bắt đầu với khả năng này, hãy xem Sử dụng Amazon Athena với Lookout for Metrics. Bạn có thể sử dụng khả năng này ở tất cả các Khu vực nơi Lookout for Metrics được công bố công khai. Để biết thêm thông tin về tính khả dụng của Khu vực, hãy xem Dịch vụ khu vực của AWS.
Về các tác giả
Devesh Ratho là Kỹ sư phát triển phần mềm trong nhóm Lookout for Metrics. Sở thích của anh ấy nằm trong việc xây dựng các hệ thống phân tán có thể mở rộng. Trong thời gian rảnh rỗi, anh ấy thích đua sim.
Vua Chris là Kiến trúc sư giải pháp cao cấp về AI ứng dụng với AWS. Anh ấy có mối quan tâm đặc biệt đến việc tung ra các dịch vụ AI và giúp phát triển và xây dựng Amazon Personalize và Amazon Forecast trước khi tập trung vào Amazon Lookout for Metrics. Trong thời gian rảnh rỗi, anh ấy thích nấu ăn, đọc sách, đấm bốc và xây dựng các mô hình để dự đoán kết quả của các môn thể thao đối kháng.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/seamently-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Giới thiệu
- truy cập
- Tài khoản
- chính xác
- ngang qua
- Hoạt động
- hành động
- hoạt động
- thêm vào
- AI
- Dịch vụ AI
- Tất cả
- đàn bà gan dạ
- phân tích
- bất kỳ ai
- Tự động
- tự trị
- sẵn có
- có sẵn
- AWS
- cờ
- trước
- Lợi ích
- Ngoài
- biên giới
- quyền anh
- xây dựng
- Xây dựng
- các doanh nghiệp
- khả năng
- Nguyên nhân
- tải
- Cột
- chống lại
- phức tạp
- điều kiện
- Kết nối
- Kết nối
- chứa
- thuận tiện
- có thể
- tạo
- tạo ra
- Tạo
- tạo
- khách hàng
- dữ liệu
- cơ sở dữ liệu
- giao
- giao hàng
- chứng minh
- triển khai
- chi tiết
- phát hiện
- Phát hiện
- phát triển
- Phát triển
- khác nhau
- phân phối
- Không
- hiệu lực
- cho phép
- mã hóa
- ky sư
- ước tính
- tất cả mọi thứ
- ví dụ
- hiện tại
- mở rộng
- kinh nghiệm
- Fed
- thông tin phản hồi
- Lĩnh vực
- Tên
- Tập trung
- tập trung
- tiếp theo
- tạo ra
- lớn hơn
- Các nhóm
- Phát triển
- giúp đỡ
- giúp
- Cao
- cao
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- xác định
- Bản sắc
- Va chạm
- quan trọng
- nâng cao
- thông tin
- đầu vào
- tích hợp
- tương tác
- quan tâm
- lợi ích
- hàng tồn kho
- IT
- việc làm
- tham gia
- Key
- Vua
- phóng
- ra mắt
- học tập
- Rời bỏ
- Tỉ lệ đòn bẩy
- LINK
- địa điểm thư viện nào
- máy
- học máy
- LÀM CHO
- quản lý
- quản lý
- bắt buộc
- thủ công
- chất
- Vấn đề
- Metrics
- ML
- kiểu mẫu
- mô hình
- Màn Hình
- giám sát
- chi tiết
- hầu hết
- nhiều
- con số
- Tùy chọn
- gọi món
- thanh toán
- hiệu suất
- cá nhân
- Điểm
- có thể
- mạnh mẽ
- dự đoán
- Chuẩn bị
- trình bày
- quá trình
- cho
- Mau
- cuộc đua
- Giá
- Reading
- thời gian thực
- khu vực
- có liên quan
- cần phải
- đòi hỏi
- tài nguyên
- Thông tin
- chịu trách nhiệm
- Kết quả
- doanh thu
- xem xét
- khả năng mở rộng
- liền mạch
- giây
- chọn
- dịch vụ
- DỊCH VỤ
- định
- Mua sắm
- SIM
- Đơn giản
- kỹ năng
- Phần mềm
- phát triển phần mềm
- rắn
- giải pháp
- Giải pháp
- đặc biệt
- tốc độ
- Thể thao
- ngăn xếp
- Tiêu chuẩn
- Bắt đầu
- bắt đầu
- nhà nước-of-the-art
- Tuyên bố
- là gắn
- hỗ trợ
- Hỗ trợ
- Hỗ trợ
- hệ thống
- nhóm
- Nguồn
- vì thế
- ngưỡng
- Thông qua
- thời gian
- hôm nay
- hàng đầu
- theo dõi
- giao dịch
- Chuyển đổi
- Dưới
- cập nhật
- sử dụng
- phiên bản
- Điều gì
- ở trong
- sẽ