Visualisasikan hasil anomali Amazon Lookout for Metrics Anda dengan Amazon QuickSight

Salah satu tantangan yang dihadapi oleh tim menggunakan Amazon Lookout untuk Metrik dengan cepat dan efisien menghubungkannya ke visualisasi data. Anomali disajikan satu per satu di konsol Lookout for Metrics, masing-masing dengan grafiknya sendiri, sehingga sulit untuk melihat kumpulan secara keseluruhan. Solusi terintegrasi dan otomatis diperlukan untuk analisis yang lebih dalam.

Dalam posting ini, kami menggunakan detektor langsung Lookout for Metrics yang dibuat mengikuti Mulai bagian dari Sampel AWS, Amazon Lookout for Metrics repo GitHub. Setelah detektor aktif dan anomali dihasilkan dari kumpulan data, kami menghubungkan Lookout for Metrics ke Amazon QuickSight. Kami membuat dua set data: satu dengan menggabungkan tabel dimensi dengan tabel anomali, dan lainnya dengan menggabungkan tabel anomali dengan data langsung. Kami kemudian dapat menambahkan dua kumpulan data ini ke analisis QuickSight, di mana kami dapat menambahkan grafik dalam satu dasbor.

Kami dapat menyediakan dua jenis data ke detektor Lookout for Metrics: berkelanjutan dan historis. Itu AWS Contoh Repo GitHub menawarkan keduanya, meskipun kami fokus pada data langsung yang berkelanjutan. Detektor memantau data langsung ini untuk mengidentifikasi anomali dan menulis anomali ke Layanan Penyimpanan Sederhana Amazon (Amazon S3) saat dibuat. Pada akhir interval tertentu, detektor menganalisis data. Seiring waktu, detektor belajar untuk lebih akurat mengidentifikasi anomali berdasarkan pola yang ditemukannya.

Lookout for Metrics menggunakan machine learning (ML) untuk secara otomatis mendeteksi dan mendiagnosis anomali dalam data bisnis dan operasional, seperti penurunan mendadak dalam pendapatan penjualan atau tingkat akuisisi pelanggan. Layanan ini sekarang tersedia secara umum mulai 25 Maret 2021. Layanan ini secara otomatis memeriksa dan menyiapkan data dari berbagai sumber untuk mendeteksi anomali dengan kecepatan dan akurasi yang lebih tinggi daripada metode tradisional yang digunakan untuk deteksi anomali. Anda juga dapat memberikan umpan balik tentang anomali yang terdeteksi untuk menyempurnakan hasil dan meningkatkan akurasi dari waktu ke waktu. Lookout for Metrics memudahkan untuk mendiagnosis anomali yang terdeteksi dengan mengelompokkan anomali yang terkait dengan peristiwa yang sama dan mengirimkan peringatan yang menyertakan ringkasan potensi akar masalah. Ini juga memberi peringkat anomali dalam urutan tingkat keparahan sehingga Anda dapat memprioritaskan perhatian Anda pada hal yang paling penting bagi bisnis Anda.

QuickSight adalah layanan intelijen bisnis (BI) cloud-native yang terkelola sepenuhnya, yang memudahkan koneksi ke data Anda untuk membuat dan menerbitkan dasbor interaktif. Selain itu, Anda dapat menggunakan Amazon QuickSight untuk mendapatkan jawaban instan melalui pertanyaan bahasa alami.

Anda dapat mengakses dasbor QuickSight tanpa server dan sangat skalabel dari perangkat apa pun, dan menyematkannya dengan mulus ke dalam aplikasi, portal, dan situs web Anda. Tangkapan layar berikut adalah contoh dari apa yang dapat Anda capai pada akhir posting ini.

Ikhtisar solusi

Solusinya adalah kombinasi layanan AWS, terutama Lookout for Metrics, QuickSight, AWS Lambda, Amazon Athena, Lem AWS, dan Amazon S3.

Diagram berikut menggambarkan arsitektur solusi. Lookout for Metrics mendeteksi dan mengirimkan anomali ke Lambda melalui peringatan. Fungsi Lambda menghasilkan hasil anomali sebagai file CSV dan menyimpannya di Amazon S3. Crawler AWS Glue menganalisis metadata, dan membuat tabel di Athena. QuickSight menggunakan Athena untuk mengkueri data Amazon S3, memungkinkan dasbor dibuat untuk memvisualisasikan hasil anomali dan data langsung.

Solusi ini memperluas sumber daya yang dibuat di Mulai bagian dari repo GitHub. Untuk setiap langkah, kami menyertakan opsi untuk membuat sumber daya baik menggunakan Konsol Manajemen AWS atau meluncurkan yang disediakan Formasi AWS Cloud tumpukan. Jika Anda memiliki detektor Lookout for Metrics yang disesuaikan, Anda dapat menggunakannya dan mengadaptasinya sebagai berikut buku catatan untuk mencapai hasil yang sama.

Langkah-langkah pelaksanaannya adalah sebagai berikut:

1. Buat Amazon SageMaker contoh buku catatan (ALFMTestNotebook) dan buku catatan menggunakan tumpukan yang disediakan di Pengaturan awal bagian dari GitHub repo.
2. Buka instance notebook di konsol SageMaker dan navigasikan ke amazon-lookout-for-metrics-samples/getting_started folder.
3. Buat ember S3 dan selesaikan persiapan data menggunakan yang pertama buku catatan (1.PrereqSetupData.ipynb). Buka buku catatan dengan conda_python3 kernel, jika diminta.

Kami melewatkan yang kedua buku catatan karena fokus pada backtesting data.

4. Jika Anda mengikuti contoh menggunakan konsol, buat detektor langsung Lookout for Metrics dan peringatannya menggunakan yang ketiga buku catatan (3.GettingStartedWithLiveData.ipynb).

Jika Anda menggunakan tumpukan CloudFormation yang disediakan, buku catatan ketiga tidak diperlukan. Detektor dan peringatannya dibuat sebagai bagian dari tumpukan.

5. Setelah membuat detektor langsung Lookout for Metrics, Anda harus mengaktifkannya dari konsol.

Ini bisa memakan waktu hingga 2 jam untuk menginisialisasi model dan mendeteksi anomali.

6. Terapkan fungsi Lambda, menggunakan Python dengan lapisan pustaka Pandas, dan buat peringatan yang dilampirkan ke detektor langsung untuk meluncurkannya.
7. Gunakan kombinasi Athena dan AWS Glue untuk menemukan dan menyiapkan data untuk QuickSight.
8. Buat sumber data dan set data QuickSight.
9. Terakhir, buat analisis QuickSight untuk visualisasi, menggunakan kumpulan data.

Skrip CloudFormation biasanya dijalankan sebagai kumpulan tumpukan bersarang di lingkungan produksi. Mereka disediakan satu per satu di pos ini untuk memfasilitasi panduan langkah demi langkah.

Prasyarat

Untuk melalui panduan ini, Anda memerlukan akun AWS tempat solusi akan diterapkan. Pastikan semua sumber daya yang Anda terapkan berada di Wilayah yang sama. Anda memerlukan detektor Lookout for Metrics yang sedang berjalan yang dibuat dari notebook 1 dan 3 dari GitHub repo. Jika Anda tidak menjalankan detektor Lookout for Metrics, Anda memiliki dua opsi:

• Jalankan notebook 1 dan 3, dan lanjutkan dari langkah 1 posting ini (membuat fungsi dan peringatan Lambda)
• Jalankan notebook 1 lalu gunakan template CloudFormation untuk menghasilkan detektor Lookout for Metrics

Buat detektor langsung menggunakan AWS CloudFormation

Grafik L4MLiveDetector.yaml Skrip CloudFormation membuat pendeteksi anomali Lookout for Metrics dengan sumbernya mengarah ke data langsung di bucket S3 yang ditentukan. Untuk membuat detektor, selesaikan langkah-langkah berikut:

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, berikan informasi berikut:
   1. Sebuah nama tumpukan. Sebagai contoh, L4MLiveDetector.
   2. ember S3, <Account Number>-lookoutmetrics-lab.
   3. Peran ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Frekuensi deteksi anomali. Memilih PT1H (per jam).
4. Pilih Selanjutnya.
5. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
6. pada ULASAN halaman, biarkan semuanya apa adanya dan pilih Buat tumpukan.

Buat peringatan SMS pendeteksi langsung menggunakan AWS CloudFormation (Opsional)

Langkah ini opsional. Lansiran disajikan sebagai contoh, tanpa berdampak pada pembuatan set data. Itu L4MLiveDetectorAlert.yaml Skrip CloudFormation membuat peringatan pendeteksi anomali Lookout for Metrics dengan target SMS.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, perbarui nomor telepon SMS dan masukkan nama untuk tumpukan (misalnya, L4MLiveDetectorAlert).
4. Pilih Selanjutnya.
5. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
6. pada ULASAN halaman, pilih kotak centang pengakuan, biarkan yang lainnya apa adanya, dan pilih Buat tumpukan.

Pembersihan sumber daya

Sebelum melanjutkan ke langkah berikutnya, hentikan instans notebook SageMaker Anda untuk memastikan tidak ada biaya yang tidak perlu dikeluarkan. Hal ini tidak lagi diperlukan.

Buat fungsi dan peringatan Lambda

Di bagian ini, kami memberikan instruksi tentang cara membuat fungsi dan peringatan Lambda Anda melalui konsol atau AWS CloudFormation.

Buat fungsi dan peringatan dengan konsol

Anda membutuhkan Lambda Identitas AWS dan Manajemen Akses (IAM) peran mengikuti praktik terbaik dengan hak istimewa terkecil untuk mengakses keranjang tempat Anda ingin menyimpan hasil.

1. 1. Di konsol Lambda, buat fungsi baru.
   2. Pilih Penulis dari awal.
   3. Untuk Nama fungsi¸ masukkan nama.
   4. Untuk Runtime, pilih Python 3.8.
   5. Untuk Peran eksekusi, pilih Gunakan peran yang ada dan tentukan peran yang Anda buat.
   6. Pilih Buat fungsi.
2. 
   7. Unduh file ZIP yang berisi kode yang diperlukan untuk fungsi Lambda.
   8. Di konsol Lambda, buka fungsinya.
   9. pada Kode tab, pilih Unggah dari, pilih file .zip, dan unggah file yang Anda unduh.
   10. Pilih Save.

Pohon file Anda harus tetap sama setelah mengunggah file ZIP.

11. Dalam majalah Lapisan bagian, pilih Tambahkan lapisan.
12. Pilih Tentukan ARN.
13. Dalam berikut GitHub repo, pilih CSV yang sesuai dengan Wilayah tempat Anda bekerja dan salin ARN dari versi Pandas terbaru.
14. Untuk Tentukan ARN, masukkan ARN yang Anda salin.
15. Pilih Add.

16. Untuk menyesuaikan fungsi dengan lingkungan Anda, di bagian bawah kode dari file lambda_function.py, pastikan untuk memperbarui nama bucket dengan bucket tempat Anda ingin menyimpan hasil anomali, dan DataSet_ARN dari detektor anomali Anda.
17. Pilih Menyebarkan untuk membuat perubahan aktif.

Anda sekarang perlu menghubungkan detektor Lookout for Metrics ke fungsi Anda.

18. Di konsol Lookout for Metrics, navigasikan ke detektor Anda dan pilih Tambahkan peringatan.
19. Masukkan nama peringatan dan ambang batas keparahan yang Anda inginkan.
20. Dari daftar saluran, pilih Lambda.
21. Pilih fungsi yang Anda buat dan pastikan Anda memiliki peran yang tepat untuk memicunya.
22. Pilih Tambahkan peringatan.

Sekarang Anda menunggu peringatan Anda terpicu. Waktu bervariasi tergantung pada saat detektor menemukan anomali.

Saat anomali terdeteksi, Lookout for Metrics memicu fungsi Lambda. Ini menerima informasi yang diperlukan dari Lookout for Metrics dan memeriksa apakah sudah ada file CSV yang disimpan di Amazon S3 pada stempel waktu anomali yang sesuai. Jika tidak ada file, Lambda membuat file dan menambahkan data anomali. Jika file sudah ada, Lambda memperbarui file dengan data tambahan yang diterima. Fungsi ini menghasilkan file CSV terpisah untuk setiap stempel waktu yang berbeda.

Buat fungsi dan peringatan menggunakan AWS CloudFormation

Mirip dengan instruksi konsol, Anda unduh file ZIP berisi kode yang diperlukan untuk fungsi Lambda. Namun, dalam hal ini perlu diunggah ke bucket S3 agar kode AWS CloudFormation dapat memuatnya selama pembuatan fungsi.

Di bucket S3 yang ditentukan dalam pembuatan detektor Lookout for Metrics, buat folder bernama kode lambda, dan unggah file ZIP.

Fungsi Lambda memuat ini sebagai kodenya selama pembuatan.

Grafik L4MLLambdaFunction.yaml Skrip CloudFormation membuat fungsi Lambda dan sumber daya peringatan serta menggunakan arsip kode fungsi yang disimpan dalam bucket S3 yang sama.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, tentukan nama tumpukan (misalnya, L4MLambdaFunction).
4. Dalam berikut GitHub repo, buka CSV yang sesuai dengan Wilayah tempat Anda bekerja dan salin ARN dari versi Pandas terbaru.
5. Masukkan ARN sebagai parameter ARN lapisan Pandas Lambda.
6. Pilih Selanjutnya.
7. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
8. pada ULASAN halaman, pilih kotak centang pengakuan, biarkan yang lainnya apa adanya, dan pilih Buat tumpukan.

Aktifkan detektor

Sebelum melanjutkan ke langkah berikutnya, Anda perlu mengaktifkan detektor dari konsol.

1. Di konsol Lookout for Metrics, pilih Detektor di panel navigasi.
2. Pilih detektor yang baru Anda buat.
3. Pilih Mengaktifkan, Lalu pilih Mengaktifkan lagi untuk konfirmasi.

Aktivasi menginisialisasi detektor; itu selesai ketika model telah menyelesaikan siklus belajarnya. Ini bisa memakan waktu hingga 2 jam.

Siapkan data untuk QuickSight

Sebelum Anda menyelesaikan langkah ini, beri waktu detektor untuk menemukan anomali. Fungsi Lambda yang Anda buat menyimpan hasil anomali di keranjang Lookout for Metrics di anomalyResults direktori. Kami sekarang dapat memproses data ini untuk mempersiapkannya untuk QuickSight.

Buat perayap Lem AWS di konsol

Setelah beberapa file CSV anomali dibuat, kami menggunakan perayap AWS Glue untuk membuat tabel metadata.

1. Di konsol AWS Glue, pilih Perayap di panel navigasi.
2. Pilih Tambahkan crawler.

3. Masukkan nama untuk perayap (misalnya, L4MCrawler).
4. Pilih Selanjutnya.
5. Untuk Jenis sumber crawler, pilih Penyimpanan data.
6. Untuk Perayapan ulang penyimpanan data S3, pilih Perayapan semua folder.
7. Pilih Selanjutnya.

8. Pada halaman konfigurasi penyimpanan data, untuk Merangkak data dalam, pilih Jalur yang ditentukan di akun saya.
9. Untuk Sertakan jalur, masukkan jalur Anda dimensionContributions berkas (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Pilih Selanjutnya.
11. Pilih Yes untuk menambahkan penyimpanan data lain dan ulangi instruksi untuk metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Ulangi instruksi lagi agar data langsung dianalisis oleh detektor anomali Lookout for Metrics (ini adalah lokasi set data S3 dari detektor Lookout for Metrics Anda).

Anda sekarang harus memiliki tiga penyimpanan data untuk diproses oleh perayap.

Sekarang Anda perlu memilih peran untuk memungkinkan perayap menelusuri lokasi S3 data Anda.

13. Untuk posting ini, pilih Buat peran IAM dan masukkan nama untuk peran tersebut.
14. Pilih Selanjutnya.

15. Untuk Frekuensi, tinggalkan sebagai Jalankan sesuai permintaan Dan pilihlah Selanjutnya.
16. Dalam majalah Konfigurasikan output perayap bagian, pilih Tambahkan database.

Ini membuat database Athena tempat tabel metadata Anda berada setelah perayap selesai.

17. Masukkan nama untuk database Anda dan pilih membuat.
18. Pilih Selanjutnya, Lalu pilih Finish.

19. pada Perayap halaman konsol AWS Glue, pilih perayap yang Anda buat dan pilih Jalankan crawler.

Anda mungkin perlu menunggu beberapa menit, tergantung pada ukuran data. Setelah selesai, status perayap ditampilkan sebagai Siap. Untuk melihat tabel metadata, navigasikan ke database Anda di Database halaman dan pilih Meja di panel navigasi.

Dalam contoh ini, tabel metadata yang disebut live mewakili set data S3 dari detektor langsung Lookout for Metrics. Sebagai praktik terbaik, disarankan untuk mengenkripsi metadata Katalog Data AWS Glue Anda.

Athena secara otomatis mengenali tabel metadata, dan QuickSight menggunakan Athena untuk mengkueri data dan memvisualisasikan hasilnya.

Buat perayap Lem AWS menggunakan AWS CloudFormation

Grafik L4MGlueCrawler.yaml Skrip CloudFormation membuat crawler AWS Glue, peran IAM terkait, dan database Athena keluaran.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, masukkan nama untuk tumpukan Anda (misalnya, L4MGlueCrawler), dan pilih Selanjutnya.
4. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
5. pada ULASAN halaman, pilih kotak centang pengakuan, biarkan yang lainnya apa adanya, dan pilih Buat tumpukan.

Jalankan perayap Lem AWS

Setelah Anda membuat perayap, Anda harus menjalankannya sebelum pindah ke langkah berikutnya. Anda dapat menjalankannya dari konsol atau Antarmuka Baris Perintah AWS (AWS CLI). Untuk menggunakan konsol, selesaikan langkah-langkah berikut:

1. Di konsol AWS Glue, pilih Perayap di panel navigasi.
2. Pilih perayap Anda (L4MCrawler).
3. Pilih Jalankan crawler.

Saat perayap selesai, ini menunjukkan status Siap.

Buat akun QuickSight

Sebelum memulai langkah berikutnya, navigasikan ke konsol QuickSight dan buat akun jika Anda belum memilikinya. Untuk memastikan Anda memiliki akses ke layanan yang sesuai (Athena dan S3 bucket), pilih nama akun Anda di kanan atas, pilih Kelola QuickSight, dan pilih Keamanan dan Izin, tempat Anda dapat menambahkan layanan yang diperlukan. Saat mengatur akses Amazon S3 Anda, pastikan untuk memilih Izin menulis untuk Athena Workgroup.

Sekarang Anda siap untuk memvisualisasikan data Anda di QuickSight.

Buat kumpulan data QuickSight di konsol

Jika ini pertama kalinya Anda menggunakan Athena, Anda harus mengonfigurasi lokasi keluaran kueri. Untuk instruksi, lihat Langkah 1–6 di Buat database. Kemudian selesaikan langkah-langkah berikut:

1. Pada konsol QuickSight, pilih Dataset.
2. Pilih Dataset baru.
3. Pilih Athena sebagai sumber Anda.
4. Masukkan nama untuk sumber data Anda.
5. Pilih Buat sumber data.

6. Untuk database Anda, tentukan yang Anda buat sebelumnya dengan crawler AWS Glue.
7. Tentukan tabel yang berisi data langsung Anda (bukan anomali).
8. Pilih Edit/pratinjau data.

Anda dialihkan ke antarmuka yang mirip dengan tangkapan layar berikut.

Langkah selanjutnya adalah menambahkan dan menggabungkan metricValue_AnomalyScore data dengan data langsung.

9. Pilih Tambahkan data.
10. Pilih Tambahkan sumber data.
11. Tentukan database yang Anda buat dan metricValue_AnomalyScore tabel.
12. Pilih Pilih.

Anda sekarang perlu mengkonfigurasi gabungan dari dua tabel.

13. Pilih tautan antara dua tabel.
14. Biarkan jenis bergabung sebagai kiri, tambahkan stempel waktu dan setiap dimensi yang Anda miliki sebagai klausa gabungan, dan pilih Mendaftar.

Dalam contoh berikut, kami menggunakan stempel waktu, platform, dan pasar sebagai klausa gabungan.

Di panel kanan, Anda dapat menghapus bidang yang tidak ingin Anda simpan.

15. Hapus stempel waktu dari metricValue_AnomalyScore tabel agar tidak memiliki kolom duplikat.
16. Ubah tipe data stempel waktu (dari tabel data langsung) dari string ke tanggal, dan tentukan yang benar format. Dalam kasus kami, seharusnya yyyy-MM-dd HH:mm:ss.

Tangkapan layar berikut menunjukkan tampilan Anda setelah Anda menghapus beberapa bidang dan menyesuaikan tipe data.

17. Pilih Simpan dan visualisasikan.
18. Pilih ikon pensil di sebelah kumpulan data.
19. Pilih Tambahkan kumpulan data Dan pilihlah dimensioncontributions.

Buat set data QuickSight menggunakan AWS CloudFormation

Langkah ini berisi tiga tumpukan CloudFormation.

Skrip CloudFormation pertama, L4MQuickSightDataSource.yaml, membuat sumber data QuickSight Athena.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, masukkan nama pengguna QuickSight Anda, Wilayah akun QuickSight (ditentukan saat membuat akun QuickSight), dan nama tumpukan (misalnya, L4MQuickSightDataSource).
4. Pilih Selanjutnya.
5. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
6. pada ULASAN halaman, biarkan semuanya apa adanya dan pilih Buat tumpukan.

Skrip CloudFormation kedua, L4MQuickSightDataSet1.yaml, membuat kumpulan data QuickSight yang menggabungkan tabel dimensi dengan tabel anomali.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat tumpukan halaman, pilih Selanjutnya.
3. pada Tentukan detail tumpukan, masukkan nama tumpukan (misalnya, L4MQuickSightDataSet1).
4. Pilih Selanjutnya.
5. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
6. pada ULASAN halaman, biarkan semuanya apa adanya dan pilih Buat tumpukan.

Skrip CloudFormation ketiga, L4MQuickSightDataSet2.yaml, membuat kumpulan data QuickSight yang menggabungkan tabel anomali dengan tabel data langsung.

1. Luncurkan tumpukan dari tautan berikut:

2. pada Buat halaman tumpukan¸ pilih Selanjutnya.
3. pada Tentukan detail tumpukan halaman, masukkan nama tumpukan (misalnya, L4MQuickSightDataSet2).
4. Pilih Selanjutnya.
5. pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
6. pada ULASAN halaman, biarkan semuanya apa adanya dan pilih Buat tumpukan.

Buat analisis QuickSight untuk pembuatan dasbor

Langkah ini hanya dapat diselesaikan di konsol. Setelah Anda membuat kumpulan data QuickSight, selesaikan langkah-langkah berikut:

1. Pada konsol QuickSight, pilih Analisis di panel navigasi.
2. Pilih Analisis baru.
3. Pilih kumpulan data pertama, L4MQuickSightDataSetWithLiveData.

4. Pilih Buat analisis.

Analisis QuickSight awalnya dibuat hanya dengan kumpulan data pertama.

5. Untuk menambahkan kumpulan data kedua, pilih ikon pensil di sebelah Dataset Dan pilihlah Tambahkan kumpulan data.
6. Pilih kumpulan data kedua dan pilih Pilih.

Anda kemudian dapat menggunakan salah satu kumpulan data untuk membuat bagan dengan memilihnya di Dataset menu drop down.

Metrik kumpulan data

Anda telah berhasil membuat analisis QuickSight dari hasil inferensi Lookout for Metrics dan data langsung. Dua kumpulan data ada di QuickSight untuk Anda gunakan: L4M_Visualization_dataset_with_liveData dan L4M_Visualization_dataset_with_dimensionContribution.

Grafik L4M_Visualization_dataset_with_liveData kumpulan data mencakup metrik berikut:

• timestamp – Tanggal dan waktu data langsung yang diteruskan ke Lookout for Metrics
• 'view' – Nilai metrik tampilan
• pendapatan – Nilai metrik pendapatan
• platform, pasar, pendapatanAnomalyMetricValue, viewsAnomalyMetricValue, pendapatanGroupScore dan viewsGroupScore – Metrik ini adalah bagian dari kedua kumpulan data

Grafik L4M_Visualization_dataset_with_dimensionContribution kumpulan data mencakup metrik berikut:

• timestamp – Tanggal dan waktu saat anomali terdeteksi
• namametrik – Metrik yang Anda pantau
• nama dimensi – Dimensi dalam metrik
• dimensiNilai – Nilai dimensi
• nilaiKontribusi – Persentase seberapa besar DimensionValue mempengaruhi anomali saat terdeteksi

Tangkapan layar berikut menunjukkan lima metrik ini di dasbor anomali detektor Lookout for Metrics.

Metrik berikut adalah bagian dari kedua set data:

• Platform – Platform tempat anomali terjadi
• pasar – Pasar tempat anomali terjadi
• pendapatanAnomalyMetricValue dan tampilanAnomalyMetricValue – Nilai metrik yang sesuai saat anomali terdeteksi (dalam situasi ini, metriknya adalah pendapatan atau tampilan)
• pendapatanGroupScore dan viewsGroupScore – Skor keparahan untuk setiap metrik untuk anomali yang terdeteksi

Untuk lebih memahami metrik terakhir ini, Anda dapat meninjau file CSV yang dibuat oleh fungsi Lambda di bucket S3 tempat Anda menyimpan anomalyResults/metricValue_AnomalyScore.

Langkah berikutnya

Langkah selanjutnya adalah membangun dasbor untuk data yang ingin Anda lihat. Posting ini tidak menyertakan penjelasan tentang cara membuat grafik QuickSight. Jika Anda baru menggunakan QuickSight, lihat Memulai analisis data di Amazon QuickSight untuk pengenalan. Tangkapan layar berikut menunjukkan contoh dasbor dasar. Untuk informasi lebih lanjut, periksa Lokakarya QuickSight.

Kesimpulan

Anomali disajikan satu per satu di konsol Lookout for Metrics, masing-masing dengan grafiknya sendiri, sehingga sulit untuk melihat kumpulan secara keseluruhan. Solusi terintegrasi dan otomatis diperlukan untuk analisis yang lebih dalam. Dalam posting ini, kami menggunakan detektor Lookout for Metrics untuk menghasilkan anomali, dan menghubungkan data ke QuickSight untuk membuat visualisasi. Solusi ini memungkinkan kami untuk melakukan analisis lebih dalam terhadap anomali dan menempatkan semuanya di satu tempat/dasbor.

Sebagai langkah selanjutnya, solusi ini juga dapat diperluas dengan menambahkan kumpulan data tambahan dan menggabungkan anomali dari beberapa detektor. Anda juga dapat mengadaptasi fungsi Lambda. Fungsi Lambda berisi kode yang menghasilkan kumpulan data dan nama variabel yang kami gunakan untuk dasbor QuickSight. Anda dapat menyesuaikan kode ini dengan kasus penggunaan khusus Anda dengan mengubah kumpulan data itu sendiri atau nama variabel yang lebih masuk akal bagi Anda.

Jika Anda memiliki umpan balik atau pertanyaan, silakan tinggalkan di komentar.

---

Tentang Penulis

Benoit de Patoul adalah Arsitek Solusi Spesialis AI/ML di AWS. Dia membantu pelanggan dengan memberikan panduan dan bantuan teknis untuk membangun solusi terkait AI/ML saat menggunakan AWS.

Paul Troiano adalah Arsitek Solusi Senior di AWS, yang berbasis di Atlanta, GA. Dia membantu pelanggan dengan memberikan panduan tentang strategi dan solusi teknologi di AWS. Dia bersemangat tentang semua hal AI/ML dan otomatisasi solusi.