Amazon Lookout untuk Metrik adalah layanan AWS yang menggunakan pembelajaran mesin (ML) untuk secara otomatis memantau metrik yang paling penting bagi bisnis dengan kecepatan dan akurasi yang lebih tinggi. Layanan ini juga memudahkan untuk mendiagnosis akar penyebab anomali, seperti penurunan pendapatan yang tidak terduga, tingginya tingkat keranjang belanja yang ditinggalkan, lonjakan kegagalan transaksi pembayaran, peningkatan pendaftaran pengguna baru, dan banyak lagi. Lookout for Metrics melampaui deteksi anomali sederhana. Ini memungkinkan developer menyiapkan pemantauan otonom untuk metrik penting guna mendeteksi anomali dan mengidentifikasi akar penyebabnya dalam beberapa klik guna mendeteksi anomali dalam metriknyaโsemuanya tanpa memerlukan pengalaman ML.
Amazon Athena adalah layanan kueri interaktif yang memudahkan analisis data Layanan Penyimpanan Sederhana Amazon (Amazon S3) menggunakan SQL standar. Cukup arahkan ke data Anda di Amazon S3, tentukan skema, dan mulailah membuat kueri menggunakan SQL standar. Sebagian besar hasil dikirim dalam hitungan detik. Dengan Athena, tidak perlu pekerjaan ETL yang rumit untuk menyiapkan data Anda untuk analisis. Ini memudahkan siapa saja yang memiliki keterampilan SQL untuk menganalisis kumpulan data skala besar dengan cepat.
Dengan peluncuran hari ini, Lookout for Metrics kini dapat terhubung dengan mulus ke data Anda di Athena untuk menyiapkan pendeteksi anomali yang sangat akurat. Ini memungkinkan Anda dengan cepat menerapkan deteksi anomali tercanggih melalui ML dengan Lookout for Metrics terhadap set data apa pun yang tersedia di Athena.
Konektivitas Athena memperluas kemampuan Lookout for Metrics dengan menghadirkan manfaat berikut:
- Ini memperluas kemampuan Lookout for Metrics dalam hal dukungan tipe file. Sebelumnya, Lookout for Metrics mendukung file berformat CSV dan JSONLines, tetapi dengan Athena ini telah diperluas ke Parket, Avro, Plaintext, dan banyak lagi. Jika Anda dapat menguraikannya melalui Athena, maka sekarang dimungkinkan untuk mengimpor dan memanfaatkannya dengan Lookout for Metrics.
- Ini juga memperkenalkan dukungan untuk data dengan pertanyaan gabungan. Sebelum peluncuran ini, jika data Anda disimpan di beberapa basis data atau sumber, Anda perlu menentukan proses ETL kompleks yang lengkap serta mengelola karakteristik kinerjanya sebelum Anda dapat mengekspor semua data ke dalam file CSV atau JSONLines dan memasukkannya ke Lookout for Metrics untuk Deteksi Anomali. Dengan kueri gabungan dari Athena, Anda menentukan sumber yang berbeda serta bagaimana penggabungan harus dilakukan dan ketika data telah diproses dan dapat dikueri oleh Athena, data segera siap untuk Lookout for Metrics. Ini memungkinkan Anda untuk menyerahkan beban untuk transformasi data, agregasi, dan lokasi pengiriman ke Athena dan hanya fokus pada anomali yang teridentifikasi dari Lookout for Metrics.
Ikhtisar solusi
Dalam postingan ini, kami mendemonstrasikan cara mengintegrasikan tabel Athena dan mendeteksi anomali dalam metrik pendapatan. Kami juga melacak bagaimana tingkat pesanan dan metrik inventaris terpengaruh. Data sumber terletak di Amazon S3 dan kami telah mengonfigurasi tabel Athena agar dapat mengkueri data di dalamnya. Sebuah AWS Lambda bertanggung jawab untuk memperbarui partisi dalam Athena, yang digunakan oleh Lookout for Metrics untuk mendeteksi anomali. Solusi ini memungkinkan Anda menggunakan sumber data Athena untuk Lookout for Metrics.
Anda bisa menggunakan yang disediakan Formasi AWS Cloud stack untuk menyiapkan sumber daya untuk panduan. Ini berisi sumber daya untuk terus menghasilkan data langsung dan membuatnya dapat melakukan kueri di Athena.
- Luncurkan tumpukan dari tautan berikut dan pilih berikutnya di halaman Buat Tumpukan.
- pada Tentukan detail tumpukan halaman, tambahkan nilai dari atas, beri nama Stack (misalnya,
L4MAthenaDetector
), dan pilih Selanjutnya. - pada Konfigurasikan opsi tumpukan halaman, biarkan semuanya apa adanya dan pilih Selanjutnya.
Siapkan detektor baru dengan Athena sebagai sumber data
Langkah 1
Login ke Konsol AWS untuk memulai membuat Detektor Anomali dengan Lookout for Metrics. Langkah pertama adalah memilih tombol "Buat detektor".
Langkah 2
Isi bidang detektor wajib seperti nama. Pilih interval deteksi untuk detektor, yang ditentukan oleh frekuensi yang Anda inginkan agar Lookout for Metrics mengkueri data Anda dan memantau anomalinya. Informasi enkripsi tidak wajib. Informasi enkripsi memungkinkan Lookout for Metrics mengenkripsi data Anda menggunakan Layanan Manajemen Kunci AWS (KMS) kunci. Dalam contoh ini, kita akan melewatkan penambahan kunci enkripsi, Lookout for Metrics akan menggunakan enkripsi default untuk mengenkripsi data Anda jika tidak ada informasi enkripsi yang diberikan, dan lanjutkan dengan memilih tombol "Buat".
Langkah 3
Setelah membuat pendeteksi anomali, Anda akan melihat konfirmasi di spanduk di bagian atas. Anda dapat melanjutkan dengan memilih โTambahkan kumpulan dataโ melalui spanduk atau tombol di bawah โTambah kumpulan dataโ.
Isi informasi dasar untuk sumber data. Zona waktu adalah bidang opsional. Pilih tarik-turun untuk memilih sumber data.
Lookout for Metrics mendukung berbagai sumber data sebagai kemudahan bagi pelanggan. Untuk contoh ini, kita akan memilih Athena.
Setelah Athena dipilih sebagai sumber data, Anda akan memiliki opsi untuk memilih mode Backtest atau Continuous untuk detektor. Untuk contoh ini, kita akan melanjutkan dengan menggunakan mode Continuous. Lanjutkan dengan menambahkan detail untuk tabel Athena yang ingin Anda pantau untuk anomali.
Anda dapat mengizinkan layanan untuk membuat peran Layanan atau Anda dapat menggunakan yang sudah ada Identitas dan Manajemen Akses AWS (IAM) peran di akun Anda untuk kueri gabungan. Perhatikan bahwa Lookout for Metrics tidak mendukung pembuatan otomatis peran IAM untuk kueri gabungan. Oleh karena itu, Anda harus membuat peran IAM baru untuk memungkinkan Athena melakukan tindakan berikut pada data Anda,
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Peran IAM yang dibuat oleh layanan terlihat seperti berikut:
Langkah 4
Sekarang kita akan menentukan metrik yang relevan untuk detektor. Lookout for Metrics akan mengisi drop-down dengan kolom yang ada di tabel Athena yang disediakan. Anda dapat memilih hingga lima metrik dan lima dimensi. Lookout for Metrics memerlukan data di tabel Anda untuk dipartisi sebagai stempel waktu untuk kolom stempel waktu. Anda juga akan memiliki opsi untuk memperkirakan biaya pendeteksi ini dengan menambahkan jumlah nilai di seluruh dimensi Anda.
Setelah Anda memilih semua metrik, lanjutkan dengan memilih tombol "Berikutnya". Tinjau detailnya dan pilih tombol โSimpan kumpulan dataโ untuk menyimpan kumpulan data.
Langkah 5
Setelah kumpulan data dibuat, kami akan mengaktifkan detektor dengan memilih tombol "Aktifkan" di bagian atas atau tombol "Aktifkan Detektor" di bawah bagian "Cara kerjanya".
Anda akan diminta untuk mengonfirmasi apakah Anda ingin mengaktifkan detektor untuk deteksi berkelanjutan. Pilih "Aktifkan" untuk mengonfirmasi.
Anda akan melihat konfirmasi yang menginformasikan bahwa detektor sedang aktif.
Langkah 6
Setelah Detektor Anomali Aktif, Anda dapat menggunakan tab โLog Detektorโ pada halaman Detail Detektor untuk meninjau eksekusi deteksi yang telah dilakukan oleh layanan.
Langkah 7
Anda dapat memilih tombol "Lihat anomali" dari halaman detail detektor untuk memeriksa secara manual anomali yang mungkin telah dideteksi oleh layanan.
Langkah 8
Pada halaman tinjauan Anomali, Anda dapat menyesuaikan ambang batas skor keparahan pada tombol ambang batas untuk memfilter anomali di atas skor yang dipilih.
Tinjau dan analisis hasilnya
Saat mendeteksi anomali, Lookout for Metrics membantu Anda berfokus pada hal yang paling penting dengan menetapkan skor keparahan untuk membantu penentuan prioritas. Untuk membantu Anda menemukan akar masalahnya, ini dengan cerdas mengelompokkan anomali yang mungkin terkait dengan insiden yang sama, lalu merangkum berbagai sumber dampak.
Lookout for Metrics juga memungkinkan Anda memberikan umpan balik waktu nyata tentang relevansi anomali yang terdeteksi, sehingga memungkinkan mekanisme human-in-the-loop yang kuat. Informasi ini diumpankan kembali ke model deteksi anomali untuk meningkatkan akurasinya dalam waktu dekat.
Membersihkan
Untuk menghindari timbulnya biaya tambahan untuk sumber daya yang disiapkan untuk demo, Anda dapat menghapus detektor yang dibuat di bawah Lookout for Metrics dan tumpukan yang dibuat melalui CloudFormation.
Kesimpulan
Anda dapat terhubung dengan mulus ke data Anda di Athena ke Lookout for Metrics untuk menyiapkan pendeteksi anomali yang sangat akurat di seluruh metrik dan dimensi dalam tabel Athena Anda. Untuk memulai dengan kemampuan ini, lihat Menggunakan Amazon Athena dengan Lookout for Metrics. Anda dapat menggunakan kemampuan ini di semua Wilayah tempat Lookout for Metrics tersedia untuk umum. Untuk informasi lebih lanjut tentang ketersediaan Wilayah, lihat Layanan Regional AWS.
Tentang Penulis
Devesh Ratho adalah Insinyur Pengembangan Perangkat Lunak di tim Lookout for Metrics. Minatnya terletak pada membangun sistem terdistribusi yang skalabel. Di waktu luangnya, ia menikmati balap sim.
Raja Chris adalah Arsitek Solusi Senior dalam AI Terapan dengan AWS. Dia memiliki minat khusus dalam meluncurkan layanan AI dan membantu menumbuhkan dan membangun Amazon Personalize dan Amazon Forecast sebelum berfokus pada Amazon Lookout for Metrics. Di waktu luangnya, dia menikmati memasak, membaca, bertinju, dan membuat model untuk memprediksi hasil olahraga pertarungan.
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Tentang Kami
- mengakses
- Akun
- tepat
- di seluruh
- Tindakan
- tindakan
- aktif
- Tambahan
- AI
- Layanan AI
- Semua
- Amazon
- analisis
- siapapun
- Otomatis
- otonom
- tersedianya
- tersedia
- AWS
- spanduk
- sebelum
- Manfaat
- Luar
- batas
- Tinju
- membangun
- Bangunan
- bisnis
- kemampuan
- Menyebabkan
- beban
- Kolom
- memerangi
- kompleks
- kondisi
- Terhubung
- Konektivitas
- mengandung
- kenyamanan
- bisa
- membuat
- dibuat
- membuat
- penciptaan
- pelanggan
- data
- database
- disampaikan
- pengiriman
- mendemonstrasikan
- menyebarkan
- rincian
- terdeteksi
- Deteksi
- pengembang
- Pengembangan
- berbeda
- didistribusikan
- Tidak
- efek
- memungkinkan
- enkripsi
- insinyur
- memperkirakan
- segala sesuatu
- contoh
- ada
- diperluas
- pengalaman
- Fed
- umpan balik
- Fields
- Pertama
- Fokus
- berfokus
- berikut
- menghasilkan
- lebih besar
- Grup
- Tumbuh
- membantu
- membantu
- High
- sangat
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- mengenali
- identitas
- Dampak
- penting
- memperbaiki
- informasi
- memasukkan
- mengintegrasikan
- interaktif
- bunga
- kepentingan
- inventaris
- IT
- Jobs
- ikut
- kunci
- King
- jalankan
- peluncuran
- pengetahuan
- Meninggalkan
- Leverage
- LINK
- tempat
- mesin
- Mesin belajar
- MEMBUAT
- mengelola
- pengelolaan
- wajib
- manual
- hal
- Hal-hal
- Metrik
- ML
- model
- model
- Memantau
- pemantauan
- lebih
- paling
- beberapa
- jumlah
- pilihan
- urutan
- pembayaran
- prestasi
- Personalisasi
- Titik
- mungkin
- kuat
- meramalkan
- Mempersiapkan
- menyajikan
- proses
- memberikan
- segera
- balap
- Tarif
- Bacaan
- real-time
- daerah
- relevan
- wajib
- membutuhkan
- sumber
- Sumber
- tanggung jawab
- Hasil
- pendapatan
- ulasan
- terukur
- mulus
- detik
- terpilih
- layanan
- Layanan
- set
- tas
- YA
- Sederhana
- keterampilan
- Perangkat lunak
- pengembangan perangkat lunak
- padat
- larutan
- Solusi
- khusus
- kecepatan
- Olahraga
- tumpukan
- standar
- awal
- mulai
- state-of-the-art
- Pernyataan
- penyimpanan
- mendukung
- Didukung
- Mendukung
- sistem
- tim
- Sumber
- karena itu
- ambang
- Melalui
- waktu
- hari ini
- puncak
- jalur
- .
- Transformasi
- bawah
- memperbarui
- menggunakan
- versi
- Apa
- dalam
- akan