Kami sangat bersemangat untuk meluncurkan kemampuan analisis kontribusi kausal di Amazon Lookout untuk Metrik yang membantu Anda memahami potensi akar penyebab anomali penting bisnis dalam data. Sebelumnya, Anda hanya diberikan akar penyebab untuk satu anomali per ukuran. Anda harus menganalisis untuk menentukan apakah ada hubungan sebab akibat antara anomali yang terdeteksi dalam ukuran yang berbeda. Saat berfokus pada satu anomali, Anda dapat dengan mudah melewatkan dampak hilir (atau hulu) anomali tersebut. Misalnya, Anda mungkin melihat lonjakan pengabaian keranjang pembayaran dan mengetahui bahwa pendapatan Anda akan berkurang. Namun, Anda mungkin tidak tahu apa yang menyebabkan keranjang pembayaran ditinggalkan dengan tarif yang lebih tinggi. Fitur analisis kontribusi kausal dapat memberi tahu Anda bahwa lonjakan pengabaian keranjang pembayaran mungkin disebabkan oleh lonjakan kegagalan transaksi atau perubahan harga yang tiba-tiba karena berakhirnya promosi.
Lookout for Metrics menggunakan pembelajaran mesin (ML) untuk secara otomatis mendeteksi dan mendiagnosis anomali dalam kumpulan data besar di mana penyimpangan dari normal sulit dideteksi dan anomali yang terlewat memiliki dampak penting bagi bisnis. Lookout for Metrics mengurangi waktu untuk mengimplementasikan layanan AI/ML untuk masalah penting bisnis.
Dalam posting ini, kami membahas kemampuan analisis kontribusi kausal baru dan manfaatnya.
Tantangan dalam deteksi anomali
Deteksi anomali memiliki dua bagian: mendeteksi anomali dan mengidentifikasi akar penyebab yang memicu anomali sehingga tim dapat mengambil tindakan untuk mengatasi masalah tersebut.
Sistem intelijen bisnis (BI) tradisional yang menggunakan anomali berbasis ambang batas statis atau berbasis aturan memiliki tiga masalah. Pertama, Anda mungkin memiliki jutaan metrik untuk dilacak di berbagai sumber data. Ambil iklan digital, misalnyaโAnda ingin melacak metrik seperti tayangan, klik, pendapatan, dan metrik keranjang belanja di seluruh ID kampanye, kategori produk, geografi, dan banyak lagi. Dan itu sama untuk domain apa pun, baik itu ritel, telekomunikasi, game, atau layanan keuangan. Dengan alat BI tradisional, mengelola data di berbagai sumber, membuat dasbor dan laporan, serta menambahkan peringatan pada tingkat yang terperinci membutuhkan banyak pekerjaan manual dan tidak dapat diskalakan.
Kedua, alat BI tradisional ini bekerja dengan menyiapkan aturan. Anda mengatur rentang, dan apa pun di luar rentang adalah anomali dan Anda diberi tahu tentang itu. Jika jangkauannya terlalu luas, Anda melewatkan peringatan penting, dan jika terlalu sempit, Anda menerima terlalu banyak peringatan palsu.
Rentang ini (batas atas dan batas bawah pada gambar di atas) juga statis, dan tidak berubah berdasarkan waktu, hari dalam seminggu, atau musim; mereka perlu diperbarui secara manual. Anda mungkin melewatkan anomali penting dan menerima terlalu banyak alarm palsu, atau Anda kehilangan kepercayaan pada alat dan mulai mengabaikan peringatan ini sama sekali.
Terakhir, laporan dan dasbor BI sering kali dibuat pada akhir jam kerja, akhir hari, atau akhir minggu, ketika sudah terlambat bagi Anda untuk menangani suatu masalah. Dan bahkan ketika hasil ini datang, itu tidak menjawab mengapa. Jadi pengembang, analis, dan pemilik bisnis dapat menghabiskan waktu berminggu-minggu untuk mencoba mengidentifikasi akar penyebab anomali, menunda tindakan yang berarti lebih jauh.
Inferensi kausal di Lookout for Metrics
Meskipun menanyakan akar penyebab dari suatu peristiwa yang tidak terduga tampaknya menjadi inti dari cara manusia memahami dunia, asosiasi statistik sering disalahartikan sebagai pengaruh kausal. Artinya, korelasi tidak menyiratkan sebab-akibat, dan membedakan penyebab peristiwa dari data observasional memerlukan metode inferensi kausal khusus.
Analisis akar penyebab di Lookout for Metrics menggunakan teknik inferensi kausal untuk meningkatkan visibilitas dan interpretasi anomali di seluruh pengukuran. Lookout for Metrics mampu tidak hanya mengidentifikasi penyebab penyebab, tetapi juga secara kuantitatif menghubungkan kejadian anomali dengan mereka, memberikan skor persentase kemungkinan di antara kemungkinan penyebab penyebab kejadian anomali. Misalnya, Lookout for Metrics sekarang dapat menarik hubungan sebab akibat antara penurunan tampilan iklan (anomali) karena lebih sedikit klik di situs web Anda, iOS, dan Android (penyebab), yang menyebabkan penurunan pendapatan (dampak hilir). Misalkan satu atau lebih penyebab potensial terjadi (situs web, iOS, Android). Dalam hal ini, Lookout for Metrics dapat mengidentifikasi penyebab yang paling mungkin (misalnya, situs web dengan kemungkinan 90%) yang menyebabkan penurunan tampilan iklan.
Pendekatan ilmiah bergantung pada prosedur dua langkah:
- Menyimpulkan hubungan kausal antara langkah-langkah.
- Berdasarkan struktur kausal yang disimpulkan, hubungkan anomali ukuran yang terpengaruh dengan tindakan penyebab.
Untuk menyimpulkan hubungan kausal antara ukuran, kami menggunakan metode kausalitas Granger yang memperhitungkan struktur data panel Lookout for Metrics. Metode kausalitas Granger yang ada untuk data panel tidak dapat menangani dependensi di seluruh kombinasi nilai dimensi (misalnya, dependensi pendapatan di berbagai negara yang biasanya kami miliki dalam data nyata). Misalnya, acara seperti Black Friday meningkatkan pendapatan banyak negara dan oleh karena itu ada sumber eksternal yang membuat pendapatan negara berbeda bergantung). Karena itu kami harus mengembangkan kausalitas Granger kami sendiri[1] metode pada data panel yang dapat menangani jenis dependensi ini.
Setelah struktur kausal tersedia, kami menghubungkan anomali ukuran yang terpengaruh dengan ukuran penyebab untuk mengukur hubungan sebab-akibat.
Analisis anomali di konsol Lookout for Metrics
Setelah Lookout for Metrics memulai deteksi anomali, Anda dapat mencari anomali yang terdeteksi di Anomali halaman untuk detektor. Saat Anda memilih anomali, Anda akan diarahkan ke halaman detail untuk anomali yang diamati.
Halaman detail anomali mencakup a Analisis akar penyebab bagian. Bagian ini mencoba menjelaskan anomali yang diamati ini sehubungan dengan anomali lain untuk tindakan yang dikonfigurasi detektor anomali.
Dalam contoh berikut, "Pendapatan terpengaruh" adalah anomali yang diamati, dan penyebab potensial termasuk pesanan dan tindakan yang tidak dikonfigurasi. Pesanan berkontribusi sekitar 81.84% terhadap anomali saat ini, yaitu pendapatan yang mengarah pada dampak hilir pada laba.
Memilih penyebab potensial perintah membawa kita ke rincian anomali yang diamati. Dalam hal ini, kemungkinan penyebab anomali ini adalah klik dan tindakan yang tidak dikonfigurasi. Klik bisa menjadi salah satu penyebab potensial dari anomali ini, tetapi mendapatkan skor kontribusi yang relatif rendah sebesar 8.37%, dan detektor tidak mengamati anomali apa pun untuk itu. Dalam kasus ini, Lookout for Metrics menyimpulkan bahwa anomali pesanan disebabkan oleh faktor eksternal atau tindakan yang tidak dikonfigurasi untuk pemantauan selama fase penyiapan detektor. Anomali dalam pesanan ini memiliki potensi dampak hilir pada laba dan pendapatan.
Memilih potensi dampak hilir keuntungan membawa kita ke rincian anomali yang diamati. Dalam hal ini, penyebab potensial tampaknya merupakan campuran anomali dalam pendapatan, pesanan, dan ukuran yang tidak dikonfigurasi, dengan skor kontribusi masing-masing sebesar 33%, 14%, dan 53%. Tidak ada tindakan hilir yang terpengaruh oleh anomali ini.
Untuk contoh ini, anomali laba sebagian dapat dijelaskan oleh anomali pendapatan dan pesanan. Kemudian anomali pendapatan dapat dijelaskan dengan anomali pesanan dengan kepastian yang tinggi.
Kesimpulan
Kemampuan analisis kontribusi kausal baru di Lookout for Metrics mendeteksi interaksi kausal antara anomali dalam pengukuran Anda. Untuk mencapai hal ini, detektor mempelajari hubungan kausal antara tindakan dalam data Anda yang sepenuhnya diawasi sendiri dan menggunakan informasi kausal ini untuk melacak anomali kembali ke akar penyebabnya. Fitur ini dapat membantu Anda menghubungkan anomali di seluruh pengukuran secara kausal dan memberi Anda alat untuk mendiagnosis dengan cepat dan selanjutnya memperbaiki masalah apa pun di sistem Anda.
[1] L. Minorics, C. Turkmenistan, P. Bloebaum, D. Kernert, L. Callot dan D. Janzing. Menguji Non-Kausalitas Granger di Panel dengan dependensi Cross-Sectional. AISTAT, 2022.
Tentang Penulis
Lenon Minorik adalah Ilmuwan Terapan yang berfokus pada inferensi kausal dan deteksi anomali. Sebelum ke Amazon, Lenon adalah seorang peneliti akademis di bidang matematika. Minat penelitian pribadinya meliputi pembelajaran mesin, inferensi kausal, stokastik, dan geometri fraktal. Di waktu luangnya, Lenon senang berlatih semua jenis olahraga, terutama Brazilian Jiu-Jitsu.
Shashank Srivastava adalah Manajer Produk Senior untuk layanan vertikal Amazon AI. Dia bersemangat memecahkan masalah AI di NLP, deteksi kebaruan, dan kelangkaan data. Di waktu luangnya, Shashank menikmati bermain tenis dan golf.
Caner Turkmenistan adalah Ilmuwan Terapan di Amazon Web Services, tempat dia menangani masalah di persimpangan pembelajaran mesin, perkiraan, dan deteksi anomali. Sebelum bergabung dengan AWS, ia bekerja di industri konsultasi manajemen sebagai ilmuwan data, melayani industri jasa keuangan dan telekomunikasi pada proyek-proyek di seluruh dunia. Minat penelitian pribadi Caner mencakup berbagai topik, termasuk probabilistik dan Bayesian ML, proses stokastik, dan aplikasi praktisnya.
Alex Kim adalah Manajer Produk Senior untuk AWS AI Services. Misinya adalah memberikan solusi AI/ML kepada semua pelanggan yang dapat memanfaatkannya. Di waktu luangnya, ia menikmati semua jenis olahraga dan menemukan tempat makan baru.
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/identify-potential-root-cause-in-business-critical-anomalies-using-amazon-lookout-for-metrics/
- "
- 100
- 2022
- a
- Tentang Kami
- Akun
- Mencapai
- di seluruh
- Bertindak
- Tindakan
- iklan
- AI
- Layanan AI
- Semua
- Amazon
- Amazon Web Services
- antara
- analisis
- menganalisa
- android
- menjawab
- aplikasi
- terapan
- pendekatan
- sekitar
- secara otomatis
- tersedia
- AWS
- sebelum
- manfaat
- Manfaat
- antara
- Black
- Black Friday
- batas
- bisnis
- intelijen bisnis
- Kampanye
- mampu
- Menyebabkan
- disebabkan
- penyebab
- menyebabkan
- perubahan
- Pembayaran
- Pilih
- kombinasi
- bagaimana
- Terhubung
- konsultasi
- bisa
- negara
- membuat
- terbaru
- pelanggan
- data
- ilmuwan data
- hari
- transaksi
- tergantung
- rincian
- terdeteksi
- Deteksi
- Menentukan
- mengembangkan
- pengembang
- berbeda
- digital
- Dimensi
- membahas
- Tidak
- domain
- Menjatuhkan
- selama
- mudah
- makan
- terutama
- Acara
- peristiwa
- contoh
- gembira
- ada
- faktor
- Fitur
- keuangan
- jasa keuangan
- Pertama
- Memperbaiki
- berfokus
- berikut
- Gratis
- Jumat
- dari
- lebih lanjut
- game
- bumi
- membantu
- membantu
- High
- lebih tinggi
- Namun
- HTTPS
- manusia
- mengenali
- mengidentifikasi
- gambar
- Dampak
- melaksanakan
- penting
- memasukkan
- termasuk
- Termasuk
- Meningkatkan
- industri
- industri
- mempengaruhi
- informasi
- contoh
- Intelijen
- interaksi
- kepentingan
- persimpangan
- iOS
- masalah
- IT
- Tahu
- besar
- jalankan
- terkemuka
- Memimpin
- pengetahuan
- Dipimpin
- Tingkat
- Mungkin
- link
- melihat
- mesin
- Mesin belajar
- pengelolaan
- manajer
- pelaksana
- panduan
- pekerjaan manual
- manual
- matematika
- berarti
- mengukur
- ukuran
- metode
- Metrik
- mungkin
- jutaan
- Misi
- ML
- pemantauan
- lebih
- paling
- beberapa
- yaitu
- normal
- perintah
- Lainnya
- sendiri
- pemilik
- bergairah
- persentase
- pribadi
- tahap
- bermain
- mungkin
- potensi
- Masalah
- masalah
- proses
- Produk
- Keuntungan
- memprojeksikan
- promosi
- menyediakan
- menyediakan
- segera
- jarak
- menerima
- hubungan
- Hubungan
- merender
- laporan
- membutuhkan
- penelitian
- Hasil
- eceran
- pendapatan
- akar
- aturan
- sama
- terukur
- ilmuwan
- Layanan
- porsi
- set
- pengaturan
- penyiapan
- tas
- tunggal
- So
- padat
- Solusi
- khusus
- menghabiskan
- Olahraga
- awal
- dimulai
- statistik
- Kemudian
- tiba-tiba
- sistem
- sistem
- tim
- teknik
- telekomunikasi
- telekomunikasi
- pengujian
- Grafik
- Dunia
- karena itu
- tiga
- waktu
- alat
- alat
- Topik
- jalur
- tradisional
- .
- Kepercayaan
- jenis
- khas
- memahami
- pemahaman
- us
- menggunakan
- nilai
- jarak penglihatan
- jaringan
- layanan web
- Situs Web
- minggu
- Apa
- SIAPA
- Kerja
- bekerja
- bekerja
- dunia
- Anda