Terus pantau akurasi prediktor dengan Amazon Forecast

Dengan senang hati kami umumkan bahwa Anda sekarang dapat secara otomatis memantau keakuratan Anda Prakiraan Amazon prediktor dari waktu ke waktu. Saat data baru disediakan, Forecast secara otomatis menghitung metrik akurasi prediktor pada kumpulan data baru, memberi Anda lebih banyak informasi untuk memutuskan apakah akan tetap menggunakan, melatih ulang, atau membuat prediktor baru.

Memantau kualitas prediktor dan mengidentifikasi penurunan akurasi dari waktu ke waktu penting untuk mencapai tujuan bisnis. Namun, proses yang diperlukan untuk terus memantau metrik akurasi prediktor dapat memakan waktu lama untuk disiapkan dan sulit untuk dikelola: prakiraan harus dievaluasi, dan metrik akurasi yang diperbarui harus dihitung. Selain itu, metrik harus disimpan dan dipetakan untuk memahami tren dan membuat keputusan tentang mempertahankan, melatih ulang, atau membuat ulang prediktor. Proses ini dapat mengakibatkan beban pengembangan dan pemeliharaan yang mahal, dan memberikan tekanan operasional yang berarti pada tim analis dan ilmu data. Dan bagi pelanggan yang tidak mau melakukan proses yang memakan waktu ini (mereka lebih suka melatih prediktor baru bahkan saat tidak diperlukan), ini membuang waktu dan menghitung.

Dengan peluncuran hari ini, Prakiraan sekarang secara otomatis melacak akurasi prediktor dari waktu ke waktu saat data baru diimpor. Anda sekarang dapat mengukur deviasi prediktor Anda dari metrik kualitas awal dan secara sistematis mengevaluasi kualitas model dengan memvisualisasikan tren, dan membuat keputusan yang lebih tepat tentang mempertahankan, melatih ulang, atau membangun kembali model Anda saat data baru masuk. Pemantauan prediktor dapat diaktifkan untuk prediktor baru di awal , atau diaktifkan untuk model yang ada. Anda dapat mengaktifkan fitur ini dengan satu klik pada Konsol Manajemen AWS atau menggunakan API perkiraan.

Akurasi prediksi dari waktu ke waktu

Prediktor adalah model pembelajaran mesin yang dibuat pada satu titik waktu, menggunakan kumpulan data pelatihan asli. Setelah prediktor dibuat, prediktor digunakan secara berkelanjutan selama berhari-hari, berminggu-minggu, atau berbulan-bulan ke depan untuk menghasilkan prakiraan deret waktu dengan data kebenaran dasar baru yang dihasilkan melalui transaksi aktual. Saat data baru diimpor, prediktor menghasilkan titik data perkiraan baru berdasarkan data terbaru yang diberikan padanya.

Saat prediktor pertama kali dibuat, Forecast menghasilkan metrik akurasi seperti weighted quantile loss (wQL), mean absolute persentase error (MAPE), atau root mean squared error (RMSE) untuk mengukur akurasi prediktor. Metrik akurasi ini digunakan untuk menentukan apakah prediktor akan dimasukkan ke dalam produksi. Namun, kinerja prediktor akan berfluktuasi dari waktu ke waktu. Faktor eksternal seperti perubahan lingkungan ekonomi atau perilaku konsumen dapat mengubah faktor fundamental yang mendasari suatu prediktor. Faktor lain termasuk produk, barang, dan layanan baru yang mungkin dibuat; perubahan dalam lingkungan keuangan atau ekonomi; atau perubahan dalam distribusi data.

Misalnya, pertimbangkan seorang prediktor yang dilatih ketika warna tertentu dari suatu produk sedang populer. Beberapa bulan kemudian, warna baru mungkin muncul atau menjadi lebih populer dan distribusi nilai berubah. Atau terjadi pergeseran dalam lingkungan bisnis yang mengubah pola pembelian yang sudah berlangsung lama (seperti dari produk dengan margin tinggi ke produk dengan margin rendah). Semua hal dipertimbangkan, prediktor mungkin perlu dilatih ulang, atau prediktor baru mungkin perlu dibuat untuk memastikan prediksi yang sangat akurat terus dibuat.

Pemantauan prediktor otomatis

Pemantauan prediktor dirancang untuk secara otomatis menganalisis kinerja prediktor Anda saat data deret waktu kebenaran dasar baru tersedia dan digunakan untuk membuat prakiraan baru. Pemantauan ini memberi Anda informasi kinerja model berkelanjutan, dan menghemat waktu Anda sehingga Anda tidak perlu menyiapkan prosesnya sendiri.

Jika pemantauan prediktor diaktifkan di Prakiraan, setiap kali Anda mengimpor data baru dan menghasilkan prakiraan baru, statistik kinerja diperbarui secara otomatis. Sampai saat ini, statistik kinerja ini hanya tersedia ketika prediktor awalnya dilatih; sekarang statistik ini diproduksi secara terus menerus menggunakan data kebenaran dasar baru, dan dapat dipantau secara aktif untuk mengukur kinerja prediktor.

Ini memungkinkan Anda menggunakan statistik kinerja prediktor untuk memutuskan kapan melatih atau melatih ulang prediktor baru. Misalnya, karena metrik wQL rata-rata menyimpang dari nilai dasar awal, Anda dapat menentukan apakah akan melatih ulang prediktor baru. Jika Anda memutuskan untuk melatih ulang prediktor atau membuat yang baru, Anda dapat mulai membuat titik data perkiraan baru menggunakan prediktor yang lebih akurat.

Grafik berikut memberikan dua contoh pemantauan prediktor. Pada bagan pertama, metrik wQL rata-rata menurun dari baseline (nilai awal saat prediktor dilatih), yang menunjukkan bahwa akurasi prakiraan meningkat seiring waktu. Grafik menunjukkan rata-rata wQL turun dari 0.3 menjadi 0.15 selama beberapa hari, yang berarti bahwa akurasi perkiraan meningkat. Dalam hal ini, prediktor tidak perlu dilatih ulang karena menghasilkan prakiraan yang lebih akurat daripada saat pertama kali dilatih.

Pada gambar berikutnya, kebalikannya benar: wQL rata-rata meningkat, menunjukkan bahwa akurasi menurun dari waktu ke waktu. Dalam hal ini, Anda harus mempertimbangkan untuk melatih ulang atau membangun kembali prediktor dengan data baru.

Di Prakiraan, Anda memiliki pilihan untuk melatih ulang prediktor saat ini atau membangunnya kembali dari awal. Pelatihan ulang dilakukan dengan satu klik dan menggabungkan lebih banyak data terkini dan pembaruan dan peningkatan apa pun dalam algoritme Prakiraan. Pembangunan kembali prediktor memungkinkan Anda memberikan input baru (seperti frekuensi ramalan, cakrawala, atau dimensi baru) untuk membuat prediktor baru.

Aktifkan pemantauan prediktor

Anda dapat mengaktifkan pemantauan prediktor saat membuat prediktor baru, atau mengaktifkannya untuk prediktor yang ada. Langkah-langkah di bagian ini menunjukkan cara melakukan langkah-langkah ini menggunakan konsol Forecast. Ada juga Jupyter buku catatan yang berjalan melalui urutan langkah-langkah untuk mengaktifkan pemantauan prediktor menggunakan API dan menghasilkan hasil monitor prediktor.

Contoh ini menggunakan kumpulan data sampel potongan waktu yang tersedia dari pemantauan prediktor buku catatan. Dalam contoh kita, kita mulai dengan 100,000 baris dataset penjemputan taksi Kota New York yang berisi stempel waktu, ID lokasi, dan nilai target (jumlah penjemputan yang diminta selama stempel waktu di ID lokasi).

Selesaikan langkah-langkah berikut:

1. Di konsol Forecast, pilih Lihat grup kumpulan data di panel navigasi.
2. Pilih Buat grup dataset dan berikan detail grup kumpulan data Anda.
   Setelah membuat grup kumpulan data, Anda akan diminta untuk membuat kumpulan data deret waktu target. Anda menggunakan kumpulan data ini untuk melatih prediktor dan membuat perkiraan.
3. pada Buat kumpulan data deret waktu target halaman, berikan skema, frekuensi, dan lokasi data Anda.
4. Pilih Start untuk mengimpor kumpulan data target Anda.
   Selanjutnya, Anda membangun prediktor dan melatihnya menggunakan dataset awal Anda.
5. Di panel navigasi, pilih Prediktor.
6. Pilih Latih prediktor baru.
   
7. Dalam majalah Pengaturan prediktor bagian, masukkan nama untuk prediktor Anda, berapa lama di masa depan yang ingin Anda ramalkan dan pada frekuensi apa, dan jumlah kuantil yang ingin Anda ramalkan.
   
8. Untuk Metrik pengoptimalan, Anda dapat memilih metrik pengoptimalan untuk dioptimalkan AutoPredictor untuk menyetel model untuk metrik akurasi tertentu pilihan Anda. Kami membiarkan ini sebagai default untuk panduan kami.
9. Untuk mendapatkan laporan keterjelasan prediktor, pilih Aktifkan kemampuan penjelasan prediktor.
10. Untuk mengaktifkan pemantauan prediktor, pilih Aktifkan pemantauan prediktor.
11. Di bawah konfigurasi data input, Anda dapat menambahkan informasi cuaca lokal dan hari libur nasional untuk prakiraan permintaan yang lebih akurat.
12. Pilih Start untuk mulai melatih prediktor Anda.
    
    Prakiraan sekarang melatih prediktor dengan kumpulan data awal ini. Dengan mengaktifkan pemantauan prediktor, setiap kali data baru diberikan dalam grup kumpulan data ini, Prakiraan dapat menghitung metrik akurasi prediktor yang diperbarui.
13. Setelah prediktor dilatih, pilih untuk mengevaluasi metrik akurasi awal.
    
    Grafik Metrik tab menunjukkan metrik kualitas prediktor awal. Karena Anda belum membuat prakiraan apa pun dari prediktor atau mengimpor data kebenaran dasar baru, tidak ada yang ditampilkan di Pemantauan Tab.
    Langkah selanjutnya adalah menghasilkan ramalan menggunakan prediktor baru.
14. Pilih Ramalan di panel navigasi.
15. Pilih Buat perkiraan untuk membuat perkiraan baru berdasarkan data deret waktu yang baru saja Anda impor dan pengaturan prediktor.
16. Berikan nama perkiraan, nama prediktor, dan metrik kuantil tambahan yang ingin Anda hitung.

Setelah Anda membuat perkiraan, Anda dapat melihat dan mengekspor detail dan hasilnya di Detail perkiraan .

Pemantauan prediktor: Mengevaluasi akurasi dari waktu ke waktu

Melalui perjalanan waktu, data kebenaran dasar baru dibuat oleh proses bisnis Anda, misalnya, angka penjualan yang diperbarui, tingkat kepegawaian, atau hasil produksi. Untuk membuat perkiraan baru berdasarkan data baru tersebut, Anda dapat mengimpor data ke kumpulan data yang Anda buat.

1. Di konsol Amazon Forecast, di Grup dataset halaman, pilih grup kumpulan data Anda.
   
2. Pilih kumpulan data Anda.
   
3. Dalam majalah Impor set data bagian, pilih Buat impor set data.
   
4. Berikan detail tambahan tentang data Anda yang diperbarui, termasuk lokasinya.
   
5. Pilih Start.

Dengan pemantauan prediktor, Prakiraan membandingkan data baru ini dengan prakiraan sebelumnya yang dihasilkan, dan menghitung metrik akurasi untuk prediktor. Metrik kualitas prediktor yang diperbarui dihitung secara berkelanjutan saat data baru ditambahkan ke kumpulan data.

Anda dapat mengikuti langkah-langkah ini untuk mengimpor data tambahan, yang mewakili transaksi tambahan yang telah terjadi sepanjang waktu.

Evaluasi hasil pemantauan prediktor

Untuk melihat hasil pemantauan prediktor, Anda harus menambahkan data kebenaran dasar baru setelah membuat prakiraan awal. Prakiraan membandingkan data kebenaran dasar yang baru ini dengan prakiraan sebelumnya, dan menghasilkan nilai akurasi model yang diperbarui untuk pemantauan.

1. pada Grup dataset halaman, pilih grup kumpulan data yang relevan dan pilih Seri Waktu Target untuk memperbaruinya dengan data kebenaran dasar yang baru.
   
2. Pilih Buat Impor Kumpulan Data dan tambahkan data kebenaran dasar baru Anda.
   
   Setelah Anda memberikan data kebenaran dasar tambahan, Anda dapat membuka prediktor dan melihat statistik pemantauan prediktor awal.
3. Pilih prediktor Anda dan navigasikan ke Pemantauan Tab.
   

Anda dapat mengikuti langkah-langkah ini untuk menjalankan prakiraan tambahan menggunakan prediktor ini dan menambahkan iterasi lebih lanjut dari data kebenaran dasar. Perkembangan statistik akurasi model untuk prediktor Anda tersedia di Pemantauan Tab.

Contoh ini menunjukkan statistik akurasi model untuk prediktor yang telah dievaluasi dengan empat pembaruan data tambahan. Prediktor memiliki MAPE dasar awal 0.55 ketika awalnya dilatih. Saat data tambahan dimuat, MAPE turun menjadi 42 dengan set data tambahan pertama, menunjukkan prediktor yang lebih akurat, dan berfluktuasi dalam kisaran ketat dari 42 hingga 48 dengan set data berikutnya.

Anda dapat mengaktifkan diagram untuk melihat metrik tambahan. Dalam contoh berikut, MASE dan rata-rata wQL menunjukkan fluktuasi yang sama dari baseline dari waktu ke waktu.

Grafik Riwayat Pemantauan bagian di bagian bawah halaman memberikan detail lengkap tentang semua metrik akurasi prediktor yang dilacak dari waktu ke waktu.

Siapkan pemantauan prediksi pada prediktor yang ada

Anda dapat dengan mudah mengaktifkan pemantauan untuk prediktor yang ada. Untuk melakukannya, selesaikan langkah-langkah berikut:

1. Di panel navigasi, di bawah kumpulan data Anda, pilih Prediktor.
2. Dari sini ada dua cara untuk mengaktifkan pemantauan:
   1. Pilih Mulailah memantau bawah Pemantauan kolom.
      
   2. Pilih prediktor Anda dan di Pemantauan tab, di bawah Memantau detail, pilih Mulai monitor.
      
3. Dalam dialog pop-up, pilih Start untuk mulai memantau prediktor yang dipilih.
   

Grafik Pemantauan tab sekarang menunjukkan bahwa pemantauan prediktor telah dimulai, dan hasil dihasilkan saat Anda mengimpor lebih banyak data.

Hentikan dan mulai ulang pemantauan prediktor

Anda juga dapat menghentikan dan memulai kembali pemantauan prediktor. Pertimbangkan hal berikut:

• Biaya – Pemantauan prediktor menghabiskan sumber daya tambahan. Dengan kumpulan data kecil yang khas, biayanya minimal, tetapi dapat meningkat dengan kumpulan data besar (jumlah item dalam kumpulan data input, dan cakrawala perkiraan).
• Privasi – Salinan perkiraan Anda disimpan selama pemantauan. Jika Anda tidak ingin menyimpan salinan ini, Anda dapat berhenti memantau.
• Kebisingan – Jika Anda bereksperimen dengan prediktor dan tidak ingin melihat noise di hasil monitor prediktor, Anda dapat menghentikan sementara pemantauan prediktor dan memulainya lagi saat prediktor stabil kembali.

Untuk menghentikan pemantauan prediktor, selesaikan langkah-langkah berikut:

1. Arahkan ke folder Pemantauan tab untuk prediktor di mana pemantauan diaktifkan.
2. Pilih Hentikan Monitor untuk menghentikan pemantauan prediktor.
   
3. Verifikasi pilihan Anda saat diminta.
   

Sebuah pesan muncul di halaman berikutnya untuk menunjukkan bahwa pemantauan prediktor dihentikan.

Anda dapat memulai kembali pemantauan prediktor dengan memilih Lanjutkan monitor.

Kesimpulan

Memantau kualitas prediktor Anda dari waktu ke waktu penting untuk mencapai tujuan perencanaan dan perkiraan permintaan Anda, dan pada akhirnya tujuan bisnis Anda. Namun, pemantauan prediktor dapat menjadi latihan yang memakan waktu, dan proses yang diperlukan untuk mempertahankan dan mempertahankan alur kerja yang diperlukan dapat menyebabkan biaya operasional yang lebih tinggi.

Prakiraan sekarang dapat secara otomatis melacak kualitas prediktor Anda, memungkinkan Anda mengurangi upaya operasional, sambil membantu Anda membuat keputusan yang lebih tepat tentang mempertahankan, melatih ulang, atau membangun kembali prediktor Anda. Untuk mengaktifkan pemantauan prediktor, Anda dapat mengikuti langkah-langkah yang diuraikan dalam posting ini, atau ikuti notebook GitHub kami.

Harap dicatat bahwa pemantauan prediktor hanya tersedia dengan AutoPredictor. Untuk informasi lebih lanjut, lihat API Amazon Forecast baru yang membuat perkiraan lebih akurat hingga 40% dan memberikan penjelasan dan BuatPrediktorOtomatis.

Untuk mempelajari lebih lanjut, lihat Pemantauan Prediktor. Kami juga merekomendasikan untuk meninjau di harga untuk menggunakan fitur-fitur baru ini. Semua kemampuan baru ini tersedia di semua Wilayah di mana Prakiraan tersedia untuk umum. Untuk informasi lebih lanjut tentang ketersediaan Wilayah, lihat Layanan Regional AWS.

---

Tentang Penulis

Dan Sinnreich adalah Manajer Produk Senior untuk Amazon Forecast. Dia berfokus pada demokratisasi pembelajaran mesin kode rendah/tanpa kode dan menerapkannya untuk meningkatkan hasil bisnis. Di luar pekerjaan ia dapat ditemukan bermain hoki, mencoba meningkatkan servis tenisnya, dan membaca fiksi ilmiah.

 Adarsh ​​Singh bekerja sebagai Insinyur Pengembangan Perangkat Lunak di tim Amazon Forecast. Dalam perannya saat ini, ia berfokus pada masalah teknik dan membangun sistem terdistribusi yang dapat diskalakan yang memberikan nilai paling banyak kepada pengguna akhir. Di waktu luangnya, ia menikmati menonton anime dan bermain video game.

Shannon Killingsworth adalah Desainer UX untuk Amazon Forecast. Pekerjaannya saat ini adalah menciptakan pengalaman konsol yang dapat digunakan oleh siapa saja, dan mengintegrasikan fitur baru ke dalam pengalaman konsol. Di waktu luangnya, ia adalah penggemar kebugaran dan otomotif.

• Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
• CryptoHawk. Radar Altcoin. Uji Coba Gratis.
• Sumber: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/