Menerapkan Prakiraan Amazon di industri ritel: Perjalanan dari POC ke produksi

Prakiraan Amazon adalah layanan terkelola sepenuhnya yang menggunakan algoritme statistik dan pembelajaran mesin (ML) untuk memberikan prakiraan deret waktu yang sangat akurat. Baru-baru ini, berdasarkan Prakiraan Amazon, kami membantu salah satu pelanggan ritel kami mencapai prakiraan permintaan yang akurat, dalam waktu 8 minggu. Solusinya meningkatkan perkiraan manual dengan rata-rata 10% terkait dengan BANGUN metrik. Ini mengarah pada penghematan langsung 16 jam kerja setiap bulan. Selain itu, kami memperkirakan bahwa dengan memenuhi jumlah item yang tepat, penjualan dapat meningkat hingga 11.8%. Dalam postingan ini, kami menyajikan alur kerja dan elemen penting untuk diterapkan—mulai dari proof of concept (POC) hingga produksi—sistem perkiraan permintaan dengan Amazon Forecast, yang berfokus pada tantangan dalam industri retail.

Latar belakang dan tantangan peramalan permintaan saat ini di industri ritel

Tujuan dari peramalan permintaan adalah untuk memperkirakan permintaan di masa depan dari data historis, dan untuk membantu pengisian ulang toko dan alokasi kapasitas. Dengan peramalan permintaan, pengecer dapat memposisikan jumlah inventaris yang tepat di setiap lokasi dalam jaringan mereka untuk memenuhi permintaan. Oleh karena itu, sistem peramalan yang akurat dapat mendorong berbagai manfaat di berbagai fungsi bisnis, seperti:

• Meningkatkan penjualan dari ketersediaan produk yang lebih baik dan mengurangi upaya pemborosan transfer antar toko
• Memberikan wawasan yang lebih andal untuk meningkatkan pemanfaatan kapasitas dan secara proaktif menghindari kemacetan dalam penyediaan kapasitas
• Meminimalkan persediaan dan biaya produksi serta meningkatkan perputaran persediaan
• Menghadirkan pengalaman pelanggan yang lebih baik secara keseluruhan

Teknik ML menunjukkan nilai yang sangat baik ketika ada sejumlah besar data berkualitas baik. Saat ini, manajemen pengisian ulang berbasis pengalaman atau perkiraan permintaan masih menjadi arus utama bagi sebagian besar pengecer. Dengan tujuan untuk meningkatkan pengalaman pelanggan, semakin banyak retailer yang bersedia mengganti sistem peramalan permintaan berbasis pengalaman dengan peramalan berbasis ML. Namun, peritel menghadapi banyak tantangan saat menerapkan sistem peramalan permintaan berbasis ML ke dalam produksi. Kami meringkas berbagai tantangan ke dalam tiga kategori: tantangan data, tantangan ML, dan tantangan operasional.

Tantangan data

Sejumlah besar data yang bersih dan berkualitas merupakan persyaratan utama untuk mendorong prediksi berbasis ML yang akurat. Data kualitas, termasuk penjualan historis dan data terkait penjualan (seperti inventaris, harga barang, dan promosi), perlu dikumpulkan dan dikonsolidasikan. Keragaman data dari berbagai sumber membutuhkan platform data modern untuk menyatukan silo data. Selain itu, akses ke data secara tepat waktu diperlukan untuk perkiraan permintaan yang sering dan terperinci.

tantangan ML

Mengembangkan algoritme ML lanjutan membutuhkan keahlian. Menerapkan algoritme yang tepat untuk masalah yang tepat membutuhkan pengetahuan domain yang mendalam dan kompetensi ML. Selain itu, pembelajaran dari kumpulan data besar yang tersedia memerlukan infrastruktur ML yang dapat diskalakan. Selain itu, memelihara algoritme ML dalam produksi memerlukan kompetensi ML untuk menganalisis akar penyebab degradasi model dan melatih ulang model dengan benar.

Untuk memecahkan masalah bisnis praktis, menghasilkan prakiraan yang akurat hanyalah sebagian dari cerita. Pengambil keputusan memerlukan prakiraan probabilistik pada kuantil yang berbeda membuat keputusan pertukaran pengalaman pelanggan yang penting vs. hasil keuangan. Mereka juga perlu menjelaskan prediksi kepada pemangku kepentingan, dan melakukan analisis bagaimana-jika untuk menyelidiki bagaimana skenario yang berbeda dapat memengaruhi hasil perkiraan.

Tantangan operasional

Mengurangi upaya operasional untuk mempertahankan sistem peramalan yang hemat biaya adalah tantangan utama ketiga. Dalam skenario umum peramalan permintaan, setiap item di setiap lokasi memiliki ramalannya sendiri. Diperlukan sistem yang dapat mengelola ratusan ribu prakiraan setiap saat. Selain itu, pengguna akhir bisnis memerlukan sistem peramalan untuk diintegrasikan ke dalam sistem hilir yang ada, seperti platform manajemen rantai pasokan yang ada, sehingga mereka dapat menggunakan sistem berbasis ML tanpa mengubah alat dan proses yang ada.

Tantangan ini sangat akut ketika bisnis besar, dinamis, dan berkembang. Untuk mengatasi tantangan ini, kami membagikan kisah sukses pelanggan yang mengurangi upaya untuk memvalidasi potensi keuntungan bisnis dengan cepat. Hal ini dicapai melalui pembuatan prototipe dengan Amazon Forecast—layanan terkelola penuh yang memberikan hasil perkiraan akurat tanpa perlu mengelola sumber daya infrastruktur dan algoritme yang mendasarinya.

Pembuatan prototipe cepat untuk sistem peramalan berbasis ML dengan Amazon Forecast

Berdasarkan pengalaman kami, kami sering melihat bahwa pelanggan retail bersedia menginisiasi proof of concept pada data penjualan mereka. Hal ini dapat dilakukan dalam rentang beberapa hari hingga beberapa minggu untuk pembuatan prototipe cepat, bergantung pada kompleksitas data dan sumber daya yang tersedia untuk melakukan iterasi melalui proses penyetelan model. Selama pembuatan prototipe, kami menyarankan penggunaan sprint untuk mengelola proses secara efektif, dan memisahkan POC menjadi fase eksplorasi data, peningkatan iteratif, dan otomatisasi.

Eksplorasi data

Eksplorasi data sering kali melibatkan diskusi intensif dengan ilmuwan data atau analis intelijen bisnis untuk membiasakan diri dengan kumpulan data penjualan historis dan sumber data yang tersedia yang berpotensi memengaruhi hasil perkiraan, seperti inventaris dan peristiwa promosi historis. Salah satu cara paling efisien adalah mengkonsolidasikan data penjualan, sebagai kumpulan data target, dari gudang data pada tahap awal proyek. Hal ini didasarkan pada kenyataan bahwa hasil ramalan seringkali didominasi oleh pola dataset target. Gudang data sering kali menyimpan data bisnis sehari-hari, dan pemahaman menyeluruh dalam waktu singkat sulit dan memakan waktu. Saran kami adalah berkonsentrasi pada pembuatan dataset target dan memastikan dataset ini benar. Eksplorasi data dan hasil dasar ini seringkali dapat dicapai dalam beberapa hari, dan ini dapat menentukan apakah data target dapat diramalkan secara akurat. Kami membahas peramalan data nanti di posting ini.

Pengulangan

Setelah kami mendapatkan hasil dasar, kami dapat terus menambahkan lebih banyak data terkait untuk melihat bagaimana hal ini dapat memengaruhi akurasi. Ini sering dilakukan melalui penyelaman mendalam ke kumpulan data tambahan; untuk informasi lebih lanjut, lihat Menggunakan Kumpulan Data Waktu Terkait dan Menggunakan Item Metadata Datasets.

Dalam beberapa kasus, dimungkinkan untuk meningkatkan akurasi di Amazon Forecast dengan melatih model dengan subset set data yang berperilaku serupa, atau dengan menghapus data renggang dari set data. Selama fase peningkatan berulang ini, bagian yang menantang—benar untuk semua proyek ML—adalah bahwa iterasi saat ini bergantung pada temuan dan wawasan utama iterasi sebelumnya, sehingga analisis dan pelaporan yang cermat adalah kunci keberhasilan.

Analisis dapat dilakukan secara kuantitatif dan empiris. Aspek kuantitatif mengacu pada evaluasi selama backtesting dan membandingkan metrik akurasi, seperti BANGUN. Aspek empiris mengacu pada memvisualisasikan kurva prediksi dan data target aktual, dan menggunakan pengetahuan domain untuk menggabungkan faktor-faktor potensial. Analisis ini membantu Anda mengulang lebih cepat untuk menjembatani kesenjangan antara hasil yang diperkirakan dan data target. Selain itu, menyajikan hasil tersebut melalui laporan mingguan seringkali dapat memberikan kepercayaan kepada pengguna akhir bisnis.

Otomatisasi

Langkah terakhir seringkali melibatkan pembahasan POC hingga prosedur produksi dan otomasi. Karena proyek ML dibatasi oleh total durasi proyek, kami mungkin tidak memiliki cukup waktu untuk mengeksplorasi setiap kemungkinan. Oleh karena itu, menunjukkan area potensial di seluruh temuan selama proyek seringkali dapat memperoleh kepercayaan. Selain itu, otomatisasi dapat membantu pengguna akhir bisnis mengevaluasi Prakiraan untuk jangka waktu yang lebih lama, karena mereka dapat menggunakan prediktor yang ada untuk menghasilkan prakiraan dengan data yang diperbarui.

Kriteria keberhasilan tersebut dapat dievaluasi dengan hasil yang dihasilkan, baik dari segi teknis maupun bisnis. Selama periode evaluasi, kami dapat memperkirakan manfaat potensial untuk hal-hal berikut:

• Meningkatkan akurasi ramalan (teknis) – Hitung akurasi prediksi berkaitan dengan data penjualan aktual, dan bandingkan dengan sistem prakiraan yang ada, termasuk prakiraan manual
• Mengurangi limbah (bisnis) – Kurangi perkiraan yang berlebihan untuk mengurangi limbah
• Meningkatkan tingkat persediaan (bisnis) – Mengurangi under-forecasting untuk meningkatkan tingkat persediaan
• Memperkirakan peningkatan laba kotor (bisnis) – Kurangi pemborosan dan tingkatkan tingkat persediaan untuk meningkatkan laba kotor

Kami meringkas alur kerja pengembangan dalam diagram berikut.

Pada bagian berikut, kami membahas elemen-elemen penting untuk dipertimbangkan selama implementasi.

Alur kerja langkah demi langkah untuk mengembangkan sistem perkiraan

Pembuatan dataset target

Langkah pertama adalah menghasilkan kumpulan data target untuk Prakiraan. Dalam industri ritel, hal ini merujuk pada permintaan deret waktu historis dan data penjualan untuk item ritel (SKU). Saat menyiapkan kumpulan data, salah satu aspek penting adalah perincian. Kita harus mempertimbangkan perincian data dari persyaratan bisnis dan persyaratan teknis.

Bisnis mendefinisikan bagaimana peramalan menghasilkan sistem produksi:

• Horison – Jumlah langkah waktu yang diramalkan. Hal ini tergantung pada masalah bisnis yang mendasarinya. Jika kita ingin mengisi ulang tingkat stok setiap minggu, maka ramalan mingguan atau ramalan harian tampaknya tepat.
• perincian – Perincian prakiraan Anda: frekuensi waktu seperti harian atau mingguan, lokasi toko berbeda, dan ukuran berbeda dari item yang sama. Pada akhirnya, prediksi tersebut dapat berupa kombinasi dari masing-masing SKU toko, dengan poin data harian.

Meskipun horizon ramalan dan perincian yang disebutkan di atas harus ditentukan untuk memprioritaskan persyaratan bisnis, kami mungkin perlu melakukan trade-off antara persyaratan dan kelayakan. Ambil bisnis alas kaki sebagai salah satu contoh. Jika kita ingin memprediksi penjualan setiap ukuran sepatu di setiap tingkat toko, data akan segera menjadi jarang dan polanya sulit ditemukan. Namun, untuk mengisi ulang stok, kami perlu memperkirakan perincian ini. Untuk melakukan ini, solusi alternatif mungkin memerlukan perkiraan rasio antara ukuran sepatu yang berbeda dan menggunakan rasio ini untuk menghitung hasil yang halus.

Kita sering perlu menyeimbangkan kebutuhan bisnis dan pola data yang dapat dipelajari dan digunakan untuk peramalan. Untuk memberikan kualifikasi kuantitatif dari pola data, kami mengusulkan menggunakan peramalan data.

Peramalan data dan klasifikasi pola data

Salah satu wawasan utama yang dapat kami kumpulkan dari kumpulan data target adalah kemampuannya untuk menghasilkan prakiraan yang berkualitas. Ini dapat dianalisis pada fase paling awal proyek ML. Prakiraan bersinar saat data menunjukkan musiman, tren, dan pola siklus.

Untuk menentukan peramalan, ada dua koefisien utama: variabilitas waktu permintaan dan variabilitas kuantitas permintaan. Variabilitas dalam permintaan waktu berarti interval antara dua contoh permintaan, dan mengukur keteraturan permintaan dalam waktu. Variabilitas dalam jumlah permintaan berarti variasi dalam jumlah. Gambar berikut mengilustrasikan beberapa pola yang berbeda. Keakuratan perkiraan sangat bergantung pada kemampuan perkiraan produk. Untuk informasi lebih lanjut, lihat Klasifikasi permintaan: mengapa peramalan penting.

Perlu dicatat bahwa analisis prakiraan ini adalah untuk setiap item berbutir halus (misalnya, SKU-Store-Color-Size). Sangat umum bahwa dalam sistem produksi peramalan permintaan, item yang berbeda mengikuti pola yang berbeda. Oleh karena itu, penting untuk memisahkan item mengikuti pola data yang berbeda. Salah satu contoh tipikal adalah item yang bergerak cepat dan bergerak lambat; contoh lain adalah data padat dan jarang. Selain itu, item berbutir halus memiliki peluang lebih besar untuk menghasilkan pola yang tidak rata. Misalnya, di toko pakaian, penjualan satu barang populer bisa sangat lancar setiap hari, tetapi jika kita pisahkan lagi penjualan barang tersebut untuk setiap warna dan ukuran, barang tersebut akan segera menjadi jarang. Oleh karena itu, mengurangi perincian dari SKU-Store-Color-Size ke SKU-Store dapat mengubah pola data dari menggumpal menjadi halus, dan sebaliknya.

Selain itu, tidak semua item memberikan kontribusi penjualan yang sama. Kami telah mengamati bahwa kontribusi item sering kali mengikuti distribusi Pareto, di mana item teratas menyumbang sebagian besar penjualan. Penjualan barang-barang top ini seringkali mulus. Barang-barang dengan catatan penjualan yang lebih rendah sering tidak rata dan tidak menentu, sehingga sulit diperkirakan. Menambahkan barang-barang ini sebenarnya dapat mengurangi keakuratan barang-barang penjualan teratas. Berdasarkan pengamatan ini, kami dapat memisahkan item ke dalam kelompok yang berbeda, melatih model Ramalan pada item penjualan teratas, dan menangani item penjualan yang lebih rendah sebagai kasus sudut.

Pengayaan data dan pemilihan dataset tambahan

Saat kami ingin menggunakan kumpulan data tambahan untuk meningkatkan kinerja hasil perkiraan, kami dapat mengandalkannya kumpulan data deret waktu dan kumpulan data metadata. Di domain ritel, berdasarkan intuisi dan pengetahuan domain, fitur seperti inventaris, harga, promosi, dan musim dingin atau musim panas dapat diimpor sebagai deret waktu terkait. Cara termudah untuk mengidentifikasi kegunaan fitur adalah melalui kepentingan fitur. Dalam Forecast, ini dilakukan dengan analisis kemampuan menjelaskan. Ramalan Penjelasan Prediktor membantu kami lebih memahami bagaimana atribut dalam kumpulan data memengaruhi prakiraan untuk target. Prakiraan menggunakan metrik yang disebut skor dampak untuk mengukur dampak relatif dari setiap atribut dan menentukan apakah atribut tersebut menambah atau mengurangi nilai prakiraan. Jika satu atau lebih atribut memiliki skor dampak nol, maka atribut tersebut tidak berdampak signifikan terhadap nilai ramalan. Dengan cara ini, kami dapat dengan cepat menghapus fitur yang berdampak lebih kecil dan menambahkan fitur potensial secara berulang. Penting untuk diperhatikan bahwa skor dampak mengukur dampak relatif dari atribut, yang dinormalisasi bersama dengan skor dampak dari semua atribut lainnya.

Seperti semua project ML, meningkatkan akurasi dengan fitur tambahan memerlukan eksperimen berulang. Anda perlu bereksperimen dengan beberapa kombinasi set data, sambil mengamati dampak perubahan inkremental pada akurasi model. Anda dapat mencoba menjalankan beberapa eksperimen Prakiraan melalui konsol Prakiraan atau dengan Notebook Python dengan API Prakiraan. Selain itu, Anda dapat bergabung dengan Formasi AWS Cloud, yang menerapkan AWS menyediakan solusi siap pakai untuk kasus penggunaan umum (misalnya, Meningkatkan Akurasi Prakiraan dengan solusi Machine Learning). Prakiraan secara otomatis memisahkan kumpulan data dan menghasilkan metrik akurasi untuk mengevaluasi prediktor. Untuk informasi lebih lanjut, lihat Mengevaluasi Akurasi Prediktor. Hal ini membantu data scientist melakukan iterasi lebih cepat untuk mencapai model dengan performa terbaik.

Peningkatan lanjutan dan penanganan kasus sudut

Kami menyebutkan bahwa algoritme perkiraan dapat mempelajari musim, tren, dan fitur siklus dari data. Untuk item dengan karakteristik ini, dan densitas dan volume data yang sesuai, kita dapat menggunakan Forecast untuk menghasilkan estimasi. Namun, saat menghadapi pola data yang menggumpal, terutama jika volume datanya kecil, kita mungkin perlu menanganinya secara berbeda, seperti dengan estimasi empiris berdasarkan kumpulan aturan.

Untuk SKU yang padat, kami semakin meningkatkan akurasi Prakiraan dengan melatih model dengan subset yang berperilaku serupa dari kumpulan data deret waktu. Strategi pemisahan subset yang kami gunakan adalah logika bisnis, jenis produk, kepadatan data, dan pola yang dipelajari oleh algoritme. Setelah subset dibuat, kita dapat melatih beberapa model Prakiraan untuk subset yang berbeda. Untuk salah satu contohnya, lihat Data deret waktu klaster untuk digunakan dengan Amazon Forecast.

Menuju produksi: Memperbarui dataset, pemantauan, dan pelatihan ulang

Mari jelajahi contoh arsitektur dengan Forecast, seperti yang ditunjukkan pada diagram berikut. Setiap kali pengguna akhir menggabungkan kumpulan data baru Layanan Penyimpanan Sederhana Amazon (Amazon S3), ini memicu Fungsi Langkah AWS untuk menyusun berbagai komponen, termasuk membuat tugas impor set data, membuat prediktor otomatis, dan membuat prakiraan. Setelah hasil perkiraan dibuat, langkah Buat Ekspor Prakiraan mengekspornya ke Amazon S3 untuk konsumen hilir. Untuk informasi selengkapnya tentang cara menyediakan pipeline otomatis ini, lihat Otomatisasi dengan AWS CloudFormation. Ini menggunakan tumpukan CloudFormation untuk menyebarkan kumpulan data secara otomatis ke bucket S3 dan memicu pipeline Forecast. Anda dapat menggunakan tumpukan otomatisasi yang sama untuk membuat prakiraan dengan kumpulan data Anda sendiri.

Ada dua cara untuk memasukkan tren terkini ke dalam sistem peramalan: memperbarui data atau melatih ulang prediktor.

Untuk menghasilkan prakiraan dengan data yang diperbarui yang mencerminkan tren terkini, Anda perlu mengunggah file data input yang diperbarui ke bucket S3 (data input yang diperbarui harus tetap berisi semua data Anda yang ada). Prakiraan tidak melatih ulang prediktor secara otomatis saat Anda mengimpor kumpulan data yang diperbarui. Kamu bisa menghasilkan prakiraan seperti yang biasa Anda lakukan. Prakiraan memprediksi cakrawala perkiraan mulai dari hari terakhir dalam data input yang diperbarui. Oleh karena itu, tren terkini dimasukkan ke dalam kesimpulan baru yang dihasilkan oleh Forecast.

Namun, jika Anda ingin prediktor dilatih dari data baru, Anda harus membuat prediktor baru. Anda mungkin perlu mempertimbangkan untuk melatih ulang model saat pola data (musiman, tren, atau siklus) berubah. Seperti yang disebutkan di Terus pantau akurasi prediktor dengan Amazon Forecast, kinerja prediktor akan berfluktuasi dari waktu ke waktu, karena faktor-faktor seperti perubahan lingkungan ekonomi atau perilaku konsumen. Oleh karena itu, prediktor mungkin perlu dilatih ulang, atau prediktor baru mungkin perlu dibuat untuk memastikan prediksi yang sangat akurat terus dibuat. Dengan bantuan pemantauan prediktor, Prakiraan dapat melacak kualitas prediktor Anda, memungkinkan Anda mengurangi upaya operasional, sambil membantu Anda membuat keputusan yang lebih tepat tentang menyimpan, melatih ulang, atau membangun kembali prediktor Anda.

Kesimpulan

Amazon Forecast adalah layanan perkiraan deret waktu berdasarkan ML dan dibuat untuk analisis metrik bisnis. Kami dapat mengintegrasikan prediksi perkiraan permintaan dengan akurasi tinggi dengan menggabungkan riwayat penjualan dan informasi relevan lainnya seperti inventaris, promosi, atau musim. Dalam 8 minggu, kami membantu salah satu pelanggan ritel kami mencapai perkiraan permintaan yang akurat—peningkatan 10% dibandingkan dengan perkiraan manual. Hal ini menghasilkan penghematan langsung sebesar 16 jam tenaga kerja setiap bulan dan perkiraan peningkatan penjualan hingga 11.8%.

Posting ini membagikan praktik umum untuk membawa proyek perkiraan Anda dari bukti konsep ke produksi. Mulai sekarang dengan Prakiraan Amazon untuk mencapai prakiraan yang sangat akurat untuk bisnis Anda.

---

Tentang Penulis

Yan Wei Cui, PhD, adalah Arsitek Solusi Spesialis Pembelajaran Mesin di AWS. Dia memulai penelitian pembelajaran mesin di IRISA (Research Institute of Computer Science and Random Systems), dan memiliki beberapa tahun pengalaman membangun aplikasi industri yang didukung kecerdasan buatan dalam visi komputer, pemrosesan bahasa alami, dan prediksi perilaku pengguna online. Di AWS, ia berbagi keahlian domain dan membantu pelanggan untuk membuka potensi bisnis, dan untuk mendorong hasil yang dapat ditindaklanjuti dengan pembelajaran mesin dalam skala besar. Di luar pekerjaan, dia suka membaca dan bepergian.

Gordon Wang adalah Ilmuwan Data Senior di tim Layanan Profesional di Amazon Web Services. Dia mendukung pelanggan di banyak industri, termasuk media, manufaktur, energi, ritel, dan perawatan kesehatan. Dia sangat tertarik dengan visi komputer, pembelajaran mendalam, dan MLOps. Di waktu luangnya, dia suka berlari dan hiking.