Mempercepat waktu menuju wawasan dengan koleksi rangkaian waktu MongoDB dan Amazon SageMaker Canvas | Layanan Web Amazon

Ini adalah postingan tamu yang ditulis bersama Babu Srinivasan dari MongoDB.

Seiring berkembangnya industri dalam lanskap bisnis yang serba cepat saat ini, ketidakmampuan untuk mendapatkan perkiraan secara real-time menimbulkan tantangan besar bagi industri yang sangat bergantung pada wawasan yang akurat dan tepat waktu. Tidak adanya prakiraan waktu nyata (real-time) di berbagai industri menghadirkan tantangan bisnis yang mendesak dan dapat berdampak signifikan terhadap pengambilan keputusan dan efisiensi operasional. Tanpa wawasan real-time, bisnis kesulitan beradaptasi dengan kondisi pasar yang dinamis, mengantisipasi permintaan pelanggan secara akurat, mengoptimalkan tingkat inventaris, dan membuat keputusan strategis yang proaktif. Industri seperti Keuangan, Ritel, Manajemen Rantai Pasokan, dan Logistik menghadapi risiko hilangnya peluang, peningkatan biaya, alokasi sumber daya yang tidak efisien, dan ketidakmampuan memenuhi harapan pelanggan. Dengan mengeksplorasi tantangan-tantangan ini, organisasi dapat menyadari pentingnya peramalan secara real-time dan mencari solusi inovatif untuk mengatasi hambatan-hambatan ini, sehingga memungkinkan mereka untuk tetap kompetitif, membuat keputusan yang tepat, dan berkembang dalam lingkungan bisnis yang bergerak cepat saat ini.

Dengan memanfaatkan potensi transformatif dari MongoDB asli seri waktu kemampuan data dan mengintegrasikannya dengan kekuatan Kanvas Amazon SageMaker, organisasi dapat mengatasi tantangan-tantangan ini dan membuka tingkat ketangkasan baru. Manajemen data deret waktu MongoDB yang kuat memungkinkan penyimpanan dan pengambilan data deret waktu dalam jumlah besar secara real-time, sementara algoritma pembelajaran mesin canggih dan kemampuan prediktif menyediakan model perkiraan yang akurat dan dinamis dengan SageMaker Canvas.

Dalam postingan ini, kami akan mengeksplorasi potensi penggunaan data deret waktu MongoDB dan SageMaker Canvas sebagai solusi komprehensif.

Atlas MongoDB

Atlas MongoDB adalah platform data pengembang yang dikelola sepenuhnya yang menyederhanakan penerapan dan penskalaan database MongoDB di cloud. Ini adalah penyimpanan berbasis dokumen yang menyediakan database yang dikelola sepenuhnya, dengan teks lengkap dan vektor bawaan Pencarian, mendukung Geospasial pertanyaan, Charts dan dukungan asli untuk efisien seri waktu kemampuan penyimpanan dan kueri. MongoDB Atlas menawarkan sharding otomatis, skalabilitas horizontal, dan pengindeksan fleksibel untuk penyerapan data bervolume tinggi. Di antara semuanya, kemampuan deret waktu asli adalah fitur yang menonjol, sehingga ideal untuk mengelola data deret waktu dalam jumlah besar, seperti data aplikasi penting bisnis, telemetri, log server, dan banyak lagi. Dengan kueri, agregasi, dan analitik yang efisien, bisnis dapat mengekstraksi wawasan berharga dari data yang diberi cap waktu. Dengan menggunakan kemampuan ini, bisnis dapat menyimpan, mengelola, dan menganalisis data deret waktu secara efisien, memungkinkan pengambilan keputusan berdasarkan data, dan memperoleh keunggulan kompetitif.

Kanvas Amazon SageMaker

Kanvas Amazon SageMaker adalah layanan pembelajaran mesin visual (ML) yang memungkinkan analis bisnis dan ilmuwan data membangun dan menerapkan model ML khusus tanpa memerlukan pengalaman ML atau harus menulis satu baris kode pun. SageMaker Canvas mendukung sejumlah kasus penggunaan, termasuk peramalan deret waktu, yang memberdayakan bisnis untuk memperkirakan permintaan masa depan, penjualan, kebutuhan sumber daya, dan data deret waktu lainnya secara akurat. Layanan ini menggunakan teknik pembelajaran mendalam untuk menangani pola data yang kompleks dan memungkinkan bisnis menghasilkan perkiraan yang akurat bahkan dengan data historis yang minimal. Dengan menggunakan kemampuan Amazon SageMaker Canvas, bisnis dapat membuat keputusan yang tepat, mengoptimalkan tingkat inventaris, meningkatkan efisiensi operasional, dan meningkatkan kepuasan pelanggan.

SageMaker Canvas UI memungkinkan Anda mengintegrasikan sumber data dari cloud atau lokal dengan lancar, menggabungkan kumpulan data dengan mudah, melatih model yang tepat, dan membuat prediksi dengan data yang muncul—semuanya tanpa coding. Jika Anda memerlukan alur kerja otomatis atau integrasi model ML langsung ke dalam aplikasi, fungsi perkiraan Canvas dapat diakses melalui Lebah.

Ikhtisar solusi

Pengguna menyimpan data rangkaian waktu transaksional mereka di MongoDB Atlas. Melalui Atlas Data Federation, data diekstraksi ke dalam bucket Amazon S3. Amazon SageMaker Canvas mengakses data untuk membangun model dan membuat perkiraan. Hasil peramalan disimpan dalam bucket S3. Dengan menggunakan layanan MongoDB Data Federation, prakiraan disajikan secara visual melalui MongoDB Charts.

Diagram berikut menguraikan arsitektur solusi yang diusulkan.

Prasyarat

Untuk solusi ini kami menggunakan MongoDB Atlas untuk menyimpan data deret waktu, Amazon SageMaker Canvas untuk melatih model dan menghasilkan perkiraan, dan Amazon S3 untuk menyimpan data yang diekstrak dari MongoDB Atlas.

Pastikan Anda memiliki prasyarat berikut:

Konfigurasikan kluster MongoDB Atlas

Buat cluster MongoDB Atlas gratis dengan mengikuti instruksi di Buat Klaster. Siapkan Akses basis data dan Akses jaringan.

Isi koleksi deret waktu di MongoDB Atlas

Untuk keperluan demonstrasi ini, Anda dapat menggunakan contoh kumpulan data dari Kaggle dan unggah yang sama ke MongoDB Atlas dengan MongoDB alat , Sebaiknya Kompas MongoDB.

Kode berikut memperlihatkan contoh kumpulan data untuk kumpulan deret waktu:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Tangkapan layar berikut menunjukkan contoh data deret waktu di MongoDB Atlas:

Buat Bucket S3

membuat bucket S3 di AWS , tempat data deret waktu perlu disimpan dan dianalisis. Perhatikan kami memiliki dua folder. sales-train-data digunakan untuk menyimpan data yang diekstraksi dari MongoDB Atlas, sementara sales-forecast-output berisi prediksi dari  Canvas.

Buat Federasi Data

Siapkan Federasi Data di Atlas dan daftarkan bucket S3 yang dibuat sebelumnya sebagai bagian dari sumber data. Perhatikan tiga database/koleksi berbeda yang dibuat di federasi data untuk cluster Atlas, bucket S3 untuk data MongoDB Atlas, dan bucket S3 untuk menyimpan hasil Canvas.

Tangkapan layar berikut menunjukkan pengaturan federasi data.

Siapkan layanan aplikasi Atlas

Buat Layanan Aplikasi MongoDB untuk menerapkan fungsi untuk mentransfer data dari cluster MongoDB Atlas ke bucket S3 menggunakan $keluar pengumpulan.

Verifikasi Konfigurasi Sumber Data

Layanan Aplikasi membuat Nama Layanan Altas baru yang perlu dirujuk sebagai layanan data dalam fungsi berikut. Verifikasi bahwa Nama Layanan Atlas telah dibuat dan catat untuk referensi di masa mendatang.

Ciptakan fungsinya

Siapkan layanan Aplikasi Atlas untuk membuat pemicu dan fungsi. Pemicunya perlu dijadwalkan untuk menulis data ke S3 pada frekuensi periode berdasarkan kebutuhan bisnis untuk melatih model.

Skrip berikut memperlihatkan fungsi untuk menulis ke bucket S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Fungsi sampel

Fungsi ini dapat dijalankan melalui tab Jalankan dan kesalahan dapat di-debug menggunakan fitur log di Layanan Aplikasi. Selain itu, kesalahan dapat di-debug menggunakan menu Logs di panel kiri.

Tangkapan layar berikut menunjukkan eksekusi fungsi beserta outputnya:

Buat himpunan data di Amazon SageMaker Canvas

Langkah-langkah berikut mengasumsikan bahwa Anda telah membuat domain SageMaker dan profil pengguna. Jika Anda belum melakukannya, pastikan Anda mengonfigurasinya Domain dan profil pengguna SageMaker. Di profil pengguna, perbarui bucket S3 Anda menjadi kustom dan berikan nama bucket Anda.

Setelah selesai, navigasikan ke SageMaker Canvas, pilih domain dan profil Anda, lalu pilih Canvas.

Buat kumpulan data yang menyediakan sumber data.

Pilih sumber himpunan data sebagai S3

Pilih lokasi data dari bucket S3 dan pilih Buat himpunan data.

Tinjau skema dan klik Buat himpunan data

Setelah impor berhasil, kumpulan data akan muncul dalam daftar seperti yang ditunjukkan pada gambar layar berikut.

Latih modelnya

Selanjutnya, kita akan menggunakan Canvas untuk menyiapkan pelatihan model. Pilih kumpulan data dan klik Buat.

Buat nama model, pilih Analisis prediktif, dan pilih Buat.

Pilih kolom target

Selanjutnya, klik Konfigurasi model deret waktu dan pilih item_id sebagai kolom ID Item.

Pilih tm untuk kolom stempel waktu

Untuk menentukan jumlah waktu yang ingin Anda perkirakan, pilih 8 minggu.

Sekarang Anda siap untuk melihat pratinjau model atau meluncurkan proses pembangunan.

Setelah Anda melihat pratinjau model atau meluncurkan build, model Anda akan dibuat dan dapat memakan waktu hingga empat jam. Anda dapat meninggalkan layar dan kembali untuk melihat status pelatihan model.

Jika model sudah siap, pilih model dan klik versi terbaru

Tinjau metrik model dan dampak kolom dan jika Anda puas dengan kinerja model, klik Prediksi.

Selanjutnya, pilih Prediksi batch, dan klik Pilih kumpulan data.

Pilih kumpulan data Anda, dan klik Pilih kumpulan data.

Selanjutnya, klik Mulai Prediksi.

Amati pekerjaan yang dibuat atau amati kemajuan pekerjaan di SageMaker di bawah Inferensi, pekerjaan transformasi batch.

Ketika pekerjaan selesai, pilih pekerjaan, dan catat jalur S3 tempat Canvas menyimpan prediksi.

Visualisasikan data perkiraan di Atlas Charts

Untuk memvisualisasikan data perkiraan, buat Bagan Atlas MongoDB berdasarkan data Federasi (amazon-forecast-data) untuk perkiraan P10, P50, dan P90 seperti yang ditunjukkan pada grafik berikut.

Membersihkan

• Hapus klaster MongoDB Atlas
• Hapus Konfigurasi Federasi Data Atlas
• Hapus Aplikasi Layanan Aplikasi Atlas
• Hapus Ember S3
• Hapus dataset dan model Amazon SageMaker Canvas
• Hapus Grafik Atlas
• Keluar dari Kanvas Amazon SageMaker

Kesimpulan

Dalam posting ini kami mengekstrak data deret waktu dari koleksi deret waktu MongoDB. Ini adalah koleksi khusus yang dioptimalkan untuk penyimpanan dan kecepatan kueri data deret waktu. Kami menggunakan Amazon SageMaker Canvas untuk melatih model dan menghasilkan prediksi dan kami memvisualisasikan prediksi tersebut di Atlas Charts.

Untuk informasi lebih lanjut, lihat sumber daya berikut.

---

Tentang penulis

Igor Alekseev adalah Arsitek Solusi Mitra Senior di AWS dalam domain Data dan Analitik. Dalam perannya, Igor bekerja dengan mitra strategis membantu mereka membangun arsitektur yang kompleks dan dioptimalkan untuk AWS. Sebelum bergabung dengan AWS, sebagai Arsitek Data/Solusi, dia mengimplementasikan banyak proyek di domain Big Data, termasuk beberapa data lake di ekosistem Hadoop. Sebagai Insinyur Data, dia terlibat dalam penerapan AI/ML untuk deteksi penipuan dan otomatisasi kantor.

Babu Srinivasan adalah Arsitek Solusi Mitra Senior di MongoDB. Dalam perannya saat ini, dia bekerja dengan AWS untuk membangun integrasi teknis dan arsitektur referensi untuk solusi AWS dan MongoDB. Dia memiliki lebih dari dua dekade pengalaman dalam teknologi Database dan Cloud. Dia bersemangat memberikan solusi teknis kepada pelanggan yang bekerja dengan beberapa Global System Integrators (GSIs) di berbagai wilayah geografis.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/