MongoDB zaman serisi koleksiyonları ve Amazon SageMaker Canvas ile içgörü elde etme süresini hızlandırma | Amazon Web Hizmetleri

Bu, MongoDB'den Babu Srinivasan ile birlikte yazılan bir misafir yazısıdır.

Günümüzün hızlı iş ortamında sektörler geliştikçe, gerçek zamanlı tahminlere sahip olamamak, büyük ölçüde doğru ve zamanlı öngörülere bağımlı olan sektörler için önemli zorluklar ortaya çıkarıyor. Çeşitli sektörlerde gerçek zamanlı tahminlerin bulunmaması, karar alma ve operasyonel verimliliği önemli ölçüde etkileyebilecek acil iş zorlukları ortaya çıkarmaktadır. Gerçek zamanlı öngörüler olmadan işletmeler dinamik pazar koşullarına uyum sağlamakta, müşteri talebini doğru bir şekilde tahmin etmekte, envanter düzeylerini optimize etmekte ve proaktif stratejik kararlar almakta zorlanmaktadır. Finans, Perakende, Tedarik Zinciri Yönetimi ve Lojistik gibi sektörler fırsatların kaçırılması, artan maliyetler, verimsiz kaynak tahsisi ve müşteri beklentilerini karşılayamama riskiyle karşı karşıyadır. Kuruluşlar, bu zorlukları keşfederek, gerçek zamanlı tahminlerin önemini anlayabilir ve bu engellerin üstesinden gelmek için yenilikçi çözümler keşfedebilir; böylece rekabetçi kalmalarına, bilinçli kararlar almalarına ve günümüzün hızlı iş ortamında başarılı olmalarına olanak sağlanır.

MongoDB'nin yerel yapısının dönüştürücü potansiyelinden yararlanarak Zaman serisi veri yetenekleri ve bunu veri gücüyle entegre etme Amazon SageMaker Tuvalkuruluşlar bu zorlukların üstesinden gelebilir ve yeni çeviklik seviyelerinin kilidini açabilir. MongoDB'nin güçlü zaman serisi veri yönetimi, büyük hacimli zaman serisi verilerinin gerçek zamanlı olarak depolanmasına ve alınmasına olanak tanırken, gelişmiş makine öğrenimi algoritmaları ve tahmin yetenekleri, SageMaker Canvas ile doğru ve dinamik tahmin modelleri sağlar.

Bu yazıda MongoDB'nin zaman serisi verilerini ve SageMaker Canvas'ı kapsamlı bir çözüm olarak kullanmanın potansiyelini araştıracağız.

MongoDB Atlası

MongoDB Atlası MongoDB veritabanlarının bulutta konuşlandırılmasını ve ölçeklendirilmesini kolaylaştıran, tam olarak yönetilen bir geliştirici veri platformudur. Yerleşik tam metin ve vektör özelliklerine sahip, tam olarak yönetilen bir veritabanı sağlayan belge tabanlı bir depolamadır. Ara, için destek Mekansal sorguları, Grafikler ve verimli bir şekilde yerel destek Zaman serisi depolama ve sorgulama yetenekleri. MongoDB Atlas, yüksek hacimli veri alımı için otomatik parçalama, yatay ölçeklenebilirlik ve esnek indeksleme sunar. Hepsinin arasında, yerel zaman serisi yetenekleri öne çıkan bir özelliktir; bu da onu iş açısından kritik uygulama verileri, telemetri, sunucu günlükleri ve daha fazlası gibi yüksek hacimli zaman serisi verilerinin yönetimi için ideal kılar. Verimli sorgulama, toplama ve analiz sayesinde işletmeler zaman damgalı verilerden değerli bilgiler elde edebilir. İşletmeler bu yetenekleri kullanarak zaman serisi verilerini verimli bir şekilde depolayabilir, yönetebilir ve analiz edebilir, böylece veri odaklı kararlara olanak tanıyabilir ve rekabet avantajı elde edebilir.

Amazon SageMaker Tuval

Amazon SageMaker Tuval iş analistlerinin ve veri bilimcilerinin herhangi bir makine öğrenimi deneyimi gerektirmeden veya tek bir kod satırı yazmaya gerek kalmadan özel makine öğrenimi modelleri oluşturup dağıtmalarına olanak tanıyan bir görsel makine öğrenimi (ML) hizmetidir. SageMaker Canvas, aşağıdakiler de dahil olmak üzere bir dizi kullanım durumunu destekler: zaman serisi tahminiİşletmelere gelecekteki talebi, satışları, kaynak gereksinimlerini ve diğer zaman serisi verilerini doğru bir şekilde tahmin etme yetkisi veren. Hizmet, karmaşık veri modellerini işlemek için derin öğrenme tekniklerini kullanıyor ve işletmelerin minimum geçmiş verilerle bile doğru tahminler oluşturmasına olanak tanıyor. İşletmeler, Amazon SageMaker Canvas özelliklerini kullanarak bilinçli kararlar alabilir, envanter düzeylerini optimize edebilir, operasyonel verimliliği iyileştirebilir ve müşteri memnuniyetini artırabilir.

SageMaker Canvas Kullanıcı Arayüzü, buluttan veya şirket içinden veri kaynaklarını sorunsuz bir şekilde entegre etmenize, veri kümelerini zahmetsizce birleştirmenize, hassas modeller eğitmenize ve ortaya çıkan verilerle tahminler yapmanıza olanak tanır; üstelik tüm bunları kodlamaya gerek kalmadan yapar. Otomatik bir iş akışına veya uygulamalara doğrudan makine öğrenimi modeli entegrasyonuna ihtiyacınız varsa Canvas tahmin işlevlerine şu adresten erişilebilir: API'ler.

Çözüme genel bakış

Kullanıcılar işlemsel zaman serisi verilerini MongoDB Atlas'ta tutar. Atlas Data Federasyonu aracılığıyla veriler Amazon S3 klasörüne çıkarılır. Amazon SageMaker Canvas, modeller oluşturmak ve tahminler oluşturmak için verilere erişir. Tahminin sonuçları bir S3 klasöründe saklanır. MongoDB Veri Federasyonu hizmetleri kullanılarak tahminler MongoDB Grafikleri aracılığıyla görsel olarak sunulur.

Aşağıdaki şema önerilen çözüm mimarisini özetlemektedir.

Önkoşullar

Bu çözüm için zaman serisi verilerini depolamak için MongoDB Atlas'ı, bir modeli eğitmek ve tahminler üretmek için Amazon SageMaker Canvas'ı ve MongoDB Atlas'tan çıkarılan verileri depolamak için Amazon S3'ü kullanıyoruz.

Aşağıdaki ön koşullara sahip olduğunuzdan emin olun:

MongoDB Atlas kümesini yapılandırma

bölümündeki talimatları izleyerek ücretsiz bir MongoDB Atlas kümesi oluşturun. Küme Oluştur. Kurulumu Veritabanı erişimi ve Ağ Girişi.

MongoDB Atlas'ta bir zaman serisi koleksiyonunu doldurma

Bu gösterimin amaçları doğrultusunda, şuradan örnek bir veri kümesi kullanabilirsiniz: Kaggle ve aynısını MongoDB ile MongoDB Atlas'a yükleyin araçlar , Tercihen de MongoDB Pusulası.

Aşağıdaki kod, zaman serisi koleksiyonuna yönelik örnek bir veri kümesini gösterir:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Aşağıdaki ekran görüntüsü MongoDB Atlas'taki örnek zaman serisi verilerini göstermektedir:

Bir S3 Kovası Oluşturun

oluşturmak AWS'de zaman serisi verilerinin saklanması ve analiz edilmesi gereken bir S3 klasörü. İki klasörümüz olduğunu unutmayın. sales-train-data MongoDB Atlas'tan çıkarılan verileri depolamak için kullanılırken sales-forecast-output Canvas'tan tahminler içerir.

Veri Federasyonu'nu oluşturun

Kurun Veri Federasyonu Atlas'a gidin ve daha önce veri kaynağının parçası olarak oluşturulan S3 klasörünü kaydedin. Atlas kümesi için veri federasyonunda, MongoDB Atlas verileri için S3 klasöründe ve Canvas sonuçlarını depolamak için S3 klasöründe üç farklı veritabanının/koleksiyonun oluşturulduğuna dikkat edin.

Aşağıdaki ekran görüntüleri veri federasyonunun kurulumunu göstermektedir.

Atlas uygulama hizmetini kurun

oluşturmak MongoDB Uygulama Hizmetleri Verileri MongoDB Atlas kümesinden S3 klasörüne aktarmaya yönelik işlevleri dağıtmak için $ çıkışı agregasyonu.

Veri Kaynağı Yapılandırmasını Doğrulayın

Uygulama hizmetleri, aşağıdaki işlevde veri hizmetleri olarak anılması gereken yeni bir Altas Hizmet Adı oluşturur. Atlas Hizmet Adının oluşturulduğunu doğrulayın ve ileride başvurmak üzere not edin.

İşlevi oluşturun

oluşturmak için Atlas Uygulama hizmetlerini kurun. tetikleyici ve işlevler. Tetikleyicilerin, modelleri eğitmek için iş ihtiyacına bağlı olarak verileri belirli bir sıklıkta S3'e yazacak şekilde programlanması gerekir.

Aşağıdaki komut dosyası S3 klasörüne yazılacak işlevi gösterir:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Örnek fonksiyon

İşlev, Çalıştır sekmesinden çalıştırılabilir ve Uygulama Hizmetlerindeki günlük özellikleri kullanılarak hatalar ayıklanabilir. Ayrıca, sol bölmedeki Günlükler menüsü kullanılarak hatalar ayıklanabilir.

Aşağıdaki ekran görüntüsü, işlevin yürütülmesini çıktıyla birlikte gösterir:

Amazon SageMaker Canvas'ta veri kümesi oluşturma

Aşağıdaki adımlarda bir SageMaker etki alanı ve kullanıcı profili oluşturduğunuz varsayılmaktadır. Henüz yapmadıysanız, yapılandırmayı yaptığınızdan emin olun. SageMaker alanı ve kullanıcı profili. Kullanıcı profilinde S3 klasörünüzü özel olacak şekilde güncelleyin ve klasör adınızı belirtin.

Tamamlandığında SageMaker Canvas'a gidin, alan adınızı ve profilinizi seçin ve Canvas'ı seçin.

Veri kaynağını sağlayan bir veri kümesi oluşturun.

Veri kümesi kaynağını S3 olarak seçin

S3 klasöründen veri konumunu seçin ve Veri kümesi oluştur'u seçin.

Şemayı inceleyin ve Veri kümesi oluştur'a tıklayın

Başarılı bir içe aktarmanın ardından veri kümesi, aşağıdaki ekran görüntüsünde gösterildiği gibi listede görünecektir.

Modeli eğitin

Daha sonra modeli eğitmek için Canvas'ı kullanacağız. Veri kümesini seçin ve Oluştur'a tıklayın.

Bir model adı oluşturun, Tahmine dayalı analiz'i seçin ve Oluştur'u seçin.

Hedef sütunu seçin

Daha sonra, Zaman serisi modelini yapılandır'a tıklayın ve Öğe Kimliği sütunu olarak item_id'yi seçin.

seç tm zaman damgası sütunu için

Tahmin etmek istediğiniz süreyi belirtmek için 8 haftayı seçin.

Artık modeli önizlemeye veya oluşturma sürecini başlatmaya hazırsınız.

Modeli önizledikten veya yapıyı başlattıktan sonra modeliniz oluşturulur ve bu süreç dört saate kadar sürebilir. Model eğitim durumunu görmek için ekrandan çıkıp geri dönebilirsiniz.

Model hazır olduğunda modeli seçin ve en son sürüme tıklayın.

Model metriklerini ve sütun etkisini inceleyin ve model performansından memnunsanız Tahmin Et'e tıklayın.

Ardından Toplu tahmin'i seçin ve Veri kümesi seç'e tıklayın.

Veri kümenizi seçin ve Veri kümesi seç'e tıklayın.

Ardından Tahminleri Başlat'ı tıklayın.

Yaratılan bir işi gözlemleyin veya SageMaker'da Çıkarım, Toplu dönüştürme işleri altında iş ilerlemesini gözlemleyin.

İş tamamlandığında işi seçin ve Canvas'ın tahminleri sakladığı S3 yolunu not edin.

Tahmin verilerini Atlas Grafiklerinde görselleştirin

Tahmin verilerini görselleştirmek için MongoDB Atlas çizelgeleri Aşağıdaki grafikte gösterildiği gibi P10, P50 ve P90 tahminleri için Federasyon verilerine (amazon-forecast-data) dayanmaktadır.

Temizlemek

• MongoDB Atlas kümesini silin
• Atlas Veri Federasyonu Yapılandırmasını Sil
• Atlas Uygulama Hizmeti Uygulamasını Sil
• S3 Paketini Sil
• Amazon SageMaker Canvas veri kümesini ve modellerini silin
• Atlas Grafiklerini Sil
• Amazon SageMaker Canvas'tan çıkış yapın

Sonuç

Bu yazıda MongoDB zaman serisi koleksiyonundan zaman serisi verilerini çıkardık. Bu, zaman serisi verilerinin depolanması ve sorgulanma hızı için optimize edilmiş özel bir koleksiyondur. Modelleri eğitmek ve tahminler oluşturmak için Amazon SageMaker Canvas'ı kullandık ve tahminleri Atlas Grafiklerinde görselleştirdik.

Daha fazla bilgi için aşağıdaki kaynaklara bakın.

---

yazarlar hakkında

İgor Alekseev AWS'de Veri ve Analitik alanında Kıdemli Çözüm Ortağı Çözüm Mimarıdır. Igor, rolünde, karmaşık, AWS için optimize edilmiş mimariler oluşturmalarına yardımcı olan stratejik ortaklarla çalışıyor. AWS'ye Veri/Çözüm Mimarı olarak katılmadan önce, Hadoop ekosistemindeki çeşitli veri gölleri dahil olmak üzere Büyük Veri alanında birçok projeyi hayata geçirdi. Bir Veri Mühendisi olarak, sahtekarlık tespiti ve ofis otomasyonuna AI/ML uygulamasında yer aldı.

Babu Srinivasan MongoDB'de Kıdemli İş Ortağı Çözüm Mimarıdır. Mevcut görevinde, AWS ve MongoDB çözümleri için teknik entegrasyonlar ve referans mimariler oluşturmak üzere AWS ile birlikte çalışmaktadır. Veritabanı ve Bulut teknolojilerinde yirmi yıldan fazla deneyime sahiptir. Birden çok coğrafyada birden çok Küresel Sistem Entegratörü (GSI) ile çalışan müşterilere teknik çözümler sağlama konusunda tutkulu.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/