Amazon Forecast ile tahminci doğruluğunu sürekli olarak izleyin

Artık bilgilerinizin doğruluğunu otomatik olarak izleyebileceğinizi duyurmaktan heyecan duyuyoruz. Amazon Tahmini zaman içinde öngörücüler. Yeni veriler sağlandığında Forecast, yeni veri kümesinde tahmin edici doğruluk ölçümlerini otomatik olarak hesaplayarak, kullanmaya devam etme, yeniden eğitme veya yeni tahmin ediciler oluşturma konusunda size daha fazla bilgi sağlar.

Tahmin edici kalitesini izlemek ve zaman içinde doğruluktaki bozulmayı belirlemek, iş hedeflerine ulaşmak için önemlidir. Bununla birlikte, tahmin edici doğruluk metriklerini sürekli olarak izlemek için gereken süreçlerin ayarlanması zaman alabilir ve yönetilmesi zor olabilir: tahminlerin değerlendirilmesi ve güncellenmiş doğruluk metriklerinin hesaplanması gerekir. Ek olarak, eğilimleri anlamak ve tahmin edicileri tutma, yeniden eğitme veya yeniden oluşturma hakkında kararlar almak için metriklerin saklanması ve grafiğinin çizilmesi gerekir. Bu süreçler maliyetli geliştirme ve bakım yüklerine neden olabilir ve veri bilimi ve analist ekipleri üzerinde anlamlı operasyonel stres oluşturabilir. Ve bu zaman alıcı süreci üstlenmek istemeyen müşteriler için (gerekmese bile yeni tahmincileri yeniden eğitmeyi tercih ederler), bu zaman ve hesaplama israfına neden olur.

Bugünkü lansmanla birlikte, Tahmin artık yeni veriler içe aktarılırken tahminin doğruluğunu zaman içinde otomatik olarak izliyor. Artık tahmincinizin ilk kalite ölçümlerinden sapmasını ölçebilir ve eğilimleri görselleştirerek model kalitesini sistematik olarak değerlendirebilir ve yeni veriler geldikçe modellerinizi tutma, yeniden eğitme veya yeniden oluşturma hakkında daha bilinçli kararlar verebilirsiniz. Tahmini izleme, başlangıçta yeni tahminciler için etkinleştirilebilir. , veya mevcut modeller için açık. Bu özelliği tek tıklamayla etkinleştirebilirsiniz. AWS Yönetim Konsolu kullanarak veya Tahmin API'leri.

Zaman içinde tahmin doğruluğu

Tahmin edici, orijinal bir eğitim verisi seti kullanılarak belirli bir zamanda oluşturulan bir makine öğrenimi modelidir. Bir tahmin oluşturucu oluşturulduktan sonra, gerçek işlemler yoluyla oluşturulan yeni temel doğruluk verileriyle zaman serisi tahminleri oluşturmak için günler, haftalar veya aylar boyunca sürekli olarak kullanılır. Yeni veriler içe aktarılırken, tahminci kendisine sağlanan en son verilere dayalı olarak yeni tahmin edilen veri noktaları oluşturur.

Bir tahminci ilk oluşturulduğunda, Tahmin, tahmin edicinin doğruluğunu ölçmek için ağırlıklı nicel kayıp (wQL), ortalama mutlak yüzde hatası (MAPE) veya ortalama karesel hata (RMSE) gibi doğruluk ölçümleri üretir. Bu doğruluk metrikleri, bir tahmincinin üretime alınıp alınmayacağını belirlemek için kullanılır. Bununla birlikte, bir tahmin edicinin performansı zamanla dalgalanacaktır. Ekonomik ortamdaki veya tüketici davranışındaki değişiklikler gibi dış faktörler, bir tahmin edicinin altında yatan temel faktörleri değiştirebilir. Diğer faktörler arasında oluşturulabilecek yeni ürünler, öğeler ve hizmetler; mali veya ekonomik çevredeki değişiklikler; veya veri dağılımındaki değişiklikler.

Örneğin, bir ürünün belirli bir rengi popüler olduğunda eğitilmiş bir tahminci düşünün. Aylar sonra, yeni renkler görünebilir veya daha popüler hale gelebilir ve değerlerin dağılımı değişebilir. Veya iş ortamında uzun süredir devam eden satın alma modellerini değiştiren (yüksek marjlı ürünlerden düşük marjlı ürünlere geçiş gibi) bir değişim meydana gelir. Her şey göz önüne alındığında, tahmincinin yeniden eğitilmesi gerekebilir veya son derece doğru tahminlerin yapılmaya devam edilmesini sağlamak için yeni bir tahmin edicinin oluşturulması gerekebilir.

Otomatik tahminci izleme

Tahmini izleme, yeni gerçek zaman serisi verileri kullanıma sunuldukça tahmincinizin performansını otomatik olarak analiz etmek için tasarlanmıştır ve yeni tahminler oluşturmak için kullanılır. Bu izleme size sürekli model performans bilgileri sağlar ve süreci kendiniz ayarlamak zorunda kalmamanız için size zaman kazandırır.

Tahmin'de tahminci izleme etkinleştirilirse, her yeni veri içe aktardığınızda ve yeni bir tahmin oluşturduğunuzda, performans istatistikleri otomatik olarak güncellenir. Şimdiye kadar, bu performans istatistikleri yalnızca tahminci başlangıçta eğitildiğinde mevcuttu; şimdi bu istatistikler, yeni kesinlik verileri kullanılarak sürekli olarak üretiliyor ve tahmin edici performansını ölçmek için aktif olarak izlenebilir.

Bu, yeni bir tahmin ediciyi ne zaman eğiteceğinize veya yeniden eğiteceğinize karar vermek için tahmin edici performans istatistiklerini kullanmanıza olanak tanır. Örneğin, ortalama wQL metriği başlangıçtaki temel değerlerden saptığından, yeni bir tahminciyi yeniden eğitip eğitmemeyi belirleyebilirsiniz. Bir tahminciyi yeniden eğitmeye veya yeni bir tane oluşturmaya karar verirseniz, daha doğru tahmin ediciyi kullanarak yeni tahmin veri noktaları oluşturmaya başlayabilirsiniz.

Aşağıdaki grafikler, tahmin edici izlemenin iki örneğini sağlar. İlk grafikte, ortalama wQL metriği taban çizgisinden (tahmin edicinin eğitildiği ilk değer) düşerek tahmin doğruluğunun zaman içinde arttığını gösterir. Grafik, birkaç gün içinde ortalama wQL'nin 0.3'ten 0.15'e düştüğünü gösteriyor, bu da tahmin doğruluğunun arttığı anlamına geliyor. Bu durumda, tahmin ediciyi yeniden eğitmeye gerek yoktur, çünkü ilk eğitildiği zamandan daha doğru tahminler üretir.

Bir sonraki şekilde, bunun tersi doğrudur: ortalama wQL artıyor, bu da doğruluğun zamanla azaldığını gösteriyor. Bu durumda, tahmin ediciyi yeni verilerle yeniden eğitmeyi veya yeniden oluşturmayı düşünmelisiniz.

Tahmin'de, mevcut tahmin ediciyi yeniden eğitme veya sıfırdan yeniden oluşturma seçeneğine sahipsiniz. yeniden eğitim tek tıklamayla yapılır ve daha güncel verileri ve Tahmin algoritmalarındaki güncellemeleri ve iyileştirmeleri içerir. Yeniden tahmin edici, yeni bir tahmin edici oluşturmak için yeni girdiler (tahmin sıklığı, ufuk veya yeni boyut gibi) sağlamanıza olanak tanır.

Tahmini izlemeyi etkinleştir

Yeni bir tahminci oluştururken tahminci izlemeyi etkinleştirebilir veya mevcut tahminciler için açabilirsiniz. Bu bölümdeki adımlar, Tahmin konsolu kullanılarak bu adımların nasıl gerçekleştirileceğini gösterir. Jüpiter de var defter API'leri kullanarak öngörücü izlemeyi etkinleştirmek ve öngörücü izleme sonuçları oluşturmak için bir dizi adımdan geçen.

Bu örnek, tahmin edici izlemeden sağlanan zaman dilimli örnek veri kümesini kullanır. defter. Örneğimizde, bir zaman damgası, konum kimliği ve hedef değer (konum kimliğinde zaman damgası sırasında talep edilen teslim alma sayısı) içeren 100,000 satırlık New York City taksi alımları veri kümesiyle başlıyoruz.

Aşağıdaki adımları tamamlayın:

1. Tahmin konsolunda, Veri kümesi gruplarını görüntüle Gezinti bölmesinde.
2. Klinik Veri kümesi grubu oluştur ve veri kümesi grubu ayrıntılarınızı sağlayın.
   Veri kümesi grubunu oluşturduktan sonra bir hedef zaman serisi veri kümesi oluşturmanız istenir. Tahminciyi eğitmek ve tahminler oluşturmak için bu veri kümesini kullanırsınız.
3. Üzerinde Hedef zaman serisi veri kümesi oluşturun sayfasında, verilerinizin şemasını, sıklığını ve konumunu sağlayın.
4. Klinik Başlama hedef veri kümenizi içe aktarmak için.
   Ardından, tahmincinizi oluşturur ve ilk veri kümenizi kullanarak onu eğitirsiniz.
5. Gezinti bölmesinde şunu seçin: prediktörleri.
6. Klinik Yeni tahmin ediciyi eğit.
   
7. içinde tahmin ayarları bölümünde, tahminciniz için bir ad, gelecekte ne kadar süreyle ve hangi sıklıkta tahmin yapmak istediğinizi ve tahmin etmek istediğiniz niceliklerin sayısını girin.
   
8. İçin Optimizasyon metriği, optimize etmek için bir optimizasyon metriği seçebilirsiniz AutoPredictor Seçtiğiniz belirli bir doğruluk metriği için bir modeli ayarlamak için. İzlenecek yol için bunu varsayılan olarak bırakıyoruz.
9. Tahmin edici açıklanabilirlik raporunu almak için Tahmin edici açıklanabilirliği etkinleştirin.
10. Tahminci izlemeyi etkinleştirmek için Tahmini izlemeyi etkinleştir.
11. Giriş verileri yapılandırması altında, daha doğru talep tahminleri için yerel hava durumu bilgileri ve ulusal tatil günleri ekleyebilirsiniz.
12. Klinik Başlama tahmincinizi eğitmeye başlamak için.
    
    Tahmin şimdi bu ilk veri kümesiyle tahminciyi eğitiyor. Tahmin edici izleme etkinleştirildiğinde, bu veri kümesi grubuna her yeni veri sağlandığında, Tahmin, güncellenmiş tahmin edici doğruluk metriklerini hesaplayabilir.
13. Tahmin edici eğitildikten sonra, ilk doğruluk ölçümlerini değerlendirmek için onu seçin.
    
    The Metrikleri sekmesi, ilk tahmin edici kalite ölçümlerini gösterir. Tahmincinizden herhangi bir tahmin oluşturmadığınız veya herhangi bir yeni kesinlik verisi içe aktarmadığınız için, ekranda gösterilecek hiçbir şey yoktur. İzleme sekmesi.
    Sonraki adım, yeni tahmin ediciyi kullanarak bir tahmin oluşturmaktır.
14. Klinik Tahminleri Gezinti bölmesinde.
15. Klinik Tahmin oluştur az önce içe aktardığınız zaman serisi verilerine ve tahmin edici ayarlarına dayalı yeni bir tahmin oluşturmak için.
16. Tahmin adını, tahmin edici adını ve hesaplamak istediğiniz ek nicelik ölçütlerini sağlayın.

Tahmini oluşturduktan sonra, ayrıntılarını ve sonuçlarını şurada görüntüleyebilir ve dışa aktarabilirsiniz: Tahmin ayrıntıları gidin.

Tahmini izleme: Zaman içinde doğruluğun değerlendirilmesi

Zaman geçtikçe, iş süreçleriniz tarafından örneğin güncellenmiş satış rakamları, personel seviyeleri veya üretim çıktısı gibi yeni kesin bilgiler oluşturulur. Bu yeni verilere dayalı yeni tahminler oluşturmak için verilerinizi oluşturduğunuz veri kümesine aktarabilirsiniz.

1. Amazon Tahmin konsolunda, Veri kümesi grupları sayfasında veri kümesi grubunuzu seçin.
   
2. Veri kümenizi seçin.
   
3. içinde Veri kümesi içe aktarmaları bölümü, seçim Veri kümesi içe aktarma oluştur.
   
4. Konumu da dahil olmak üzere güncellenen verileriniz hakkında ek ayrıntılar sağlayın.
   
5. Klinik Başlama.

Tahmini izleme ile Tahmin, bu yeni verileri daha önce oluşturulan tahminle karşılaştırır ve tahminci için doğruluk ölçümlerini hesaplar. Güncellenen öngörücü kalite metrikleri, veri kümesine yeni veriler eklendikçe sürekli olarak hesaplanır.

Zaman içinde meydana gelen ek işlemleri temsil eden ek verileri içe aktarmak için bu adımları takip edebilirsiniz.

Tahmin edici izleme sonuçlarını değerlendirin

Tahminci izleme sonuçlarını görmek için, ilk tahminleri oluşturduktan sonra yeni kesinlik verileri eklemelisiniz. Tahmin, bu yeni yer gerçeği verilerini önceki tahminle karşılaştırır ve izleme için güncellenmiş model doğruluk değerleri üretir.

1. Üzerinde Veri kümesi grupları sayfasında, ilgili veri seti gruplarını seçin ve yeni kesinlik verileriyle güncellemek için Hedef Zaman Serilerini seçin.
   
2. Klinik Veri Kümesi İçe Aktarma Oluştur ve yeni kesin bilgi verilerinizi ekleyin.
   
   Ek kesinlik verilerini sağladıktan sonra, tahmincinizi açabilir ve ilk tahmin edici izleme istatistiklerini görüntüleyebilirsiniz.
3. Tahmincinizi seçin ve İzleme sekmesi.
   

Bu tahmin aracını kullanarak ek tahminler çalıştırmak ve kesin gerçek verilerinin daha fazla yinelemelerini eklemek için bu adımları takip edebilirsiniz. Tahminciniz için model doğruluk istatistiklerinin ilerlemesi şurada mevcuttur: İzleme sekmesi.

Bu örnek, dört ek veri güncellemesiyle değerlendirilen bir tahminci için model doğruluk istatistiklerini gösterir. Tahmin edici, başlangıçta eğitildiğinde 0.55'lik bir başlangıç ​​başlangıç ​​MAPE'sine sahipti. Ek veriler yüklendiğinde, MAPE ilk ek veri kümesiyle .42'ye düştü, bu da daha doğru bir tahmin ediciye işaret etti ve sonraki veri kümeleriyle .42 ile .48 arasındaki dar bir aralıkta dalgalandı.

Ek metrikleri görüntülemek için grafiği değiştirebilirsiniz. Aşağıdaki örneklerde, MASE ve ortalama wQL zaman içinde taban çizgisinden benzer dalgalanmalar gösterir.

The İzleme Geçmişi sayfanın alt kısmındaki bölüm, zaman içinde izlenen tüm tahmin edici doğruluk metrikleriyle ilgili tüm ayrıntıları sağlar.

Mevcut bir tahmin edicide tahmin izlemeyi ayarlama

Mevcut tahminciler için izlemeyi kolayca etkinleştirebilirsiniz. Bunu yapmak için aşağıdaki adımları tamamlayın:

1. Gezinti bölmesinde, veri kümenizin altında prediktörleri.
2. Buradan izlemeyi etkinleştirmenin iki yolu vardır:
   1. Klinik İzlemeye başlayın altında İzleme sütun.
      
   2. Tahmincinizi seçin ve İzleme sekme, altında Ayrıntıları izleyin, seçmek Monitörü başlat.
      
3. Açılır iletişim kutusunda, öğesini seçin. Başlama Seçilen tahmin edici için izlemeyi başlatmak için
   

The İzleme sekmesi artık tahminci izlemenin başladığını ve siz daha fazla veri içe aktardıkça sonuçların oluşturulduğunu gösteriyor.

Tahminci izlemeyi durdurun ve yeniden başlatın

Ayrıca tahminci izlemeyi durdurabilir ve yeniden başlatabilirsiniz. Aşağıdakileri göz önünde bulundur:

• Ücret – Tahmini izleme ek kaynaklar tüketir. Tipik küçük veri kümeleriyle maliyet minimumdur, ancak büyük veri kümeleriyle (girdi veri kümesindeki öğe sayısı ve tahmin ufku) artabilir.
• Gizlilik – İzleme sırasında tahmininizin bir kopyası saklanır. Bu kopyayı saklamak istemiyorsanız, izlemeyi durdurabilirsiniz.
• Gürültü – Bir tahminci ile deneme yapıyorsanız ve tahmin edici izleme sonuçlarınızda parazit görmek istemiyorsanız, tahmin edici izlemeyi geçici olarak durdurabilir ve tahmin ediciniz tekrar kararlı hale geldiğinde yeniden başlatabilirsiniz.

Tahmini izlemeyi durdurmak için aşağıdaki adımları tamamlayın:

1. gidin İzleme izlemenin etkinleştirildiği bir tahminci için sekme.
2. Klinik Monitörü Durdur tahmin edicinin izlenmesini durdurmak için.
   
3. İstendiğinde seçiminizi doğrulayın.
   

Tahmini izlemenin durdurulduğunu belirtmek için sonraki sayfada bir mesaj gösterilir.

Seçerek tahminci izlemeyi yeniden başlatabilirsiniz. Monitörü devam ettir.

Sonuç

Tahmincilerinizin kalitesini zaman içinde izlemek, talep planlama ve tahmin hedeflerinize ve nihayetinde iş hedeflerinize ulaşmak için önemlidir. Bununla birlikte, öngörücü izleme, zaman alıcı bir alıştırma olabilir ve gerekli iş akışlarını ayağa kaldırmak ve sürdürmek için gereken süreçler, daha yüksek operasyonel maliyetlere yol açabilir.

Tahmin artık tahmincilerinizin kalitesini otomatik olarak izleyebilir ve operasyonel çabalarınızı azaltmanıza olanak tanırken tahmincilerinizi tutma, yeniden eğitme veya yeniden oluşturma konusunda daha bilinçli kararlar vermenize yardımcı olur. Tahminci izlemeyi etkinleştirmek için bu gönderide özetlenen adımları veya GitHub not defterimizi takip edebilirsiniz.

Tahminci izlemenin yalnızca aşağıdakilerle kullanılabildiğini lütfen unutmayın. AutoPredictor. Daha fazla bilgi için bkz. %40'a kadar daha doğru tahminler oluşturan ve açıklanabilirlik sağlayan yeni Amazon Forecast API ve Otomatik Tahmin Oluştur.

Daha fazla bilgi edinmek için bkz. Tahmin İzleme. ayrıca incelemenizi tavsiye ederiz fiyatlandırma Bu yeni özellikleri kullanmak için. Tüm bu yeni özellikler, Tahminin herkese açık olduğu tüm Bölgelerde mevcuttur. Bölge kullanılabilirliği hakkında daha fazla bilgi için bkz. AWS Bölgesel Hizmetleri.

---

Yazarlar Hakkında

Dan Sinnreich Amazon Tahmini için Kıdemli Ürün Yöneticisidir. Düşük kodlu/kodsuz makine öğrenimini demokratikleştirmeye ve bunu iş sonuçlarını iyileştirmek için uygulamaya odaklanmıştır. İş dışında hokey oynarken, tenis servisini geliştirmeye çalışırken ve bilim kurgu okurken bulunabilir.

 Adarsh ​​Singh Amazon Forecast ekibinde Yazılım Geliştirme Mühendisi olarak çalışmaktadır. Mevcut görevinde, mühendislik problemlerine ve son kullanıcılara en fazla değeri sağlayan ölçeklenebilir dağıtılmış sistemler oluşturmaya odaklanmaktadır. Boş zamanlarında anime izlemekten ve video oyunları oynamaktan hoşlanır.

Shannon Killingsworth Amazon Tahmini için bir UX Tasarımcısıdır. Şu anki işi, herkes tarafından kullanılabilen konsol deneyimleri yaratmak ve yeni özellikleri konsol deneyimine entegre etmek. Boş zamanlarında fitness ve otomobil tutkunu.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/