Amazon SageMaker Otomatik Model Ayarlama artık ızgara aramasını destekliyor

Bugün Amazon Adaçayı Yapıcı Grid arama desteğini duyurdu otomatik model ayarlamakullanıcılara modeliniz için en iyi hiperparametre yapılandırmasını bulmaları için ek bir strateji sağlar.

Amazon SageMaker otomatik model ayarlama, veri kümenizde birçok eğitim işini çalıştırarak bir modelin en iyi sürümünü bulur. menzil Belirttiğiniz hiperparametrelerin sayısı. Daha sonra, bir ölçüm cihazı ile ölçülen, en iyi performansı gösteren bir modelle sonuçlanan hiperparametre değerlerini seçer. metrik seçtiğiniz.

Modeliniz için en iyi hiper parametre değerlerini bulmak amacıyla Amazon SageMaker otomatik model ayarlama, aşağıdakiler de dahil olmak üzere birden fazla stratejiyi destekler: Bayes (Varsayılan) Rasgele arama ve hiper bant.

ızgara arama

Izgara araması, tanımladığınız hiperparametreler ızgarasındaki konfigürasyonları kapsamlı bir şekilde araştırır; bu, ızgaranızdaki en umut verici hiperparametre konfigürasyonlarına ilişkin öngörüler elde etmenize ve sonuçlarınızı farklı ayarlama çalıştırmalarında belirleyici bir şekilde yeniden üretmenize olanak tanır. Izgara araması, hiper parametre arama alanının tamamının keşfedildiğine dair size daha fazla güven verir. Bu avantaj, Bayesian ve rastgele aramadan hesaplama açısından daha pahalı olduğundan, ana hedefiniz en iyi hiperparametre konfigürasyonunu bulmaksa, bir ödünleşimi de beraberinde getirir.

Amazon SageMaker ile tablo araması

Amazon SageMaker'da sorununuz, hedef ölçütünüzü en üst düzeye çıkaran veya en aza indiren en uygun hiper parametre kombinasyonuna sahip olmanızı gerektirdiğinde Izgara aramasını kullanırsınız. Müşterinin Izgara Aramayı kullandığı yaygın bir kullanım durumu, işletmeniz için model doğruluğunun ve tekrarlanabilirliğinin, bunu elde etmek için gereken eğitim maliyetinden daha önemli olduğu durumdur.

Amazon SageMaker'da Izgara Aramayı etkinleştirmek için Strategy için alan Grid aşağıdaki gibi bir ayarlama işi oluşturduğunuzda:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Ek olarak, Izgara araması, arama alanınızı (Kartezyen ızgara), iş tanımınızdaki ayrı değerlerin kategorik bir aralığı olarak tanımlamanızı gerektirir. CategoricalParameterRanges altındaki anahtar ParameterRanges parametre aşağıdaki gibidir:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Belirtmediğimizi unutmayın MaxNumberOfTrainingJobs İş tanımında ızgara araması yapın çünkü bu sizin için kategori kombinasyonlarının sayısına göre belirlenir. Rastgele ve Bayesian aramayı kullanırken, MaxNumberOfTrainingJobs parametresini, hesaplama için bir üst sınır tanımlayarak ayarlama işi maliyetini kontrol etmenin bir yolu olarak kullanın. Izgara araması ile değeri MaxNumberOfTrainingJobs (artık isteğe bağlı), ızgara araması için adayların sayısı olarak otomatik olarak ayarlanır. TanımHyperParameterTuningJob şekil. Bu, istediğiniz hiperparametreler ızgarasını kapsamlı bir şekilde keşfetmenize olanak tanır. Ek olarak, Izgara arama işi tanımı yalnızca ayrık kategorik aralıkları kabul eder ve kılavuzdaki her değer ayrık olarak kabul edildiğinden sürekli veya tam sayı aralıkları tanımı gerektirmez.

Izgara Arama deneyi

Bu deneyde, bir regresyon görevi verildiğinde, 200 hiperparametreden oluşan bir arama alanı içinde en uygun hiperparametreleri ararız, 20 eta ve 10 alpha 0.1 ile 1 arasında değişmektedir. doğrudan pazarlama veri seti Bir regresyon modelini ayarlamak için.

• eta: Aşırı uyumu önlemek için güncellemelerde kullanılan adım boyutu küçültme. Her yükseltme adımından sonra doğrudan yeni özelliklerin ağırlıklarını alabilirsiniz. eta parametresi aslında yükseltme işlemini daha muhafazakar hale getirmek için özellik ağırlıklarını küçültür.
• alfa: Ağırlıklara ilişkin L1 düzenleme terimi. Bu değerin arttırılması modelleri daha muhafazakar hale getirir.

Soldaki grafik bir analizi gösteriyor eta nesnel metrikle ilişkili hiperparametredir ve en iyi modeli döndürmeden önce ızgara aramasının X eksenlerindeki tüm arama alanını (ızgara) nasıl tükettiğini gösterir. Aynı şekilde sağdaki grafik, ızgaradaki tüm noktaların ayarlama sırasında seçildiğini göstermek için tek bir kartezyen uzaydaki iki hiperparametreyi analiz eder.

Yukarıdaki deney, Izgara aramanın kapsamlı yapısının, tanımlanan arama alanı göz önüne alındığında optimal bir hiperparametre seçimini garanti ettiğini göstermektedir. Bu aynı zamanda, diğer her şey eşit olmak kaydıyla, arama sonucunuzu ayarlama yinelemeleri boyunca yeniden üretebileceğinizi de gösterir.

Amazon SageMaker Otomatik Model Ayarlama iş akışları (AMT)

Amazon SageMaker otomatik model ayarlama ile Bayesian, Random search, Grid search ve Hyperband gibi çeşitli arama stratejileriyle veri kümenizde eğitim işleri çalıştırarak modelinizin en iyi sürümünü bulabilirsiniz. Otomatik model ayarlama, belirttiğiniz hiperparametre aralıkları dahilinde en iyi hiperparametre yapılandırmasını otomatik olarak arayarak bir modeli ayarlama süresini kısaltmanıza olanak tanır.

Artık Amazon SageMaker AMT'de Izgara aramasını kullanmanın avantajlarını incelediğimize göre, AMT'nin iş akışlarına bir göz atalım ve bunların SageMaker'da nasıl birbirine uyduğunu anlayalım.

Sonuç

Bu yazıda, en iyi modeli bulmak için Izgara arama stratejisini nasıl kullanabileceğinizi ve bunun farklı ayarlama işlerinde sonuçları belirleyici bir şekilde yeniden üretme yeteneğini tartıştık. Diğer stratejilerle karşılaştırıldığında ızgara aramayı kullanırken yapılan ödünleşimi ve bunun, hiperparametre uzaylarının hangi bölgelerinin en umut verici olduğunu keşfetmenize ve sonuçlarınızı deterministik bir şekilde yeniden üretmenize nasıl olanak tanıdığını tartıştık.

Otomatik model ayarlama hakkında daha fazla bilgi edinmek için şu adresi ziyaret edin: Ürün sayfası ve teknik döküman.

Yazar hakkında

Doug Mbaya veri ve analitik odaklı bir Kıdemli Ortak Çözüm mimarıdır. Doug, AWS iş ortaklarıyla yakın bir şekilde çalışarak bulutta veri ve analitik çözümlerini entegre etmelerine yardımcı olur.