Yeni nesil Amazon SageMaker Deneyleri – Makine öğrenimi eğitimlerinizi geniş ölçekte düzenleyin, izleyin ve karşılaştırın

Bugün, güncellemelerimizi duyurmaktan mutluluk duyuyoruz. Amazon SageMaker Deneyleri yeteneği Amazon Adaçayı Yapıcı yerel Jupyter Not Defterleri de dahil olmak üzere SageMaker Python SDK veya boto3 kullanarak herhangi bir entegre geliştirme ortamından (IDE) makine öğrenimi (ML) deneylerini ve model sürümlerini düzenlemenize, izlemenize, karşılaştırmanıza ve değerlendirmenize olanak tanır.

Makine öğrenimi (ML), yinelemeli bir süreçtir. Yeni bir kullanım durumunu çözerken, veri bilimcileri ve makine öğrenimi mühendisleri, belirlenen iş zorluğunu çözmek için üretimde kullanılabilecek en iyi model yapılandırmalarını (diğer bir deyişle hiperparametreler) bulmak için çeşitli parametreleri yineler. Zamanla, birden fazla model ve hiperparametre ile deneme yaptıktan sonra, makine öğrenimi ekiplerinin farklı deneyleri takip edecek bir araç olmadan en uygun modeli bulmak için model çalıştırmalarını verimli bir şekilde yönetmesi zorlaşır. Deney izleme sistemleri, farklı yinelemeleri karşılaştırmak için süreçleri kolaylaştırır ve bir ekipteki işbirliğini ve iletişimi basitleştirmeye yardımcı olarak üretkenliği artırır ve zamandan tasarruf sağlar. Bu, makine öğrenimi deneylerini zahmetsiz bir şekilde düzenleyerek ve yöneterek bunlardan sonuçlar çıkarmak, örneğin en iyi doğrulukla eğitim çalıştırmasını bulmak yoluyla elde edilir.

Bu zorluğun üstesinden gelmek için SageMaker, tamamen entegre bir SageMaker yeteneği olan SageMaker Deneyleri sağlar. Model ölçümlerinizi, parametrelerinizi, dosyalarınızı, yapıtlarınızı, farklı ölçümlerden çizim çizelgelerinizi kaydetme, çeşitli meta verileri yakalama, bunlar arasında arama yapma ve model tekrarlanabilirliğini destekleme esnekliği sağlar. Veri bilimcileri, görsel çizelgeler ve tablolar aracılığıyla model değerlendirmesi için performansı ve hiperparametreleri hızla karşılaştırabilir. Oluşturulan çizelgeleri indirmek ve model değerlendirmesini paydaşlarıyla paylaşmak için SageMaker Deneylerini de kullanabilirler.

SageMaker Experiments'e yapılan yeni güncellemelerle, artık SageMaker SDK'nın bir parçası olarak veri bilimcinin işini basitleştiriyor ve birden fazla model yürütmeyi yönetmek için fazladan bir kitaplık kurma ihtiyacını ortadan kaldırıyor. Aşağıdaki yeni temel kavramları tanıtıyoruz:

• Deney: Birlikte gruplandırılmış çalıştırma koleksiyonu. Bir deney, SageMaker Python SDK kullanılarak herhangi bir yerden başlatılabilen birden fazla tür için çalıştırma içerir.
• koşmak: Bir model eğitim sürecinin her yürütme adımı. Bir çalıştırma, model eğitiminin bir tekrarı için tüm girdilerden, parametrelerden, yapılandırmalardan ve sonuçlardan oluşur. Özel parametreler ve metrikler kullanılarak günlüğe kaydedilebilir. log_parameter, log_parameters, ve log_metric fonksiyonlar. Özel giriş ve çıkış kullanılarak günlüğe kaydedilebilir. log_file fonksiyonu.

bir parçası olarak uygulanan kavramlar Run sınıfı, SageMaker Python SDK'nın kurulu olduğu herhangi bir IDE'den kullanılabilir hale getirilir. SageMaker Eğitimi, İşleme ve

İşleri Dönüştür, iş bir çalıştırma bağlamında çağrılırsa, SageMaker Deney Çalıştırması otomatik olarak işe geçirilir. Çalıştırma nesnesini kullanarak kurtarabilirsiniz. load_run() işinizden Son olarak, yeni işlevlerin entegrasyonuyla birlikte, veri bilimcileri otomatik olarak bir karışıklık matrisini, kesinlik ve geri çağırma grafiklerini ve sınıflandırma kullanım durumları için bir ROC eğrisini de kaydedebilir. run.log_confusion_matrix, run.log_precision_recall, ve run.log_roc_curve sırasıyla işlevler.

Bu blog yazısında, SageMaker SDK aracılığıyla bir Jupyter not defterinde yeni SageMaker Deneyleri işlevlerinin nasıl kullanılacağına dair örnekler vereceğiz. Bu yetenekleri bir kullanarak göstereceğiz. PyTorch örnek bir MNIST el yazısı rakam sınıflandırma örneği eğitmek için. Deney şu şekilde organize edilecektir:

1. Deneme çalıştırmaları ve günlük parametreleri oluşturma: Önce yeni bir deney oluşturacağız, bu deney için yeni bir çalıştırma başlatacağız ve parametreleri ona kaydedeceğiz.
2. Model performans metriklerini günlüğe kaydetme:Model performans metriklerini günlüğe kaydedeceğiz ve metrik grafikleri çizeceğiz.
3. Model çalıştırmalarını karşılaştırma:Model hiperparametrelerine göre farklı model çalıştırmalarını karşılaştıracağız. Bu çalıştırmaları nasıl karşılaştıracağımızı ve en iyi modeli seçmek için SageMaker Deneylerini nasıl kullanacağımızı tartışacağız.
4. SageMaker işlerinden denemeler çalıştırma: Ayrıca, denemenizin içeriğini bir SageMaker işleme, eğitim veya toplu dönüştürme işiyle otomatik olarak nasıl paylaşacağınıza dair bir örnek de sağlayacağız. Bu, çalışma içeriğinizi otomatik olarak kurtarmanıza olanak tanır. load_run işinizin içinde işlev görür.
5. SageMaker Clarify raporlarını entegre etme: Şimdi nasıl entegre olabileceğimizi göstereceğiz SageMaker Netleştirin Eğitilmiş model raporunuzla önyargı ve açıklanabilirlik raporlarını tek bir görünümde toplayın.

Önkoşullar

Bu blog yazısı için kullanacağız Amazon SageMaker Stüdyosu güncellenmiş SageMaker Deneyleri işlevlerini kullanarak bir Studio not defterinden metriklerin nasıl kaydedileceğini göstermek için. Örneğimizde sunulan komutları yürütmek için aşağıdaki ön koşullara ihtiyacınız vardır:

• SageMaker Studio Alanı
• SageMaker tam erişimine sahip SageMaker Studio kullanıcı profili
• En az bir SageMaker Studio not defteri ml.t3.medium örnek türü

Kullanılabilir bir SageMaker Etki Alanınız ve kullanıcı profiliniz yoksa, bunu kullanarak bir tane oluşturabilirsiniz. hızlı kurulum kılavuzu.

Günlük parametreleri

Bu alıştırma için kullanacağımız meşalebilgisayar görüşü için popüler veri kümeleri, model mimarileri ve yaygın görüntü dönüşümleri sağlayan bir PyTorch paketi. SageMaker Studio, bir dizi Docker görüntüleri Amazon ECR'de kullanıma sunulan yaygın veri bilimi kullanım durumları için. PyTorch için, CPU veya GPU eğitimi için optimize edilmiş görüntüleri seçme seçeneğine sahipsiniz. Bu örnek için görüntüyü seçeceğiz PyTorch 1.12 Python 3.8 CPU Optimized ve Python 3 çekirdek. Aşağıda açıklanan örnekler, SageMaker Deneyleri işlevlerine odaklanacaktır ve tam kod değildir.

ile verileri indirelim. torchvision tren ve test veri kümeleri için veri örneklerinin sayısını SageMaker Deneyleri ile parametre olarak paketleyin ve izleyin. Bu örnek için varsayalım train_set ve test_set zaten indirilmiş olarak torchvision veri kümeleri.

from sagemaker.session import Session
from sagemaker.experiments.run import Run
import os

# create an experiment and start a new run
experiment_name = "local-experiment-example"
run_name = "experiment-run"

with Run(experiment_name=experiment_name, sagemaker_session=Session(), run_name=run_name) as run:
    run.log_parameters({
        "num_train_samples": len(train_set.data),
        "num_test_samples": len(test_set.data)
    })
    for f in os.listdir(train_set.raw_folder):
        print("Logging", train_set.raw_folder+"/"+f)
        run.log_file(train_set.raw_folder+"/"+f, name=f, is_output=False)

Bu örnekte, run.log_parameters tren ve test veri örneklerinin sayısını günlüğe kaydetmek ve run.log_file ham veri kümelerini Amazon S3'e yüklemek ve bunları deneyimize girdi olarak kaydetmek için.

Bir modeli eğitme ve model ölçümlerini günlüğe kaydetme

Artık MNIST veri kümemizi indirdiğimize göre, bir CNN modeli rakamları tanımak için. Modeli eğitirken, mevcut deneme çalıştırmamızı yüklemek, ona yeni parametreler kaydetmek ve model metriklerini günlüğe kaydederek model performansını izlemek istiyoruz.

Biz kullanabilirsiniz load_run önceki çalışmamızı yüklemek ve onu model eğitimimizi kaydetmek için kullanmak için işlev

with load_run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=Session()) as run:
    train_model(
        run=run,
        train_set=train_set,
        test_set=test_set,
        epochs=10,
        hidden_channels=5,
        optimizer="adam"
    )

sonra kullanabiliriz run.log_parameter ve run.log_parameters çalışmamıza bir veya daha fazla model parametresi kaydetmek için.

# log the parameters of your model
run.log_parameter("device", "cpu")
run.log_parameters({
    "data_dir": data_dir,
    "optimizer": optimizer,
    "epochs": epochs,
    "hidden_channels": hidden_channels
})

Ve kullanabiliriz run.log_metric performans metriklerini denememize kaydetmek için.

run.log_metric(name=metric_type+":loss", value=loss, step=epoch)
run.log_metric(name=metric_type+":accuracy", value=accuracy, step=epoch)

Sınıflandırma modelleri için ayrıca kullanabilirsiniz. run.log_confusion_matrix, run.log_precision_recall, ve run.log_roc_curve, modelinizin karışıklık matrisini, hassas geri çağırma grafiğini ve ROC eğrisini otomatik olarak çizmek için. Modelimiz çok sınıflı bir sınıflandırma problemini çözdüğü için, bunun için sadece karışıklık matrisini günlüğe kaydedelim.

# log confusion matrix
with torch.no_grad():
    for data, target in test_loader:
        data, target = data.to(device), target.to(device)
        output = model(data)
        pred = output.max(1, keepdim=True)[1] 
        run.log_confusion_matrix(target, pred, "Confusion-Matrix-Test-Data")

Çalıştırma ayrıntılarımıza baktığımızda, oluşturulan metrikleri artık aşağıdaki ekran görüntüsünde gösterildiği gibi görebiliriz:

Çalıştırma ayrıntıları sayfası, metrikler hakkında daha fazla bilgi sağlar.

Ve yeni model parametreleri, parametrelere genel bakış sayfasında izlenir.

Ayrıca indirilebilen ve farklı raporlar için kullanılabilen, otomatik olarak çizilen karışıklık matrisini kullanarak modelinizin performansını sınıfa göre analiz edebilirsiniz. Ayrıca, günlüğe kaydedilen ölçümlere dayalı olarak modelinizin performansını analiz etmek için ekstra grafikler çizebilirsiniz.

Birden çok model parametresini karşılaştırma

Bir veri bilimcisi olarak mümkün olan en iyi modeli bulmak istersiniz. Bu, bir modeli farklı hiperparametrelerle birden çok kez eğitmeyi ve modelin performansını bu hiperparametrelerle karşılaştırmayı içerir. Bunu yapmak için, SageMaker Deneyleri, aynı deneyde birden fazla çalıştırma oluşturmamıza izin verir. Modelimizi farklı yöntemlerle eğiterek bu konsepti keşfedelim. num_hidden_channels ve optimizers.

# define the list of parameters to train the model with
num_hidden_channel_param = [5, 10, 20]
optimizer_param = ["adam", "sgd"]
run_id = 0
# train the model using SageMaker Experiments to track the model parameters, 
# metrics and performance
sm_session = Session()
for i, num_hidden_channel in enumerate(num_hidden_channel_param):
    for k, optimizer in enumerate(optimizer_param):
        run_id += 1
        run_name = "experiment-run-"+str(run_id)
        print(run_name)
        print(f"Training model with: {num_hidden_channel} hidden channels and {optimizer} as optimizer")
        # Defining an experiment run for each model training run
        with Run(experiment_name=experiment_name, run_name=run_name, sagemaker_session=sm_session) as run:
            train_model(
                run=run, 
                train_set=train_set,
                test_set=test_set,
                epochs=10, 
                hidden_channels=num_hidden_channel,
                optimizer=optimizer
            )

Şimdi denememiz için altı yeni çalıştırma oluşturuyoruz. Her biri model parametrelerini, ölçümlerini ve karışıklık matrisini günlüğe kaydedecektir. Daha sonra problem için en iyi performans gösteren modeli seçmek için çalıştırmaları karşılaştırabiliriz. Çalışmaları analiz ederken, farklı eğitim adımları (veya dönemleri) boyunca çalıştırmaların performansını karşılaştırarak, farklı çalıştırmalar için metrik grafikleri tek bir çizim olarak çizebiliriz.

SageMaker Deneylerini SageMaker eğitimi, işleme ve toplu dönüştürme işleriyle kullanma

Yukarıdaki örnekte, modelin not defterinde yerel olarak eğitildiği bir SageMaker Studio not defterinden model performansını günlüğe kaydetmek için SageMaker Deneylerini kullandık. SageMaker işleme, eğitim ve toplu dönüştürme işlerinden model performansını günlüğe kaydetmek için aynısını yapabiliriz. Yeni otomatik bağlam geçirme yetenekleriyle, otomatik olarak yakalanacağı için, deney yapılandırmasını SageMaker işiyle özel olarak paylaşmamız gerekmiyor.

Aşağıdaki örnek, SageMaker Deneyleri işlevlerine odaklanacaktır ve kod tamamlanmamıştır.

from sagemaker.pytorch import PyTorch
from sagemaker.experiments.run import Run
from sagemaker.session import Session
from sagemaker import get_execution_role
role = get_execution_role()

# set new experiment configuration
exp_name = "training-job-experiment-example"
run_name = "experiment-run-example"

# Start training job with experiment setting
with Run(experiment_name=exp_name, run_name=run_name, sagemaker_session=Session()) as run:
    est = PyTorch(
        entry_point="",
        dependencies=[""],
        role=role,
        model_dir=False,
        framework_version="1.12",
        py_version="py38",
        instance_type='ml.c5.xlarge',
        instance_count=1,
            hyperparameters={
            "epochs": 10,
            "hidden_channels":5,
            "optimizer": "adam",
        },
        keep_alive_period_in_seconds=3600
    )
    
    est.fit()

Model betik dosyamızda, şunu kullanarak çalıştırma içeriğini alabiliriz: load_run(). SageMaker işleme ve eğitim işlerinde, konfigürasyonu yüklemek için deneme konfigürasyonu sağlamamız gerekmez. Toplu dönüştürme işleri için şunları sağlamamız gerekir: experiment_name ve run_name deneyin yapılandırmasını yüklemek için.

with load_run() as run:
    run.log_parameters({...})
    train_model(run, ...)

Bir not defteri komut dosyasından SageMaker Deneylerini çalıştırırken aldığımız bilgilere ek olarak, bir SageMaker işinden çalıştırma, iş parametrelerini ve çıktılarını otomatik olarak dolduracaktır.

Yeni SageMaker Deneyleri SDK'sı ayrıca denemeler ve deneme bileşenleri kavramlarını kullanarak önceki sürümle geriye dönük uyumluluk sağlar. Önceki SageMaker Deneyleri sürümü kullanılarak tetiklenen herhangi bir deney, deneylerin analiz edilmesi için yeni kullanıcı arayüzünde otomatik olarak kullanıma sunulacaktır.

SageMaker Clarify ve model eğitim raporlarını entegre etme

SageMaker Clarify, algılayarak makine öğrenimi modellerimizi geliştirmemize yardımcı olur potansiyel önyargı ve yardım açıklamak bu modellerin tahminleri nasıl yaptığı. Clarify, verileriniz (veri yapılandırması), modeliniz (model yapılandırması) ve olası yanlılık (yanlılık) için analiz etmek istediğimiz hassas veri sütunları hakkındaki bilgileri kullanarak, modeliniz eğitildikten sonra SageMaker işleme işleri olarak çalışan önceden oluşturulmuş kapsayıcılar sağlar. yapılandırma). Şimdiye kadar SageMaker Deneyleri, model eğitimimizi ve Clarify raporlarımızı bir deneme yoluyla bağlanan ayrı deneme bileşenleri olarak görüntüledi.

Yeni SageMaker Deneyleri ile, SageMaker Clarify raporlarını, modelimizi daha iyi anlamamızı sağlayan tek bir gerçek kaynağına sahip model eğitimimize de entegre edebiliriz. Entegre bir rapor için tek yapmamız gereken eğitim ve Clarify işlerimiz için aynı çalıştırma adına sahip olmak. Aşağıdaki örnek, bir rapor kullanarak raporları nasıl entegre edebileceğimizi göstermektedir. XGBoost modeli Amerika Birleşik Devletleri'ndeki yetişkinlerin gelirini tahmin etmek için. Modelin kullandığı UCI Yetişkin veri seti. Bu alıştırma için, modelin zaten eğitildiğini ve verileri, modeli ve yanlılık yapılandırmalarını zaten hesapladığımızı varsayıyoruz.

with Run(
    experiment_name='clarify-experiment',
    run_name="joint-run",
    sagemaker_session=sagemaker_session,
) as run:
    xgb.fit({"train": train_input}, logs=False)
    clarify_processor.run_bias(
        data_config=bias_data_config,
        bias_config=bias_config,
        model_config=model_config,
        model_predicted_label_config=predictions_config,
        pre_training_methods="all",
        post_training_methods="all",
    )
    clarify_processor.run_explainability(
        data_config=explainability_data_config,
        model_config=model_config,
        explainability_config=shap_config,
    )

Bu kurulumla, model metriklerini, ortak girdileri ve çıktıları ve model istatistiksel yanlılığı ve açıklanabilirliği için Clarify raporlarını içeren birleşik bir görünüm elde ederiz.

Sonuç

Bu gönderide, SageMaker SDK'nın entegre bir parçası olan yeni nesil SageMaker Deneylerini inceledik. Yeni Run sınıfıyla makine öğrenimi iş akışlarınızı herhangi bir yerden nasıl günlüğe kaydedeceğinizi gösterdik. Deneylerinizi izlemenize ve tek bir çalıştırma metriği için grafikler çizmenize ve ayrıca yeni analiz yeteneğiyle birden fazla çalıştırmayı karşılaştırmanıza olanak tanıyan yeni Deneyler Kullanıcı Arayüzünü sunduk. Bir SageMaker Studio not defterinden ve bir SageMaker Studio eğitim işinden günlük kaydı deneylerine örnekler sağladık. Son olarak, model eğitimini ve SageMaker Clarify raporlarını birleşik bir görünümde nasıl entegre edeceğinizi gösterdik, bu da modelinizi daha iyi anlamanıza olanak tanır.

Yeni Denemeler işlevlerini denemenizi ve şuraya bağlanmanızı öneririz: Makine Öğrenimi ve Yapay Zeka topluluğu herhangi bir sorunuz veya geri bildiriminiz varsa!

Yazarlar Hakkında

Maira Ladeira Tankı AWS'de Makine Öğrenimi Uzmanıdır. Veri Bilimi geçmişiyle, farklı sektörlerden müşterilerle makine öğrenimi uygulamaları tasarlama ve oluşturma konusunda 9 yıllık deneyime sahiptir. Teknik lider olarak, gelişen teknolojiler ve yenilikçi çözümler aracılığıyla müşterilerin iş değerine ulaşmalarını hızlandırmalarına yardımcı olur. Maira, boş zamanlarında seyahat etmeyi ve ailesiyle sıcak bir yerde vakit geçirmeyi seviyor.

Mani Khanuja Amazon Web Services'de (AWS) Yapay Zeka ve Makine Öğrenimi Uzmanı SA'dır. Makine öğrenimini kullanan müşterilerin AWS'yi kullanarak iş zorluklarını çözmelerine yardımcı olur. Zamanının çoğunu derinlere dalarak ve müşterilere bilgisayarla görme, doğal dil işleme, tahmin, uçta ML ve daha fazlasıyla ilgili AI/ML projeleri öğreterek geçiriyor. Uçta ML konusunda tutkulu, bu nedenle, boş zamanlarının çoğunu harcadığı kendi kendine sürüş kiti ve prototip üretim üretim hattı ile kendi laboratuvarını yarattı.

Dewen Qi'si AWS'de Yazılım Geliştirme Mühendisi. Şu anda, müşterilerin makine öğrenimi projelerini başarılı kılmalarına yardımcı olmak için AWS SageMaker'da bir platform hizmetleri ve araçları koleksiyonu oluşturmaya katılıyor. Ayrıca, MLOps konseptini daha geniş bir kitleye ulaştırma konusunda tutkulu. İş dışında, Dewen Çello çalışmaktan hoşlanır.

Abhishek Ağarwal Amazon SageMaker Kıdemli Ürün Müdürüdür. Müşterilerle çalışma ve makine öğrenimini daha erişilebilir hale getirme konusunda tutkulu. Abhishek boş zamanlarında resim yapmaktan, bisiklete binmekten ve yenilikçi teknolojiler hakkında bilgi edinmekten hoşlanıyor.

Dana Benson Amazon SageMaker Deneyler, Köken ve Arama ekibinde çalışan bir Yazılım Mühendisidir. AWS'ye katılmadan önce Dana, Alexa'da akıllı ev işlevselliğini etkinleştirmek ve Starbucks'ta mobil sipariş vermek için zaman harcadı.