Amazon SageMaker Studio not defterlerinizi planlanmış not defteri işleri olarak işlevsel hale getirin

Amazon SageMaker Stüdyosu veri bilimcilerin makine öğrenimi (ML) modellerini etkileşimli olarak oluşturması, eğitmesi ve dağıtması için tam olarak yönetilen bir çözüm sunar. Etkileşimli makine öğrenimi deneyimine ek olarak, veri çalışanları, Python modülleri olarak kodu yeniden düzenlemeye veya dağıtım altyapılarını otomatikleştirmek için DevOps araçlarını ve en iyi uygulamaları öğrenmeye gerek kalmadan not defterlerini geçici işler olarak çalıştırmak için çözümler arar. Bunu yapmak için bazı yaygın kullanım durumları şunları içerir:

• Rapor oluşturmak için düzenli olarak çalışan model çıkarımı
• Küçük bir örnek üzerinde bir veri alt kümesine karşı Studio'da test ettikten sonra özellik mühendisliği adımını büyütme
• Bazı ritimlerde modelleri yeniden eğitme ve dağıtma
• Ekibinizin analizini yapmak Amazon Adaçayı Yapıcı düzenli bir kadansta kullanım

Daha önce, veri bilimcileri not defterlerinde etkileşimli olarak oluşturdukları kodu alıp toplu işler olarak çalıştırmak istediklerinde, kullanarak dik bir öğrenme eğrisi ile karşı karşıya kalıyorlardı. Amazon SageMaker Ardışık Düzenleri, AWS Lambda, Amazon EventBridgeya da diğer çözümler kurması, kullanması ve yönetmesi zor.

İle SageMaker not defteri işleri, artık not defterlerinizi olduğu gibi veya SageMaker Studio'dan birkaç basit tıklamayla parametreli bir şekilde çalıştırabilirsiniz veya SageMaker Stüdyo Laboratuvarı arayüz. Bu not defterlerini bir programa göre veya hemen çalıştırabilirsiniz. Son kullanıcının mevcut not defteri kodunu değiştirmesine gerek yoktur. İş tamamlandığında, herhangi bir görselleştirme dahil olmak üzere doldurulmuş not defteri hücrelerini görüntüleyebilirsiniz!

Bu gönderide, SageMaker Studio not defterlerinizi planlanmış not defteri işleri olarak nasıl çalıştıracağınızı paylaşıyoruz.

Çözüme genel bakış

Aşağıdaki diyagram, çözüm mimarimizi göstermektedir. Not defterlerini bir iş olarak hemen veya bir programa göre çalıştırmak için önceden yüklenmiş SageMaker uzantısını kullanıyoruz.

Aşağıdaki bölümlerde not defteri oluşturma, hücreleri parametreleştirme, ek seçenekleri özelleştirme ve işinizi programlama adımlarını inceliyoruz. Ayrıca örnek bir kullanım durumu da ekliyoruz.

Önkoşullar

SageMaker not defteri işlerini kullanmak için Studio içinde bir JupyterLab 3 JupyterServer uygulaması çalıştırıyor olmanız gerekir. JupyterLab 3'e yükseltme hakkında daha fazla bilgi için bkz. Bir uygulamanın JupyterLab sürümünü konsoldan görüntüleyin ve güncelleyin. Emin olun Kapatın ve SageMaker Studio'yu Güncelleyin en son güncellemeleri almak için.

Not defterlerini bir programa göre çalıştıran iş tanımlarını tanımlamak için SageMaker yürütme rolünüze ek izinler eklemeniz gerekebilir.

Öncelikle, SageMaker yürütme rolünüze izin veren bir güven ilişkisi ekleyin. events.amazonaws.com rolünüzü üstlenmek için:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Ek olarak, yürütme rolünüze bir satır içi ilke oluşturmanız ve eklemeniz gerekebilir. Aşağıdaki politika, çok müsamahakar politikayı tamamlayıcı niteliktedir. AmazonSageMakerFullAccess politika. Eksiksiz ve minimum izinler için bkz. İlkeleri ve İzinleri Yükle.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

Bir not defteri işi oluşturma

Not defterinizi bir SageMaker not defteri işi olarak çalıştırmak için Bir not defteri işi oluşturma simgesi.

Alternatif olarak, dosya sisteminde not defterinizi seçebilir (sağ tıklayarak) ve Defter İşi Oluştur.

içinde İş oluştur bölümünde, iş yükünüze göre planlanmış işiniz için doğru örnek türünü seçmeniz yeterlidir: standart bulut sunucuları, işlem için optimize edilmiş örnekler veya GPU içeren hızlandırılmış bilgi işlem örnekleri. SageMaker eğitim işleri için mevcut örneklerden herhangi birini seçebilirsiniz. Mevcut örneklerin tam listesi için bkz. Amazon SageMaker Fiyatlandırması.

Bir iş tamamlandığında, çıktı not defteri dosyasını doldurulmuş hücreleriyle birlikte, işin çalıştırıldığı temel günlükleri de görüntüleyebilirsiniz.

Hücreleri parametreleştir

Bir not defterini bir üretim iş akışına taşırken, aynı not defterini modülerlik için farklı parametre kümeleriyle yeniden kullanabilmek önemlidir. Örneğin, aynı not defterini birçok farklı model eğitimi için yeniden kullanabilmek için modelinizin veri kümesi konumunu veya hiperparametrelerini parametrelendirmek isteyebilirsiniz. SageMaker not defteri işleri bunu hücre etiketleri aracılığıyla destekler. Sağ bölmedeki çift dişli simgesini seçin ve seçin Etiket Ekle. Ardından etiketi parametre olarak etiketleyin.

Varsayılan olarak, not defteri işi çalıştırma not defterinde belirtilen parametre değerlerini kullanır, ancak alternatif olarak bunları not defteri işiniz için bir yapılandırma olarak değiştirebilirsiniz.

Ek seçenekleri yapılandırın

Bir not defteri işi oluştururken, Ek seçenekler İş tanımınızı özelleştirmek için bölüm. Studio, not defterinizde kullandığınız görüntüyü veya çekirdeği otomatik olarak algılar ve sizin için önceden seçer. Bu seçimi doğruladığınızdan emin olun.

Not defteri çalışma ortamınızı özelleştirmek için ortam değişkenlerini veya başlangıç ​​komut dosyalarını da belirtebilirsiniz. Yapılandırmaların tam listesi için bkz. Ek Seçenekler.

İşinizi planlayın

İşinizi planlamak için seçin Bir programa göre çalıştırın ve uygun bir aralık ve zaman ayarlayın. O zaman seçebilirsiniz Dizüstü Bilgisayar İşleri ana sayfa simgesini seçtikten sonra görünen sekme. Not defteri yüklendikten sonra, Defter İş Tanımları zamanlamanızı duraklatmak veya kaldırmak için sekmesini tıklayın.

Örnek kullanım durumu

Örneğimizde, bir temel gerçek kaynağından veri hazırlayan, o zaman aralığından yenilenmiş bir modeli eğiten ve ardından eyleme dönüştürülebilir içgörüler oluşturmak için en son veriler üzerinde çıkarım yapan uçtan uca bir makine öğrenimi iş akışını sergiliyoruz. Uygulamada, uçtan uca eksiksiz bir iş akışı çalıştırabilir veya iş akışınızın bir adımını basitçe çalıştırabilirsiniz. zamanlayabilirsiniz AWS Tutkal etkileşimli oturum günlük veri hazırlama için veya çıktı not defterinizde doğrudan grafiksel sonuçlar oluşturan bir toplu çıkarım işi çalıştırın.

Bu örnek için tam not defteri şurada bulunabilir: SageMaker Örnekleri GitHub deposu. Kullanım örneği, elimizdeki en son verilerle eğitilmiş bir modele dayalı olası müşteri kayıplarını tahmin eden bir not defteri planlamak isteyen bir telekomünikasyon şirketi olduğumuzu varsayar.

Başlamak için, mevcut en son müşteri verilerini topluyoruz ve bunlar üzerinde bazı ön işlemler yapıyoruz:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

Doğru tahminler yapabilmek için yenilenen modelimizi bu güncellenmiş eğitim verileri üzerinde eğitiyoruz. todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

Bu not defterini günlük bir rapor olarak planlayacağımız için, yenilenen modelimizin doğrulama setimizde ne kadar iyi performans gösterdiğini yakalamak istiyoruz, böylece gelecekteki tahminlerinden emin olabiliriz. Aşağıdaki ekran görüntüsündeki sonuçlar, planlanmış çıkarım raporumuzdan alınmıştır.

Son olarak, bugünün verilerinin tahmin edilen sonuçlarını bir veritabanına çekmek istiyorsunuz, böylece bu modelin sonuçlarına göre aksiyon alınabiliyor.

Not defteri anlaşıldıktan sonra, bunu kullanarak geçici bir iş olarak çalıştırmaktan çekinmeyin. Şimdi koş daha önce açıklanan seçeneği kullanın veya planlama işlevini test edin.

Temizlemek

Örneğimizi takip ettiyseniz, devam eden ücretlerden kaçınmak için dizüstü bilgisayarınızın iş programını duraklattığınızdan veya sildiğinizden emin olun.

Sonuç

SageMaker not defteri işleriyle not defterlerini üretime getirmek, veri işçilerinin gerektirdiği farklılaştırılmamış ağır işleri büyük ölçüde basitleştirir. İster uçtan uca makine öğrenimi iş akışlarını, ister yapbozun bir parçasını planlıyor olun, SageMaker Studio veya SageMaker Studio Lab kullanarak bazı not defterlerini üretime sokmanızı öneririz! Daha fazla bilgi edinmek için bkz. Defter Tabanlı İş Akışları.

yazarlar hakkında

Sean Morgan AWS'de Kıdemli ML Çözümleri Mimarıdır. Yarı iletken ve akademik araştırma alanlarında deneyimi vardır ve bu deneyimini müşterilerin AWS'deki hedeflerine ulaşmalarına yardımcı olmak için kullanır. Sean boş zamanlarında bir etkinleştirme açık kaynak katılımcısı/koruyucusu ve TensorFlow Eklentileri için özel ilgi grubu lideridir.

Sümeyye Swamy Amazon Web Services'de Baş Ürün Müdürüdür. SageMaker Studio ekibini, etkileşimli veri bilimi ve veri mühendisliği iş akışları için tercih edilen IDE'ye yerleştirmek üzere yönetiyor. Son 15 yılını Machine Learning kullanarak müşteri takıntılı tüketici ve kurumsal ürünler inşa ederek geçirdi. Boş zamanlarında Güneybatı Amerika'nın muhteşem jeolojisini fotoğraflamayı seviyor.

edward güneş Amazon Web Services'ta SageMaker Studio için çalışan bir Kıdemli SDE'dir. SageMaker Studio'yu veri mühendisliği ve makine öğrenimi ekosistemindeki popüler teknolojilerle entegre etmek için etkileşimli makine öğrenimi çözümü oluşturmaya ve müşteri deneyimini basitleştirmeye odaklanmıştır. Boş zamanlarında, Edward kamp yapmanın, yürüyüş yapmanın ve balık tutmanın büyük bir hayranıdır ve ailesiyle vakit geçirmekten keyif alır.