Fiddler kullanarak Amazon SageMaker modelleriniz için kurumsal düzeyde izleme elde edin

Bu, Fiddler AI'dan Danny Brock, Rajeev Govindan ve Krishnaram Kenthapadi tarafından yazılan bir misafir blog yazısıdır.

Amazon Adaçayı Yapıcı modeller yayında. Her gün milyonlarca çıkarımla ilgileniyorlar ve şirketiniz için daha iyi iş sonuçları elde ediyorlar. Piyasaya sürüldükleri günkü kadar iyi performans gösteriyorlar.

Bekle. Onlar mı? Belki. Belki de değil.

Kurumsal sınıf olmadan model izleme, modelleriniz sessizce çürüyor olabilir. Makine öğrenimi (ML) ekipleriniz, bu modellerin aslında gelir yaratma mucizelerinden, şirketinizin zamanına ve parasına mal olan yanlış kararlar veren yükümlülüklere dönüştüğünü asla bilemeyebilir.

Endişelenme. Çözüm sandığınızdan daha yakın.

Kemancıkurumsal sınıf bir Model Performans Yönetimi çözümüdür. AWS Pazar Yeri, makine öğrenimi ekiplerinin kapsamlı bir dizi model sorununu incelemesine ve çözmesine yardımcı olmak için model izleme ve açıklanabilir yapay zeka sunar. Fiddler, model izleme, model açıklanabilirliği, analitik ve önyargı tespiti yoluyla şirketinize, modellerinizin olması gerektiği gibi davranmasını sağlamak için kullanımı kolay tek bir pencere sunar. Değilse, Fiddler ayrıca performans düşüşünün altında yatan temel nedenleri bulmak için modellerinizi incelemenize olanak tanıyan özellikler de sağlar.

Bu gönderi nasıl olduğunu gösteriyor MLO'lar ekibi, birkaç basit adımda Fiddler Model Performans Yönetimi Platformu ile bütünleşerek veri bilimci üretkenliğini artırabilir ve SageMaker'da konuşlandırılan modellerinizdeki sorunları tespit etme süresini kısaltabilir.

Çözüme genel bakış

Aşağıdaki referans mimarisi entegrasyonun ana noktalarını vurgulamaktadır. Fiddler, mevcut SageMaker ML iş akışınızda bir "yardımcı araç" olarak mevcuttur.

Bu yazının geri kalanında SageMaker modelinizi Fiddler'ın modeliyle entegre etme adımlarında size yol gösterir. Model Performans Yönetimi Platformu:

1. Modelinizde veri yakalamanın etkin olduğundan emin olun.
2. Bir Fiddler deneme ortamı oluşturun.
3. Modeliniz hakkındaki bilgileri Fiddler ortamınıza kaydedin.
4. Bir oluşturma AWS Lambda SageMaker çıkarımlarını Fiddler'da yayınlama işlevi.
5. Fiddler deneme ortamınızda Fiddler'ın izleme yeteneklerini keşfedin.

Önkoşullar

Bu gönderide SageMaker'ı kurduğunuz ve bir model uç noktası dağıttığınız varsayılmaktadır. Model sunumu için SageMaker'ın nasıl yapılandırılacağını öğrenmek için bkz. Çıkarım için Modelleri Dağıt. Ayrıca bazı örnekler de mevcut GitHub repo.

Modelinizde veri yakalamanın etkin olduğundan emin olun

SageMaker konsolunda modelinizin hizmet uç noktasına gidin ve etkinleştirdiğinizden emin olun. veri yakalama Içine Amazon Basit Depolama Hizmeti (Amazon S3) kovası. Bu, modelinizin her gün yaptığı çıkarımları (istekler ve yanıtlar) saklar. JSON satır dosyaları (.jsonl) Amazon S3'te.

Fiddler deneme ortamı oluşturma

itibaren kemancı.ai web sitesinden ücretsiz deneme talebinde bulunabilirsiniz. Hızlı bir formu doldurduktan sonra Fiddler, model performans yönetimi ihtiyaçlarınızın ayrıntılarını anlamak için sizinle iletişime geçecek ve birkaç saat içinde deneme ortamını sizin için hazırlayacaktır. Gibi özel bir ortam bekleyebilirsiniz https://yourcompany.try.fiddler.ai.

Modelinizle ilgili bilgileri Fiddler ortamınıza kaydedin

SageMaker tarafından barındırılan modelinizdeki etkinlikleri Fiddler'da yayınlamaya başlamadan önce, Fiddler deneme ortamınızda bir proje oluşturmanız ve adı verilen bir adım aracılığıyla modelinizle ilgili Fiddler ayrıntılarını sağlamanız gerekir. model kaydı. Önceden yapılandırılmış bir not defterini içeriden kullanmak istiyorsanız Amazon SageMaker Stüdyosu Aşağıdaki kod parçacıklarını kopyalayıp yapıştırmak yerine, Fiddler hızlı başlangıç ​​not defterine başvurabilirsiniz. GitHub. Studio, tüm makine öğrenimi geliştirme adımlarını gerçekleştirebileceğiniz tek bir web tabanlı görsel arayüz sağlar.

İlk olarak, yüklemeniz gerekir Fiddler Python istemcisi SageMaker not defterinize kaydedin ve Fiddler istemcisini başlatın. Alabilirsin AUTH_TOKEN itibaren Ayarlar Fiddler deneme ortamınızdaki sayfa.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Ardından Fiddler deneme ortamınızda bir proje oluşturun:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Şimdi eğitim veri kümenizi yükleyin. Dizüstü bilgisayar aynı zamanda Fiddler'ın çalıştırılması için örnek bir veri kümesi de sağlar. açıklanabilirlik algoritmalar ve ölçümlerin izlenmesi için bir temel olarak. Veri kümesi aynı zamanda Fiddler'da bu modelin şemasını oluşturmak için de kullanılır.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Son olarak, izleme, temel neden analizi ve açıklamalar için çıkarımlarınızı Fiddler'da yayınlamaya başlamadan önce modelinizi kaydetmeniz gerekir. İlk önce bir oluşturalım model_info modelinizle ilgili meta verileri içeren nesne:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Daha sonra yeni kodunuzu kullanarak modeli kaydedebilirsiniz. model_info nesne:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Harika! Artık modelin performansını gözlemlemek için bazı etkinlikleri Fiddler'da yayınlayabilirsiniz.

SageMaker çıkarımlarını Fiddler'da yayınlamak için bir Lambda işlevi oluşturun

Lambda'nın dağıtımı kolay sunucusuz mimarisiyle, çıkarımlarınızı daha önce kurduğunuz S3 klasöründen yeni sağlanan Fiddler deneme ortamınıza taşımak için gereken mekanizmayı hızlı bir şekilde oluşturabilirsiniz. Bu Lambda işlevi, modelinizin S3 klasöründeki tüm yeni JSONL olay günlüğü dosyalarını açmaktan, JSONL içeriğini bir veri çerçevesine ayrıştırıp biçimlendirmekten ve ardından olayların bu veri çerçevesini Fiddler deneme ortamınızda yayınlamaktan sorumludur. Aşağıdaki ekran görüntüsü fonksiyonumuzun kod ayrıntılarını göstermektedir.

Lambda işlevinin, S3 klasörünüzde yeni oluşturulan dosyaları tetikleyecek şekilde yapılandırılması gerekir. Aşağıdaki öğretici oluşturma konusunda size rehberlik eder Amazon EventBridge Amazon S3'e bir dosya yüklendiğinde Lambda işlevini çağıran tetikleyici. Aşağıdaki ekran görüntüsü fonksiyonumuzun tetikleyici yapılandırmasını göstermektedir. Bu, modelinizin yeni çıkarımlar yaptığı her seferde, şirketinizin ihtiyaç duyduğu model gözlemlenebilirliğini artırmak için Amazon S3'te depolanan olayların Fiddler'a yüklenmesini sağlamayı kolaylaştırır.

Bunu daha da basitleştirmek için, bu Lambda işlevinin kodu şu adreste kamuya açıktır: Fiddler'ın dokümantasyon sitesi. Bu kod örneği şu anda yapılandırılmış girişlere sahip ikili sınıflandırma modelleri için çalışmaktadır. Farklı özelliklere veya görevlere sahip model türleriniz varsa kodda küçük değişiklikler konusunda yardım almak için lütfen Fiddler ile iletişime geçin.

Lambda işlevinin Fiddler Python istemcisine başvuruda bulunması gerekir. Fiddler, herkese açık bir Lambda katmanı oluşturmuştur ve bu katmana başvurarak import fiddler as fdl Adım sorunsuz çalışıyor. Bu katmana us-west-2 Bölgesindeki bir ARN aracılığıyla başvurabilirsiniz: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, aşağıdaki ekran görüntüsünde gösterildiği gibi.

Lambda işlevinin Fiddler deneme ortamınıza nasıl bağlanacağını ve modeliniz tarafından yakalanan .jsonl dosyalarındaki giriş ve çıkışların neler olduğunu bilmesi için Lambda ortam değişkenlerini de belirtmeniz gerekir. Aşağıdaki ekran görüntüsünde aynı zamanda gerekli ortam değişkenlerinin bir listesi gösterilmektedir. Fiddler'ın dokümantasyon sitesi. Ortam değişkenlerinin değerlerini modelinizle ve veri kümenizle eşleşecek şekilde güncelleyin.

Fiddler deneme ortamınızda Fiddler'ın izleme yeteneklerini keşfedin

Sen yaptın! Temel verileriniz, modeliniz ve trafiğiniz birbirine bağlıyken artık açıklayabilirsiniz. veri kaymasıaykırı değerler, model yanlılığı, veri sorunları ve performans düşüşlerini kontrol edin ve kontrol panellerini başkalarıyla paylaşın. Yolculuğunuzu şu tarihe kadar tamamlayın: demo izlemek şirketinize tanıttığınız model performans yönetimi yetenekleri hakkında.

Aşağıdaki örnek ekran görüntüleri, Fiddler deneme ortamınızda bulunacak sapma, aykırı değer tespiti, yerel nokta açıklamaları ve model analitiği gibi model öngörülerine kısa bir bakış sağlar.

Sonuç

Bu gönderi kurumsal sınıfa duyulan ihtiyacı vurguladı model izleme ve SageMaker'da dağıtılan modellerinizi Fiddler Modeli Performans Yönetim Platformu sadece birkaç adımda. Fiddler, model izleme, açıklanabilir yapay zeka, önyargı tespiti ve temel neden analizi için işlevsellik sunar ve şu adreste mevcuttur: AWS Pazar Yeri. Sizin sağlayarak MLO'lar Fiddler, modellerinizin beklendiği gibi davrandığından emin olmak ve performans düşüşünün altında yatan temel nedenleri belirlemek için kullanımı kolay tek bir cam bölmeyle ekibin kurulmasıyla, veri bilimci üretkenliğini artırmaya ve sorunları tespit edip çözme süresini kısaltmaya yardımcı olabilir.

Fiddler hakkında daha fazla bilgi edinmek isterseniz lütfen şu adresi ziyaret edin: kemancı.ai veya kişiselleştirilmiş bir demo ve teknik tartışma e-postası oluşturmayı tercih ediyorsanız sales@fiddler.ai.

Yazarlar Hakkında

Danny Brock Fiddler AI'da Kıdemli Çözüm Mühendisidir. Danny, analitik ve makine öğrenimi alanında uzun süredir görev yapıyor ve Endeca ve Incorta gibi yeni kurulan şirketlerin satış öncesi ve satış sonrası ekiplerini yönetiyor. 2012 yılında kendi büyük veri analitiği danışmanlık şirketi Branchbird'ü kurdu.

Rajeev Govindan Fiddler AI'da Kıdemli Çözüm Mühendisidir. Rajeev, AppDynamics dahil birçok kurumsal şirkette satış mühendisliği ve yazılım geliştirme konusunda geniş deneyime sahiptir.

Krishnaram Kenthapadi Fiddler AI'nin Baş Bilim Adamıdır. Daha önce Amazon AWS AI'da Baş Bilim Adamı olarak görev yapmış ve burada Amazon AI platformunda adalet, açıklanabilirlik, gizlilik ve model anlama girişimlerini yönetmiştir ve bundan önce LinkedIn AI ve Microsoft Research'te görev üstlenmiştir. Krishnaram doktora derecesini 2006 yılında Stanford Üniversitesi'nden Bilgisayar Bilimleri alanında aldı.