Raih pemantauan tingkat perusahaan untuk model Amazon SageMaker Anda menggunakan Fiddler

Ini adalah posting blog tamu oleh Danny Brock, Rajeev Govindan dan Krishnaram Kenthapadi di Fiddler AI.

Anda Amazon SageMaker model sedang hidup. Mereka menangani jutaan kesimpulan setiap hari dan mendorong hasil bisnis yang lebih baik untuk perusahaan Anda. Mereka tampil sama baiknya dengan hari peluncurannya.

Eh, tunggu. Apakah mereka? Mungkin. Mungkin tidak.

Tanpa kelas perusahaan pemantauan model, model Anda mungkin membusuk dalam diam. Tim pembelajaran mesin (ML) Anda mungkin tidak pernah tahu bahwa model ini sebenarnya telah berubah dari keajaiban menghasilkan pendapatan menjadi kewajiban membuat keputusan yang salah yang menghabiskan waktu dan uang perusahaan Anda.

Jangan khawatir. Solusinya lebih dekat dari yang Anda pikirkan.

Pemain biola, solusi Manajemen Kinerja Model kelas perusahaan yang tersedia di Pasar AWS, menawarkan pemantauan model dan AI yang dapat dijelaskan untuk membantu tim ML memeriksa dan mengatasi berbagai masalah model yang komprehensif. Melalui pemantauan model, keterjelasan model, analitik, dan deteksi bias, Fiddler memberi perusahaan Anda panel kaca tunggal yang mudah digunakan untuk memastikan model Anda berperilaku sebagaimana mestinya. Dan jika tidak, Fiddler juga menyediakan fitur yang memungkinkan Anda memeriksa model Anda untuk menemukan akar penyebab penurunan kinerja.

Posting ini menunjukkan bagaimana Anda MLOps tim dapat meningkatkan produktivitas ilmuwan data dan mengurangi waktu untuk mendeteksi masalah untuk model Anda yang diterapkan di SageMaker dengan mengintegrasikan dengan Platform Manajemen Kinerja Model Fiddler dalam beberapa langkah sederhana.

Ikhtisar solusi

Arsitektur referensi berikut menyoroti poin utama integrasi. Fiddler ada sebagai "sampingan" untuk alur kerja SageMaker ML Anda yang sudah ada.

Sisa dari posting ini memandu Anda melalui langkah-langkah untuk mengintegrasikan model SageMaker Anda dengan Fiddler's Platform Manajemen Kinerja Model:

1. Pastikan model Anda mengaktifkan pengambilan data.
2. Buat lingkungan percobaan Fiddler.
3. Daftarkan informasi tentang model Anda di lingkungan Fiddler Anda.
4. Buat AWS Lambda berfungsi untuk mempublikasikan kesimpulan SageMaker ke Fiddler.
5. Jelajahi kemampuan pemantauan Fiddler di lingkungan uji coba Fiddler Anda.

Prasyarat

Posting ini mengasumsikan bahwa Anda telah menyiapkan SageMaker dan menerapkan titik akhir model. Untuk mempelajari cara mengonfigurasi SageMaker untuk penyajian model, lihat Menerapkan Model untuk Inferensi. Beberapa contoh juga tersedia di GitHub repo.

Pastikan model Anda mengaktifkan pengambilan data

Di konsol SageMaker, navigasikan ke titik akhir penyajian model Anda dan pastikan Anda telah mengaktifkannya data capture menjadi sebuah Layanan Penyimpanan Sederhana Amazon (Amazon S3) ember. Ini menyimpan kesimpulan (permintaan dan tanggapan) yang dibuat model Anda setiap hari sebagai File baris JSON (.jsonl) di Amazon S3.

Buat lingkungan percobaan Fiddler

Dari fiddler.ai situs web, Anda dapat meminta uji coba gratis. Setelah mengisi formulir cepat, Fiddler akan menghubungi Anda untuk memahami spesifikasi kebutuhan manajemen kinerja model Anda dan akan menyiapkan lingkungan uji coba untuk Anda dalam beberapa jam. Anda dapat mengharapkan lingkungan khusus seperti https://yourcompany.try.fiddler.ai.

Daftarkan informasi tentang model Anda di lingkungan Fiddler Anda

Sebelum Anda dapat mulai memublikasikan acara dari model yang dihosting SageMaker ke Fiddler, Anda perlu membuat proyek dalam lingkungan uji coba Fiddler dan memberikan detail Fiddler tentang model Anda melalui langkah yang disebut pendaftaran model. Jika Anda ingin menggunakan notebook yang telah dikonfigurasikan dari dalam Studio Amazon SageMaker daripada menyalin dan menempelkan cuplikan kode berikut, Anda dapat mereferensikan buku catatan quickstart Fiddler di GitHub. Studio menyediakan satu antarmuka visual berbasis web tempat Anda dapat melakukan semua langkah pengembangan ML.

Pertama, Anda harus menginstal Klien Fiddler Python di notebook SageMaker Anda dan buat instance klien Fiddler. Anda bisa mendapatkan AUTH_TOKEN dari Settings halaman di lingkungan percobaan Fiddler Anda.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Selanjutnya, buat proyek dalam lingkungan uji coba Fiddler Anda:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Sekarang unggah kumpulan data pelatihan Anda. Notebook ini juga menyediakan kumpulan data sampel untuk menjalankan Fiddler's penjelasan algoritma dan sebagai dasar untuk memantau metrik. Dataset juga digunakan untuk menghasilkan skema untuk model ini di Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Terakhir, sebelum Anda dapat mulai memublikasikan kesimpulan ke Fiddler untuk pemantauan, analisis akar penyebab, dan penjelasan, Anda perlu mendaftarkan model Anda. Mari kita buat dulu model_info objek yang berisi metadata tentang model Anda:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Kemudian Anda dapat mendaftarkan model menggunakan yang baru model_info obyek:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Besar! Sekarang Anda dapat memublikasikan beberapa acara ke Fiddler untuk mengamati kinerja model.

Buat fungsi Lambda untuk menerbitkan kesimpulan SageMaker ke Fiddler

Dengan arsitektur Lambda tanpa server yang mudah diterapkan, Anda dapat dengan cepat membangun mekanisme yang diperlukan untuk memindahkan inferensi dari bucket S3 yang Anda siapkan sebelumnya ke lingkungan uji coba Fiddler yang baru disediakan. Fungsi Lambda ini bertanggung jawab untuk membuka file log peristiwa JSONL baru di bucket S3 model Anda, menguraikan dan memformat konten JSONL ke dalam kerangka data, lalu memublikasikan kerangka data peristiwa tersebut ke lingkungan uji coba Fiddler Anda. Tangkapan layar berikut menunjukkan detail kode fungsi kami.

Fungsi Lambda perlu dikonfigurasi untuk memicu file yang baru dibuat di bucket S3 Anda. Pengikut tutorial memandu Anda melalui pembuatan Jembatan Acara Amazon pemicu yang memanggil fungsi Lambda setiap kali file diunggah ke Amazon S3. Tangkapan layar berikut menunjukkan konfigurasi pemicu fungsi kami. Hal ini mempermudah untuk memastikan bahwa setiap kali model Anda membuat inferensi baru, peristiwa yang disimpan di Amazon S3 dimuat ke Fiddler untuk mendorong kemampuan observasi model yang dibutuhkan perusahaan Anda.

Untuk menyederhanakan ini lebih lanjut, kode untuk fungsi Lambda ini tersedia untuk umum dari Situs dokumentasi Fiddler. Contoh kode ini saat ini berfungsi untuk model klasifikasi biner dengan input terstruktur. Jika Anda memiliki tipe model dengan fitur atau tugas yang berbeda, silakan hubungi Fiddler untuk bantuan dengan perubahan kecil pada kode.

Fungsi Lambda perlu membuat referensi ke klien Fiddler Python. Fiddler telah membuat lapisan Lambda yang tersedia untuk umum yang dapat Anda rujuk untuk memastikan bahwa import fiddler as fdl langkah berjalan mulus. Anda dapat mereferensikan layer ini melalui ARN di Wilayah us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, seperti yang ditunjukkan pada tangkapan layar berikut.

Anda juga perlu menentukan variabel lingkungan Lambda sehingga fungsi Lambda mengetahui cara menghubungkan ke lingkungan uji coba Fiddler Anda, dan input dan output apa yang ada dalam file .jsonl yang ditangkap oleh model Anda. Tangkapan layar berikut menunjukkan daftar variabel lingkungan yang diperlukan, yang juga aktif Situs dokumentasi Fiddler. Perbarui nilai untuk variabel lingkungan agar sesuai dengan model dan set data Anda.

Jelajahi kemampuan pemantauan Fiddler di lingkungan uji coba Fiddler Anda

Anda telah melakukannya! Dengan data dasar, model, dan lalu lintas yang terhubung, kini Anda dapat menjelaskan pergeseran data, outlier, bias model, masalah data, dan kesalahan performa, serta berbagi dasbor dengan orang lain. Selesaikan perjalanan Anda dengan menonton demo tentang model kemampuan manajemen kinerja yang telah Anda perkenalkan ke perusahaan Anda.

Contoh tangkapan layar di bawah ini memberikan sekilas wawasan model seperti penyimpangan, deteksi outlier, penjelasan titik lokal, dan analitik model yang akan ditemukan di lingkungan uji coba Fiddler Anda.

Kesimpulan

Posting ini menyoroti perlunya kelas perusahaan pemantauan model dan menunjukkan bagaimana Anda dapat mengintegrasikan model yang diterapkan di SageMaker dengan Platform Manajemen Kinerja Model Fiddler hanya dalam beberapa langkah. Fiddler menawarkan fungsionalitas untuk pemantauan model, AI yang dapat dijelaskan, deteksi bias, dan analisis akar penyebab, dan tersedia di Pasar AWS. Dengan menyediakan Anda MLOps tim dengan panel kaca tunggal yang mudah digunakan untuk memastikan model Anda berperilaku seperti yang diharapkan dan untuk mengidentifikasi akar penyebab penurunan kinerja, Fiddler dapat membantu meningkatkan produktivitas ilmuwan data dan mengurangi waktu untuk mendeteksi dan menyelesaikan masalah.

Jika Anda ingin mempelajari lebih lanjut tentang Fiddler, silakan kunjungi fiddler.ai atau jika Anda lebih suka menyiapkan demo pribadi dan email diskusi teknis penjualan@fiddler.ai.

Tentang Penulis

Dani Brock adalah Sr Solutions Engineer di Fiddler AI. Danny sudah lama bekerja di bidang analitik dan ML, menjalankan tim pra-penjualan dan pasca-penjualan untuk perusahaan rintisan seperti Endeca dan Incorta. Dia mendirikan perusahaan konsultan analitik data besarnya sendiri, Branchbird, pada tahun 2012.

Rajeev Govindan adalah Sr Solutions Engineer di Fiddler AI. Rajeev memiliki pengalaman luas dalam rekayasa penjualan dan pengembangan perangkat lunak di beberapa perusahaan perusahaan, termasuk AppDynamics.

Krishnaram Kenthapadi adalah Kepala Ilmuwan Fiddler AI. Sebelumnya, dia adalah Ilmuwan Utama di Amazon AWS AI, di mana dia memimpin inisiatif keadilan, kemampuan menjelaskan, privasi, dan pemahaman model di platform Amazon AI, dan sebelumnya, dia memegang peran di LinkedIn AI dan Microsoft Research. Krishnaram menerima gelar PhD di bidang Ilmu Komputer dari Universitas Stanford pada tahun 2006.