Minimalkan dampak produksi pembaruan model ML dengan pengujian bayangan Amazon SageMaker

Amazon SageMaker sekarang memungkinkan Anda untuk membandingkan performa versi baru dari tumpukan penyajian model dengan versi yang saat ini diterapkan sebelum peluncuran produksi penuh menggunakan praktik keselamatan penerapan yang dikenal sebagai pengujian bayangan. Pengujian bayangan dapat membantu Anda mengidentifikasi potensi kesalahan konfigurasi dan masalah kinerja sebelum berdampak pada pengguna akhir. Dengan SageMaker, Anda tidak perlu berinvestasi untuk membangun infrastruktur pengujian bayangan, sehingga Anda dapat berfokus pada pengembangan model. SageMaker menangani penerapan versi baru bersama versi saat ini yang melayani permintaan produksi, merutekan sebagian permintaan ke versi bayangan. Anda kemudian dapat membandingkan kinerja kedua versi menggunakan metrik seperti latensi dan tingkat kesalahan. Hal ini memberi Anda keyakinan yang lebih besar bahwa peluncuran produksi ke titik akhir inferensi SageMaker tidak akan menyebabkan regresi kinerja, dan membantu Anda menghindari penghentian karena kesalahan konfigurasi yang tidak disengaja.

Dalam postingan ini, kami mendemonstrasikan kemampuan SageMaker baru ini. Notebook sampel yang sesuai tersedia di GitHub ini gudang.

Ikhtisar solusi

Infrastruktur penyajian model Anda terdiri dari model machine learning (ML), wadah penyajian, atau instance komputasi. Mari pertimbangkan skenario berikut:

• Anda sedang mempertimbangkan untuk mempromosikan model baru yang telah divalidasi offline ke produksi, tetapi ingin mengevaluasi metrik performa operasional, seperti latensi, tingkat error, dan sebagainya, sebelum membuat keputusan ini.
• Anda sedang mempertimbangkan perubahan pada penampung infrastruktur penayangan, seperti menambal kerentanan atau mengupgrade ke versi yang lebih baru, dan ingin menilai dampak perubahan ini sebelum promosi ke produksi.
• Anda sedang mempertimbangkan untuk mengubah instance ML dan ingin mengevaluasi bagaimana performa instance baru dengan permintaan inferensi langsung.

Diagram berikut menggambarkan arsitektur solusi kami.

Untuk setiap skenario ini, pilih varian produksi yang ingin Anda uji dan SageMaker secara otomatis menerapkan varian baru dalam mode bayangan dan merutekan salinan permintaan inferensi ke sana secara real time dalam titik akhir yang sama. Hanya respons varian produksi yang dikembalikan ke aplikasi pemanggil. Anda dapat memilih untuk membuang atau mencatat respons varian bayangan untuk perbandingan offline. Secara opsional, Anda dapat memantau varian melalui dasbor bawaan dengan perbandingan metrik performa secara berdampingan. Anda dapat menggunakan kemampuan ini melalui API titik akhir pembaruan inferensi SageMaker atau melalui konsol SageMaker.

Varian bayangan dibangun di atas kemampuan varian produksi di titik akhir inferensi SageMaker. Untuk mengulangi, a varian produksi terdiri dari model ML, wadah penyajian, dan instance ML. Karena setiap varian tidak bergantung satu sama lain, Anda dapat memiliki model, penampung, atau jenis instans yang berbeda di seluruh varian. SageMaker memungkinkan Anda menentukan kebijakan penskalaan otomatis per varian sehingga mereka dapat menskalakan secara mandiri berdasarkan muatan yang masuk. SageMaker mendukung hingga 10 varian produksi per titik akhir. Anda dapat mengonfigurasi varian untuk menerima sebagian lalu lintas masuk dengan menyetel bobot varian, atau menentukan varian target dalam permintaan masuk. Respons dari varian produksi diteruskan kembali ke invoker.

A varian bayangan (baru) memiliki komponen yang sama dengan varian produksi. Porsi permintaan yang ditentukan pengguna, dikenal sebagai persentase sampling lalu lintas, diteruskan ke varian bayangan. Anda dapat memilih untuk mencatat respons varian bayangan Layanan Penyimpanan Sederhana Amazon (Amazon S3) atau buang.

Perhatikan bahwa SageMaker mendukung maksimal satu varian bayangan per titik akhir. Untuk titik akhir dengan varian bayangan, maksimal ada satu varian produksi.

Setelah Anda menyiapkan varian produksi dan bayangan, Anda dapat memantau metrik permintaan untuk varian produksi dan bayangan di amazoncloudwatch bawah AWS/SageMaker ruang nama. Semua pembaruan pada titik akhir SageMaker diatur menggunakan penerapan biru/hijau dan terjadi tanpa kehilangan ketersediaan. Titik akhir Anda akan terus merespons permintaan produksi saat Anda menambahkan, mengubah, atau menghapus varian bayangan.

Anda dapat menggunakan kemampuan ini dengan salah satu dari dua cara berikut:

• Pengujian bayangan terkelola menggunakan Konsol SageMaker – Anda dapat memanfaatkan konsol untuk pengalaman terpandu untuk mengelola perjalanan pengujian bayangan ujung ke ujung. Ini memungkinkan Anda mengatur pengujian bayangan untuk durasi waktu yang telah ditentukan, memantau kemajuan melalui dasbor langsung, membersihkan setelah selesai, dan menindaklanjuti hasilnya.
• Pengujian bayangan swalayan menggunakan API Inferensi SageMaker – Jika alur kerja penerapan Anda sudah menggunakan API buat/perbarui/hapus-endpoint, Anda dapat terus menggunakannya untuk mengelola Varian Bayangan.

Pada bagian berikut, kita membahas masing-masing skenario ini.

Skenario 1 – Pengujian bayangan terkelola menggunakan Konsol SageMaker

Jika Anda ingin memilih SageMaker untuk mengelola alur kerja end-to-end dalam membuat, mengelola, dan menindaklanjuti hasil pengujian bayangan, pertimbangkan untuk menggunakan kemampuan pengujian Bayangan di bagian Inferensi Konsol SageMaker. Seperti yang dinyatakan sebelumnya, ini memungkinkan Anda untuk menyiapkan pengujian bayangan untuk durasi waktu yang telah ditentukan, memantau kemajuan melalui dasbor langsung, menampilkan opsi pembersihan setelah selesai, dan menindaklanjuti hasilnya. Untuk mempelajari lebih lanjut, silakan kunjungi tes bayangan bagian dokumentasi kami untuk panduan langkah demi langkah dari kemampuan ini.

Pra-syarat

Model untuk produksi dan bayangan harus dibuat di SageMaker. Silakan merujuk ke CreateModel API di sini.

Langkah 1 – Buat tes bayangan

Arahkan ke folder Kesimpulan bagian panel navigasi kiri konsol SageMaker, lalu pilih Tes bayangan. Ini akan membawa Anda ke dasbor dengan semua pengujian bayangan yang dijadwalkan, berjalan, dan selesai. Klik 'buat tes bayangan'. Masukkan nama untuk tes dan pilih berikutnya.

Ini akan membawa Anda ke halaman pengaturan pengujian bayangan. Anda dapat memilih peran IAM yang ada atau membuat peran yang memiliki AmazonSageMakerFullAccess Kebijakan IAM terlampir. Selanjutnya, pilih 'Buat titik akhir baru' dan masukkan nama (xgb-prod-shadow-1). Anda dapat menambahkan satu produksi dan satu varian bayangan yang terkait dengan titik akhir ini dengan mengeklik 'Menambahkan' di bagian Varian. Anda dapat memilih model yang telah Anda buat di 'Tambahkan Model' kotak dialog. Ini menciptakan produksi atau varian. Secara opsional, Anda dapat mengubah jenis dan jumlah instans yang terkait dengan setiap varian.

Semua lalu lintas masuk ke varian produksi dan menanggapi permintaan pemanggilan. Anda dapat mengontrol sebagian dari permintaan yang dialihkan ke varian bayangan dengan mengubah Traffic Sampling Percentage.

Anda dapat mengontrol durasi tes dari satu jam hingga 30 hari. Jika tidak ditentukan, defaultnya adalah 7 hari. Setelah periode ini, tes ditandai selesai. Jika Anda menjalankan pengujian pada titik akhir yang sudah ada, pengujian akan dikembalikan ke keadaan sebelum memulai pengujian setelah selesai.

Secara opsional, Anda dapat menangkap permintaan dan tanggapan dari varian Bayangan menggunakan Pengambilan Data pilihan. Jika tidak ditentukan, respons varian bayangan akan dibuang.

Langkah 2 – Pantau tes bayangan

Anda dapat melihat daftar pengujian bayangan dengan menavigasi ke Shadow Tests bagian di bawah Inferensi. Klik pada pengujian bayangan yang dibuat pada langkah sebelumnya untuk melihat detail pengujian bayangan dan memantaunya saat sedang berlangsung atau setelah selesai.

Bagian Metrik memberikan perbandingan metrik utama dan memberikan grafik overlay antara varian produksi dan bayangan, bersama dengan statistik deskriptif. Anda dapat membandingkan metrik permintaan seperti ModelLatency dan Invocation4xxErrors serta metrik contoh seperti CPUUtilization dan DiskUtilization.

Langkah 3 – Promosikan varian Bayangan ke varian produksi baru

Setelah membandingkan, Anda dapat memilih untuk mempromosikan varian bayangan menjadi varian produksi baru atau menghapus varian bayangan. Untuk kedua opsi ini, pilih 'Tandai Selesai' di bagian atas halaman. Ini memberi Anda opsi untuk mempromosikan atau menghapus varian bayangan.

Jika Anda memilih untuk mempromosikan, Anda akan dibawa ke halaman penerapan, tempat Anda dapat mengonfirmasi setelan varian sebelum penerapan. Sebelum penerapan, sebaiknya sesuaikan ukuran varian bayangan Anda agar dapat menangani 100% lalu lintas pemanggilan. Jika Anda tidak menggunakan pengujian bayangan untuk mengevaluasi jenis atau ukuran instans alternatif, Anda dapat menggunakan opsi 'mempertahankan pengaturan varian produksi. Jika tidak, Anda dapat memilih untuk 'mempertahankan pengaturan varian bayangan. Jika Anda memilih opsi ini, harap pastikan bahwa pengambilan sampel lalu lintas Anda ditetapkan pada 100%. Sebagai alternatif, Anda dapat menentukan jenis dan jumlah instans jika ingin mengganti setelan ini.

Setelah Anda mengonfirmasi penerapan, SageMaker akan memulai pembaruan pada titik akhir Anda untuk mempromosikan varian bayangan ke varian produksi baru. Seperti semua pembaruan SageMaker, titik akhir Anda akan tetap beroperasi selama pembaruan.

Skenario 2: Pengujian bayangan menggunakan API inferensi SageMaker

Bagian ini membahas cara menggunakan SageMaker create/update/delete-endpoint API yang ada untuk menerapkan varian bayangan.

Untuk contoh ini, kami memiliki dua model XGBoost yang mewakili dua versi berbeda dari model yang telah dilatih sebelumnya. model.tar.gz adalah model yang saat ini digunakan dalam produksi. model2 adalah model yang lebih baru, dan kami ingin menguji kinerjanya dalam hal metrik operasional seperti latensi sebelum memutuskan untuk menggunakannya dalam produksi. Kami menyebarkan model2 sebagai varian bayangan dari model.tar.gz. Kedua model pra-pelatihan disimpan di bucket S3 publik s3://sagemaker-sample-files. Pertama-tama, kami mengunduh model instans komputasi lokal kami, lalu mengunggah ke S3.

Model dalam contoh ini digunakan untuk memprediksi kemungkinan pelanggan seluler meninggalkan operator seluler mereka saat ini. Kumpulan data yang kami gunakan tersedia untuk umum dan disebutkan dalam buku Menemukan Pengetahuan dalam Data oleh Daniel T.Larose. Model ini dilatih menggunakan Notebook Prediksi Churn XGB di SageMaker. Anda juga dapat menggunakan model pra-terlatih Anda sendiri, dalam hal ini Anda dapat melewati pengunduhan s3://sagemaker-sample-files dan salin model Anda sendiri langsung ke folder model/.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

Langkah 1 – Buat model

Kami mengunggah file model ke bucket S3 kami sendiri dan membuat dua model SageMaker. Lihat kode berikut:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

Langkah 2 – Terapkan kedua model sebagai varian produksi dan bayangan ke titik akhir inferensi real-time

Kami membuat konfigurasi titik akhir dengan varian produksi dan bayangan. Itu ProductionVariants dan ShadowProductionVariants adalah kepentingan tertentu. Kedua varian ini memiliki instans ml.m5.xlarge dengan 4 vCPU dan memori 16 GiB, dan jumlah instans awal diatur ke 1. Lihat kode berikut:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

Terakhir, kami membuat varian produksi dan bayangan:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

Langkah 3 – Panggil titik akhir untuk pengujian

Setelah titik akhir berhasil dibuat, Anda dapat mulai menjalankannya. Kami mengirimkan sekitar 3,000 permintaan secara berurutan:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

Langkah 4 – Bandingkan metrik

Sekarang setelah kita menerapkan model produksi dan bayangan, mari kita bandingkan metrik pemanggilan. Untuk daftar metrik pemanggilan yang tersedia untuk perbandingan, lihat Pantau Amazon SageMaker dengan Amazon CloudWatch. Mari kita mulai dengan membandingkan pemanggilan antara varian produksi dan bayangan.

Grafik InvocationsPerInstance metrik mengacu pada jumlah pemanggilan yang dikirim ke varian produksi. Sebagian kecil dari pemanggilan ini, ditentukan dalam bobot varian, dikirim ke varian bayangan. Pemanggilan per instans dihitung dengan membagi jumlah total pemanggilan dengan jumlah instans dalam varian. Seperti yang ditunjukkan pada bagan berikut, kami dapat mengonfirmasi bahwa varian produksi dan bayangan menerima permintaan pemanggilan sesuai dengan bobot yang ditentukan dalam konfigurasi titik akhir.

Selanjutnya, mari bandingkan latensi model (ModelLatency metrik) antara varian produksi dan bayangan. Latensi model adalah waktu yang diperlukan model untuk merespons seperti yang dilihat dari SageMaker. Kita dapat mengamati bagaimana latensi model varian bayangan dibandingkan dengan varian produksi tanpa memaparkan varian bayangan kepada pengguna akhir.

Kami mengharapkan latensi overhead (OverheadLatency metrik) agar dapat dibandingkan di seluruh varian produksi dan bayangan. Latensi overhead adalah interval yang diukur sejak SageMaker menerima permintaan hingga mengembalikan respons ke klien, dikurangi latensi model.

Langkah 5- Promosikan varian bayangan Anda

Untuk mempromosikan model bayangan ke produksi, buat konfigurasi titik akhir baru dengan yang sekarang ShadowProductionVariant sebagai yang baru ProductionVariant dan hapus ShadowProductionVariant. Ini akan menghapus arus ProductionVariant dan mempromosikan varian bayangan menjadi varian produksi baru. Seperti biasa, semua pembaruan SageMaker diatur sebagai penerapan biru/hijau di bawah terpal, dan tidak ada kehilangan ketersediaan saat melakukan pembaruan.

Secara opsional, Anda dapat memanfaatkan Pagar Pembatas Penyebaran jika Anda ingin menggunakan pengalihan lalu lintas dan rollback otomatis sekaligus selama pembaruan Anda.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

Langkah 6 – Bersihkan

Jika Anda tidak berencana untuk menggunakan titik akhir ini lebih lanjut, Anda harus menghapus titik akhir tersebut untuk menghindari biaya tambahan dan membersihkan sumber daya lain yang dibuat di blog ini.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

Kesimpulan

Dalam postingan ini, kami memperkenalkan kemampuan baru inferensi SageMaker untuk membandingkan performa versi baru tumpukan penyajian model dengan versi yang saat ini diterapkan sebelum peluncuran produksi penuh menggunakan praktik keamanan penerapan yang dikenal sebagai pengujian bayangan. Kami memandu Anda melalui keuntungan menggunakan varian bayangan dan metode untuk mengonfigurasi varian dengan contoh ujung ke ujung. Untuk mempelajari lebih lanjut tentang varian bayangan, lihat pengujian bayangan dokumentasi.

Tentang Penulis

Raghu Ramesha adalah Arsitek Solusi Pembelajaran Mesin dengan tim Layanan Amazon SageMaker. Dia berfokus untuk membantu pelanggan membuat, menerapkan, dan memigrasikan beban kerja produksi ML ke SageMaker dalam skala besar. Dia berspesialisasi dalam pembelajaran mesin, AI, dan domain visi komputer, dan memegang gelar master dalam Ilmu Komputer dari UT Dallas. Di waktu senggangnya, ia senang jalan-jalan dan fotografi.

Qing Wei Li adalah Spesialis Pembelajaran Mesin di Amazon Web Services. Dia menerima gelar Ph.D. dalam Riset Operasi setelah dia melanggar akun hibah penelitian penasihatnya dan gagal memberikan Hadiah Nobel yang dia janjikan. Saat ini dia membantu pelanggan di industri layanan keuangan dan asuransi membangun solusi pembelajaran mesin di AWS. Di waktu luangnya, dia suka membaca dan mengajar.

Qi Yun Zhao adalah Insinyur Pengembangan Perangkat Lunak Senior dengan tim Platform Inferensi Amazon SageMaker. Dia adalah pengembang utama Deployment Guardrails dan Shadow Deployments, dan dia berfokus untuk membantu pelanggan mengelola beban kerja dan penerapan ML dalam skala besar dengan ketersediaan tinggi. Dia juga mengerjakan evolusi arsitektur platform untuk penerapan pekerjaan ML yang cepat dan aman serta menjalankan eksperimen online ML dengan mudah. Di waktu luangnya, ia suka membaca, bermain game, dan bepergian.

Tarun Sairam adalah Manajer Produk Senior untuk Inferensi Amazon SageMaker. Dia tertarik mempelajari tren terbaru dalam pembelajaran mesin dan membantu pelanggan memanfaatkannya. Di waktu luangnya, ia menikmati bersepeda, bermain ski, dan bermain tenis.