Tingkatkan tata kelola model pembelajaran mesin Anda dengan Amazon SageMaker

Karena perusahaan semakin mengadopsi pembelajaran mesin (ML) untuk aplikasi perusahaan utama mereka, semakin banyak keputusan bisnis mereka yang dipengaruhi oleh model ML. Sebagai akibatnya, memiliki kontrol akses yang disederhanakan dan transparansi yang ditingkatkan di semua model ML Anda mempermudah validasi bahwa model Anda berperforma baik dan mengambil tindakan jika tidak.

Dalam postingan ini, kami mengeksplorasi bagaimana perusahaan dapat meningkatkan visibilitas ke dalam model mereka dengan dasbor terpusat dan dokumentasi terperinci dari model mereka menggunakan dua fitur baru: Kartu Model SageMaker dan Dasbor Model SageMaker. Kedua fitur ini tersedia tanpa biaya tambahan untuk pelanggan SageMaker.

Tinjauan model tata kelola

Tata kelola model adalah kerangka kerja yang memberikan visibilitas sistematis ke dalam pengembangan, validasi, dan penggunaan model. Tata kelola model berlaku di seluruh alur kerja ML end-to-end, mulai dari mengidentifikasi kasus penggunaan ML hingga pemantauan model yang diterapkan secara berkelanjutan melalui peringatan, laporan, dan dasbor. Kerangka kerja tata kelola model yang diimplementasikan dengan baik harus meminimalkan jumlah antarmuka yang diperlukan untuk melihat, melacak, dan mengelola tugas siklus hidup untuk memudahkan pemantauan siklus hidup ML dalam skala besar.

Saat ini, organisasi menginvestasikan keahlian teknis yang signifikan untuk membangun perkakas guna mengotomatiskan sebagian besar alur kerja tata kelola dan auditabilitas mereka. Misalnya, pembuat model harus secara proaktif mencatat spesifikasi model seperti tujuan penggunaan model, peringkat risiko, dan kriteria kinerja yang harus diukur oleh model. Selain itu, mereka juga perlu mencatat pengamatan pada perilaku model, dan mendokumentasikan alasan mereka membuat keputusan kunci tertentu seperti fungsi tujuan yang mereka optimalkan terhadap model tersebut.

Sudah umum bagi perusahaan untuk menggunakan alat seperti Excel atau email untuk menangkap dan membagikan informasi model tersebut untuk digunakan dalam persetujuan penggunaan produksi. Namun seiring dengan meningkatnya skala pengembangan ML, informasi dapat dengan mudah hilang atau salah tempat, dan melacak detail ini menjadi tidak mungkin dilakukan dengan cepat. Selain itu, setelah model ini diterapkan, Anda dapat menggabungkan data dari berbagai sumber untuk mendapatkan visibilitas ujung ke ujung ke semua model, titik akhir, riwayat pemantauan, dan silsilah. Tanpa tampilan seperti itu, Anda dapat dengan mudah kehilangan jejak model Anda, dan mungkin tidak mengetahui kapan Anda perlu mengambil tindakan terhadapnya. Masalah ini diintensifkan dalam industri yang sangat diatur karena Anda tunduk pada peraturan yang mengharuskan Anda untuk mempertahankan tindakan tersebut.

Saat volume model mulai meningkat, mengelola peralatan kustom dapat menjadi tantangan dan memberi organisasi lebih sedikit waktu untuk fokus pada kebutuhan bisnis inti. Di bagian berikut, kami mengeksplorasi bagaimana Kartu Model SageMaker dan Dasbor Model SageMaker dapat membantu Anda menskalakan upaya tata kelola Anda.

Kartu Model SageMaker

Kartu model memungkinkan Anda untuk menstandarkan bagaimana model didokumentasikan, sehingga mencapai visibilitas ke dalam siklus hidup model, mulai dari perancangan, pembangunan, pelatihan, dan evaluasi. Kartu model dimaksudkan untuk menjadi satu sumber kebenaran untuk bisnis dan teknis metadata tentang model yang andal dapat digunakan untuk tujuan audit dan dokumentasi. Mereka menyediakan lembar fakta model yang penting untuk tata kelola model.

Kartu model memungkinkan pengguna membuat dan menyimpan keputusan seperti mengapa fungsi tujuan dipilih untuk pengoptimalan, dan detail seperti tujuan penggunaan dan peringkat risiko. Anda juga dapat melampirkan dan meninjau hasil evaluasi, serta mencatat pengamatan untuk referensi di masa mendatang.

Untuk model yang dilatih di SageMaker, kartu Model dapat menemukan dan mengisi detail secara otomatis seperti tugas pelatihan, set data pelatihan, artefak model, dan lingkungan inferensi, sehingga mempercepat proses pembuatan kartu. Dengan SageMaker Python SDK, Anda dapat memperbarui kartu Model dengan metrik evaluasi dengan lancar.

Kartu model memberi manajer risiko model, ilmuwan data, dan insinyur ML kemampuan untuk melakukan tugas-tugas berikut:

• Mendokumentasikan persyaratan model seperti peringkat risiko, tujuan penggunaan, batasan, dan kinerja yang diharapkan
• Isi otomatis kartu Model untuk model terlatih SageMaker
• Bawa info Anda sendiri (BYOI) untuk model non-SageMaker
• Unggah dan bagikan model dan hasil evaluasi data
• Tentukan dan tangkap informasi khusus
• Tangkap status kartu Model (draf, peninjauan tertunda, atau disetujui untuk produksi)
• Akses hub kartu Model dari Konsol Manajemen AWS
• Membuat, mengedit, melihat, mengekspor, menggandakan, dan menghapus kartu Model
• Memicu alur kerja menggunakan Jembatan Acara Amazon integrasi untuk peristiwa perubahan status kartu Model

Buat Kartu Model SageMaker menggunakan konsol

Anda dapat dengan mudah membuat kartu Model menggunakan konsol SageMaker. Di sini Anda dapat melihat semua kartu Model yang ada dan membuat yang baru sesuai kebutuhan.

Saat membuat kartu Model, Anda dapat mendokumentasikan informasi model penting seperti siapa yang membuat model, mengapa dikembangkan, bagaimana kinerjanya untuk evaluasi independen, dan pengamatan apa pun yang perlu dipertimbangkan sebelum menggunakan model untuk aplikasi bisnis.

Untuk membuat kartu Model di konsol, selesaikan langkah-langkah berikut:

1. Masukkan detail ikhtisar model.
2. Masukkan detail pelatihan (terisi otomatis jika model dilatih di SageMaker).
3. Unggah hasil evaluasi.
4. Tambahkan detail tambahan seperti rekomendasi dan pertimbangan etis.

Setelah Anda membuat kartu Model, Anda dapat memilih versi untuk melihatnya.

Tangkapan layar berikut menunjukkan detail kartu Model kami.

Anda juga dapat mengekspor kartu Model untuk dibagikan sebagai PDF.

Buat dan jelajahi Kartu Model SageMaker melalui SageMaker Python SDK

Berinteraksi dengan kartu Model tidak terbatas pada konsol. Anda juga dapat menggunakan SageMaker Python SDK untuk membuat dan menjelajahi kartu Model. SageMaker Python SDK memungkinkan ilmuwan data dan insinyur ML berinteraksi dengan mudah dengan komponen SageMaker. Cuplikan kode berikut menampilkan proses untuk membuat kartu Model menggunakan fungsionalitas SageMaker Python SDK yang baru ditambahkan.

Pastikan Anda telah menginstal SageMaker Python SDK versi terbaru:

$ pip install --upgrade "sagemaker>=2"

Setelah melatih dan menerapkan model menggunakan SageMaker, Anda dapat menggunakan informasi dari model SageMaker dan tugas pelatihan untuk secara otomatis mengisi informasi ke dalam kartu Model.

Dengan menggunakan SageMaker Python SDK dan meneruskan nama model SageMaker, kami dapat secara otomatis mengumpulkan informasi model dasar. Informasi seperti ARN model SageMaker, lingkungan pelatihan, dan keluaran model Layanan Penyimpanan Sederhana Amazon (Amazon S3) lokasi semuanya diisi secara otomatis. Kita dapat menambahkan fakta model lainnya, seperti deskripsi, tipe masalah, tipe algoritma, pembuat model, dan pemilik. Lihat kode berikut:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Kami juga dapat secara otomatis mengumpulkan informasi pelatihan dasar seperti ARN pekerjaan pelatihan, lingkungan pelatihan, dan metrik pelatihan. Detail pelatihan tambahan dapat ditambahkan, seperti fungsi tujuan pelatihan dan observasi. Lihat kode berikut:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Jika kami memiliki metrik evaluasi yang tersedia, kami juga dapat menambahkannya ke kartu Model:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

Kami juga dapat menambahkan informasi tambahan tentang model yang dapat membantu tata kelola model:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

Setelah kami memberikan semua detail yang kami perlukan, kami dapat membuat kartu Model menggunakan konfigurasi sebelumnya:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SageMaker SDK juga menyediakan kemampuan untuk memperbarui, memuat, mencantumkan, mengekspor, dan menghapus kartu Model.

Untuk mempelajari lebih lanjut tentang kartu Model, lihat panduan pengembang dan ikuti ini contoh notebook untuk memulai.

Dasbor Model SageMaker

Dasbor Model adalah gudang terpusat dari semua model yang telah dibuat di akun. Model biasanya dibuat dengan pelatihan di SageMaker, atau Anda dapat membawa model Anda dilatih di tempat lain untuk menjadi host di SageMaker.

Dasbor Model menyediakan satu antarmuka untuk administrator TI, manajer risiko model, atau pemimpin bisnis untuk melihat semua model yang diterapkan dan bagaimana kinerjanya. Anda dapat melihat titik akhir, tugas transformasi batch, dan memantau tugas untuk mendapatkan wawasan tentang kinerja model. Organisasi dapat mendalami untuk mengidentifikasi model mana yang monitornya hilang atau tidak aktif dan menambahkannya menggunakan SageMaker API untuk memastikan semua model diperiksa untuk penyimpangan data, penyimpangan model, penyimpangan bias, dan penyimpangan atribusi fitur.

Tangkapan layar berikut menunjukkan contoh dasbor Model.

Dasbor Model memberikan ikhtisar tentang semua model Anda, apa peringkat risikonya, dan bagaimana kinerja model tersebut dalam produksi. Ini dilakukan dengan menarik informasi dari seluruh SageMaker. Informasi pemantauan kinerja ditangkap melalui Monitor Model Amazon SageMaker, dan Anda juga dapat melihat informasi tentang model yang dipanggil untuk prediksi batch melalui tugas transformasi batch SageMaker. Informasi silsilah seperti bagaimana model dilatih, data yang digunakan, dan lainnya ditangkap, dan informasi dari kartu Model juga ditarik.

Model Monitor memantau kualitas model SageMaker yang digunakan dalam produksi untuk inferensi batch atau titik akhir real-time. Anda dapat menyiapkan pemantauan berkelanjutan atau monitor terjadwal melalui API SageMaker, dan mengedit pengaturan peringatan melalui dasbor Model. Anda dapat menyetel peringatan yang memberi tahu Anda bila ada penyimpangan dalam kualitas model. Deteksi dini dan proaktif dari penyimpangan ini memungkinkan Anda mengambil tindakan korektif, seperti melatih ulang model, mengaudit sistem upstream, atau memperbaiki masalah kualitas tanpa harus memantau model secara manual atau membuat alat tambahan. Dasbor Model memberi Anda wawasan cepat tentang model mana yang dipantau dan bagaimana kinerjanya. Untuk informasi lebih lanjut tentang Model Monitor, kunjungi Pantau model untuk data dan kualitas model, bias, dan keterjelasan.

Saat Anda memilih model di dasbor Model, Anda bisa mendapatkan wawasan yang lebih dalam tentang model tersebut, seperti kartu Model (jika ada), silsilah model, detail tentang titik akhir penerapan model, dan jadwal pemantauan untuk model.

Tampilan ini memungkinkan Anda membuat kartu Model jika diperlukan. Jadwal pemantauan dapat diaktifkan, dinonaktifkan, atau diedit juga melalui dasbor Model.

Untuk model yang tidak memiliki jadwal pemantauan, Anda dapat menyiapkannya dengan mengaktifkan Model Monitor untuk titik akhir tempat model diterapkan. Melalui detail dan status peringatan, Anda akan diberi tahu tentang model yang menampilkan penyimpangan data, penyimpangan model, penyimpangan bias, atau penyimpangan fitur, bergantung pada monitor mana yang Anda atur.

Mari kita lihat contoh alur kerja tentang cara menyiapkan pemantauan model. Langkah-langkah kunci dari proses ini adalah:

1. Tangkap data yang dikirim ke titik akhir (atau tugas transformasi batch).
2. Tetapkan garis dasar (untuk masing-masing jenis pemantauan).
3. Buat jadwal Monitor Model untuk membandingkan prediksi langsung dengan baseline untuk melaporkan pelanggaran dan memicu peringatan.

Berdasarkan notifikasi, Anda dapat mengambil tindakan seperti mengembalikan titik akhir ke versi sebelumnya atau melatih ulang model dengan data baru. Saat melakukan ini, mungkin perlu menelusuri bagaimana model dilatih, yang dapat dilakukan dengan memvisualisasikan garis keturunan model.

Dasbor Model menawarkan kumpulan informasi yang kaya mengenai keseluruhan ekosistem model dalam akun, selain kemampuan untuk menelusuri detail spesifik model. Untuk mempelajari lebih lanjut tentang dasbor Model, lihat panduan pengembang.

Kesimpulan

Tata kelola model rumit dan sering melibatkan banyak kebutuhan yang disesuaikan khusus untuk organisasi atau industri. Ini dapat didasarkan pada persyaratan peraturan yang harus dipatuhi oleh organisasi Anda, jenis persona yang ada dalam organisasi, dan jenis model yang digunakan. Tidak ada pendekatan satu ukuran untuk semua tata kelola, dan penting untuk memiliki alat yang tepat sehingga proses tata kelola yang kuat dapat diterapkan.

Dengan alat tata kelola ML yang dibuat khusus di SageMaker, organisasi dapat menerapkan mekanisme yang tepat untuk meningkatkan kontrol dan visibilitas atas proyek ML untuk kasus penggunaan khusus mereka. Cobalah kartu Model dan dasbor Model, dan tinggalkan komentar Anda dengan pertanyaan dan umpan balik. Untuk mempelajari lebih lanjut tentang kartu Model dan dasbor Model, lihat panduan pengembang.

Tentang penulis

Kirit Tadaka adalah Arsitek Solusi ML yang bekerja di tim SA Layanan SageMaker. Sebelum bergabung dengan AWS, Kirit bekerja di startup AI tahap awal diikuti dengan konsultasi beberapa kali dalam berbagai peran dalam penelitian AI, MLOps, dan kepemimpinan teknis.

Marc Karpa adalah Arsitek ML dengan tim Layanan SageMaker. Dia berfokus untuk membantu pelanggan merancang, menerapkan, dan mengelola beban kerja ML dalam skala besar. Di waktu luangnya, ia senang bepergian dan menjelajahi tempat-tempat baru.

Raghu Ramesha adalah Arsitek Solusi ML dengan tim Layanan Amazon SageMaker. Dia berfokus untuk membantu pelanggan membangun, menerapkan, dan memigrasikan beban kerja produksi ML ke SageMaker dalam skala besar. Dia mengkhususkan diri dalam pembelajaran mesin, AI, dan domain visi komputer, dan memegang gelar master di bidang Ilmu Komputer dari UT Dallas. Di waktu senggangnya, ia senang bepergian dan fotografi.

Ram Vital adalah Arsitek Solusi Spesialis ML di AWS. Dia memiliki lebih dari 20 tahun pengalaman dalam merancang dan membangun aplikasi terdistribusi, hybrid, dan cloud. Dia bersemangat membangun AI/ML dan solusi big data yang aman dan dapat diskalakan untuk membantu pelanggan perusahaan dengan adopsi cloud dan perjalanan pengoptimalan mereka untuk meningkatkan hasil bisnis mereka. Di waktu luangnya, ia menikmati tenis, fotografi, dan film aksi.

Sahil Saini adalah Arsitek Solusi ISV di Amazon Web Services. Dia bekerja dengan tim produk dan teknik pelanggan strategis AWS untuk membantu mereka dengan solusi teknologi menggunakan layanan AWS untuk AI/ML, Kontainer, HPC, dan IoT. Dia telah membantu menyiapkan platform AI/ML untuk pelanggan perusahaan.