Amazon SageMaker Autopilot hingga delapan kali lebih cepat dengan mode pelatihan ensemble baru yang didukung oleh AutoGluon

Autopilot Amazon SageMaker telah menambahkan mode pelatihan baru yang mendukung ansambel model yang didukung oleh Perekat Otomatis. Mode latihan ensemble di Autopilot melatih beberapa model dasar dan menggabungkan prediksinya menggunakan model susun. Untuk set data kurang dari 100 MB, mode pelatihan ensemble membuat model pembelajaran mesin (ML) dengan akurasi tinggi dengan cepat—hingga delapan kali lebih cepat daripada mode pelatihan pengoptimalan hiperparameter (HPO) dengan 250 uji coba, dan hingga 5.8 kali lebih cepat daripada mode pelatihan HPO dengan 100 percobaan. Ini mendukung berbagai algoritma, termasuk LightGBM, CatBoost, XGBoost, Random Forest, Extra Trees, model linier, dan jaringan saraf berdasarkan PyTorch dan FastAI.

Bagaimana AutoGluon membangun model ensemble

AutoGluon-Tabel (AGT) adalah kerangka kerja AutoML open-source populer yang melatih model ML yang sangat akurat pada set data tabular. Tidak seperti kerangka kerja AutoML yang ada, yang terutama berfokus pada pemilihan model dan hyperparameter, AGT berhasil dengan menggabungkan beberapa model dan menumpuknya dalam beberapa lapisan. Perilaku default AGT dapat diringkas sebagai berikut: Diberikan set data, AGT melatih berbagai model dasar mulai dari pohon yang dikuatkan hingga jaringan saraf khusus pada set data. Prediksi dari model dasar digunakan sebagai fitur untuk membangun model susun, yang mempelajari bobot yang sesuai dari setiap model dasar. Dengan bobot yang dipelajari ini, model susun kemudian menggabungkan prediksi model dasar dan mengembalikan prediksi gabungan sebagai set prediksi akhir.

Cara kerja mode latihan ensemble Autopilot

Dataset yang berbeda memiliki karakteristik yang cocok untuk algoritma yang berbeda. Mengingat kumpulan data dengan karakteristik yang tidak diketahui, sulit untuk mengetahui sebelumnya algoritma mana yang akan bekerja paling baik pada kumpulan data. Dengan pemikiran ini, ilmuwan data yang menggunakan AGT sering membuat beberapa konfigurasi khusus dengan subset algoritme dan parameter. Mereka menjalankan konfigurasi ini pada kumpulan data tertentu untuk menemukan konfigurasi terbaik dalam hal kinerja dan latensi inferensi.

Autopilot adalah produk ML kode rendah yang secara otomatis membuat model ML terbaik untuk data Anda. Dalam mode pelatihan ensemble baru, Autopilot memilih set konfigurasi AGT yang optimal dan menjalankan beberapa uji coba untuk mengembalikan model terbaik. Uji coba ini dijalankan secara paralel untuk mengevaluasi apakah kinerja AGT dapat lebih ditingkatkan, dalam hal metrik objektif atau latensi inferensi.

Hasil yang diamati menggunakan tolok ukur OpenML

Untuk mengevaluasi peningkatan kinerja, kami menggunakan set data benchmark OpenML dengan ukuran bervariasi dari 0.5–100 MB dan menjalankan 10 uji coba AGT dengan berbagai kombinasi algoritme dan konfigurasi hyperparameter. Pengujian membandingkan mode pelatihan ensemble dengan mode HPO dengan 250 percobaan dan mode HPO dengan 100 percobaan. Tabel berikut membandingkan keseluruhan waktu proses eksperimen Autopilot (dalam menit) antara dua mode pelatihan untuk berbagai ukuran set data.

Ukuran kumpulan data	Mode HPO (250 percobaan)	Mode HPO (100 percobaan)	Mode Ensemble (10 percobaan)	Peningkatan Waktu Proses dengan HPO 250	Peningkatan Waktu Proses dengan HPO 100
< 1MB	121.5 menit	88.0 menit	15.0 menit	8.1x	5.9x
1-10MB	136.1 menit	76.5 menit	25.8 menit	5.3x	3.0x
10-100MB	152.7 menit	103.1 menit	60.9 menit	2.5x	1.7x

Untuk membandingkan kinerja masalah klasifikasi multiclass, kami menggunakan akurasi, untuk masalah klasifikasi biner kami menggunakan skor F1, dan untuk masalah regresi kami menggunakan R2. Keuntungan dalam metrik objektif ditunjukkan dalam tabel berikut. Kami mengamati bahwa mode pelatihan ensemble berkinerja lebih baik daripada mode pelatihan HPO (baik 100 dan 250 percobaan).

Perhatikan bahwa mode ensemble menunjukkan peningkatan yang konsisten dibandingkan mode HPO dengan 250 percobaan terlepas dari ukuran dataset dan jenis masalah.

Tabel berikut membandingkan akurasi untuk masalah klasifikasi multi-kelas (lebih tinggi lebih baik).

Ukuran kumpulan data	Mode HPO (250 percobaan)	Mode HPO (100 percobaan)	Mode Ensemble (10 percobaan)	Peningkatan Persentase atas HPO 250
< 1MB	0.759	0.761	0.771	1.46%
1-5MB	0.941	0.935	0.957	1.64%
5-10MB	0.639	0.633	0.671	4.92%
10-50MB	0.998	0.999	0.999	0.11%
51-100MB	0.853	0.852	0.875	2.56%

Tabel berikut membandingkan skor F1 untuk masalah klasifikasi biner (lebih tinggi lebih baik).

Ukuran kumpulan data	Mode HPO (250 percobaan)	Mode HPO (100 percobaan)	Mode Ensemble (10 percobaan)	Peningkatan Persentase atas HPO 250
< 1MB	0.801	0.807	0.826	3.14%
1-5MB	0.59	0.587	0.629	6.60%
5-10MB	0.886	0.889	0.898	1.32%
10-50MB	0.731	0.736	0.754	3.12%
51-100MB	0.503	0.493	0.541	7.58%

Tabel berikut membandingkan R2 untuk masalah regresi (lebih tinggi lebih baik).

Ukuran kumpulan data	Mode HPO (250 percobaan)	Mode HPO (100 percobaan)	Mode Ensemble (10 percobaan)	Peningkatan Persentase atas HPO 250
< 1MB	0.717	0.718	0.716	0%
1-5MB	0.803	0.803	0.817	2%
5-10MB	0.590	0.586	0.614	4%
10-50MB	0.686	0.688	0.684	0%
51-100MB	0.623	0.626	0.631	1%

Di bagian berikutnya, kami menunjukkan cara menggunakan mode pelatihan ensemble baru di Autopilot untuk menganalisis set data dan dengan mudah membuat model ML berkualitas tinggi.

Ikhtisar kumpulan data

Kami menggunakan Kumpulan data Titanic untuk memprediksi apakah penumpang tertentu selamat atau tidak. Ini adalah masalah klasifikasi biner. Kami fokus pada pembuatan eksperimen Autopilot menggunakan mode pelatihan ensemble baru dan membandingkan hasil skor F1 dan waktu proses keseluruhan dengan eksperimen Autopilot menggunakan mode pelatihan HPO (100 uji coba).

Nama kolom	Deskripsi Produk
penumpang	Nomor identifikasi
selamat	Kelangsungan hidup
Kelas P	Kelas tiket
Nama	Nama penumpang
Seks	Seks
Usia	Usia di tahun ini
saudara	Jumlah saudara kandung atau pasangan di kapal Titanic
Memanggang	Jumlah orang tua atau anak-anak di kapal Titanic
Tiket	Nomor tiket
melakukan	Tarif penumpang
Kabin	Nomor kabin
Memulai	Pelabuhan Embarkasi

Dataset memiliki 890 baris dan 12 kolom. Ini berisi informasi demografis tentang penumpang (usia, jenis kelamin, kelas tiket, dan sebagainya) dan kolom target Bertahan (ya/tidak).

Prasyarat

Selesaikan langkah-langkah prasyarat berikut:

1. Pastikan Anda memiliki akun AWS, akses aman untuk masuk ke akun melalui Konsol Manajemen AWS, dan Identitas AWS dan Manajemen Akses (IAM) izin untuk menggunakan Amazon SageMaker dan Layanan Penyimpanan Sederhana Amazon (Amazon S3) sumber daya.
2. Download Kumpulan data Titanic dan unggah ke ember S3 ke dalam akun Anda.
3. Masuk ke domain SageMaker dan akses Studio Amazon SageMaker untuk menggunakan Autopilot. Untuk petunjuk, lihat Masuk ke Domain Amazon SageMaker. Jika Anda menggunakan Studio yang ada, tingkatkan versi ke versi terbaru dari Studio untuk menggunakan mode pelatihan ansambel baru.

Buat eksperimen Autopilot dengan mode pelatihan ensemble

Saat set data sudah siap, Anda dapat menginisialisasi eksperimen Autopilot di Studio. Untuk petunjuk lengkap, lihat Buat eksperimen Autopilot Amazon SageMaker. Buat eksperimen Autopilot dengan memberikan nama eksperimen, input data, dan menentukan data target untuk diprediksi di Eksperimen dan detail data bagian. Secara opsional, Anda dapat menentukan rasio tumpahan data dan pembuatan otomatis lokasi keluaran Amazon S3.

Untuk kasus penggunaan kami, kami memberikan nama eksperimen, memasukkan lokasi Amazon S3, dan memilih selamat sebagai sasaran. Kami tetap mengaktifkan pemisahan otomatis dan mengganti lokasi Amazon S3 keluaran default.

Selanjutnya, kami menentukan metode pelatihan di Metode pelatihan bagian. Anda dapat membiarkan Autopilot memilih mode latihan secara otomatis menggunakan Mobil berdasarkan ukuran dataset, atau pilih mode pelatihan secara manual baik untuk ansambel atau HPO. Rincian masing-masing opsi adalah sebagai berikut:

• Mobil – Autopilot secara otomatis memilih mode ensembling atau HPO berdasarkan ukuran dataset Anda. Jika dataset Anda lebih besar dari 100 MB, Autopilot akan memilih HPO, jika tidak, ia akan memilih ensambling.
• Ansambling – Penggunaan autopilot Perekat Otomatisteknik ensembling untuk melatih beberapa model dasar dan menggabungkan prediksi mereka menggunakan model susun menjadi model prediksi yang optimal.
• Optimalisasi Hyperparameter – Autopilot menemukan versi model terbaik dengan menyetel hyperparameter menggunakan teknik Bayesian Optimization dan menjalankan tugas pelatihan pada kumpulan data Anda. HPO memilih algoritme yang paling relevan dengan kumpulan data Anda dan memilih rentang hiperparameter terbaik untuk menyesuaikan model.

Untuk kasus penggunaan kami, kami memilih Ansambling sebagai mode pelatihan kami.

Setelah ini, kami melanjutkan ke Penerapan dan pengaturan lanjutan bagian. Di sini, kami membatalkan pilihan Penyebaran otomatis pilihan. Dibawah pengaturan lanjutan, Anda dapat menentukan jenis masalah ML yang ingin Anda selesaikan. Jika tidak ada yang disediakan, Autopilot secara otomatis menentukan model berdasarkan data yang Anda berikan. Karena masalah kami adalah masalah klasifikasi biner, kami memilih Klasifikasi biner sebagai jenis masalah kami dan F1 sebagai metrik tujuan kami.

Akhirnya, kami meninjau pilihan kami dan memilih Buat eksperimen.

Pada titik ini, aman untuk meninggalkan Studio dan kembali lagi nanti untuk memeriksa hasilnya, yang dapat Anda temukan di Percobaan menu.

Tangkapan layar berikut menunjukkan hasil akhir dari tugas autopilot mode pelatihan ansambel titanic-ens kami.

Anda dapat melihat beberapa percobaan yang telah dicoba oleh Autopilot dalam mode pelatihan ensemble. Setiap percobaan mengembalikan model terbaik dari kumpulan model individu berjalan dan model ensemble susun berjalan.

Untuk menjelaskan ini sedikit lebih jauh, mari kita asumsikan Trial 1 mempertimbangkan semua delapan algoritma yang didukung dan menggunakan stacking level 2. Ini akan secara internal membuat model individual untuk setiap algoritma serta model ensemble berbobot dengan stack Level 0, Level 1, dan Level 2 Namun, output dari Trial 1 akan menjadi model terbaik dari kumpulan model yang dibuat.

Demikian pula, mari kita pertimbangkan Percobaan 2 untuk mengambil algoritma peningkatan berbasis pohon saja. Dalam hal ini, Trial 2 secara internal akan membuat tiga model individual untuk masing-masing dari tiga algoritme serta model ensemble berbobot, dan mengembalikan model terbaik dari prosesnya.

Model akhir yang dikembalikan oleh percobaan mungkin atau mungkin bukan model ensemble berbobot, tetapi sebagian besar percobaan kemungkinan besar akan mengembalikan model ensemble berbobot terbaik mereka. Akhirnya, berdasarkan metrik tujuan yang dipilih, model terbaik di antara semua 10 percobaan akan diidentifikasi.

Dalam contoh sebelumnya, model terbaik kami adalah model dengan skor F1 tertinggi (metrik objektif kami). Beberapa metrik berguna lainnya, termasuk akurasi, akurasi seimbang, presisi, dan penarikan juga ditampilkan. Di lingkungan kami, runtime end-to-end untuk eksperimen Autopilot ini adalah 10 menit.

Buat eksperimen Autopilot dengan mode pelatihan HPO

Sekarang mari kita lakukan semua langkah yang disebutkan di atas untuk membuat eksperimen Autopilot kedua dengan metode pelatihan HPO (default 100 uji coba). Terlepas dari pemilihan metode pelatihan, yang sekarang Optimalisasi Hyperparameter, yang lainnya tetap sama. Dalam mode HPO, Anda dapat menentukan jumlah percobaan dengan menyetel Kandidat maksimal bawah pengaturan lanjutan untuk Runtime, tetapi sebaiknya biarkan ini default. Tidak memberikan nilai apa pun dalam Kandidat maksimal akan menjalankan 100 uji coba HPO. Di lingkungan kami, runtime end-to-end untuk eksperimen Autopilot ini adalah 2 jam.

Perbandingan metrik runtime dan kinerja

Kami melihat bahwa untuk dataset kami (di bawah 1 MB), mode pelatihan ensemble tidak hanya berjalan 12 kali lebih cepat daripada mode pelatihan HPO (120 menit hingga 10 menit), tetapi juga menghasilkan peningkatan skor F1 dan metrik kinerja lainnya.

Mode Pelatihan	Skor F1	Ketepatan	Akurasi Seimbang	AUC	Ketelitian	Mengingat kembali	Kerugian Log	Runtime
Modus ansambel - TertimbangEnsemble	0.844	0.878	0.865	0.89	0.912	0.785	0.394	10 menit
Mode HPO – XGBoost	0.784	0.843	0.824	0.867	0.831	0.743	0.428	120 menit

Kesimpulan

Sekarang kita memiliki model pemenang, kita juga bisa menyebarkannya ke titik akhir untuk inferensi waktu nyata or gunakan transformasi batch untuk membuat prediksi pada dataset tidak berlabel yang kami unduh sebelumnya.

Kesimpulan

Anda dapat menjalankan eksperimen Autopilot lebih cepat tanpa memengaruhi kinerja dengan mode pelatihan ensemble baru untuk set data kurang dari 100 MB. Untuk memulai, buat eksperimen SageMaker Autopilot di konsol Studio dan pilih Ansambling sebagai mode latihan Anda, atau biarkan Autopilot menyimpulkan mode latihan secara otomatis berdasarkan ukuran set data. Anda dapat merujuk ke Panduan referensi CreateAutoMLJob API untuk pembaruan ke API, dan tingkatkan ke versi terbaru dari Studio untuk menggunakan mode pelatihan ansambel baru. Untuk informasi lebih lanjut tentang fitur ini, lihat Dukungan model, metrik, dan validasi dengan Amazon SageMaker Autopilot dan untuk mempelajari lebih lanjut tentang Autopilot, kunjungi halaman produk.

---

Tentang penulis

Janisha Anand adalah Manajer Produk Senior di tim ML Rendah/Tanpa Kode SageMaker, yang mencakup SageMaker Autopilot. Dia menikmati kopi, tetap aktif, dan menghabiskan waktu bersama keluarganya.

Saket Sathe adalah Ilmuwan Terapan Senior di tim Autopilot SageMaker. Dia bersemangat untuk membangun algoritma dan sistem pembelajaran mesin generasi berikutnya. Selain bekerja, dia suka membaca, memasak, menyeruput ramen, dan bermain bulu tangkis.

Abhishek singh adalah Software Engineer untuk tim Autopilot di AWS. Dia memiliki pengalaman 8+ tahun sebagai pengembang perangkat lunak, dan bersemangat untuk membangun solusi perangkat lunak yang dapat diskalakan yang memecahkan masalah pelanggan. Di waktu luangnya, Abhishek suka tetap aktif dengan melakukan pendakian atau terlibat dalam permainan sepak bola pick up.

Vadim Omeltchenko adalah Arsitek Solusi AI/ML Senior yang bersemangat membantu pelanggan AWS berinovasi di cloud. Pengalaman TI sebelumnya sebagian besar di lapangan.