Sediakan dan kelola lingkungan ML dengan Amazon SageMaker Canvas menggunakan AWS CDK dan Katalog Layanan AWS

Proliferasi pembelajaran mesin (ML) di berbagai kasus penggunaan menjadi lazim di setiap industri. Namun, ini melebihi peningkatan jumlah praktisi ML yang secara tradisional bertanggung jawab untuk menerapkan solusi teknis ini untuk mewujudkan hasil bisnis.

Di perusahaan saat ini, ada kebutuhan pembelajaran mesin untuk digunakan oleh praktisi non-ML yang mahir dengan data, yang merupakan dasar dari ML. Untuk mewujudkannya, nilai ML diwujudkan di seluruh perusahaan melalui platform ML tanpa kode. Platform ini memungkinkan persona yang berbeda, misalnya analis bisnis, untuk menggunakan ML tanpa menulis satu baris kode pun dan memberikan solusi untuk masalah bisnis dengan cara yang cepat, sederhana, dan intuitif. Kanvas Amazon SageMaker adalah layanan tunjuk dan klik visual yang memungkinkan analis bisnis menggunakan ML untuk memecahkan masalah bisnis dengan menghasilkan prediksi akurat sendiri—tanpa memerlukan pengalaman ML atau harus menulis satu baris kode pun. Canvas telah memperluas penggunaan ML di perusahaan dengan antarmuka intuitif yang mudah digunakan yang membantu bisnis menerapkan solusi dengan cepat.

Meskipun Canvas telah mengaktifkan demokratisasi ML, tantangan dalam menyediakan dan menerapkan lingkungan ML dengan cara yang aman masih tetap ada. Biasanya, ini adalah tanggung jawab tim TI pusat di sebagian besar perusahaan besar. Dalam postingan ini, kami membahas bagaimana tim TI dapat mengelola, menyediakan, dan mengelola lingkungan ML yang aman menggunakan Kanvas Amazon SageMaker, Kit Pengembangan AWS Cloud (AWS CDK) dan Katalog Layanan AWS. Postingan ini menyajikan panduan langkah demi langkah bagi administrator TI untuk mencapai ini dengan cepat dan dalam skala besar.

Ikhtisar AWS CDK dan Katalog Layanan AWS

AWS CDK adalah kerangka kerja pengembangan perangkat lunak sumber terbuka untuk menentukan sumber daya aplikasi cloud Anda. Ini menggunakan keakraban dan kekuatan ekspresif bahasa pemrograman untuk memodelkan aplikasi Anda, sambil menyediakan sumber daya dengan cara yang aman dan dapat diulang.

Katalog Layanan AWS memungkinkan Anda mengelola layanan TI, aplikasi, sumber daya, dan metadata yang diterapkan secara terpusat. Dengan Katalog Layanan AWS, Anda dapat membuat, berbagi, mengatur, dan mengatur sumber daya cloud dengan infrastruktur sebagai templat kode (IaC) dan memungkinkan penyediaan yang cepat dan mudah.

Ikhtisar solusi

Kami mengaktifkan penyediaan lingkungan ML menggunakan Canvas dalam tiga langkah:

1. Pertama, kami membagikan bagaimana Anda dapat mengelola portofolio sumber daya yang diperlukan untuk penggunaan Canvas yang disetujui menggunakan Katalog Layanan AWS.
2. Kemudian, kami menerapkan contoh portofolio Katalog Layanan AWS untuk Canvas menggunakan AWS CDK.
3. Terakhir, kami mendemonstrasikan bagaimana Anda dapat menyediakan lingkungan Canvas sesuai permintaan dalam hitungan menit.

Prasyarat

Untuk menyediakan lingkungan ML dengan Canvas, AWS CDK, dan Katalog Layanan AWS, Anda perlu melakukan hal berikut:

1. Memiliki akses ke akun AWS tempat portofolio Katalog Layanan akan diterapkan. Pastikan Anda memiliki kredensial dan izin untuk menerapkan tumpukan AWS CDK ke akun Anda. Itu Lokakarya AWS CDK adalah sumber bermanfaat yang dapat Anda rujuk jika Anda membutuhkan dukungan.
2. Kami merekomendasikan untuk mengikuti praktik terbaik tertentu yang disorot melalui konsep yang dirinci dalam sumber daya berikut:
3. Klon repositori GitHub ini ke dalam lingkungan Anda.

Sediakan lingkungan ML yang disetujui dengan Amazon SageMaker Canvas menggunakan Katalog Layanan AWS

Di industri yang diatur dan sebagian besar perusahaan besar, Anda harus mematuhi persyaratan yang diamanatkan oleh tim TI untuk menyediakan dan mengelola lingkungan ML. Ini mungkin termasuk jaringan pribadi yang aman, enkripsi data, kontrol untuk mengizinkan hanya pengguna yang berwenang dan diautentikasi seperti: Identitas AWS dan Manajemen Akses (IAM) untuk mengakses solusi seperti Canvas, serta pencatatan dan pemantauan ketat untuk tujuan audit.

Sebagai administrator TI, Anda dapat menggunakan AWS Service Catalog untuk membuat dan mengatur lingkungan ML yang aman dan dapat direproduksi dengan SageMaker Canvas ke dalam portofolio produk. Ini dikelola menggunakan kontrol IaC yang disematkan untuk memenuhi persyaratan yang disebutkan sebelumnya, dan dapat disediakan sesuai permintaan dalam beberapa menit. Anda juga dapat mengontrol siapa yang dapat mengakses portofolio ini untuk meluncurkan produk.

Diagram berikut menggambarkan arsitektur ini.

Contoh aliran

Di bagian ini, kami mendemonstrasikan contoh portofolio Katalog Layanan AWS dengan Kanvas SageMaker. Portofolio terdiri dari berbagai aspek lingkungan Canvas yang merupakan bagian dari portofolio Katalog Layanan:

• Domain studio – Canvas adalah aplikasi yang berjalan di dalam Domain studio. Domain terdiri dari Sistem File Amazon Elastis (Amazon EFS) volume, daftar pengguna resmi, dan berbagai keamanan, aplikasi, kebijakan, dan Cloud Pribadi Virtual Amazon (VPC) konfigurasi. Akun AWS ditautkan ke satu domain per Wilayah.
• Keranjang Amazon S3 – Setelah domain Studio dibuat, dan Layanan Penyimpanan Sederhana Amazon Bucket (Amazon S3) disediakan untuk Canvas untuk memungkinkan pengimporan kumpulan data dari file lokal, juga dikenal sebagai unggahan file lokal. Bucket ini ada di akun pelanggan dan disediakan sekali.
• Pengguna kanvas – SageMaker Canvas adalah aplikasi tempat Anda dapat menambahkan profil pengguna dalam domain Studio untuk setiap pengguna Canvas, yang dapat melanjutkan untuk mengimpor kumpulan data, membuat dan melatih model ML tanpa menulis kode, dan menjalankan prediksi pada model.
• Penutupan sesi Canvas yang dijadwalkan – Pengguna Canvas dapat keluar dari antarmuka Canvas setelah selesai dengan tugas mereka. Kalau tidak, administrator dapat menutup sesi Canvas dari Konsol Manajemen AWS sebagai bagian dari pengelolaan sesi Canvas. Di bagian portofolio Katalog Layanan AWS ini, dan AWS Lambda fungsi dibuat dan disediakan untuk secara otomatis menutup sesi Canvas pada interval terjadwal yang ditentukan. Ini membantu mengelola sesi terbuka dan mematikannya saat tidak digunakan.

Contoh aliran ini dapat ditemukan di Repositori GitHub untuk referensi cepat.

Terapkan alur dengan AWS CDK

Di bagian ini, kami menerapkan alur yang dijelaskan sebelumnya menggunakan AWS CDK. Setelah diterapkan, Anda juga dapat melakukan pelacakan versi dan mengelola portofolio.

Tumpukan portofolio dapat ditemukan di app.py dan tumpukan produk di bawah products/ map. Anda dapat mengulangi peran IAM, Layanan Manajemen Kunci AWS (AWS KMS), dan penyiapan VPC di studio_constructs/ map. Sebelum menyebarkan tumpukan ke akun Anda, Anda dapat mengedit baris berikut di app.py dan berikan akses portofolio ke peran IAM pilihan Anda.

Anda dapat mengelola akses ke portofolio untuk pengguna, grup, dan peran IAM yang relevan. Melihat Memberikan Akses kepada Pengguna lebih lanjut.

Terapkan portofolio ke akun Anda

Anda sekarang dapat menjalankan perintah berikut untuk menginstal AWS CDK dan memastikan Anda memiliki dependensi yang tepat untuk menerapkan portofolio:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Jalankan perintah berikut untuk menerapkan portofolio ke akun Anda:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Dua perintah pertama mendapatkan ID akun Anda dan Wilayah saat ini menggunakan Antarmuka Baris Perintah AWS (AWS CLI) di komputer Anda. Mengikuti ini, cdk bootstrap dan cdk deploy membangun aset secara lokal, dan menyebarkan tumpukan dalam beberapa menit.

Portofolio sekarang dapat ditemukan di Katalog Layanan AWS, seperti yang ditunjukkan pada tangkapan layar berikut.

Penyediaan sesuai permintaan

Produk dalam portofolio dapat diluncurkan dengan cepat dan mudah sesuai permintaan dari Provisioning menu di konsol Katalog Layanan AWS. Alur yang umum adalah meluncurkan domain Studio dan penonaktifan otomatis Canvas terlebih dahulu karena ini biasanya merupakan tindakan satu kali. Anda kemudian dapat menambahkan pengguna Canvas ke domain. ID domain dan peran IAM pengguna ARN disimpan di Manajer Sistem AWS dan secara otomatis diisi dengan parameter pengguna seperti yang ditunjukkan pada tangkapan layar berikut.

Anda juga dapat menggunakan tag alokasi biaya yang dilampirkan ke setiap pengguna. Sebagai contoh, UserCostCenter adalah contoh tag di mana Anda dapat menambahkan nama setiap pengguna.

Pertimbangan utama untuk mengatur lingkungan ML menggunakan Canvas

Sekarang setelah kami menyediakan dan menerapkan portofolio Katalog Layanan AWS yang berfokus pada Canvas, kami ingin menyoroti beberapa pertimbangan untuk mengatur lingkungan ML berbasis Canvas yang berfokus pada domain dan profil pengguna.

Berikut ini adalah pertimbangan terkait domain Studio:

• Networking for Canvas dikelola di tingkat domain Studio, tempat domain di-deploy pada subnet VPC pribadi untuk konektivitas yang aman. Melihat Mengamankan konektivitas Amazon SageMaker Studio menggunakan VPC pribadi untuk mempelajari lebih lanjut.
• Peran eksekusi IAM default ditentukan di tingkat domain. Peran default ini ditetapkan ke semua pengguna Canvas di domain.
• Enkripsi dilakukan menggunakan AWS KMS dengan mengenkripsi volume EFS di domain. Untuk kontrol tambahan, Anda dapat menentukan kunci terkelola Anda sendiri, juga dikenal sebagai kunci terkelola pelanggan (CMK). Melihat Lindungi Data saat Istirahat Menggunakan Enkripsi untuk mempelajari lebih lanjut.
• Kemampuan untuk mengunggah file dari disk lokal Anda dilakukan dengan melampirkan kebijakan berbagi sumber daya lintas asal (CORS) ke bucket S3 yang digunakan oleh Canvas. Melihat Berikan Izin Pengguna Anda untuk Mengunggah File Lokal untuk mempelajari lebih lanjut.

Berikut ini adalah pertimbangan mengenai profil pengguna:

• Otentikasi di Studio dapat dilakukan baik melalui sistem masuk tunggal (SSO) dan IAM. Jika Anda memiliki penyedia identitas yang sudah ada untuk pengguna federasi untuk mengakses konsol, Anda dapat menetapkan profil pengguna Studio ke setiap identitas federasi menggunakan IAM. Lihat bagian Menetapkan kebijakan untuk pengguna Studio in Mengonfigurasi Amazon SageMaker Studio untuk tim dan grup dengan isolasi sumber daya lengkap untuk mempelajari lebih lanjut.
• Anda dapat menetapkan peran eksekusi IAM ke setiap profil pengguna. Saat menggunakan Studio, pengguna mengasumsikan peran yang dipetakan ke profil pengguna mereka yang menggantikan peran eksekusi default. Anda dapat menggunakan ini untuk kontrol akses mendetail dalam tim.
• Anda dapat mencapai isolasi menggunakan kontrol akses berbasis atribut (ABAC) untuk memastikan pengguna hanya dapat mengakses sumber daya untuk tim mereka. Melihat Mengonfigurasi Amazon SageMaker Studio untuk tim dan grup dengan isolasi sumber daya lengkap untuk mempelajari lebih lanjut.
• Anda dapat melakukan pelacakan biaya mendetail dengan menerapkan tag alokasi biaya ke profil pengguna.

Membersihkan

Untuk membersihkan sumber daya yang dibuat oleh tumpukan AWS CDK di atas, navigasikan ke halaman tumpukan AWS CloudFormation dan hapus tumpukan Canvas. Anda juga bisa berlari cdk destroy dari dalam folder repositori, untuk melakukan hal yang sama.

Kesimpulan

Dalam posting ini, kami membagikan bagaimana Anda dapat dengan cepat dan mudah menyediakan lingkungan ML dengan Canvas menggunakan Katalog Layanan AWS dan AWS CDK. Kami membahas bagaimana Anda dapat membuat portofolio di Katalog Layanan AWS, menyediakan portofolio, dan menerapkannya di akun Anda. Administrator TI dapat menggunakan metode ini untuk menerapkan dan mengelola pengguna, sesi, dan biaya terkait saat menyediakan Canvas.

Pelajari lebih lanjut tentang Kanvas di halaman produk dan Panduan Pengembang. Untuk bacaan lebih lanjut, Anda dapat mempelajari caranya memungkinkan analis bisnis mengakses SageMaker Canvas menggunakan AWS SSO tanpa konsol. Anda juga dapat mempelajari caranya analis bisnis dan ilmuwan data dapat berkolaborasi lebih cepat menggunakan Canvas dan Studio.

Tentang Penulis

Davide Gallitelli adalah Arsitek Solusi Spesialis untuk AI/ML di wilayah EMEA. Dia berbasis di Brussel dan bekerja sama dengan pelanggan di seluruh Benelux. Dia telah menjadi pengembang sejak dia masih sangat muda, mulai membuat kode pada usia 7 tahun. Dia mulai belajar AI/ML di universitas, dan telah jatuh cinta padanya sejak saat itu.

Sofian Hamiti adalah Arsitek Solusi spesialis AI / ML di AWS. Dia membantu pelanggan di seluruh industri untuk mempercepat perjalanan AI / ML mereka dengan membantu mereka membangun dan mengoperasionalkan solusi pembelajaran mesin ujung ke ujung.

Shyam Srinivasan adalah Manajer Produk Utama di tim AWS AI/ML, memimpin manajemen produk untuk Amazon SageMaker Canvas. Shyam peduli untuk membuat dunia menjadi tempat yang lebih baik melalui teknologi dan bersemangat tentang bagaimana AI dan ML dapat menjadi katalis dalam perjalanan ini.

Avi Patel bekerja sebagai insinyur perangkat lunak di tim Kanvas Amazon SageMaker. Latar belakangnya terdiri dari bekerja tumpukan penuh dengan fokus frontend. Di waktu luangnya, dia suka berkontribusi pada proyek open source di ruang crypto dan belajar tentang protokol DeFi baru.

Jared Heywood adalah Manajer Pengembangan Bisnis Senior di AWS. Dia adalah spesialis AI/ML global yang membantu pelanggan dengan pembelajaran mesin tanpa kode. Dia telah bekerja di ruang AutoML selama 5 tahun terakhir dan meluncurkan produk di Amazon seperti Amazon SageMaker JumpStart dan Amazon SageMaker Canvas.