Kelola pengembangan pembelajaran mesin menggunakan ruang bersama di SageMaker Studio untuk kolaborasi waktu nyata

Studio Amazon SageMaker adalah lingkungan pengembangan terintegrasi penuh (IDE) pertama untuk pembelajaran mesin (ML). Ini menyediakan antarmuka visual berbasis web tunggal tempat Anda dapat melakukan semua langkah pengembangan ML, termasuk menyiapkan data dan membangun, melatih, dan menerapkan model.

Dalam sebuah Domain Amazon SageMaker, pengguna dapat menyediakan aplikasi Amazon SageMaker Studio IDE pribadi, yang menjalankan JupyterServer gratis dengan integrasi bawaan untuk memeriksa Amazon Eksperimen SageMaker, mengatur Pipa Amazon SageMaker, dan banyak lagi. Pengguna hanya membayar komputasi fleksibel pada kernel notebook mereka. Aplikasi pribadi ini secara otomatis me-mount pribadi masing-masing pengguna Sistem File Amazon Elastis (Amazon EFS) home directory sehingga mereka dapat menyimpan kode, data, dan file lain yang diisolasi dari pengguna lain. Studio Amazon SageMaker sudah mendukung berbagi notebook antara aplikasi pribadi, tetapi mekanisme asinkron dapat memperlambat proses iterasi.

Sekarang dengan ruang bersama di Amazon SageMaker Studio, pengguna dapat mengatur upaya dan inisiatif ML kolaboratif dengan membuat aplikasi IDE bersama yang digunakan pengguna dengan profil pengguna Amazon SageMaker mereka sendiri. Pekerja data yang berkolaborasi dalam ruang bersama mendapatkan akses ke lingkungan Amazon SageMaker Studio tempat mereka dapat mengakses, membaca, mengedit, dan membagikan buku catatan mereka secara waktu nyata, yang memberi mereka jalur tercepat untuk memulai iterasi ide baru dengan rekan mereka. Pekerja data bahkan dapat berkolaborasi di notebook yang sama secara bersamaan menggunakan kemampuan kolaborasi waktu nyata. Buku catatan menunjukkan setiap pengguna yang mengedit bersama dengan kursor berbeda yang menampilkan nama profil pengguna masing-masing.

Ruang bersama di SageMaker Studio secara otomatis menandai sumber daya, seperti tugas Pelatihan, tugas Pemrosesan, Eksperimen, Jalur Pipa, dan entri Registri Model yang dibuat dalam lingkup ruang kerja dengan masing-masing sagemaker:space-arn. Ruang memfilter sumber daya tersebut dalam antarmuka pengguna (UI) Amazon SageMaker Studio sehingga pengguna hanya diberikan Eksperimen SageMaker, Pipeline, dan sumber daya lain yang berkaitan dengan upaya ML mereka.

Ikhtisar solusi

Karena ruang bersama menandai sumber daya secara otomatis, administrator dapat dengan mudah memantau biaya yang terkait dengan upaya ML dan merencanakan anggaran menggunakan alat seperti Anggaran AWS dan Penjelajah Biaya AWS. Sebagai administrator, Anda hanya perlu melampirkan a label alokasi biaya untuk sagemaker:space-arn.

Setelah selesai, Anda dapat menggunakan AWS Cost Explorer untuk mengidentifikasi berapa banyak proyek ML individual yang membebani organisasi Anda.

Mulailah dengan ruang bersama di Amazon SageMaker Studio

Di bagian ini, kami akan menganalisis alur kerja tipikal untuk membuat dan memanfaatkan ruang bersama di Amazon SageMaker Studio.

Buat ruang bersama di Amazon SageMaker Studio

Anda dapat menggunakan Konsol Amazon SageMaker atau Antarmuka Baris Perintah AWS (AWS CLI) untuk menambahkan dukungan untuk ruang ke domain yang sudah ada. Untuk informasi terbaru, silakan periksa Buat ruang bersama. Ruang bersama hanya berfungsi dengan citra JupyterLab 3 SageMaker Studio dan untuk Domain SageMaker menggunakan autentikasi AWS Identity and Access Management (AWS IAM).

Pembuatan konsol

Untuk membuat ruang dalam Domain Amazon SageMaker yang ditunjuk, pertama-tama Anda harus menetapkan peran eksekusi default ruang yang ditunjuk. Dari Detail domain halaman, pilih setting domain Tab dan pilih Edit. Kemudian Anda dapat menetapkan peran eksekusi default ruang, yang hanya perlu diselesaikan satu kali per Domain, seperti yang ditampilkan dalam diagram berikut:

Selanjutnya, Anda bisa pergi ke Manajemen ruang tab dalam domain Anda dan pilih membuat tombol, seperti yang ditunjukkan pada diagram berikut:

pembuatan AWS CLI

Anda juga dapat menetapkan peran eksekusi ruang Domain default dari AWS CLI. Untuk menentukan ARN gambar JupyterLab3 wilayah Anda, periksa Menyetel versi JupyterLab default.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Setelah selesai untuk Domain Anda, Anda dapat membuat ruang bersama dari CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Luncurkan ruang bersama di Amazon SageMaker Studio

Pengguna dapat meluncurkan ruang bersama dengan memilih Launch tombol di samping profil pengguna mereka dalam Konsol AWS untuk Domain Amazon SageMaker mereka.

Setelah memilih Spaces di bawah bagian Collaborative, lalu pilih Space mana yang akan diluncurkan:

Alternatifnya, pengguna dapat membuat URL yang telah ditandatangani sebelumnya untuk meluncurkan ruang melalui AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Kolaborasi waktu nyata

Setelah IDE ruang bersama Amazon SageMaker Studio dimuat, pengguna dapat memilih Kolaborator tab di panel kiri untuk melihat pengguna yang aktif bekerja di ruang Anda dan di notebook mana. Jika lebih dari satu orang mengerjakan buku catatan yang sama, Anda akan melihat kursor dengan nama profil pengguna lain tempat mereka mengedit:

Di tangkapan layar berikut, Anda dapat melihat pengalaman pengguna yang berbeda untuk seseorang yang mengedit dan melihat buku catatan yang sama:

Kesimpulan

Dalam postingan ini, kami menunjukkan kepada Anda bagaimana ruang bersama di SageMaker Studio menambahkan pengalaman IDE kolaboratif waktu nyata ke Amazon SageMaker Studio. Pemberian tag otomatis membantu pengguna menentukan cakupan dan memfilter sumber daya Amazon SageMaker mereka, yang mencakup: eksperimen, jalur pipa, dan entri registri model untuk memaksimalkan produktivitas pengguna. Selain itu, administrator dapat menggunakan tag yang diterapkan ini untuk memantau biaya yang terkait dengan ruang tertentu dan menetapkan anggaran yang sesuai menggunakan AWS Cost Explorer dan AWS Budgets.

Percepat kolaborasi tim Anda hari ini dengan menyiapkan ruang bersama di Amazon SageMaker Studio untuk upaya pembelajaran mesin spesifik Anda!

Tentang penulis

Sean Morgan adalah Arsitek Solusi AI/ML di AWS. Dia memiliki pengalaman di bidang penelitian semikonduktor dan akademik, dan menggunakan pengalamannya untuk membantu pelanggan mencapai tujuan mereka di AWS. Di waktu luangnya, Sean adalah kontributor/pengelola open-source aktif dan memimpin grup minat khusus untuk Add-on TensorFlow.

Han Zhang adalah Insinyur Perangkat Lunak Senior di Amazon Web Services. Dia adalah bagian dari tim peluncuran untuk Notebook Amazon SageMaker dan Amazon SageMaker Studio, dan berfokus pada membangun lingkungan pembelajaran mesin yang aman untuk pelanggan. Di waktu luangnya, dia menikmati hiking dan ski di Pacific Northwest.

Arkaprava De adalah Insinyur Perangkat Lunak Senior di AWS. Dia telah berada di Amazon selama lebih dari 7 tahun dan saat ini bekerja untuk meningkatkan pengalaman Amazon SageMaker Studio IDE. Anda dapat menemukannya di LinkedIn.

Kunal Jha adalah Manajer Produk Senior di AWS. Dia fokus membangun Amazon SageMaker Studio sebagai IDE pilihan untuk semua langkah pengembangan ML. Di waktu luangnya, Kunal menikmati bermain ski dan menjelajahi Pacific Northwest. Anda dapat menemukannya di LinkedIn.