Studio Amazon SageMaker menawarkan serangkaian lingkungan pengembangan terintegrasi (IDE) yang terkelola sepenuhnya untuk pengembangan pembelajaran mesin (ML), termasuk JupyterLab, Editor Kode berdasarkan Code-OSS (Visual Studio Code Open Source), dan RStudio. Ini memberikan akses ke seperangkat alat paling komprehensif untuk setiap langkah pengembangan ML, mulai dari menyiapkan data hingga membangun, melatih, menerapkan, dan mengelola model ML. Anda dapat meluncurkan JuptyerLab yang terkelola sepenuhnya dengan Distribusi SageMaker yang telah dikonfigurasi sebelumnya dalam hitungan detik untuk bekerja dengan buku catatan, kode, dan data Anda. Antarmuka SageMaker Studio yang fleksibel dan dapat diperluas memungkinkan Anda mengonfigurasi dan mengatur alur kerja ML dengan mudah, dan Anda dapat menggunakan pendamping pengkodean inline yang didukung AI untuk menulis, men-debug, menjelaskan, dan menguji kode dengan cepat.
Dalam postingan ini, kita melihat lebih dekat SageMaker Studio yang diperbarui dan IDE JupyterLab-nya, yang dirancang untuk meningkatkan produktivitas developer ML. Kami memperkenalkan konsep Spaces dan menjelaskan bagaimana JupyterLab Spaces memungkinkan penyesuaian sumber daya komputasi, penyimpanan, dan runtime yang fleksibel untuk meningkatkan efisiensi alur kerja ML Anda. Kami juga mendiskusikan peralihan kami ke model eksekusi yang dilokalkan di JupyterLab, sehingga menghasilkan pengalaman pengkodean yang lebih cepat, stabil, dan responsif. Selain itu, kami membahas integrasi mulus alat AI generatif seperti Pembisik Kode Amazon dan Jupyter AI dalam SageMaker Studio JupyterLab Spaces, yang menggambarkan bagaimana mereka memberdayakan pengembang untuk menggunakan AI untuk bantuan pengkodean dan pemecahan masalah yang inovatif.
Memperkenalkan Spaces di SageMaker Studio
Baru Antarmuka berbasis web SageMaker Studio bertindak sebagai pusat komando untuk meluncurkan IDE pilihan Anda dan mengakses Amazon SageMaker alat untuk membangun, melatih, menyempurnakan, dan menerapkan model. Selain JupyterLab dan RStudio, SageMaker Studio kini menyertakan Editor Kode yang dikelola sepenuhnya berdasarkan Code-OSS (Visual Studio Code Open Source). JupyterLab dan Code Editor dapat diluncurkan menggunakan ruang kerja fleksibel yang disebut Spaces.
Space adalah representasi konfigurasi IDE SageMaker, seperti JupyterLab atau Editor Kode, yang dirancang untuk bertahan terlepas dari apakah aplikasi (IDE) yang terkait dengan Space sedang berjalan aktif atau tidak. Spasi mewakili kombinasi instans komputasi, penyimpanan, dan konfigurasi runtime lainnya. Dengan Spaces, Anda dapat membuat dan menskalakan komputasi dan penyimpanan untuk IDE Anda ke atas dan ke bawah seiring berjalannya waktu, menyesuaikan lingkungan runtime, serta menjeda dan melanjutkan pengkodean kapan saja dan di mana saja. Anda dapat menjalankan beberapa Spaces tersebut, masing-masing dikonfigurasi dengan kombinasi komputasi, penyimpanan, dan runtime yang berbeda.
Ketika suatu Ruang dibuat, ia dilengkapi dengan Toko Blok Elastis Amazon (Amazon EBS) volume, yang digunakan untuk menyimpan file pengguna, data, cache, dan artefak lainnya. Itu dilampirkan ke instance komputasi ML setiap kali Space dijalankan. Volume EBS memastikan bahwa file pengguna, data, cache, dan status sesi dipulihkan secara konsisten setiap kali Space dimulai ulang. Yang penting, volume EBS ini tetap ada, baik Space sedang berjalan atau berhenti. Ini akan terus bertahan hingga Space dihapus.
Selain itu, kami telah memperkenalkan fitur sistem file bawa sendiri bagi pengguna yang ingin berbagi lingkungan dan artefak di berbagai Space, pengguna, atau bahkan domain. Hal ini memungkinkan Anda untuk melengkapi Spaces Anda dengan milik Anda sendiri Sistem File Amazon Elastis (Amazon EFS) dipasang, memfasilitasi pembagian sumber daya di berbagai ruang kerja.
Menciptakan Ruang
Membuat dan meluncurkan Space baru kini cepat dan mudah. Hanya diperlukan beberapa detik untuk menyiapkan Space baru dengan instans peluncuran cepat dan kurang dari 60 detik untuk menjalankan Space. Ruang dilengkapi dengan pengaturan yang telah ditentukan sebelumnya untuk komputasi dan penyimpanan, yang dikelola oleh administrator. Administrator SageMaker Studio dapat menetapkan preset tingkat domain untuk konfigurasi komputasi, penyimpanan, dan waktu proses. Penyiapan ini memungkinkan Anda meluncurkan ruang baru dengan cepat dengan sedikit usaha, hanya memerlukan beberapa klik. Anda juga memiliki opsi untuk mengubah konfigurasi komputasi, penyimpanan, atau runtime Space untuk penyesuaian lebih lanjut.
Penting untuk diperhatikan bahwa pembuatan Space memerlukan pembaruan peran eksekusi domain SageMaker dengan kebijakan seperti contoh berikut. Anda perlu memberikan izin kepada pengguna Anda untuk ruang pribadi dan profil pengguna yang diperlukan untuk mengakses ruang pribadi ini. Untuk petunjuk rinci, lihat Berikan pengguna Anda akses ke ruang pribadi.
Untuk membuat ruang, selesaikan langkah-langkah berikut:
- Di SageMaker Studio, pilih laboratorium jupyter pada Aplikasi menu.
- Pilih Buat ruang JupyterLab.
- Untuk Nama, masukkan nama untuk Space Anda.
- Pilih Ciptakan ruang.
- Pilih Jalankan ruang untuk meluncurkan Space baru Anda dengan preset default atau memperbarui konfigurasi berdasarkan kebutuhan Anda.
Mengonfigurasi Ulang Ruang
Ruang dirancang agar pengguna dapat bertransisi dengan lancar di antara berbagai jenis komputasi sesuai kebutuhan. Anda dapat memulai dengan membuat Space baru dengan konfigurasi tertentu, terutama terdiri dari komputasi dan penyimpanan. Jika Anda perlu beralih ke jenis komputasi lain dengan jumlah vCPU yang lebih tinggi atau lebih rendah, memori yang lebih banyak atau lebih sedikit, atau instans berbasis GPU di titik mana pun dalam alur kerja Anda, Anda dapat melakukannya dengan mudah. Setelah Anda menghentikan Space, Anda dapat mengubah pengaturannya menggunakan UI atau API melalui antarmuka SageMaker Studio yang diperbarui dan kemudian restart Space. SageMaker Studio secara otomatis menangani penyediaan Ruang Anda yang ada ke konfigurasi baru, tanpa memerlukan upaya ekstra dari Anda.
Selesaikan langkah-langkah berikut untuk mengedit ruang yang ada:
- Pada halaman detail ruang, pilih Hentikan ruang.
- Konfigurasikan ulang komputasi, penyimpanan, atau runtime.
- Pilih Jalankan ruang untuk meluncurkan kembali ruang tersebut.
Ruang kerja Anda akan diperbarui dengan jenis instans penyimpanan dan komputasi baru yang Anda minta.
Arsitektur SageMaker Studio JupyterLab yang baru
Tim SageMaker Studio terus menciptakan dan menyederhanakan pengalaman pengembangnya dengan merilis pengalaman SageMaker Studio JupyterLab baru yang dikelola sepenuhnya. Pengalaman SageMaker Studio JupyterLab yang baru menggabungkan yang terbaik dari kedua dunia: skalabilitas dan fleksibilitas SageMaker Studio Klasik (lihat lampiran di akhir postingan ini) dengan stabilitas dan keakraban JupyterLab open source. Untuk memahami desain pengalaman JupyterLab baru ini, mari pelajari diagram arsitektur berikut. Ini akan membantu kami lebih memahami integrasi dan fitur platform JupyterLab Spaces baru ini.
Singkatnya, kami telah bertransisi menuju arsitektur lokal. Dalam pengaturan baru ini, server Jupyter dan proses kernel beroperasi bersama dalam satu container Docker, yang dihosting pada instance komputasi ML yang sama. Instance ML ini disediakan saat Space sedang berjalan, dan ditautkan dengan volume EBS yang dibuat saat Space pertama kali dibuat.
Arsitektur baru ini membawa beberapa manfaat; kita membahas beberapa di antaranya di bagian berikut.
Mengurangi latensi dan meningkatkan stabilitas
SageMaker Studio telah bertransisi ke model eksekusi lokal, beralih dari model terpisah sebelumnya di mana kode disimpan pada pemasangan EFS dan dijalankan dari jarak jauh pada instans ML melalui Kernel Gateway jarak jauh. Pada pengaturan sebelumnya, Kernel Gateway, server web tanpa kepala, mengaktifkan operasi kernel melalui komunikasi jarak jauh dengan kernel Jupyter melalui HTTPS/WSS. Tindakan pengguna seperti menjalankan kode, mengelola buku catatan, atau menjalankan perintah terminal diproses oleh aplikasi Kernel Gateway pada instance ML jarak jauh, dengan Kernel Gateway memfasilitasi operasi ini melalui ZeroMQ (ZMQ) dalam kontainer Docker. Diagram berikut menggambarkan arsitektur ini.
Arsitektur JupyterLab yang diperbarui menjalankan semua operasi kernel langsung pada instance lokal. Pendekatan Server Jupyter lokal ini biasanya memberikan peningkatan kinerja dan arsitektur yang mudah. Ini meminimalkan latensi dan kompleksitas jaringan, menyederhanakan arsitektur untuk memudahkan proses debug dan pemeliharaan, meningkatkan pemanfaatan sumber daya, dan mengakomodasi pola pesan yang lebih fleksibel untuk berbagai beban kerja yang kompleks.
Intinya, peningkatan ini membawa notebook dan kode yang berjalan lebih dekat ke kernel, sehingga secara signifikan mengurangi latensi dan meningkatkan stabilitas.
Peningkatan kontrol atas penyimpanan yang disediakan
SageMaker Studio Classic awalnya menggunakan Amazon EFS untuk menyediakan penyimpanan file bersama yang persisten untuk direktori home pengguna dalam lingkungan SageMaker Studio. Pengaturan ini memungkinkan Anda menyimpan buku catatan, skrip, dan file proyek lainnya secara terpusat, yang dapat diakses di semua sesi dan instans SageMaker Studio Anda.
Dengan pembaruan terkini pada SageMaker Studio, terdapat peralihan dari penyimpanan berbasis Amazon EFS ke solusi berbasis Amazon EBS. Volume EBS, yang disediakan dengan SageMaker Studio Spaces, adalah volume GP3 dirancang untuk memberikan kinerja dasar yang konsisten sebesar 3,000 IOPS, terlepas dari ukuran volume. Penyimpanan Amazon EBS baru ini menawarkan kinerja lebih tinggi untuk tugas-tugas intensif I/O seperti pelatihan model, pemrosesan data, komputasi kinerja tinggi, dan visualisasi data. Transisi ini juga memberi administrator SageMaker Studio wawasan yang lebih besar dan kontrol atas penggunaan penyimpanan berdasarkan profil pengguna dalam domain atau di seluruh SageMaker. Anda sekarang dapat mengatur default (DefaultEbsVolumeSizeInGb
) dan maksimum (MaximumEbsVolumeSizeInGb
) ukuran penyimpanan untuk JupyterLab Spaces dalam setiap profil pengguna.
Selain peningkatan kinerja, Anda memiliki kemampuan untuk secara fleksibel mengubah ukuran volume penyimpanan yang terpasang pada instans komputasi ML Space Anda dengan mengedit pengaturan Space Anda menggunakan tindakan UI atau API dari antarmuka SageMaker Studio Anda, tanpa memerlukan tindakan administrasi apa pun. Namun, perhatikan bahwa Anda hanya dapat mengedit ukuran volume EBS dalam satu arahโsetelah Anda meningkatkan ukuran volume EBS Space, Anda tidak akan dapat menurunkannya kembali.
SageMaker Studio kini menawarkan peningkatan kontrol atas penyimpanan yang disediakan untuk administrator:
- Administrator SageMaker Studio dapat mengelola ukuran volume EBS untuk profil pengguna. Volume EBS JupyterLab ini dapat bervariasi dari minimal 5 GB hingga maksimal 16 TB. Cuplikan kode berikut menunjukkan cara membuat atau memperbarui profil pengguna dengan pengaturan ruang default dan maksimum:
- SageMaker Studio kini menawarkan fitur penandaan otomatis yang ditingkatkan untuk sumber daya Amazon EBS, yang secara otomatis memberi label pada volume yang dibuat oleh pengguna dengan informasi domain, pengguna, dan Space. Kemajuan ini menyederhanakan analisis alokasi biaya untuk sumber daya penyimpanan, membantu administrator dalam mengelola dan mengatribusikan biaya dengan lebih efektif. Penting juga untuk dicatat bahwa volume EBS ini dihosting dalam akun layanan, sehingga Anda tidak akan memiliki visibilitas langsung. Meskipun demikian, penggunaan penyimpanan dan biaya terkait ditautkan langsung ke ARN domain, ARN profil pengguna, dan ARN Ruang, sehingga memfasilitasi alokasi biaya secara mudah.
- Administrator juga dapat mengontrol enkripsi volume EBS Space, saat disimpan, menggunakan kunci yang dikelola pelanggan (CMK).
Penyewaan bersama dengan sistem file EFS yang dapat Anda bawa sendiri
Alur kerja ML biasanya bersifat kolaboratif, memerlukan pembagian data dan kode yang efisien di antara anggota tim. SageMaker Studio baru meningkatkan aspek kolaboratif ini dengan memungkinkan Anda berbagi data, kode, dan artefak lainnya melalui berbagi bawa sistem file EFS Anda sendiri. Drive EFS ini dapat diatur secara independen dari SageMaker atau dapat berupa sumber daya Amazon EFS yang sudah ada. Setelah disediakan, itu dapat dipasang dengan lancar ke profil pengguna SageMaker Studio. Fitur ini tidak terbatas pada profil pengguna dalam satu domainโfitur ini dapat diperluas ke seluruh domain, selama mereka berada dalam Wilayah yang sama.
Contoh kode berikut menunjukkan kepada Anda cara membuat domain dan melampirkan volume EFS yang ada ke dalamnya menggunakan yang terkait fs-id
. Volume EFS dapat dilampirkan ke domain di tingkat root atau awalan, seperti yang ditunjukkan oleh perintah berikut:
Ketika pemasangan EFS tersedia di domain dan profil pengguna terkait, Anda dapat memilih untuk melampirkannya ke ruang baru. Hal ini dapat dilakukan menggunakan UI SageMaker Studio atau tindakan API, seperti yang ditunjukkan dalam contoh berikut. Penting untuk diperhatikan bahwa ketika ruang dibuat dengan sistem file EFS yang disediakan di tingkat domain, ruang tersebut mewarisi propertinya. Artinya, jika sistem file disediakan pada tingkat akar atau awalan dalam domain, pengaturan ini akan secara otomatis diterapkan pada ruang yang dibuat oleh pengguna domain.
Setelah memasangnya ke Space, Anda dapat menemukan semua file Anda yang terletak di atas titik pemasangan yang disediakan admin. File-file ini dapat ditemukan di jalur direktori /mnt/custom-file-system/efs/fs-12345678
.
Pemasangan EFS memudahkan untuk berbagi artefak antar Ruang pengguna atau antara beberapa pengguna atau antar domain, sehingga ideal untuk beban kerja kolaboratif. Dengan fitur ini, Anda dapat melakukan hal berikut:
- Bagikan data โ Pemasangan EFS ideal untuk menyimpan kumpulan data besar yang penting untuk eksperimen ilmu data. Pemilik kumpulan data dapat memuat tunggangan ini dengan kumpulan data pelatihan, validasi, dan pengujian, sehingga dapat diakses oleh profil pengguna dalam satu domain atau di beberapa domain. Admin SageMaker Studio juga dapat mengintegrasikan pemasangan EFS aplikasi yang ada sambil menjaga kepatuhan terhadap kebijakan keamanan organisasi. Hal ini dilakukan melalui pemasangan tingkat awalan yang fleksibel. Misalnya, jika data produksi dan pengujian disimpan pada pemasangan EFS yang sama (misalnya
fs-12345678:/data/prod and fs-12345678:/data/test
), pemasangan/data/test
ke profil pengguna domain SageMaker memberi pengguna akses hanya ke kumpulan data pengujian. Penyiapan ini memungkinkan analisis atau pelatihan model sekaligus menjaga data produksi tetap aman dan tidak dapat diakses. - Bagikan Kode โ Pemasangan EFS memfasilitasi pembagian artefak kode dengan cepat antar profil pengguna. Dalam skenario di mana pengguna perlu berbagi contoh kode dengan cepat atau berkolaborasi pada basis kode umum tanpa kerumitan perintah git push/pull yang sering dilakukan, pemasangan EFS bersama sangat bermanfaat. Mereka menawarkan cara mudah untuk berbagi artefak kode yang sedang dalam proses dalam satu tim atau antar tim yang berbeda di SageMaker Studio.
- Bagikan lingkungan pengembangan โ Pemasangan EFS bersama juga dapat berfungsi sebagai sarana untuk menyebarkan lingkungan sandbox dengan cepat di antara pengguna dan tim. Mount EFS memberikan alternatif yang solid untuk berbagi lingkungan Python seperti conda atau virtualenv di beberapa ruang kerja. Pendekatan ini menghindari kebutuhan untuk mendistribusikan
requirements.txt
orenvironment.yml
file, yang sering kali menyebabkan tugas berulang dalam membuat atau menciptakan kembali lingkungan di berbagai profil pengguna.
Fitur-fitur ini secara signifikan meningkatkan kemampuan kolaboratif dalam SageMaker Studio, sehingga memudahkan tim untuk bekerja sama secara efisien dalam proyek ML yang kompleks. Selain itu, Editor Kode berdasarkan Code-OSS (Visual Studio Code Open Source) berbagi prinsip arsitektur yang sama dengan pengalaman JupyterLab yang disebutkan di atas. Penyelarasan ini memberikan beberapa keuntungan, seperti pengurangan latensi, peningkatan stabilitas, dan peningkatan kontrol administratif, serta memungkinkan akses pengguna ke ruang kerja bersama, mirip dengan yang ditawarkan di JupyterLab Spaces.
Alat bertenaga AI generatif di JupyterLab Spaces
AI Generatif, bidang kecerdasan buatan yang berkembang pesat, menggunakan algoritme untuk membuat konten baru seperti teks, gambar, dan kode dari banyak data yang ada. Teknologi ini telah merevolusi pengkodean dengan mengotomatiskan tugas-tugas rutin, menghasilkan struktur kode yang kompleks, dan menawarkan saran yang cerdas, sehingga menyederhanakan pengembangan dan mendorong kreativitas serta pemecahan masalah dalam pemrograman. Sebagai alat yang sangat diperlukan bagi pengembang, AI generatif meningkatkan produktivitas dan mendorong inovasi dalam industri teknologi. SageMaker Studio meningkatkan pengalaman pengembang ini dengan alat yang sudah diinstal sebelumnya seperti Amazon CodeWhisperer dan Jupyter AI, menggunakan AI generatif untuk mempercepat siklus hidup pengembangan.
Pembisik Kode Amazon
Amazon CodeWhisperer adalah asisten pemrograman yang meningkatkan produktivitas pengembang melalui rekomendasi dan solusi kode waktu nyata. Sebagai layanan AI yang dikelola AWS, layanan ini terintegrasi dengan mulus ke dalam SageMaker Studio JupyterLab IDE. Integrasi ini menjadikan Amazon CodeWhisperer sebagai tambahan yang lancar dan berharga bagi alur kerja pengembang.
Amazon CodeWhisperer unggul dalam meningkatkan efisiensi pengembang dengan mengotomatiskan tugas pengkodean umum, menyarankan pola pengkodean yang lebih efektif, dan mengurangi waktu debugging. Ini berfungsi sebagai alat penting bagi pembuat kode pemula dan berpengalaman, memberikan wawasan tentang praktik terbaik, mempercepat proses pengembangan, dan meningkatkan kualitas kode secara keseluruhan. Untuk mulai menggunakan Amazon CodeWhisperer, pastikan bahwa Lanjutkan Saran Otomatis fitur diaktifkan. Anda dapat meminta saran kode secara manual menggunakan shortcut keyboard.
Alternatifnya, tulis komentar yang menjelaskan fungsi kode yang Anda inginkan dan mulailah membuat kode; Amazon CodeWhisperer akan mulai memberikan saran.
Perhatikan bahwa meskipun Amazon CodeWhisperer sudah diinstal sebelumnya, Anda harus memilikinya codewhisperer:GenerateRecommendations
izin sebagai bagian dari peran eksekusi untuk menerima rekomendasi kode. Untuk detail tambahan, lihat Menggunakan CodeWhisperer dengan Amazon SageMaker Studio. Saat Anda menggunakan Amazon CodeWhisperer, AWS mungkin, untuk tujuan peningkatan layanan, menyimpan data tentang penggunaan dan konten Anda. Untuk memilih keluar dari Amazon CodeWhisperer kebijakan berbagi data, Anda dapat menavigasi ke Pengaturan opsi dari menu atas lalu navigasikan ke Editor Pengaturan dan nonaktifkan Bagikan data penggunaan dengan Amazon CodeWhisperer dari menu pengaturan Amazon CodeWhisperer.
Jupyter AI
Jupyter AI adalah alat sumber terbuka yang menghadirkan AI generatif ke notebook Jupyter, menawarkan platform yang kuat dan ramah pengguna untuk menjelajahi model AI generatif. Hal ini meningkatkan produktivitas di JupyterLab dan Jupyter Notebooks dengan menyediakan fitur seperti keajaiban %%ai untuk menciptakan taman bermain AI generatif di dalam notebook, UI obrolan asli di JupyterLab untuk berinteraksi dengan AI sebagai asisten percakapan, dan dukungan untuk beragam bahasa besar penyedia model (LLM) seperti AI21, Anthropic, Cohere, dan Hugging Face atau layanan terkelola sejenisnya Batuan Dasar Amazon dan titik akhir SageMaker. Integrasi ini menawarkan metode yang lebih efisien dan inovatif untuk analisis data, ML, dan tugas pengkodean. Misalnya, Anda dapat berinteraksi dengan LLM yang sadar domain menggunakan antarmuka obrolan Jupyternaut untuk bantuan terkait proses dan alur kerja atau menghasilkan kode contoh melalui CodeLlama, yang dihosting di titik akhir SageMaker. Hal ini menjadikannya alat yang berharga bagi pengembang dan ilmuwan data.
Jupyter AI menyediakan pilihan yang luas model bahasa yang siap digunakan langsung. Selain itu, model kustom juga didukung melalui titik akhir SageMaker, menawarkan fleksibilitas dan beragam pilihan bagi pengguna. Ini juga menawarkan dukungan untuk menyematkan model, memungkinkan Anda melakukan perbandingan dan pengujian inline dan bahkan membuat atau menguji aplikasi Ad hoc Retrieval Augmented Generation (RAG).
Jupyter AI dapat bertindak sebagai asisten obrolan Anda, membantu Anda dengan contoh kode, memberi Anda jawaban atas pertanyaan, dan banyak lagi.
Anda dapat menggunakan Jupyter AI %%ai
ajaib untuk menghasilkan kode contoh di dalam buku catatan Anda, seperti yang ditunjukkan pada tangkapan layar berikut.
JupyterLab 4.0
Tim JupyterLab telah merilis versi 4.0, yang menampilkan peningkatan signifikan dalam kinerja, fungsionalitas, dan pengalaman pengguna. Informasi terperinci tentang rilis ini tersedia di versi resminya Dokumentasi JupyterLab.
Versi ini, yang kini menjadi standar di SageMaker Studio JupyterLab, memperkenalkan kinerja yang dioptimalkan untuk menangani notebook besar dan pengoperasian yang lebih cepat, berkat peningkatan seperti pengoptimalan aturan CSS dan penerapan CodeMirror 6 dan MathJax 3. Peningkatan utama mencakup editor teks yang ditingkatkan dengan aksesibilitas dan penyesuaian yang lebih baik , manajer ekstensi baru untuk kemudahan instalasi ekstensi Python, dan peningkatan kemampuan pencarian dokumen dengan fitur-fitur canggih. Selain itu, versi 4.0 menghadirkan peningkatan UI, peningkatan aksesibilitas, dan pembaruan pada alat pengembangan, dan fitur tertentu telah di-backport ke JupyterLab 3.6.
Kesimpulan
Kemajuan di SageMaker Studio, khususnya dengan pengalaman JupyterLab baru, menandai lompatan maju yang signifikan dalam pengembangan ML. UI SageMaker Studio yang diperbarui, dengan integrasi JupyterLab, Editor Kode, dan RStudio, menawarkan lingkungan yang efisien dan tak tertandingi bagi pengembang ML. Pengenalan JupyterLab Spaces memberikan fleksibilitas dan kemudahan dalam menyesuaikan sumber daya komputasi dan penyimpanan, sehingga meningkatkan efisiensi alur kerja ML secara keseluruhan. Peralihan dari arsitektur kernel jarak jauh ke model lokal di JupyterLab sangat meningkatkan stabilitas sekaligus mengurangi latensi startup. Hal ini menghasilkan pengalaman pengkodean yang lebih cepat, stabil, dan responsif. Selain itu, integrasi alat AI generatif seperti Amazon CodeWhisperer dan Jupyter AI di JupyterLab semakin memberdayakan pengembang, memungkinkan Anda menggunakan AI untuk bantuan pengkodean dan pemecahan masalah yang inovatif. Kontrol yang ditingkatkan atas penyimpanan yang disediakan dan kemampuan untuk berbagi kode dan data dengan mudah melalui pemasangan EFS yang dikelola sendiri sangat memfasilitasi proyek kolaboratif. Terakhir, peluncuran JupyterLab 4.0 dalam SageMaker Studio menggarisbawahi peningkatan ini, menawarkan kinerja yang dioptimalkan, aksesibilitas yang lebih baik, dan antarmuka yang lebih ramah pengguna, sehingga memperkuat peran JupyterLab sebagai landasan pengembangan ML yang efisien dan efektif dalam lanskap teknologi modern.
Cobalah SageMaker Studio JupyterLab Spaces menggunakan fitur onboard cepat, yang memungkinkan Anda membuat domain baru untuk satu pengguna dalam hitungan menit. Bagi pengalaman anda di bagian komentar!
Lampiran: Arsitektur gateway kernel SageMaker Studio Classic
A SageMaker Klasik domain adalah agregasi logis dari volume EFS, daftar pengguna yang diberi wewenang untuk mengakses domain, dan konfigurasi yang terkait dengan keamanan, aplikasi, jaringan, dan lainnya. Dalam arsitektur SageMaker Studio Classic SageMaker, setiap pengguna dalam domain SageMaker memiliki profil pengguna yang berbeda. Profil ini mencakup detail spesifik seperti peran pengguna dan ID pengguna Posix mereka di volume EFS, di antara data unik lainnya. Pengguna mengakses profil pengguna individual mereka melalui aplikasi Jupyter Server khusus, yang terhubung melalui HTTPS/WSS di browser web mereka. SageMaker Studio Classic menggunakan arsitektur kernel jarak jauh menggunakan kombinasi jenis aplikasi Jupyter Server dan Kernel Gateway, memungkinkan server notebook berinteraksi dengan kernel di host jarak jauh. Ini berarti kernel Jupyter tidak beroperasi pada host server notebook, namun dalam kontainer Docker pada host terpisah. Intinya, buku catatan Anda disimpan di direktori home EFS, dan menjalankan kode dari jarak jauh di direktori lain Cloud komputasi elastis Amazon (Amazon EC2), yang menampung container Docker siap pakai yang dilengkapi dengan pustaka ML seperti PyTorch, TensorFlow, Scikit-Learn, dan banyak lagi.
Arsitektur kernel jarak jauh di SageMaker Studio menawarkan manfaat penting dalam hal skalabilitas dan fleksibilitas. Namun, ini memiliki keterbatasan, termasuk maksimal empat aplikasi per jenis instans dan potensi kemacetan karena banyaknya koneksi HTTPS/WSS ke jenis instans EC2 yang umum. Keterbatasan ini dapat berdampak negatif terhadap pengalaman pengguna.
Diagram arsitektur berikut menggambarkan arsitektur SageMaker Studio Classic. Ini menggambarkan proses pengguna menghubungkan ke aplikasi Kernel Gateway melalui aplikasi Jupyter Server, menggunakan browser web pilihan mereka.
Tentang penulis
Pranav Murthy adalah Arsitek Solusi Spesialis AI/ML di AWS. Dia berfokus membantu pelanggan membangun, melatih, menerapkan, dan memigrasikan beban kerja pembelajaran mesin (ML) ke SageMaker. Dia sebelumnya bekerja di industri semikonduktor yang mengembangkan model computer vision (CV) besar dan pemrosesan bahasa alami (NLP) untuk meningkatkan proses semikonduktor menggunakan teknik ML yang canggih. Di waktu luangnya, ia menikmati bermain catur dan jalan-jalan. Anda dapat menemukan Pranav di LinkedIn.
Kunal Jha adalah Manajer Produk Senior di AWS. Dia fokus membangun Amazon SageMaker Studio sebagai pilihan terbaik di kelasnya untuk pengembangan ML end-to-end. Di waktu luangnya, Kunal menikmati bermain ski dan menjelajahi Pacific Northwest. Anda dapat menemukannya di LinkedIn.
Majisha Namath Parambath adalah Insinyur Perangkat Lunak Senior di Amazon SageMaker. Dia telah berada di Amazon selama lebih dari 8 tahun dan saat ini berupaya meningkatkan pengalaman end-to-end Amazon SageMaker Studio.
Bharata Nandamuri adalah Insinyur Perangkat Lunak Senior yang bekerja di Amazon SageMaker Studio. Dia bersemangat membangun layanan backend berskala tinggi dengan fokus pada Rekayasa untuk sistem ML. Di luar pekerjaan, ia menikmati bermain catur, mendaki gunung, dan menonton film.
Derek Lause adalah Insinyur Perangkat Lunak di AWS. Dia berkomitmen untuk memberikan nilai kepada pelanggan melalui Amazon SageMaker Studio dan Instans Notebook. Di waktu luangnya, Derek menikmati menghabiskan waktu bersama keluarga dan teman serta hiking. Anda dapat menemukan Derek di LinkedIn.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/boost-productivity-on-amazon-sagemaker-studio-introducing-jupyterlab-spaces-and-generative-ai-tools/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 000
- 100
- 11
- 12
- 16
- 25
- 60
- 7
- 8
- a
- kemampuan
- Sanggup
- Tentang Kami
- atas
- mempercepat
- mempercepat
- mengakses
- aksesibilitas
- dapat diakses
- mengakses
- Akun
- di seluruh
- Bertindak
- Tindakan
- tindakan
- aktif
- tindakan
- Ad
- tambahan
- Tambahan
- Selain itu
- administrasi
- administratif
- administrator
- Adopsi
- maju
- kemajuan
- kemajuan
- keuntungan
- mempengaruhi
- Setelah
- pengumpulan
- AI
- Model AI
- Bertenaga AI
- AI / ML
- algoritma
- penjajaran
- Semua
- alokasi
- mengizinkan
- memungkinkan
- di samping
- juga
- alternatif
- Meskipun
- Amazon
- Pembisik Kode Amazon
- Amazon EC2
- Amazon SageMaker
- Studio Amazon SageMaker
- Amazon Web Services
- antara
- an
- analisis
- dan
- jawaban
- Antropik
- Apa pun
- di manapun
- api
- aplikasi
- Aplikasi
- Mendaftar
- pendekatan
- aplikasi
- arsitektur
- arsitektur
- ADALAH
- susunan
- Seni
- buatan
- kecerdasan buatan
- AS
- penampilan
- Bantuan
- Asisten
- terkait
- At
- melampirkan
- ditambah
- penulis
- berwenang
- secara otomatis
- mengotomatisasi
- tersedia
- jauh
- AWS
- kembali
- Backend
- mendasarkan
- berdasarkan
- Dasar
- BE
- menjadi
- mulai
- pemula
- bermanfaat
- Manfaat
- TERBAIK
- Praktik Terbaik
- Lebih baik
- antara
- Memblokir
- mendorong
- meningkatkan
- kedua
- kemacetan
- Kotak
- Membawa
- luas
- Browser
- membangun
- Bangunan
- tapi
- by
- Cache
- bernama
- CAN
- kemampuan
- pusat
- tertentu
- Catur
- pilihan
- Pilih
- klasik
- lebih dekat
- kode
- basis kode
- Pengkodean
- Berkolaborasi
- kolaboratif
- kombinasi
- menggabungkan
- komentar
- komentar
- berkomitmen
- Umum
- Komunikasi
- teman
- perbandingan
- lengkap
- kompleks
- kompleksitas
- kompleksitas
- pemenuhan
- luas
- menghitung
- komputer
- Visi Komputer
- komputasi
- konsep
- kondisi
- konfigurasi
- dikonfigurasi
- terhubung
- Menghubungkan
- Koneksi
- konsisten
- secara konsisten
- Terdiri dari
- Wadah
- Wadah
- Konten
- terus
- terus
- kontrol
- Mudah
- percakapan
- landasan
- Biaya
- Biaya
- bisa
- menutupi
- membuat
- dibuat
- membuat
- kreativitas
- sangat penting
- CSS
- Sekarang
- adat
- pelanggan
- pelanggan
- kustomisasi
- menyesuaikan
- data
- analisis data
- pengolahan data
- ilmu data
- visualisasi data
- kumpulan data
- dedicated
- Default
- menyampaikan
- menggali
- mendemonstrasikan
- menyebarkan
- penggelaran
- Derek
- menggambarkan
- Mendesain
- dirancang
- terperinci
- rincian
- Pengembang
- pengembang
- berkembang
- Pengembangan
- alat pengembangan
- berbeda
- langsung
- langsung
- direktori
- membahas
- berbeda
- mendistribusikan
- distribusi
- do
- Buruh pelabuhan
- dokumen
- domain
- domain
- dilakukan
- turun
- mendorong
- drive
- dua
- setiap
- Terdahulu
- memudahkan
- mudah
- Mudah
- editor
- efek
- Efektif
- efektif
- efisiensi
- efisien
- efisien
- usaha
- tanpa usaha
- mudah
- antara
- tinggi
- embedding
- memberdayakan
- memberdayakan
- aktif
- diaktifkan
- memungkinkan
- memungkinkan
- meliputi
- enkripsi
- akhir
- ujung ke ujung
- insinyur
- Teknik
- mempertinggi
- ditingkatkan
- Perangkat tambahan
- Meningkatkan
- meningkatkan
- Memastikan
- Enter
- Lingkungan Hidup
- lingkungan
- lengkap
- esensi
- penting
- menetapkan
- Bahkan
- berkembang
- contoh
- eksekusi
- ada
- pengalaman
- eksperimen
- Menjelaskan
- Menjelajahi
- memperpanjang
- perpanjangan
- ekstensi
- luas
- tambahan
- Menghadapi
- memudahkan
- memfasilitasi
- palsu
- Keakraban
- keluarga
- FAST
- lebih cepat
- Fitur
- Fitur
- Menampilkan
- beberapa
- bidang
- File
- File
- Menemukan
- keluwesan
- fleksibel
- secara fleksibel
- cairan
- Fokus
- terfokus
- berfokus
- berikut
- Untuk
- Depan
- membina
- ditemukan
- empat
- Gratis
- sering
- teman
- dari
- sepenuhnya
- fungsi
- fungsi
- lebih lanjut
- pintu gerbang
- menghasilkan
- menghasilkan
- generasi
- generatif
- AI generatif
- pergi
- memberikan
- Go
- memberikan
- beasiswa
- memahami
- lebih besar
- sangat
- Menangani
- Penanganan
- Memiliki
- he
- membantu
- membantu
- High
- kinerja tinggi
- lebih tinggi
- sangat
- dia
- -nya
- Beranda
- tuan rumah
- host
- host
- rumah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- http
- HTTPS
- ID
- ideal
- if
- menggambarkan
- menggambarkan
- gambar
- penting
- penting
- memperbaiki
- ditingkatkan
- perbaikan
- perbaikan
- meningkatkan
- in
- tidak dapat diakses
- memasukkan
- termasuk
- Termasuk
- Meningkatkan
- Pada meningkat
- Meningkatkan
- meningkatkan
- independen
- secara mandiri
- sendiri-sendiri
- industri
- informasi
- mulanya
- Innovation
- inovatif
- dalam
- wawasan
- wawasan
- instalasi
- contoh
- instruksi
- mengintegrasikan
- terpadu
- integrasi
- Intelijen
- Cerdas
- dimaksudkan
- berinteraksi
- berinteraksi
- Antarmuka
- ke
- memperkenalkan
- diperkenalkan
- Memperkenalkan
- memperkenalkan
- Pengantar
- IT
- NYA
- jpg
- hanya
- pemeliharaan
- kunci
- kunci-kunci
- pelabelan
- pemandangan
- bahasa
- besar
- akhirnya
- Latensi
- Terbaru
- jalankan
- diluncurkan
- peluncuran
- memimpin
- Melompat
- pengetahuan
- kurang
- Tingkat
- perpustakaan
- siklus hidup
- 'like'
- keterbatasan
- terkait
- Daftar
- LLM
- memuat
- lokal
- terletak
- logis
- Panjang
- melihat
- menurunkan
- mesin
- Mesin belajar
- terbuat
- sihir
- mempertahankan
- pemeliharaan
- membuat
- MEMBUAT
- Membuat
- mengelola
- berhasil
- manajer
- pelaksana
- manual
- tanda
- maksimum
- Mungkin..
- cara
- Anggota
- Memori
- menu
- pesan
- metode
- bermigrasi
- minimal
- meminimalkan
- minimum
- menit
- ML
- model
- model
- modern
- memodifikasi
- lebih
- lebih efisien
- Selain itu
- paling
- MOUNT
- bioskop
- bergerak
- banyak
- beberapa
- harus
- nama
- asli
- Alam
- Pengolahan Bahasa alami
- Arahkan
- perlu
- Perlu
- dibutuhkan
- negatif
- jaringan
- jaringan
- New
- nLP
- tidak
- penting
- mencatat
- buku catatan
- sekarang
- banyak sekali
- of
- menawarkan
- ditawarkan
- menawarkan
- Penawaran
- resmi
- sering
- on
- Di atas kapal
- ONE
- hanya
- ke
- Buka
- open source
- beroperasi
- Operasi
- optimasi
- dioptimalkan
- pilihan
- Opsi
- or
- organisatoris
- semula
- Lainnya
- kami
- di luar
- di luar
- lebih
- secara keseluruhan
- sendiri
- pemilik
- Pasifik
- halaman
- bagian
- khususnya
- bergairah
- path
- pola
- berhenti sebentar
- untuk
- Melakukan
- prestasi
- izin
- Izin
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- tempat bermain
- bermain
- Titik
- Kebijakan
- kebijaksanaan
- Pos
- potensi
- praktek
- disukai
- mempersiapkan
- sebelumnya
- sebelumnya
- terutama
- prinsip-prinsip
- swasta
- pemecahan masalah
- proses
- Diproses
- proses
- pengolahan
- Produk
- manajer produk
- Produksi
- produktifitas
- Profil
- profil
- Pemrograman
- proyek
- memprojeksikan
- properties
- memberikan
- penyedia
- menyediakan
- menyediakan
- tujuan
- Ular sanca
- pytorch
- kualitas
- Pertanyaan
- Cepat
- lebih cepat
- segera
- jarak
- cepat
- siap
- real-time
- menerima
- rekomendasi
- mengurangi
- mengurangi
- lihat
- Bagaimanapun juga
- wilayah
- terkait
- meluncurkan kembali
- melepaskan
- dirilis
- sisa
- terpencil
- sedikit
- berulang-ulang
- perwakilan
- merupakan
- Persyaratan
- membutuhkan
- sumber
- Sumber
- responsif
- ISTIRAHAT
- restart
- terbatas
- dihasilkan
- Hasil
- lanjut
- merevolusi
- benar
- kuat
- Peran
- akar
- rutin
- Aturan
- Run
- berjalan
- berjalan
- runtime
- pembuat bijak
- sama
- bak pasir
- Skalabilitas
- Skala
- skenario
- Ilmu
- ilmuwan
- scikit-belajar
- script
- mulus
- mulus
- Pencarian
- berpengalaman
- detik
- bagian
- aman
- keamanan
- kebijakan keamanan
- melihat
- semikonduktor
- senior
- terpisah
- melayani
- Server
- Server
- melayani
- layanan
- Layanan
- Sidang
- sesi
- set
- pengaturan
- pengaturan
- penyiapan
- beberapa
- Share
- berbagi
- saham
- berbagi
- dia
- bergeser
- ditunjukkan
- Pertunjukkan
- penting
- signifikan
- mirip
- disederhanakan
- menyederhanakan
- tunggal
- Ukuran
- ukuran
- potongan
- So
- Perangkat lunak
- Software Engineer
- padat
- memperkuat
- larutan
- Solusi
- beberapa
- sumber
- Space
- spasi
- spesialis
- tertentu
- Pengeluaran
- Berputar
- membagi
- Stabilitas
- stabil
- standar
- awal
- startup
- Negara
- Pernyataan
- Negara
- Langkah
- Tangga
- berhenti
- terhenti
- penyimpanan
- menyimpan
- tersimpan
- menyimpan
- mudah
- efisien
- pelurusan
- struktur
- studio
- seperti itu
- RINGKASAN
- mendukung
- Didukung
- yakin
- Beralih
- sistem
- sistem
- Mengambil
- Dibutuhkan
- tugas
- tugas
- tim
- Anggota tim
- tim
- tech
- industri teknologi
- teknik
- Teknologi
- tensorflow
- terminal
- istilah
- uji
- tes
- teks
- dari
- Terima kasih
- bahwa
- Grafik
- mereka
- Mereka
- kemudian
- Sana.
- dengan demikian
- Ini
- mereka
- ini
- itu
- Melalui
- waktu
- untuk
- bersama
- alat
- alat
- puncak
- terhadap
- Pelatihan VE
- Pelatihan
- transisi
- dialihkan
- Perjalanan
- benar
- mencoba
- lagu
- mengetik
- jenis
- khas
- ui
- garis bawah
- memahami
- unik
- tak terpadai
- sampai
- Memperbarui
- diperbarui
- Pembaruan
- memperbarui
- meningkatkan
- upgrade
- us
- penggunaan
- menggunakan
- bekas
- Pengguna
- Pengguna Pengalaman
- user-friendly
- Pengguna
- kegunaan
- menggunakan
- pengesahan
- Berharga
- nilai
- variasi
- berbagai
- versi
- melalui
- jarak penglihatan
- penglihatan
- visual
- visualisasi
- volume
- volume
- adalah
- menonton
- Cara..
- we
- jaringan
- web browser
- web server
- layanan web
- berbasis web
- adalah
- ketika
- kapan saja
- apakah
- yang
- sementara
- SIAPA
- lebar
- akan
- ingin
- dengan
- dalam
- tanpa
- Kerja
- bekerja sama
- bekerja
- alur kerja
- Alur kerja
- kerja
- dunia
- menulis
- tahun
- Kamu
- Anda
- zephyrnet.dll