Alan adınız veya kullanıcı profiliniz için varsayılan yaşam döngüsü yapılandırmasını kullanıyorsanız Amazon SageMaker Stüdyosu ve kullan Amazon SageMaker Veri Düzenleyicisi veri hazırlığı için, o zaman bu yazı tam size göre. Bu gönderide, bir Data Wrangler akışını nasıl oluşturabileceğinizi ve bunu bir Studio ortamında varsayılan yaşam döngüsü yapılandırmasıyla veri hazırlığı için nasıl kullanabileceğinizi gösteriyoruz.
Data Wrangler bir yetenektir. Amazon Adaçayı Yapıcı bu, veri bilimcilerin ve mühendislerin görsel bir arayüz aracılığıyla makine öğrenimi (ML) uygulamaları için veri hazırlamasını hızlandırır. Veri hazırlama, ML yaşam döngüsünün çok önemli bir adımıdır ve Data Wrangler, görsel, düşük kodlu bir deneyimde ML için verileri içe aktarmak, keşfetmek, dönüştürmek, özellik haline getirmek ve işlemek için uçtan uca bir çözüm sunar. AWS bileşenlerine kolay ve hızlı bir şekilde bağlanmanızı sağlar. Amazon Basit Depolama Hizmeti (Amazon S3), Amazon Atina, Amazon Kırmızıya Kaydırma, ve AWS Göl Oluşumuve Snowflake ve DataBricks DeltaLake gibi harici kaynaklar. Data Wrangler, CSV, JSON, ORC ve Parquet gibi standart veri türlerini destekler.
Studio uygulamaları, Studio'nun görsel arayüzünü, kod geliştirmesini ve çalıştırma deneyimini etkinleştiren etkileşimli uygulamalardır. Uygulama türleri, Jupyter Server veya Kernel Gateway olabilir:
- Jüpiter Sunucusu – Studio için görsel arayüze erişim sağlar. Studio'daki her kullanıcı kendi Jupyter Server uygulamasını alır.
- Çekirdek Ağ Geçidi – Studio dizüstü bilgisayarlarınız ve terminalleriniz için kod çalıştırma ortamına ve çekirdeklere erişim sağlar. Daha fazla bilgi için, bkz Jüpiter Çekirdek Ağ Geçidi.
Yaşam döngüsü yapılandırmaları (LCC'ler), JupyterLab uzantılarını yükleme, veri kümelerini önceden yükleme ve kaynak kodu havuzlarını ayarlama gibi Studio ortamlarınız için özelleştirmeyi otomatikleştiren kabuk komut dosyalarıdır. LCC komut dosyaları, yeni bir Studio not defteri başlatmak gibi Studio yaşam döngüsü olayları tarafından tetiklenir. Bir yaşam döngüsü yapılandırmasını program aracılığıyla etki alanınız veya kullanıcı profiliniz için varsayılan olarak ayarlamak için yeni bir kaynak oluşturabilir veya mevcut bir kaynağı güncelleyebilirsiniz. Bir yaşam döngüsü yapılandırmasını varsayılan olarak ilişkilendirmek için, önce aşağıdaki adımları izleyerek bir yaşam döngüsü yapılandırması oluşturmanız gerekir: Bir Yaşam Döngüsü Yapılandırması Oluşturma ve İlişkilendirme
Not: Etki alanı düzeyinde ayarlanan varsayılan yaşam döngüsü yapılandırmaları tüm kullanıcılar tarafından devralınırken, kullanıcı düzeyinde kurulanların kapsamı belirli bir kullanıcıya göre belirlenir. Hem etki alanı düzeyinde hem de kullanıcı profili düzeyinde yaşam döngüsü yapılandırmalarını aynı anda uygularsanız, kullanıcı profili düzeyindeki yaşam döngüsü yapılandırması öncelikli olur ve etki alanı düzeyinde hangi yaşam döngüsü yapılandırmasının uygulandığından bağımsız olarak uygulamaya uygulanır. Daha fazla bilgi için, bkz Varsayılan Yaşam Döngüsü Yapılandırmalarını Ayarlama.
Data Wrangler, varsayılan Kernel Gateway yaşam döngüsü yapılandırmasını kabul eder, ancak varsayılan Kernel Gateway yaşam döngüsü yapılandırmasında tanımlanan bazı komutlar, Data Wrangler'a uygulanamaz ve bu da Data Wrangler'ın başlamamasına neden olabilir. Aşağıdaki ekran görüntüsü, Data Wrangler akışını başlatırken alabileceğiniz bir hata mesajı örneğini göstermektedir. Bu, yaşam döngüsü yapılandırmalarında değil, yalnızca varsayılan yaşam döngüsü yapılandırmalarında olabilir.
Çözüme genel bakış
Studio'da varsayılan yaşam döngüsü yapılandırmasını kullanan müşteriler, bu gönderiyi takip edebilir ve bir Data Wrangler uygulamasını hatasız başlatmak için yaşam döngüsü yapılandırma komut dosyasında sağlanan kod bloğunu kullanabilir.
Varsayılan yaşam döngüsü yapılandırmasını ayarlayın
Varsayılan bir yaşam döngüsü yapılandırması ayarlamak için bunu DefaultResourceSpec
uygun uygulama türünden. Yaşam döngüsü yapılandırmanızın davranışı, yapılandırmaya eklenip eklenmediğine bağlıdır. DefaultResourceSpec
Jupyter Server veya Kernel Gateway uygulamasının:
- Jupyter Sunucu uygulamaları – Eklendiğinde
DefaultResourceSpec
Bir Jupyter Server uygulamasının varsayılan yaşam döngüsü yapılandırma komut dosyası, kullanıcı Studio'da ilk kez oturum açtığında veya Studio'yu yeniden başlattığında otomatik olarak çalışır. Bunu, Studio geliştirici ortamı için not defteri uzantıları yükleme veya GitHub deposu ayarlama gibi tek seferlik kurulum eylemlerini otomatikleştirmek için kullanabilirsiniz. Bunun bir örneği için bkz. Amazon SageMaker Studio'yu Yaşam Döngüsü Yapılandırmalarını kullanarak özelleştirin. - Çekirdek Ağ Geçidi uygulamaları – Eklendiğinde
DefaultResourceSpec
Çekirdek Ağ Geçidi uygulamasında, Studio varsayılan olarak Studio başlatıcısından yaşam döngüsü yapılandırma komut dosyasını seçer. Varsayılan komut dosyasıyla bir not defteri veya terminal başlatabilir veya yaşam döngüsü yapılandırmaları listesinden farklı bir tane seçebilirsiniz.
içinde belirtilen varsayılan bir Çekirdek Ağ Geçidi yaşam döngüsü yapılandırması DefaultResourceSpec
Studio başlatıcısında sunulan listeden farklı bir komut dosyası seçmediğiniz sürece, Studio alanındaki tüm Kernel Gateway görüntüleri için geçerlidir.
Studio için yaşam döngüsü yapılandırmalarıyla çalışırken, bir yaşam döngüsü yapılandırması oluşturur ve bunu Studio etki alanınıza veya kullanıcı profilinize eklersiniz. Daha sonra yaşam döngüsü yapılandırmasını kullanmak için bir Jupyter Server veya Kernel Gateway uygulamasını başlatabilirsiniz.
Aşağıdaki tablo, varsayılan yaşam döngüsü yapılandırmalarıyla bir Data Wrangler uygulamasını başlatırken karşılaşabileceğiniz bu hataları özetlemektedir.
Yaşam Döngüsü Yapılandırmasının Bulunduğu Düzey Uygulanır |
Veri Wrangler Akışı Oluşturun Çalışıyor (veya) Hatası |
Geçici çözüm |
domain | Kötü İstek Hatası | Komut dosyasını uygulayın (aşağıya bakın) |
Kullanıcı profili | Kötü İstek Hatası | Komut dosyasını uygulayın (aşağıya bakın) |
Uygulama | Çalışıyor—Sorun yok | Gerekli değil |
Studio ve Data Wrangler (Kernel Gateway uygulaması) ile ilişkili varsayılan yaşam döngüsü yapılandırmasını kullandığınızda, Kernel Gateway uygulaması hatasıyla karşılaşabilirsiniz. Bu gönderide, Kernel Gateway uygulaması hatasıyla karşılaşmamanız için bir Data Wrangler uygulamasında çalışan komutları hariç tutmak için varsayılan yaşam döngüsü yapılandırmasının nasıl düzgün şekilde ayarlanacağını gösteriyoruz.
yüklemek istediğinizi varsayalım. git-klon-repo Komut dosyası, Jupyter sunucusu başladığında kullanıcının ana klasörü altındaki Git deposunu otomatik olarak kontrol eden varsayılan yaşam döngüsü yapılandırması olarak. Bir yaşam döngüsü yapılandırması uygulama senaryosuna (Studio etki alanı, kullanıcı profili veya uygulama düzeyi) bakalım.
Studio etki alanı veya kullanıcı profili düzeyinde yaşam döngüsü yapılandırmasını uygulayın
Studio etki alanı veya kullanıcı profili düzeyinde varsayılan Çekirdek Ağ Geçidi yaşam döngüsü yapılandırmasını uygulamak için bu bölümdeki adımları tamamlayın. Kullanıcı profili düzeyi için talimatlarla başlıyoruz.
Yaşam döngüsü yapılandırma komut dosyanıza, Data Wrangler Kernel Gateway uygulamasını kontrol eden ve atlayan aşağıdaki kod bloğunu eklemeniz gerekir:
#!/bin/bash
set -eux
STATUS=$(
python3 -c "import sagemaker_dataprep"
echo $?
)
if [ "$STATUS" -eq 0 ]; then
echo 'Instance is of Type Data Wrangler'
else
echo 'Instance is not of Type Data Wrangler'
<remainder of LCC here within in else block – this contains some pip install, etc>
fi
Örneğin, kullanalım aşağıdaki komut dosyası orijinalimiz olarak (repoyu klonlayacak klasörün /root from /home/sagemaker-user
):
# Clones a git repository into the user's home folder
#!/bin/bash set -eux # Replace this with the URL of your git repository
export REPOSITORY_URL="https://github.com/aws-samples/sagemaker-studio-lifecycle-config-examples.git" git -C /root clone $REPOSITORY_URL
Yeni değiştirilmiş komut dosyası aşağıdaki gibi görünür:
#!/bin/bash
set -eux
STATUS=$(
python3 -c "import sagemaker_dataprep"
echo $?
)
if [ "$STATUS" -eq 0 ]; then
echo 'Instance is of Type Data Wrangler'
else
echo 'Instance is not of Type Data Wrangler' # Replace this with the URL of your git repository
export REPOSITORY_URL="https://github.com/aws-samples/sagemaker-studio-lifecycle-config-examples.git" git -C /root clone $REPOSITORY_URL fi
Bu betiği şu şekilde kaydedebilirsiniz: git_command_test.sh
.
Artık terminalinizde veya komut isteminde bir dizi komut çalıştırıyorsunuz. yapılandırmanız gerekir AWS Komut Satırı Arayüzü (AWS CLI) AWS ile etkileşim kurmak için. AWS CLI'yi kurmadıysanız, bkz. AWS CLI'yi yapılandırma.
- Dönüştürün
git_command_test.sh
Dosyayı Base64 formatına dönüştürün. Bu gereksinim, boşluk ve satır sonlarının kodlanmasından kaynaklanan hataları önler. - Bir Studio yaşam döngüsü yapılandırması oluşturun. Aşağıdaki komut, ilişkili bir Kernel Gateway uygulaması başlatıldığında çalışan bir yaşam döngüsü yapılandırması oluşturur:
- İlişkili bir yaşam döngüsü yapılandırmasıyla yeni bir kullanıcı profili oluşturmak için aşağıdaki API çağrısını kullanın:
Alternatif olarak, yaşam döngüsü yapılandırmanızı etki alanı düzeyinde ilişkilendirmek veya kullanıcı profilini veya etki alanını güncellemek için bir Studio etki alanı oluşturmak istiyorsanız, aşağıdaki adımları uygulayabilirsiniz. Varsayılan Yaşam Döngüsü Yapılandırmalarını Ayarlama.
- Artık Studio uygulamanızı SageMaker Kontrol Panelinden başlatabilirsiniz.
- Studio ortamınızda, fileto menü seç yeni ve Veri Düzenleyici Akışı.Yeni Data Wrangler akışı sorunsuz bir şekilde açılmalıdır.
- Git klonunu doğrulamak için Studio'da yeni bir Başlatıcı açabilirsiniz.
- Altında Not defterleri ve bilgi işlem kaynakları, Python 3 not defterini seçin ve Veri Bilim Komut dosyanızı varsayılan yaşam döngüsü yapılandırma komut dosyanız olarak başlatmak için SageMaker görüntüsü.
Git'in klonlandığını görebilirsiniz /root
aşağıdaki ekran görüntüsünde.
Varsayılan Çekirdek yaşam döngüsü yapılandırmasını kullanıcı profili düzeyinde başarıyla uyguladık ve bir Veri Wrangler akışı oluşturduk. Studio etki alanı düzeyinde yapılandırmak için tek değişiklik, bir kullanıcı profili oluşturmak yerine yaşam döngüsü yapılandırmasının ARN'sini bir etki alanı oluştur aramak.
Yaşam döngüsü yapılandırmasını uygulama düzeyinde uygula
Uygulama düzeyinde varsayılan Kernel Gateway yaşam döngüsü yapılandırmasını uygularsanız, Data Wrangler uygulama düzeyinde uygulanan yaşam döngüsü yapılandırmasını atladığı için herhangi bir sorun yaşamazsınız.
Sonuç
Bu gönderide, veri hazırlama ve görselleştirme gereksinimleri için Data Wrangler'ı kullandığınızda Studio için varsayılan yaşam döngüsü yapılandırmanızı doğru şekilde nasıl yapılandıracağınızı gösterdik.
Özetlemek gerekirse, varsayılanı kullanmanız gerekiyorsa Studio için yaşam döngüsü yapılandırması Studio ortamlarınız için özelleştirmeyi otomatikleştirmek ve veri hazırlığı için Data Wrangler'ı kullanmak için, varsayılan yaşam döngüsü yapılandırmasının kontrol etmesi için yaşam döngüsü yapılandırmanıza dahil edilen uygun kod bloğuyla kullanıcı profilinde veya Studio etki alanı düzeyinde varsayılan Çekirdek Ağ Geçidi yaşam döngüsü yapılandırmasını uygulayabilirsiniz. ve Data Wrangler Kernel Gateway uygulamasını atlar.
Daha fazla bilgi için aşağıdaki kaynaklara bakın:
- Amazon SageMaker Studio yaşam döngüsü yapılandırma belgeleri
- Amazon SageMaker Stüdyosu
- Örnek yaşam döngüsü yapılandırma komut dosyalarının deposu
- Yaşam Döngüsü Yapılandırmalarında Hata Ayıklama
Yazarlar Hakkında
Rajakumar Sampathkumar AWS'de Baş Teknik Hesap Yöneticisidir, müşterilere iş-teknoloji uyumu konusunda rehberlik eder ve bulut operasyon modellerinin ve süreçlerinin yeniden icat edilmesini destekler. Bulut ve makine öğrenimi konusunda tutkulu. Raj aynı zamanda bir makine öğrenimi uzmanıdır ve AWS iş yüklerini ve mimarilerini tasarlamak, dağıtmak ve yönetmek için AWS müşterileriyle birlikte çalışır.
Vicky Zhang Amazon SageMaker'da Yazılım Geliştirme Mühendisidir. Problem çözme konusunda tutkulu. Boş zamanlarında dedektif filmleri izlemekten ve badminton oynamaktan hoşlanır.
Rahul Nabera AWS Profesyonel Hizmetlerde Veri Analitiği Danışmanıdır. Şu anki çalışması, müşterilerin verilerini ve makine öğrenimi iş yüklerini AWS'de oluşturmasını sağlamaya odaklanıyor. Boş zamanlarında kriket ve voleybol oynamayı sever.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/use-amazon-sagemaker-data-wrangler-in-amazon-sagemaker-studio-with-a-default-lifecycle-configuration/
- "
- 100
- a
- Hakkımızda
- erişim
- Hesap
- eylemler
- katma
- Türkiye
- Amazon
- analytics
- api
- uygulamayı yükleyeceğiz
- uygulanabilir
- Uygulama
- uygulamaları
- uygulamalı
- Tamam
- Uygulanması
- uygun
- uygulamalar
- Ortak
- ilişkili
- otomatikleştirmek
- otomatik olarak
- AWS
- Çünkü
- altında
- Engellemek
- sınır
- sonları
- inşa etmek
- çağrı
- Sebeb olmak
- değişiklik
- Çekler
- Klinik
- bulut
- kod
- tamamlamak
- bileşenler
- hesaplamak
- yapılandırma
- Sosyal medya
- danışman
- içeren
- kontrol
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- kriket
- çok önemli
- akım
- Müşteriler
- veri
- Veri Analizi
- göstermek
- bağlıdır
- dağıtmak
- Dizayn
- Geliştirici
- gelişme
- farklı
- domain
- her
- kolayca
- kaçırmak
- etkinleştirmek
- sağlar
- etkinleştirme
- son uca
- mühendis
- Mühendisler
- çevre
- olaylar
- örnek
- mevcut
- deneyim
- keşfetmek
- uzantıları
- Başarısızlık
- Daha hızlı
- Ad
- ilk kez
- akış
- odaklanır
- takip et
- takip etme
- biçim
- itibaren
- geçit
- Git
- GitHub
- olmak
- yükseklik
- okuyun
- Ana Sayfa
- Ne kadar
- Nasıl Yapılır
- HTTPS
- görüntü
- görüntüleri
- dahil
- dahil
- bilgi
- kurmak
- örnek
- interaktif
- arayüzey
- sorunlar
- IT
- başlatmak
- fırlatma
- öğrenme
- seviye
- çizgi
- Liste
- Bakın
- makine
- makine öğrenme
- YAPAR
- yönetmek
- müdür
- olabilir
- ML
- modelleri
- Daha
- filmler
- defter
- açık
- operasyon
- orijinal
- kendi
- panel
- tutkulu
- oynama
- Hazırlamak
- Anapara
- Sorun
- süreç
- Süreçler
- profesyonel
- Profil
- sağlar
- sağlama
- hızla
- Depo
- talep
- Yer Alan Kurallar
- kaynak
- Kaynaklar
- koşmak
- koşu
- aynı
- İndirim
- Bilim
- bilim adamları
- Dizi
- Hizmetler
- set
- ayar
- kurulum
- Kabuk
- şov
- Basit
- So
- Yazılım
- yazılım geliştirme
- katı
- çözüm
- Çözme
- biraz
- kaynak kodu
- uzman
- özel
- standart
- başlama
- başlar
- hafızası
- stüdyo
- Başarılı olarak
- Destek
- Destekler
- Teknik
- terminal
- test
- The
- zaman
- Dönüştürmek
- tetiklenir
- türleri
- altında
- Güncelleme
- kullanım
- kullanıcılar
- görüntüleme
- Ne
- olup olmadığını
- içinde
- olmadan
- İş
- çalışır