Veri bilimciler, makine öğrenimi (ML) ve veri bilimi iş yükleri için bağımlılıkları yönetmeye olanak tanıyan ve güvenli olan tutarlı ve yeniden üretilebilir bir ortama ihtiyaç duyar. AWS Derin Öğrenme Kapları zaten TensorFlow, PyTorch ve MXNet gibi ortak çerçevelerde eğitim ve sunum modelleri için önceden oluşturulmuş Docker görüntüleri sağlıyor. Bu deneyimi geliştirmek için, 2023 JupyterCon'da SageMaker açık kaynak dağıtımının herkese açık bir beta sürümünü duyurduk. Bu, çeşitli uzmanlık düzeylerine sahip makine öğrenimi geliştiricileri arasında birleşik bir uçtan uca makine öğrenimi deneyimi sağlar. Geliştiricilerin artık deneme için veya yerel JupyterLab ortamlarından ve SageMaker not defterlerinden SageMaker'daki üretim işlerine geçerken farklı çerçeve kapsayıcılar arasında geçiş yapması gerekmiyor. Açık kaynaklı SageMaker Distribution, TensorFlow, PyTorch, Scikit-learn, Pandas ve Matplotlib gibi veri bilimi, makine öğrenimi ve görselleştirme için en yaygın paketleri ve kitaplıkları destekler. Konteyneri şu adresten kullanmaya başlayabilirsiniz: Amazon ECR Genel Galerisi bugün başlamak.
Bu yazıda, yerel ortamınızda hızlı bir şekilde deneyler yapmak ve onları SageMaker'daki işlere kolayca terfi ettirmek için SageMaker açık kaynak dağıtımını nasıl kullanabileceğinizi gösteriyoruz.
Çözüme genel bakış
Örneğimizde, PyTorch kullanarak bir görüntü sınıflandırma modelinin eğitimini gösteriyoruz. biz kullanıyoruz KMNİST PyTorch'ta herkese açık veri kümesi. Bir sinir ağı modeli eğitiyoruz, modelin performansını test ediyoruz ve son olarak eğitim ve test kaybını yazdırıyoruz. Bu örnek için tam not defteri şu adreste mevcuttur: SageMaker Studio Lab örnek havuzu. Açık kaynak dağıtımını kullanarak yerel bir dizüstü bilgisayarda deney yapmaya başlıyoruz, Amazon SageMaker Stüdyosu daha büyük bir örnek kullanmak için ve ardından not defterini bir not defteri işi olarak planlayın.
Önkoşullar
Aşağıdaki ön koşullara ihtiyacınız var:
Yerel ortamınızı ayarlayın
Yerel dizüstü bilgisayarınızda açık kaynaklı dağıtımı doğrudan kullanmaya başlayabilirsiniz. JupyterLab'ı başlatmak için terminalinizde aşağıdaki komutları çalıştırın:
Değiştirebilirsiniz ECR_IMAGE_ID
mevcut resim etiketlerinden herhangi biriyle Amazon ECR Genel Galerisiveya seçin latest-gpu
GPU'yu destekleyen bir makine kullanıyorsanız etiketleyin.
Bu komut JupyterLab'ı başlatacak ve terminalde aşağıdaki gibi bir URL sağlayacaktır: http://127.0.0.1:8888/lab?token=<token>
. JupyterLab'ı başlatmak için bağlantıyı kopyalayın ve tercih ettiğiniz tarayıcıya girin.
Studio'yu kur
Studio, geliştiricilerin ve veri bilimcilerin makine öğrenimi modellerini uygun ölçekte oluşturmasına, eğitmesine, devreye almasına ve izlemesine olanak tanıyan, makine öğrenimi için uçtan uca tümleşik bir geliştirme ortamıdır (IDE). Studio, Data Science, TensorFlow, PyTorch ve Spark gibi ortak çerçeveler ve paketlerle birlikte birinci taraf görüntülerin kapsamlı bir listesini sunar. Bu görüntüler, veri bilimcilerin yalnızca bilgi işlem için kendi tercihlerine göre bir çerçeve ve örnek türü seçerek makine öğrenimine başlamalarını kolaylaştırır.
Artık SageMaker açık kaynak dağıtımını Studio'nun yazılımını kullanarak Studio'da kullanabilirsiniz. kendi resmini getir özellik. Açık kaynaklı dağıtımı SageMaker etki alanınıza eklemek için aşağıdaki adımları tamamlayın:
- Açık kaynak dağıtımını hesabınıza ekleyin Amazon Elastik Konteyner Kayıt Defteri Terminalinizde aşağıdaki komutları çalıştırarak (Amazon ECR) deposu:
- Bir SageMaker görüntüsü oluşturun ve görüntüyü Studio etki alanına ekleyin:
- SageMaker konsolunda, alanınızı ve mevcut kullanıcı profilinizi seçerek Studio'yu başlatın.
- İsteğe bağlı olarak, bölümündeki adımları izleyerek Studio'yu yeniden başlatın. SageMaker Studio'yu kapatın ve güncelleyin.
Not defterini indirin
Örnek not defterini şu adresten yerel olarak indirin: GitHub repo.
Not defterini istediğiniz IDE'de açın ve yüklemek için not defterinin başına bir hücre ekleyin torchsummary
. torchsummary
paket dağıtımın bir parçası değildir ve bunu not defterine yüklemek, not defterinin uçtan uca çalışmasını sağlar. kullanmanızı öneririz conda
or micromamba
ortamları ve bağımlılıkları yönetmek için. Aşağıdaki hücreyi not defterine ekleyin ve not defterini kaydedin:
Yerel not defterinde deneme
Aşağıdaki ekran görüntüsünde gösterildiği gibi yükleme simgesini seçerek not defterini başlattığınız JupyterLab kullanıcı arayüzüne yükleyin.
Yüklendiğinde, şunu başlatın: cv-kmnist.ipynb
not defteri. Torç, matplotlib veya ipywidgets gibi herhangi bir bağımlılık kurmanıza gerek kalmadan hücreleri hemen çalıştırmaya başlayabilirsiniz.
Önceki adımları izlediyseniz, dağıtımı yerel olarak dizüstü bilgisayarınızdan kullanabileceğinizi görebilirsiniz. Bir sonraki adımda, Studio'nun özelliklerinden yararlanmak için aynı dağıtımı Studio'da kullanıyoruz.
Denemeyi Studio'ya taşıyın (isteğe bağlı)
İsteğe bağlı olarak, denemeyi Studio'ya yükseltelim. Studio'nun avantajlarından biri, temel bilgi işlem kaynaklarının tamamen esnek olmasıdır, böylece mevcut kaynakları kolayca yukarı veya aşağı çevirebilirsiniz ve değişiklikler çalışmanızı kesintiye uğratmadan arka planda otomatik olarak gerçekleşir. Daha önceki bir not defterini daha büyük bir veri kümesinde ve bilgi işlem örneğinde çalıştırmak istiyorsanız Studio'ya geçiş yapabilirsiniz.
Daha önce başlattığınız Studio kullanıcı arayüzüne gidin ve not defterini yüklemek için yükleme simgesini seçin.
Not defterini başlattıktan sonra, görüntüyü ve örnek türünü seçmeniz istenecektir. Çekirdek başlatıcısında, seçin sagemaker-runtime
görüntü olarak ve bir ml.t3.medium
örnek, ardından seçin seç.
Artık not defterini, yerel geliştirme ortamınızdan Studio not defterlerine kadar herhangi bir değişikliğe ihtiyaç duymadan uçtan uca çalıştırabilirsiniz!
Not defterini bir iş olarak zamanlayın
Deneylerinizi tamamladığınızda, SageMaker dizüstü bilgisayarınızı üretime dönüştürmek için eğitim işleri ve SageMaker işlem hatları gibi birçok seçenek sunar. Bu seçeneklerden biri, not defterinin kendisini etkileşimli olmayan, programlanmış bir not defteri işi olarak doğrudan çalıştırmaktır. SageMaker not defteri işleri. Örneğin, modelinizi periyodik olarak yeniden eğitmek veya gelen veriler hakkında periyodik olarak çıkarımlar yapmak ve paydaşlarınız tarafından kullanılmak üzere raporlar oluşturmak isteyebilirsiniz.
Defter işini başlatmak için Studio'dan not defteri işi simgesini seçin. Dizüstü bilgisayarınıza yerel olarak dizüstü bilgisayar işleri uzantısını yüklediyseniz, dizüstü bilgisayarınızı doğrudan dizüstü bilgisayarınızdan da planlayabilirsiniz. Görmek Kurulum Kılavuzu dizüstü işleri uzantısını yerel olarak ayarlamak için.
Not defteri işi, açık kaynak dağıtımın ECR görüntü URI'sini otomatik olarak kullanır, böylece defter işini doğrudan planlayabilirsiniz.
Klinik Programa göre çalıştır, bir program seçin, örneğin her hafta Cumartesi ve Oluşturun. Ayrıca seçebilirsiniz Şimdi koş Sonuçları hemen görmek isterseniz.
İlk not defteri işi tamamlandığında, seçerek not defteri çıktılarını doğrudan Studio kullanıcı arayüzünden görüntüleyebilirsiniz. defter altında Çıktı dosyaları.
Ek hususlar
Açık kaynak dağıtım, herkese açık ECR görüntüsünü doğrudan makine öğrenimi iş yükleri için kullanmanın yanı sıra aşağıdaki avantajları sunar:
- Görüntüyü oluşturmak için kullanılan Dockerfile, geliştiricilerin kendi görüntülerini keşfetmesi ve oluşturması için herkese açıktır. Ayrıca bu görüntüyü temel görüntü olarak devralabilir ve yeniden üretilebilir bir ortama sahip olmak için özel kitaplıklarınızı kurabilirsiniz.
- Docker'a alışık değilseniz ve JupyterLab ortamınızda Conda ortamlarını kullanmayı tercih ediyorsanız,
env.out
yayınlanan sürümlerin her biri için dosya. Aynı ortamı taklit edecek kendi Conda ortamınızı oluşturmak için dosyadaki talimatları kullanabilirsiniz. Örneğin, CPU ortam dosyasına bakın. cpu.env.out. - Derin öğrenme ve görüntü işleme gibi GPU uyumlu iş yüklerini çalıştırmak için görüntünün GPU sürümlerini kullanabilirsiniz.
Temizlemek
Kaynaklarınızı temizlemek için aşağıdaki adımları tamamlayın:
- Not defterinizi bir programa göre çalışacak şekilde planladıysanız, programı duraklatın veya silin. Defter İş Tanımları Gelecekteki işler için ödeme yapmaktan kaçınmak için sekme.
- Kullanılmayan bilgi işlem kullanımı için ödeme yapmaktan kaçınmak için tüm Studio uygulamalarını kapatın. Görmek Studio Uygulamalarını Kapatın ve Güncelleyin talimatlar için.
- İsteğe bağlı olarak, siz oluşturduysanız Studio alanını silin.
Sonuç
Makine öğrenimi yaşam döngüsünün farklı aşamalarında yeniden üretilebilir bir ortam sağlamak, veri bilimciler ve geliştiriciler için en büyük zorluklardan biridir. SageMaker açık kaynak dağıtımıyla, en yaygın makine öğrenimi çerçevelerinin ve paketlerinin karşılıklı olarak uyumlu sürümlerini içeren bir görüntü sağlıyoruz. Dağıtım aynı zamanda açık kaynaklıdır ve geliştiricilere paketler ve oluşturma süreçleri konusunda şeffaflık sağlayarak kendi dağıtımlarını özelleştirmelerini kolaylaştırır.
Bu gönderide, dağıtımı yerel ortamınızda, Studio'da ve eğitim işleriniz için kapsayıcı olarak nasıl kullanacağınızı gösterdik. Bu özellik şu anda herkese açık beta sürümündedir. Bunu denemenizi ve geri bildirimlerinizi ve sorunlarınızı bizimle paylaşmanızı öneririz. genel GitHub deposu!
yazarlar hakkında
Durga Suri Amazon SageMaker Service SA ekibinde yer alan bir Makine Öğrenimi Çözümleri Mimarıdır. Makine öğrenimini herkes için erişilebilir hale getirme konusunda tutkulu. AWS'de geçirdiği 4 yılda, kurumsal müşteriler için AI/ML platformlarının kurulmasına yardımcı oldu. Çalışmadığı zamanlarda 5 yaşındaki husky ile motosiklet gezintilerini, gizemli romanları ve uzun yürüyüşleri seviyor.
Ketan Vijayvargiya Amazon Web Services'ta (AWS) Kıdemli Yazılım Geliştirme Mühendisidir. Odak alanları makine öğrenimi, dağıtık sistemler ve açık kaynaktır. İş dışında zamanını kendi kendine ev sahipliği yaparak ve doğanın tadını çıkararak geçirmeyi seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- EVM Finans. Merkezi Olmayan Finans için Birleşik Arayüz. Buradan Erişin.
- Kuantum Medya Grubu. IR/PR Güçlendirilmiş. Buradan Erişin.
- PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/get-started-with-the-open-source-amazon-sagemaker-distribution/
- :vardır
- :dır-dir
- :olumsuzluk
- $UP
- 1
- 10
- 100
- 11
- 2023
- 7
- 9
- a
- Hakkımızda
- ulaşılabilir
- karşısında
- eklemek
- ilave
- Ek
- avantaj
- avantajları
- AI / ML
- Türkiye
- zaten
- Ayrıca
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon Web Servisleri
- Amazon Web Services (AWS)
- an
- ve
- açıkladı
- herhangi
- uygulamayı yükleyeceğiz
- uygulamalar
- ARE
- alanlar
- AS
- At
- iliştirmek
- otomatik olarak
- mevcut
- önlemek
- AWS
- arka fon
- baz
- merkezli
- BE
- Başlangıç
- beta
- arasında
- Biggest
- tarayıcı
- inşa etmek
- by
- CAN
- KEDİ
- Hücreler
- zorluklar
- değişiklikler
- seçim
- Klinik
- seçme
- sınıflandırma
- COM
- ortak
- uyumlu
- tamamlamak
- hesaplamak
- yapılandırma
- tutarlı
- konsolos
- tüketim
- Konteyner
- Konteynerler
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- Şu anda
- görenek
- Müşteriler
- özelleştirmek
- veri
- veri bilimi
- veri kümeleri
- derin
- derin öğrenme
- Varsayılan
- dağıtmak
- tanımlamak
- geliştiriciler
- gelişme
- farklı
- direkt olarak
- dağıtıldı
- dağıtılmış sistemler
- dağıtım
- liman işçisi
- domain
- yapılmış
- aşağı
- her
- Daha erken
- kolay
- kolayca
- sağlar
- teşvik etmek
- son
- son uca
- mühendis
- sağlamak
- Keşfet
- kuruluş
- çevre
- ortamları
- Her
- herkes
- örnek
- örnekler
- mevcut
- deneyim
- deneme
- Uzmanlık
- keşfetmek
- ihracat
- uzatma
- kapsamlı, geniş
- Özellikler(Hazırlık aşamasında)
- Özellikler
- geribesleme
- fileto
- Nihayet
- Ad
- odak
- takip
- takip etme
- İçin
- iskelet
- çerçeveler
- itibaren
- tam
- tamamen
- gelecek
- oluşturmak
- almak
- GitHub
- GPU
- Var
- sahip olan
- he
- yardım
- onu
- onun
- Ne kadar
- Nasıl Yapılır
- HTML
- HTTPS
- ICON
- if
- görüntü
- Görüntü sınıflandırması
- görüntüleri
- hemen
- iyileştirmek
- in
- Gelen
- kurmak
- yüklü
- yükleme
- örnek
- talimatlar
- entegre
- içine
- sorunlar
- IT
- kendisi
- İş
- Mesleki Öğretiler
- jpg
- json
- laboratuvar
- dizüstü bilgisayar
- büyük
- başlatmak
- başlattı
- öğrenme
- Lets
- seviyeleri
- kütüphaneler
- yaşam döngüsü
- sevmek
- seviyor
- LINK
- Liste
- yerel
- lokal olarak
- giriş
- Uzun
- uzun
- kayıp
- seviyor
- makine
- makine öğrenme
- yapmak
- Yapımı
- yönetmek
- yönetme
- matplotlib
- olabilir
- göç
- ML
- model
- modelleri
- izlemek
- çoğu
- motosiklet
- hareket
- çoklu
- karşılıklı olarak
- Gizem
- isim
- Tabiat
- gerek
- gerek
- ağ
- sinir ağı
- yeni
- sonraki
- yok hayır
- defter
- şimdi
- of
- Teklifler
- on
- ONE
- açık
- açık kaynak
- seçenek
- Opsiyonlar
- or
- bizim
- dışarı
- dışında
- kendi
- paket
- paketler
- pandalar
- Bölüm
- tutkulu
- duraklatmak
- ödeme yapan
- performans
- yer
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- Çivi
- tercih
- tercihli
- önkoşullar
- özel
- Süreçler
- işleme
- üretim
- Profil
- desteklemek
- sağlamak
- sağlar
- sağlama
- halka açık
- alenen
- yayınlanan
- Itmek
- Python
- pytorch
- hızla
- tavsiye etmek
- değiştirmek
- Raporlar
- Depo
- Yer Alan Kurallar
- Kaynaklar
- Sonuçlar
- koşmak
- koşu
- s
- SA
- sagemaker
- SageMaker Boru Hatları
- aynı
- Cumartesi
- İndirim
- ölçek
- program
- tarifeli
- Bilim
- bilim adamları
- scikit-öğrenme
- güvenli
- görmek
- kıdemli
- hizmet
- Hizmetler
- servis
- set
- ayarlar
- paylaş
- o
- şov
- vitrin
- gösterdi
- gösterilen
- Basit
- sadece
- So
- Yazılım
- yazılım geliştirme
- Çözümler
- Kaynak
- Kıvılcım
- geçirmek
- aşamaları
- paydaşlar
- başlama
- başladı
- XNUMX dakika içinde!
- adım
- Basamaklar
- stüdyo
- böyle
- Destekler
- anahtar
- Sistemler
- TAG
- Bizi daha iyi tanımak için
- takım
- tensorflow
- terminal
- test
- o
- The
- ve bazı Asya
- Onları
- sonra
- Bunlar
- onlar
- Re-Tweet
- zaman
- için
- bugün
- meşale
- Tren
- Eğitim
- Şeffaflık
- denemek
- tip
- ui
- altında yatan
- birleşik
- kullanılmayan
- Güncelleme
- Yüklenen
- URL
- kullanım
- kullanım
- Kullanılmış
- kullanıcı
- kullanım
- kullanma
- versiyon
- Görüntüle
- görüntüleme
- istemek
- aranan
- we
- ağ
- web hizmetleri
- hafta
- ne zaman
- irade
- ile
- olmadan
- İş
- çalışma
- yıl
- Sen
- zefirnet