Ölçeklenebilir ve verimli makine öğrenimi (ML) işlem hatları oluşturmak, ML modellerinin geliştirilmesini, dağıtımını ve yönetimini kolaylaştırmak için çok önemlidir. Bu yazıda, yönlendirilmiş bir döngüsel olmayan grafiğin (DAG) oluşturulmasını otomatikleştirmek için bir çerçeve sunuyoruz. Amazon SageMaker Ardışık Düzenleri basit konfigürasyon dosyalarına dayalıdır. çerçeve kodu ve örnekler Burada sunulanlar yalnızca model eğitim işlem hatlarını kapsar, ancak toplu çıkarım işlem hatlarını da kapsayacak şekilde kolayca genişletilebilir.
Bu dinamik çerçeve, kullanıcı tanımlı Python komut dosyalarına, altyapı ihtiyaçlarına (dahil olmak üzere) dayalı olarak hem tek modelli hem de çok modelli kullanım durumları için ön işleme, eğitim, değerlendirme ve kayıt adımlarını düzenlemek üzere yapılandırma dosyalarını kullanır Amazon Sanal Özel Bulut (Amazon VPC) alt ağları ve güvenlik grupları, AWS Kimlik ve Erişim Yönetimi (IAM) rolleri, AWS Anahtar Yönetim Hizmeti (AWS KMS) anahtarları, kapsayıcı kayıt defteri ve bulut sunucusu türleri), giriş ve çıkış Amazon Basit Depolama Hizmeti (Amazon S3) yolları ve kaynak etiketleri. Yapılandırma dosyaları (YAML ve JSON), makine öğrenimi uygulayıcılarının bildirime dayalı söz dizimi kullanarak eğitim ardışık düzenlerini düzenlemek için farklılaştırılmamış kod belirtmesine olanak tanır. Bu, veri bilimcilerinin makine öğrenimi modellerini hızlı bir şekilde oluşturmasına ve yinelemesine olanak tanır ve makine öğrenimi mühendislerinin sürekli entegrasyon ve sürekli teslim (CI/CD) makine öğrenimi hatlarını daha hızlı çalıştırmasını sağlayarak modellerin üretim süresini kısaltır.
Çözüme genel bakış
Önerilen çerçeve kodu, yapılandırma dosyalarının okunmasıyla başlar. Daha sonra, yapılandırma dosyalarında bildirilen adımlara ve adımlar arasındaki etkileşimlere ve bağımlılıklara dayalı olarak dinamik olarak bir SageMaker Pipelines DAG oluşturur. Bu düzenleme çerçevesi hem tek modelli hem de çok modelli kullanım senaryolarına hitap eder ve sorunsuz bir veri ve süreç akışı sağlar. Bu çözümün temel faydaları şunlardır:
- Otomasyon – Veri ön işlemeden model kaydına kadar tüm ML iş akışı, hiçbir manuel müdahale olmadan düzenlenir. Bu, model denemesi ve işletime alınması için gereken zamanı ve çabayı azaltır.
- Yeniden üretilebilirlik – Veri bilimcileri ve makine öğrenimi mühendisleri, önceden tanımlanmış bir yapılandırma dosyasıyla tüm iş akışını yeniden üretebilir ve birden fazla çalıştırma ve ortamda tutarlı sonuçlar elde edebilir.
- ölçeklenebilirlik - Amazon Adaçayı Yapıcı süreç boyunca kullanılır ve makine öğrenimi uygulayıcılarının büyük veri kümelerini işlemesine ve karmaşık modelleri altyapı endişeleri olmadan eğitmesine olanak tanır.
- Esneklik – Çerçeve esnektir ve çok çeşitli makine öğrenimi kullanım durumlarını, makine öğrenimi çerçevelerini (XGBoost ve TensorFlow gibi), çok modelli eğitimi ve çok adımlı eğitimi barındırabilir. DAG eğitiminin her adımı, yapılandırma dosyası aracılığıyla özelleştirilebilir.
- Model yönetimi - Amazon SageMaker Model Kaydı entegrasyon, model versiyonlarının izlenmesine ve dolayısıyla bunların güvenle üretime geçirilmesine olanak tanır.
Aşağıdaki mimari diyagramı, ML modellerinin hem denenmesi hem de çalıştırılması sırasında önerilen çerçeveyi nasıl kullanabileceğinizi gösterir. Deneme sırasında, bu gönderide sağlanan çerçeve kod havuzunu ve projeye özel kaynak kod havuzlarınızı şuraya kopyalayabilirsiniz: Amazon SageMaker Stüdyosuve sanal ortamınızı ayarlayın (bu yazının ilerleyen kısımlarında ayrıntılı olarak açıklanacaktır). Daha sonra ön işleme, eğitim ve değerlendirme komut dosyalarının yanı sıra yapılandırma seçeneklerini yineleyebilirsiniz. Bir SageMaker Pipelines eğitim DAG'ı oluşturmak ve çalıştırmak için, tüm yapılandırma dosyalarını okuyacak, gerekli adımları oluşturacak ve bunları belirtilen adım sıralamasına ve bağımlılıklara göre düzenleyecek olan çerçevenin giriş noktasını çağırabilirsiniz.
Operasyonelleştirme sırasında CI boru hattı, çerçeve kod deposunu ve projeye özel eğitim havuzlarını bir AWS Kod Oluşturma SageMaker Pipelines eğitim DAG'ını oluşturmak veya güncellemek için çerçevenin giriş noktası komut dosyasının çağrıldığı ve ardından onu çalıştırdığı iş.
depo yapısı
The GitHub deposu aşağıdaki dizinleri ve dosyaları içerir:
- /çerçeve/conf/ – Bu dizin, çalışma zamanında alt ağlar, güvenlik grupları ve IAM rolü gibi tüm modelleme birimleri genelinde ortak değişkenleri ayarlamak için kullanılan bir yapılandırma dosyası içerir. Modelleme birimi, bir ML modelini eğitmek için en fazla altı adımdan oluşan bir dizidir.
- /çerçeve/modeloluştur/ – Bu dizin, bir Python betiği içerir. Adaçayı Yapıcı modeli bir nesnenin model eserlerini temel alan nesne SageMaker Boru Hatları eğitim adımı. Model nesnesi daha sonra bir SageMaker toplu dönüşümü Bir test setinde model performansını değerlendirme işi.
- /framework/modelmetrics/ – Bu dizin, bir Python betiği içerir. Amazon SageMaker İşleme Test verileri üzerinde gerçekleştirilen SageMaker toplu dönüştürme işinin sonuçlarına dayalı olarak eğitilmiş bir model için model ölçümleri JSON raporu oluşturmaya yönelik iş.
- /çerçeve/boru hattı/ – Bu dizin, belirtilen yapılandırmalara göre bir SageMaker Pipelines DAG oluşturmak veya güncellemek için diğer çerçeve dizinlerinde tanımlanan Python sınıflarını kullanan Python komut dosyalarını içerir. model_unit.py betiği, Pipeline_service.py tarafından bir veya daha fazla modelleme birimi oluşturmak için kullanılır. Her modelleme birimi, bir ML modelini eğitmek için en fazla altı adımdan oluşan bir dizidir: süreç, eğitim, model oluşturma, dönüştürme, ölçüm ve modeli kaydetme. Her modelleme biriminin konfigürasyonları, modelin ilgili deposunda belirtilmelidir. Pipeline_service.py ayrıca model havuzlarından birinin (bağlantı modeli) yapılandırma dosyasında tanımlanması gereken sagemakerPipeline bölümüne dayalı olarak SageMaker Pipelines adımları (modelleme birimleri içindeki ve arasındaki adımların nasıl sıralandığı veya zincirlendiği) arasındaki bağımlılıkları da ayarlar. Bu, SageMaker Pipelines tarafından çıkarılan varsayılan bağımlılıkları geçersiz kılmanıza olanak tanır. Bu yazının ilerleyen kısımlarında yapılandırma dosyası yapısını tartışacağız.
- /çerçeve/işleme/ – Bu dizin, belirtilen Docker görüntüsüne ve giriş noktası komut dosyasına dayalı olarak bir SageMaker İşleme işi oluşturan bir Python komut dosyası içerir.
- /çerçeve/registermodel/ – Bu dizin, eğitilmiş bir modeli SageMaker Model Registry'de hesaplanan ölçümleriyle birlikte kaydetmek için bir Python betiği içerir.
- /çerçeve/eğitim/ – Bu dizin, SageMaker eğitim işi oluşturan bir Python betiği içerir.
- /çerçeve/dönüştürme/ – Bu dizin, SageMaker toplu dönüştürme işi oluşturan bir Python betiği içerir. Model eğitimi bağlamında bu, eğitilmiş bir modelin test verileri üzerindeki performans ölçümünü hesaplamak için kullanılır.
- /çerçeve/yardımcı programlar/ – Bu dizin, yapılandırma dosyalarının okunması ve birleştirilmesinin yanı sıra günlüğe kaydetmeye yönelik yardımcı program komut dosyalarını içerir.
- /framework_entrypoint.py – Bu dosya çerçeve kodunun giriş noktasıdır. Bir SageMaker Pipelines DAG oluşturmak veya güncellemek ve onu çalıştırmak için /framework/pipeline/ dizininde tanımlanan bir işlevi çağırır.
- /örnekler/ – Bu dizin, basit ve karmaşık eğitim DAG'leri oluşturmak için bu otomasyon çerçevesini nasıl kullanabileceğinize dair birkaç örnek içerir.
- /env.env – Bu dosya, alt ağlar, güvenlik grupları ve IAM rolü gibi ortak değişkenleri ortam değişkenleri olarak ayarlamanıza olanak tanır.
- / gereksinimler.txt – Bu dosya, çerçeve kodu için gerekli olan Python kitaplıklarını belirtir.
Önkoşullar
Bu çözümü dağıtmadan önce aşağıdaki önkoşullara sahip olmanız gerekir:
- Bir AWS hesabı
- Adaçayı Yapıcı Stüdyo
- Amazon S3 okuma/yazma ve AWS KMS şifreleme/şifre çözme izinlerine sahip bir SageMaker rolü
- Verileri, komut dosyalarını ve model yapıtlarını depolamak için bir S3 grubu
- İsteğe bağlı olarak, AWS Komut Satırı Arayüzü (AWS CLI)
- Python3 (Python 3.7 veya üstü) ve aşağıdaki Python paketleri:
- boto3
- sagemaker
- PyYAML
- Özel komut dosyalarınızda kullanılan ek Python paketleri
Çözümü dağıtın
Çözümü dağıtmak için aşağıdaki adımları tamamlayın:
- Model eğitim havuzunuzu aşağıdaki yapıya göre düzenleyin:
- Çerçeve kodunu ve model kaynak kodunuzu Git depolarından kopyalayın:
-
- klon
dynamic-sagemaker-pipelines-framework
bir eğitim dizinine kopyalayın. Aşağıdaki kodda eğitim dizininin çağrıldığını varsayıyoruz.aws-train
: - Model kaynak kodunu aynı dizine kopyalayın. Çoklu model eğitimi için bu adımı eğitmeniz gereken sayıda model için tekrarlayın.
- klon
Tek modelli eğitim için dizininiz aşağıdaki gibi görünmelidir:
Çoklu model eğitimi için dizininiz aşağıdaki gibi görünmelidir:
- Aşağıdaki ortam değişkenlerini ayarlayın. Yıldız işaretleri gerekli olan ortam değişkenlerini gösterir; geri kalanı isteğe bağlıdır.
Çevre değişkeni | Açıklama |
SMP_ACCOUNTID* |
SageMaker işlem hattının çalıştırıldığı AWS hesabı |
SMP_REGION* |
SageMaker işlem hattının çalıştırıldığı AWS Bölgesi |
SMP_S3BUCKETNAME* |
S3 grup adı |
SMP_ROLE* |
SageMaker rolü |
SMP_MODEL_CONFIGPATH* |
Tek modelli veya çok modelli konfigürasyon dosyalarının göreceli yolu |
SMP_SUBNETS |
SageMaker ağ yapılandırması için alt ağ kimlikleri |
SMP_SECURITYGROUPS |
SageMaker ağ yapılandırması için güvenlik grubu kimlikleri |
Tek modelli kullanım durumları için, SMP_MODEL_CONFIGPATH
olacak <MODEL-DIR>/conf/conf.yaml
. Çok modelli kullanım durumları için, SMP_MODEL_CONFIGPATH
olacak */conf/conf.yaml
hepsini bulmanızı sağlar conf.yaml
Python'un glob modülünü kullanarak dosyaları oluşturun ve bunları global bir yapılandırma dosyası oluşturmak için birleştirin. Deneme sırasında (yerel test), env.env dosyası içinde ortam değişkenlerini belirtebilir ve ardından terminalinizde aşağıdaki komutu çalıştırarak bunları dışa aktarabilirsiniz:
Ortam değişkenlerinin değerlerinin env.env
tırnak işaretleri içine alınmalıdır (örneğin, SMP_REGION="us-east-1"
). Operasyonelleştirme sırasında bu ortam değişkenleri CI ardışık düzeni tarafından ayarlanmalıdır.
- Aşağıdaki komutları çalıştırarak sanal bir ortam oluşturun ve etkinleştirin:
- Aşağıdaki komutu çalıştırarak gerekli Python paketlerini yükleyin:
- Model eğitiminizi düzenleyin
conf.yaml
Dosyalar. Bir sonraki bölümde yapılandırma dosyası yapısını tartışacağız. - SageMaker Pipeline eğitim DAG'ını oluşturmak veya güncellemek ve çalıştırmak için terminalden çerçevenin giriş noktasını arayın:
- Üzerinde çalıştırılan SageMaker Pipelines'ı görüntüleyin ve hatalarını ayıklayın. Boru Hatları SageMaker Studio kullanıcı arayüzünün sekmesi.
Yapılandırma dosyası yapısı
Önerilen çözümde iki tür konfigürasyon dosyası bulunmaktadır: çerçeve konfigürasyonu ve model konfigürasyonu. Bu bölümde her birini ayrıntılı olarak açıklıyoruz.
Çerçeve yapılandırması
The /framework/conf/conf.yaml
dosyası tüm modelleme birimlerinde ortak olan değişkenleri ayarlar. Bu içerir SMP_S3BUCKETNAME
, SMP_ROLE
, SMP_MODEL_CONFIGPATH
, SMP_SUBNETS
, SMP_SECURITYGROUPS
, ve SMP_MODELNAME
. Bu değişkenlerin açıklamaları ve bunların ortam değişkenleri aracılığıyla nasıl ayarlanacağı için dağıtım talimatlarının 3. Adımına bakın.
Model yapılandırması
Projedeki her model için aşağıdakileri belirtmemiz gerekiyor: <MODEL-DIR>/conf/conf.yaml
dosya (yıldız işaretleri gerekli bölümleri gösterir; geri kalanı isteğe bağlıdır):
- /conf/modeller* – Bu bölümde bir veya daha fazla modelleme birimini yapılandırabilirsiniz. Çerçeve kodu çalıştırıldığında, çalışma süresi boyunca tüm yapılandırma dosyalarını otomatik olarak okuyacak ve bunları yapılandırma ağacına ekleyecektir. Teorik olarak tüm modelleme birimlerini aynı
conf.yaml
ancak hataları en aza indirmek için her modelleme birimi konfigürasyonunun ilgili dizinde veya Git deposunda belirtilmesi önerilir. Birimler aşağıdaki gibidir:- {model adı}* – Modelin adı.
- kaynak_dizini* - Ortak
source_dir
modelleme ünitesi içindeki tüm adımlar için kullanılacak yol. - önişleyebilir – Bu bölüm ön işleme parametrelerini belirtir.
- tren* – Bu bölüm eğitim işi parametrelerini belirtir.
- dönüşüm* – Bu bölüm, test verileri üzerinde tahminler yapmak için SageMaker Transform iş parametrelerini belirtir.
- değerlendirmek – Bu bölüm, eğitilen model için bir model metrikleri JSON raporu oluşturmaya yönelik SageMaker İşleme iş parametrelerini belirtir.
- kayıt* – Bu bölüm, eğitilen modelin SageMaker Model Kayıt Defterine kaydedilmesine ilişkin parametreleri belirtir.
- /conf/sagemakerPipeline* – Bu bölüm, adımlar arasındaki bağımlılıklar da dahil olmak üzere SageMaker İşlem Hatları akışını tanımlar. Tek modelli kullanım durumları için bu bölüm konfigürasyon dosyasının sonunda tanımlanır. Çok modelli kullanım durumları için,
sagemakerPipeline
bölümünün yalnızca modellerden birinin (herhangi bir model) yapılandırma dosyasında tanımlanması gerekir. Biz bu modeli şu şekilde adlandırıyoruz: çapa modeli. Parametreler aşağıdaki gibidir:- boru hattıAdı* – SageMaker boru hattının adı.
- modelleri* – Modelleme birimlerinin iç içe listesi:
- {model adı}* – /conf/models bölümündeki bir {model-name} tanımlayıcısıyla eşleşmesi gereken model tanımlayıcı.
- adımlar* -
- adım_adı* – SageMaker Pipelines DAG'da görüntülenecek adım adı.
- step_class* – (Birlik[İşleme, Eğitim, CreateModel, Dönüştürme, Metrikler, RegisterModel])
- step_type* – Bu parametre yalnızca ön işleme adımları için gereklidir ve bunun için ön işleme olarak ayarlanması gerekir. Bu, her ikisinin de bir özelliği olan ön işleme ve değerlendirme adımlarını ayırt etmek için gereklidir.
step_class
İşleme. - etkinleştirme_önbelleği – ([Birleşim[Doğru, Yanlış]]). Bu, etkinleştirilip etkinleştirilmeyeceğini gösterir SageMaker İşlem Hatlarını önbelleğe alma bu adım için.
- Chain_input_source_step – ([liste[adım_adı]]). Başka bir adımın kanal çıkışlarını bu adıma giriş olarak ayarlamak için bunu kullanabilirsiniz.
- Chain_input_additional_prefix – Buna yalnızca Dönüşüm adımları için izin verilir
step_class
ve ile birlikte kullanılabilirchain_input_source_step
Dönüştürme adımına girdi olarak kullanılması gereken dosyayı belirlemek için parametre.
- adımlar* -
- {model adı}* – /conf/models bölümündeki bir {model-name} tanımlayıcısıyla eşleşmesi gereken model tanımlayıcı.
- bağımlılıklar – Bu bölüm, SageMaker Pipelines adımlarının çalıştırılması gereken sırayı belirtir. Bu bölüm için Apache Hava Akışı gösterimini uyarladık (örneğin,
{step_name} >> {step_name}
). Bu bölüm boş bırakılırsa, tarafından belirtilen açık bağımlılıklarchain_input_source_step
parametre veya örtülü bağımlılıklar SageMaker Pipelines DAG akışını tanımlar.
Modelleme birimi başına bir eğitim adımının olmasını tavsiye ettiğimizi unutmayın. Bir modelleme birimi için birden fazla eğitim adımı tanımlanmışsa sonraki adımlar, model nesnesini oluşturmak, metrikleri hesaplamak ve modeli kaydetmek için örtülü olarak son eğitim adımını alır. Birden fazla model eğitmeniz gerekiyorsa birden fazla modelleme birimi oluşturmanız önerilir.
Örnekler
Bu bölümde, sunulan çerçeve kullanılarak oluşturulan ML modeli eğitim DAG'lerinin üç örneğini gösteriyoruz.
Tek modelli eğitim: LightGBM
Bu, kullandığımız sınıflandırma kullanım durumu için tek modelli bir örnektir. SageMaker'da komut dosyası modunda LightGBM. veri kümesi Gelir ikili etiketini tahmin etmek için (konunun bir satın alma işlemi yapıp yapmayacağını tahmin etmek için) kategorik ve sayısal değişkenlerden oluşur. ön işleme komut dosyası eğitim ve test için verileri modellemek için kullanılır ve daha sonra onu bir S3 kovasına yerleştirin. Daha sonra S3 yolları sağlanır. eğitim adımı yapılandırma dosyasında.
Eğitim adımı çalıştırıldığında SageMaker dosyayı konteynere yükler. /opt/ml/input/data/{channelName}/
, ortam değişkeni aracılığıyla erişilebilir SM_CHANNEL_{channelName}
konteynerin üzerinde (kanalAdı= 'eğitim' veya 'test') .bir eğitim senaryosu aşağıdakileri yapar:
- Dosyaları yerel kapsayıcı yollarından yerel olarak yükleyin. NumPy yükü modülü.
- Eğitim algoritması için hiperparametreleri ayarlayın.
- Eğitilen modeli yerel konteyner yoluna kaydedin
/opt/ml/model/
.
SageMaker, modeli barındırmak üzere SageMaker'a dağıtmak için kullanılan bir tarball oluşturmak üzere içeriği /opt/ml/model/ altına alır.
Dönüştürme adımı, aşamalandırılmış verileri girdi olarak alır giriş olarak test dosyası ve eğitilen model üzerinde tahminler yapmak için eğitilen model. Dönüşüm adımının çıktısı zincirleme modeli karşılaştırmalı olarak değerlendirmek için metrikler adımına geçin. Zemin gerçeği, ölçüm adımına açıkça sağlanır. Son olarak, metrik adımının çıktısı, metrik adımında üretilen modelin performansı hakkındaki bilgilerle birlikte modeli SageMaker Model Kaydına kaydetmek için kayıt adımına dolaylı olarak zincirlenir. Aşağıdaki şekil eğitim DAG'ının görsel bir temsilini göstermektedir. Bu örnek için komut dosyalarına ve yapılandırma dosyasına başvurabilirsiniz. GitHub repo.
Tek modelli eğitim: Yüksek Lisans ince ayarı
Bu, metin özetleme kullanım senaryosu için Hugging Face Hub'dan Falcon-40B büyük dil modelinin (LLM) ince ayarını düzenlediğimiz başka bir tek modelli eğitim örneğidir. ön işleme komut dosyası yükler Samsun Hugging Face'ten gelen veri kümesi, model için belirteçleri yükler ve falcon-text-sumarization-preprocess adımında bu etki alanı verileri üzerinde modele ince ayar yapmak için eğitim/test veri bölümlerini işler.
Çıktı zincirleme şahin-metin-özetleme-ayarlama adımına eğitim senaryosu Falcon-40B LLM'yi Hugging Face Hub'dan yükler ve kullanarak hızlandırılmış ince ayar yapmaya başlar. LoRA tren bölünmüş durumda. Model, ince ayardan sonra aynı adımda değerlendirilir. kapı bekçileri değerlendirme kaybının falcon-metin-özetleme-ayar adımında başarısız olması, SageMaker hattının ince ayarlı modeli kaydedemeden durmasına neden olur. Aksi halde, falcon-metin-özetleme-ayarlama adımı başarıyla çalıştırılır ve model, SageMaker Model Kaydına kaydedilir. Aşağıdaki şekil LLM ince ayar DAG'sinin görsel bir temsilini göstermektedir. Bu örneğin komut dosyaları ve yapılandırma dosyası şurada mevcuttur: GitHub repo.
Çok modelli eğitim
Bu, bir temel bileşen analizi (PCA) modelinin boyut azaltma için eğitildiği ve bir TensorFlow Çok Katmanlı Perceptron modelinin eğitildiği çok modelli bir eğitim örneğidir. Kaliforniya Konut Fiyat tahmini. TensorFlow modelinin ön işleme adımı, eğitim verilerinin boyutsallığını azaltmak için eğitimli bir PCA modeli kullanır. TensorFlow modelinin PCA modeli kaydından sonra kaydedilmesini sağlamak için yapılandırmaya bir bağımlılık ekliyoruz. Aşağıdaki şekilde çoklu model eğitim DAG örneğinin görsel bir temsili gösterilmektedir. Bu örneğin komut dosyaları ve yapılandırma dosyaları şurada mevcuttur: GitHub repo.
Temizlemek
Kaynaklarınızı temizlemek için aşağıdaki adımları tamamlayın:
- AWS CLI'yi kullanarak liste ve Kaldır Python komut dosyaları tarafından oluşturulan kalan işlem hatları.
- İsteğe bağlı olarak SageMaker Pipelines dışında oluşturulan S3 klasörü veya IAM rolü gibi diğer AWS kaynaklarını silin.
Sonuç
Bu yazıda, SageMaker Pipelines DAG oluşturma işlemini yapılandırma dosyalarına dayalı olarak otomatikleştirmek için bir çerçeve sunduk. Önerilen çerçeve, karmaşık makine öğrenimi iş yüklerini düzenleme zorluğuna ileriye dönük bir çözüm sunuyor. SageMaker Pipelines, bir yapılandırma dosyası kullanarak minimum kodla orkestrasyon oluşturma esnekliği sağlar, böylece hem tek modelli hem de çok modelli işlem hatlarını oluşturma ve yönetme sürecini kolaylaştırabilirsiniz. Bu yaklaşım yalnızca zamandan ve kaynaklardan tasarruf sağlamakla kalmaz, aynı zamanda MLOps'un en iyi uygulamalarını destekleyerek makine öğrenimi girişimlerinin genel başarısına katkıda bulunur. Uygulama ayrıntıları hakkında daha fazla bilgi için bkz. GitHub repo.
Yazarlar Hakkında
Luis Felipe Yepez Barrios, AWS Profesyonel Hizmetlerinde çalışan bir Makine Öğrenimi Mühendisidir ve Makine Öğrenimi (ML) alanında bilimsel yenilikleri hızlandırmak için ölçeklenebilir dağıtılmış sistemlere ve otomasyon araçlarına odaklanmıştır. Ayrıca kurumsal müşterilerin makine öğrenimi çözümlerini AWS hizmetleri aracılığıyla optimize etmelerine yardımcı oluyor.
Jinzhao Feng, AWS Profesyonel Hizmetler'de Makine Öğrenimi Mühendisidir. Büyük ölçekli Üretken Yapay Zeka ve klasik makine öğrenimi ardışık düzeni çözümlerinin tasarlanması ve uygulanmasına odaklanıyor. FMOps, LLMOps ve dağıtılmış eğitim konularında uzmanlaşmıştır.
Sert Asnani, AWS'de Makine Öğrenimi Mühendisidir. Geçmişi Uygulamalı Veri Bilimi alanında olup, bulutta Makine Öğrenimi iş yüklerini uygun ölçekte operasyonel hale getirmeye odaklanmaktadır.
Hasan Şojaei, AWS Profesyonel Hizmetlerinde Kıdemli Veri Bilimcisidir ve farklı sektörlerdeki müşterilerin büyük veri, makine öğrenimi ve bulut teknolojilerini kullanarak iş sorunlarını çözmelerine yardımcı olur. Bu görevinden önce Hasan, önde gelen enerji şirketleri için yeni fizik tabanlı ve veriye dayalı modelleme teknikleri geliştirmeye yönelik birçok girişime liderlik etti. Hasan, iş dışında kitaplara, yürüyüşe, fotoğrafçılığa ve tarihe tutkuyla bağlı.
Alec Jenab, kurumsal müşteriler için makine öğrenimi çözümlerini geniş ölçekte geliştirme ve kullanıma sunma konusunda uzmanlaşmış bir Makine Öğrenimi Mühendisidir. Alec, özellikle makine öğreniminin son kullanıcı deneyimini anlamlı şekilde iyileştirebileceği alanlarda pazara yenilikçi çözümler sunma konusunda tutkulu. İş dışında basketbol oynamayı, snowboard yapmayı ve San Francisco'daki gizli mücevherleri keşfetmeyi seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/automate-amazon-sagemaker-pipelines-dag-creation/
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 120
- 160
- 7
- 8
- 9
- a
- Yapabilmek
- Hakkımızda
- hızlandırılmış
- erişim
- ulaşılabilir
- Karşılamak
- Göre
- Hesap
- elde
- karşısında
- aktive
- asiklik
- eklemek
- Sonra
- karşı
- AI
- algoritma
- Türkiye
- izin vermek
- izin
- veriyor
- boyunca
- Ayrıca
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Ardışık Düzenleri
- Amazon Web Servisleri
- arasında
- an
- analiz
- Çapa
- ve
- Başka
- herhangi
- Apache
- uygulamalı
- yaklaşım
- mimari
- ARE
- alanlar
- AS
- asist
- üstlenmek
- At
- otomatikleştirmek
- otomatik olarak
- ayrıca otomasyonun
- Otomasyon
- mevcut
- AWS
- AWS Profesyonel Hizmetleri
- arka fon
- merkezli
- Basketbol
- BE
- önce
- faydaları
- İYİ
- en iyi uygulamalar
- Büyük
- büyük Veri
- Kitaplar
- her ikisi de
- Bringing
- inşa etmek
- iş
- fakat
- by
- hesaplamak
- hesaplanmış
- çağrı
- denilen
- aramalar
- CAN
- dava
- durumlarda
- hitap eder
- nedenleri
- zincirleme
- meydan okuma
- zorluklar
- Telegram Kanal
- choices
- sınıflar
- sınıflandırma
- çamça
- cli
- istemciler
- bulut
- kod
- birleştirmek
- ortak
- Şirketler
- karmaşık
- bileşen
- Endişeler
- güven
- yapılandırma
- birlikte
- tutarlı
- oluşur
- Konteyner
- Konteynerler
- içeren
- içerik
- bağlam
- sürekli
- katkıda
- kapak
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- çok önemli
- görenek
- Müşteriler
- özelleştirilmiş
- DAG
- veri
- veri bilimi
- veri bilimcisi
- veri-güdümlü
- veri kümeleri
- deklare
- Varsayılan
- tanımlamak
- tanımlı
- tanımlar
- teslim
- göstermek
- bağımlılıklar
- Bağımlılık
- dağıtmak
- dağıtma
- açılma
- tanımlamak
- ayrıntı
- detaylı
- ayrıntılar
- geliştirmek
- gelişen
- gelişme
- diyagram
- farklı
- yönlendirilmiş
- dizinleri
- rehber
- keşfetme
- tartışmak
- görüntülenen
- ayırmak
- dağıtıldı
- dağıtılmış sistemler
- dağıtılmış eğitim
- liman işçisi
- yok
- domain
- sırasında
- dinamik
- dinamik
- her
- verimli
- çaba
- olarak güçlendiriyor
- etkinleştirmek
- sağlar
- etkinleştirme
- son
- enerji
- mühendis
- Mühendisler
- sağlamak
- kuruluş
- Tüm
- giriş
- çevre
- ortamları
- Hatalar
- özellikle
- değerlendirmek
- değerlendirilir
- değerlendirilmesi
- değerlendirme
- Her
- örnek
- örnekler
- hızlandırmak
- deneyim
- açıkça
- ihracat
- genişletilmiş
- Yüz
- FAIL
- yanlış
- Daha hızlı
- alan
- şekil
- fileto
- dosyalar
- Nihayet
- bulmak
- Esneklik
- esnek
- akış
- odak
- odaklanmış
- odaklanır
- takip etme
- şu
- İçin
- Airdrop Formu
- ileriye dönük
- iskelet
- çerçeveler
- Francisco
- itibaren
- işlev
- Ayrıca
- üreten
- üretken
- üretken yapay zeka
- Git
- Küresel
- yönetim
- grafik
- büyük
- grup
- Grubun
- Var
- sahip olan
- he
- yardımcı olur
- okuyun
- Gizli
- onun
- tarih
- hosting
- konut
- Ne kadar
- Nasıl Yapılır
- HTML
- http
- HTTPS
- merkez
- tanımlayıcı
- Kimlik
- kimlikleri
- if
- görüntü
- uygulama
- uygulanması
- iyileştirmek
- in
- Diğer
- içerir
- Dahil olmak üzere
- belirtmek
- gösterir
- Endüstri
- çıkarımlara
- bilgi
- Altyapı
- girişimler
- Yenilikçilik
- yenilikçi
- giriş
- içeride
- kurmak
- örnek
- talimatlar
- bütünleşme
- etkileşimleri
- müdahale
- içine
- IT
- ONUN
- İş
- birleştirme
- jpg
- json
- anahtar
- anahtarlar
- etiket
- dil
- büyük
- Soyad
- sonra
- öğrenme
- Led
- sol
- kütüphaneler
- sevmek
- çizgi
- Liste
- Yüksek Lisans
- yük
- yükler
- yerel
- lokal olarak
- günlüğü
- Bakın
- gibi görünmek
- kayıp
- makine
- makine öğrenme
- yapmak
- YAPAR
- Yapımı
- yönetim
- yönetme
- Manuel
- çok
- pazar
- Maç
- metrik
- Metrikleri
- en az
- azaltmak
- ML
- MLO'lar
- Moda
- model
- Modelleme
- modelleri
- modül
- Daha
- çoklu
- isim
- gerekli
- gerek
- gerekli
- ihtiyaçlar
- ağ
- sonraki
- yok hayır
- roman
- nesne
- of
- Teklifler
- on
- ONE
- bir tek
- optimize
- or
- orkestra
- orkestrasyon
- orkestrasyon
- Diğer
- aksi takdirde
- çıktı
- çıkışlar
- dışında
- tüm
- geçersiz kılma
- paketler
- parametre
- parametreler
- tutkulu
- yol
- yolları
- başına
- performans
- yapılan
- fotoğrafçılık
- boru hattı
- Platon
- Plato Veri Zekası
- PlatoVeri
- oynama
- Nokta
- Çivi
- uygulamalar
- Önceden tanımlanmış
- tahmin
- Tahminler
- önkoşullar
- mevcut
- sundu
- fiyat
- Anapara
- Önceki
- özel
- süreç
- Süreçler
- işleme
- Üretilmiş
- üretim
- profesyonel
- proje
- teşvik
- teşvik
- önerilen
- sağlanan
- sağlar
- satın alma
- Python
- hızla
- menzil
- Okumak
- kolayca
- Okuma
- tavsiye etmek
- Tavsiye edilen
- azaltmak
- azaltır
- azalma
- başvurmak
- bölge
- kayıt olmak
- kayıtlı
- kayıt
- kayıtlar
- kayıt
- kalan
- tekrar et
- rapor
- Depo
- temsil
- gereklidir
- Yer Alan Kurallar
- kaynak
- Kaynaklar
- bu
- DİNLENME
- Sonuçlar
- gelir
- yorum
- Rol
- rolleri
- koşmak
- koşu
- ishal
- runtime
- sagemaker
- SageMaker Boru Hatları
- aynı
- San
- San Francisco
- ölçeklenebilir
- ölçek
- Bilim
- bilimsel
- bilim adamı
- bilim adamları
- senaryo
- scriptler
- Bölüm
- bölümler
- güvenlik
- Dizi
- Hizmetler
- set
- Setleri
- birkaç
- meli
- Gösteriler
- Basit
- ALTINCI
- pürüzsüz
- So
- çözüm
- Çözümler
- ÇÖZMEK
- Kaynak
- kaynak kodu
- özel
- uzmanlaşmış
- Belirtilen
- bölmek
- Splits
- başlar
- adım
- Basamaklar
- dur
- hafızası
- depolamak
- kolaylaştırmak
- düzene
- yapı
- stüdyo
- konu
- altağlar
- sonraki
- başarı
- Başarılı olarak
- böyle
- Verilen
- sözdizimi
- Sistemler
- Bizi daha iyi tanımak için
- alır
- teknikleri
- Teknolojileri
- tensorflow
- terminal
- test
- Test yapmak
- metin
- o
- The
- Kayıt
- ve bazı Asya
- Onları
- sonra
- bu nedenle
- Bunlar
- Re-Tweet
- üç
- İçinden
- boyunca
- zaman
- için
- üst
- Takip
- Tren
- eğitilmiş
- Eğitim
- Dönüştürmek
- ağaç
- gerçek
- iki
- türleri
- ui
- altında
- birim
- birimleri
- Güncelleme
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- Kullanıcı Deneyimi
- kullanım
- kullanma
- yarar
- Değerler
- değişken
- sürümler
- üzerinden
- Sanal
- görsel
- we
- ağ
- web hizmetleri
- İYİ
- ne zaman
- olup olmadığını
- hangi
- DSÖ
- geniş
- Geniş ürün yelpazesi
- irade
- ile
- içinde
- olmadan
- İş
- iş akışı
- XGBoost
- tatlım
- Sen
- zefirnet