Makine öğrenimi (ML) modelleri tek başına çalışmaz. Değer sağlamak için mevcut üretim sistemlerine ve altyapıya entegre olmaları gerekir; bu da tasarım ve geliştirme sırasında makine öğrenimi yaşam döngüsünün tamamının dikkate alınmasını gerektirir. MLOps olarak bilinen ML işlemleri, ML modellerini yaşam döngüleri boyunca kolaylaştırmaya, otomatikleştirmeye ve izlemeye odaklanır. Sağlam bir MLOps işlem hattı oluşturmak, işlevler arası işbirliği gerektirir. Veri bilimcileri, makine öğrenimi mühendisleri, BT personeli ve DevOps ekipleri, araştırmadan dağıtım ve bakıma kadar modelleri operasyonel hale getirmek için birlikte çalışmalıdır. MLOps, doğru süreçler ve araçlarla kuruluşların makine öğrenimini ekipleri genelinde güvenilir ve verimli bir şekilde benimsemelerine olanak tanır.
Sürekli entegrasyon ve sürekli teslimat (CI/CD) işlem hatlarının gereksinimleri benzersiz olabilse ve her kuruluşun ihtiyaçlarını yansıtabilse de, MLOps uygulamalarının ekipler arasında ölçeklendirilmesi, geliştirme sürecini hızlandırabilen ve farklılaşmamış ağır yükleri ortadan kaldırabilen yönetilen orkestrasyonlar ve araçlar kullanılarak basitleştirilebilir. .
Amazon SageMaker MLOps içeren bir özellikler paketidir Amazon SageMaker Projeleri (CI/CD), Amazon SageMaker Ardışık Düzenleri ve Amazon SageMaker Model Kaydı.
SageMaker Boru Hatları ML iş akışlarının kolayca oluşturulmasına ve yönetilmesine olanak tanırken aynı zamanda iş akışı adımları için depolama ve yeniden kullanma yetenekleri de sunar. SageMaker Model Kaydı Model izlemeyi merkezileştirerek model dağıtımını basitleştirir. SageMaker Projeleri ortam eşliği, sürüm kontrolü, test etme ve otomasyon dahil olmak üzere makine öğrenimine CI/CD uygulamalarını tanıtır. Bu, CI/CD'nin makine öğrenimi ortamınızda hızlı bir şekilde kurulmasına olanak tanıyarak kuruluşunuz genelinde etkili ölçeklenebilirliği kolaylaştırır.
Yerleşik proje şablonları tarafından sağlanan Amazon Adaçayı Yapıcı Orkestrasyon için Jenkins ve kaynak kontrolü için GitHub gibi bazı üçüncü taraf araçlarla entegrasyonu içerir ve birçoğu, aşağıdaki gibi AWS yerel CI/CD araçlarını kullanır. AWS CodeCommit, AWS Kod Ardışık Düzeni, ve AWS Kod Oluşturma. Ancak birçok senaryoda müşteriler SageMaker Pipelines'ı diğer mevcut CI/CD araçlarıyla entegre etmek ve dolayısıyla kendi özel proje şablonlarını oluşturmak ister.
Bu yazıda size aşağıdakileri başarmak için adım adım bir uygulama gösteriyoruz:
- GitHub ve GitHub Eylemleriyle entegre olan özel bir SageMaker MLOps proje şablonu oluşturun
- Özel proje şablonlarınızı şu adreste kullanılabilir hale getirin: Amazon SageMaker Stüdyosu Veri bilimi ekibiniz için tek tıkla provizyonla
Çözüme genel bakış
Bu yazımızda aşağıdaki mimariyi oluşturuyoruz. Veri hazırlama, model eğitimi, model değerlendirmesi ve eğitilen modelin SageMaker Model Kaydına kaydedilmesi adımlarını içeren otomatik bir model oluşturma hattı oluşturuyoruz. Ortaya çıkan eğitilmiş makine öğrenimi modeli daha sonra manuel onayın ardından SageMaker Model Kayıt Defterinden hazırlama ve üretim ortamlarına dağıtılır.
Yapılandırmanın tamamını anlamak için bu mimarinin öğelerini derinlemesine inceleyelim.
GitHub ve GitHub Eylemleri
GitHub, Git'i kullanarak sürüm kontrolü ve kaynak kodu yönetimi sağlayan web tabanlı bir platformdur. Ekiplerin yazılım geliştirme projeleri üzerinde işbirliği yapmasına, değişiklikleri takip etmesine ve kod depolarını yönetmesine olanak tanır. GitHub, ML kod tabanınızı depolamak, sürümlendirmek ve yönetmek için merkezi bir konum görevi görür. Bu, makine öğrenimi kod tabanınızın ve ardışık düzenlerinizin sürümlendirilmesini, belgelenmesini ve ekip üyeleri tarafından erişilebilir olmasını sağlar.
GitHub Eylemleri GitHub ekosistemindeki güçlü bir otomasyon aracıdır. Kod oluşturma, test etme ve dağıtma gibi yazılım geliştirme yaşam döngüsü süreçlerinizi otomatikleştiren özel iş akışları oluşturmanıza olanak tanır. Kodun bir depoya gönderilmesi veya bir çekme isteğinin oluşturulması gibi belirli olaylar tarafından tetiklenen olay odaklı iş akışları oluşturabilirsiniz. MLOps'u uygularken, ML işlem hattının aşağıdaki gibi çeşitli aşamalarını otomatikleştirmek için GitHub Eylemlerini kullanabilirsiniz:
- Veri doğrulama ve ön işleme
- Model eğitimi ve değerlendirmesi
- Model dağıtımı ve izleme
- ML modelleri için CI/CD
GitHub Eylemleri ile makine öğrenimi iş akışlarınızı kolaylaştırabilir ve modellerinizin tutarlı bir şekilde oluşturulmasını, test edilmesini ve dağıtılmasını sağlayarak daha verimli ve güvenilir makine öğrenimi dağıtımlarına yol açabilirsiniz.
Aşağıdaki bölümlerde, bu mimarinin bir parçası olarak kullandığımız bazı bileşenlere ilişkin önkoşulları kurarak başlıyoruz:
- AWS CloudFormation - AWS CloudFormation model dağıtımını başlatır ve eğitilen modelin onayıyla model dağıtım hattı etkinleştirildikten sonra SageMaker uç noktalarını oluşturur.
- AWS CodeStar bağlantısı - Kullanırız AWS CodeStar GitHub deposuyla bir bağlantı kurmak ve bunu SageMaker Studio gibi AWS kaynaklarıyla kod deposu entegrasyonu olarak kullanmak.
- Amazon EventBridge - Amazon EventBridge model kayıt defterindeki tüm değişiklikleri takip eder. Ayrıca, model paketi sürümünün durumu değiştiğinde Lambda işlevinin model hattını dağıtmasını isteyen bir kuralı da korur.
PendingManualApproval
içinApproved
model kayıt defterinde. - AWS Lambda – Biz bir AWS Lambda Model kayıt defterine yeni bir model kaydedildikten sonra GitHub Eylemlerinde model dağıtımı iş akışını başlatma işlevi.
- Amazon Adaçayı Yapıcı – Aşağıdaki SageMaker bileşenlerini yapılandırıyoruz:
- Boru hattı - Bu bileşen, veri hazırlama, model eğitimi ve model değerlendirme aşamaları için otomatikleştirilmiş ML iş akışını oluşturmamıza yardımcı olan yönlendirilmiş bir döngüsel olmayan grafikten (DAG) oluşur. Model kaydı, model sürümlerinin, bunlarla ilişkili yapıtların, kökenlerin ve meta verilerin kayıtlarını tutar. İlgili tüm model versiyonlarını barındıran bir model paket grubu oluşturulur. Model kaydı ayrıca sonraki dağıtım için model sürümünün onay durumunu yönetmekten de sorumludur.
- Son nokta – Bu bileşen, çıkarım için iki HTTPS gerçek zamanlı uç noktası ayarlar. Barındırma yapılandırması, örneğin toplu dönüştürme veya eşzamansız çıkarım için ayarlanabilir. Aşama uç noktası, model dağıtım hattı, eğitilen modelin SageMaker Model Kayıt Defterinden onaylanmasıyla etkinleştirildiğinde oluşturulur. Bu uç nokta, konuşlandırılan modelin doğruluk standartlarımızı karşılayan tahminler sunmasını sağlayarak doğrulamak için kullanılır. Model, üretim dağıtımı için hazırlandığında GitHub Eylemleri iş akışındaki manuel onay aşamasıyla bir üretim uç noktası dağıtılır.
- Havuz kodu – Bu, SageMaker hesabınızda kaynak olarak bir Git deposu oluşturur. SageMaker projenizin oluşturulması sırasında girdiğiniz GitHub kod deposundaki mevcut veriler kullanılarak, projeyi başlattığınızda SageMaker'da aynı depoyla bir ilişki kurulur. Bu aslında SageMaker'daki GitHub deposuyla bir bağlantı oluşturarak deponuzla etkileşimli eylemlere (çekme/itme) olanak tanır.
- Model kaydı – Bu, modelin çeşitli versiyonlarını ve köken ve meta verileri içeren ilgili yapıtları izler. olarak bilinen bir koleksiyon model paket grubu Modelin konutla ilgili versiyonları oluşturuluyor. Ayrıca model kaydı, model sürümünün onay durumunu denetleyerek sonraki dağıtıma hazır olmasını sağlar.
- AWS Sırları Yöneticisi – GitHub kişisel erişim belirtecinizi güvenli bir şekilde korumak için, içinde bir sır oluşturmanız gerekir. AWS Sırları Yöneticisi ve erişim belirtecinizi bunun içine yerleştirin.
- AWS Hizmet Kataloğu - AWS Hizmet Kataloğu SageMaker kod deposu, Lambda işlevi, EventBridge kuralı, yapıt S3 klasörü vb. gibi bileşenleri içeren ve tümü CloudFormation aracılığıyla uygulanan SageMaker projelerinin uygulanması için. Bu, kuruluşunuzun proje şablonlarını tekrar tekrar kullanmasına, projeleri her kullanıcıya tahsis etmesine ve işlemleri kolaylaştırmasına olanak tanır.
- Amazon S3 – Biz bir Amazon Basit Depolama Hizmeti (Amazon S3) kovası, işlem hattı tarafından üretilen model yapıtlarını tutmak için kullanılır.
Önkoşullar
Aşağıdaki ön koşullara sahip olmalısınız:
Çözümü uygulamadan önce ek kurulum adımlarını da tamamlamanız gerekir.
AWS CodeStar bağlantısı kurun
GitHub hesabınızda halihazırda bir AWS CodeStar bağlantınız yoksa bkz. GitHub'a bağlantı oluşturun Bir tane oluşturma talimatları için. AWS CodeStar bağlantınız ARN'niz şu şekilde görünecektir:
Bu örnekte, aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
bu bağlantının benzersiz kimliğidir. Bu örneği daha sonra SageMaker projemizi oluşturduğumuzda bu kimliği kullanacağız.
GitHub belirteciniz için gizli erişim anahtarları ayarlayın
GitHub kişisel erişim belirtecinizi güvenli bir şekilde saklamak için Secrets Manager'da bir gizli dizi oluşturmanız gerekir. GitHub için kişisel erişim belirteciniz yoksa bkz. Kişisel erişim belirteçlerinizi yönetme bir tane oluşturma talimatları için.
Klasik veya ayrıntılı bir erişim belirteci oluşturabilirsiniz. Ancak belirtecin, veri havuzunun içeriğine ve eylemlerine (iş akışları, çalıştırmalar ve yapılar) erişebildiğinden emin olun.
Belirtecinizi Secrets Manager'da saklamak için aşağıdaki adımları tamamlayın:
- Secrets Manager konsolunda, Yeni bir sır saklayın.
- seç Diğer tür sır için Gizli türü seç.
- Gizliliğiniz için bir ad girin anahtar alanına kişisel erişim belirtecinizi karşılık gelen alana ekleyin. Özellik alan.
- Klinik Sonraki, sırrınız için bir ad girin ve Sonraki tekrar.
- Klinik mağaza sırrını kurtarmak için.
GitHub kişisel erişim belirtecinizi Secrets Manager'da depolayarak, gizliliğini korurken MLOps işlem hattınız içinden ona güvenli bir şekilde erişebilirsiniz.
GitHub Eylemleri için bir IAM kullanıcısı oluşturun
GitHub Actions'ın AWS ortamınızda SageMaker uç noktalarını dağıtmasına izin vermek için bir AWS Kimlik ve Erişim Yönetimi (IAM) kullanıcısını seçin ve ona gerekli izinleri verin. Talimatlar için bkz. AWS hesabınızda bir IAM kullanıcısı oluşturma. Kullan iam/GithubActionsMLOpsExecutionPolicy.json
dosya (şirkette verilmiştir) kod örneği) bu kullanıcıya uç noktalarınızı dağıtması için yeterli izinleri sağlamak için.
IAM kullanıcısını oluşturduktan sonra, erişim anahtarı oluştur. Hem erişim anahtarı kimliğinden hem de gizli erişim anahtarından oluşan bu anahtarı bir sonraki adımda GitHub gizli dizilerinizi yapılandırırken kullanacaksınız.
GitHub hesabınızı kurun
Bu örneği çalıştırmak için GitHub hesabınızı hazırlama adımları aşağıda verilmiştir.
GitHub deposunu klonlayın
Bu örnek için mevcut bir GitHub deposunu yeniden kullanabilirsiniz. Ancak yeni bir depo oluşturursanız bu daha kolay olur. Bu depo, hem SageMaker işlem hattı yapıları hem de dağıtımları için tüm kaynak kodunu içerecektir.
Tohum kodu dizininin içeriğini GitHub deponuzun kök dizinine kopyalayın. Örneğin, .github
dizin GitHub deponuzun kökü altında olmalıdır.
IAM kullanıcı erişim anahtarınızı içeren bir GitHub sırrı oluşturun
Bu adımda yeni oluşturulan kullanıcının erişim anahtarı ayrıntılarını dosyamızda saklıyoruz. GitHub sırrı.
- GitHub web sitesinde deponuza gidin ve Ayarlar.
- Güvenlik bölümünde seçin Sırlar ve Değişkenler Ve seç İşlemler.
- Klinik Yeni Depo Sırrı.
- İçin Name, girmek
AWS_ACCESS_KEY_ID
- İçin Gizli, daha önce oluşturduğunuz IAM kullanıcısıyla ilişkili erişim anahtarı kimliğini girin.
- Klinik Sır Ekle.
- için aynı işlemi tekrarlayın.
AWS_SECRET_ACCESS_KEY
GitHub ortamlarınızı yapılandırın
Dağıtım işlem hatlarımızda manuel bir onay adımı oluşturmak için bir GitHub ortamı. Aşağıdaki adımları tamamlayın:
- gidin Ayarlar, <span style="font-size:14px;">ortamları</span> GitHub deponuzun menüsünü açın ve üretim adı verilen yeni bir ortam oluşturun.
- İçin Çevre koruma kurallarıseçin Gerekli incelemeciler.
- İstenilen GitHub kullanıcı adlarını gözden geçirenler olarak ekleyin. Bu örnekte kendi kullanıcı adınızı seçebilirsiniz.
Ortam özelliğinin bazı GitHub planı türlerinde mevcut olmadığını unutmayın. Daha fazla bilgi için bkz. Dağıtım için ortamları kullanma.
Lambda işlevini dağıtma
Aşağıdaki adımlarda sıkıştırıyoruz lambda_function.py
bir .zip dosyasına aktarılır ve bu dosya daha sonra bir S3 klasörüne yüklenir.
Bunun için ilgili kod örneğini aşağıda bulabilirsiniz GitHub repo. Özellikle, lambda_function.py
bulunur lambda_functions/lambda_github_workflow_trigger dizin.
Kod örneğinin bir çatalını oluşturup bunun yerine onu klonlamanız önerilir. Bu size kodu değiştirme ve numunenin farklı yönlerini deneme özgürlüğü verecektir.
- Kodun bir kopyasını aldıktan sonra uygun dizine gidin ve
zip
sıkıştırma komutulambda_function.py
. Hem Windows hem de MacOS kullanıcıları, bir .zip dosyası oluşturmak için sırasıyla kendi yerel dosya yönetim sistemleri olan Dosya Gezgini veya Finder'ı kullanabilir.
- Yükle
lambda-github-workflow-trigger.zip
bir S3 kovasına.
Bu pakete daha sonra Hizmet Kataloğu tarafından erişilecektir. Hizmet Kataloğu sonraki adımlarda buradan veri alabildiği sürece erişiminiz olan herhangi bir paketi seçebilirsiniz.
Bu adımdan itibaren AWS CLI v2'nin kurulup yapılandırılması gerekiyor. Bir alternatif, gerekli tüm araçların önceden yüklenmiş olduğu ve ek yapılandırma ihtiyacını ortadan kaldıran AWS CloudShell'i kullanmak olabilir.
- Dosyayı S3 klasörüne yüklemek için aşağıdaki komutu kullanın:
Şimdi ilgili bağımlılıklar için bir Lambda katmanı oluşturuyoruz. lambda_function
yeni yükledik.
- Bir Python sanal ortamı kurun ve bağımlılıkları yükleyin:
- .zip dosyasını aşağıdaki komutlarla oluşturun:
- Katmanı AWS'de yayınlayın:
Bu katman yayınlandıktan sonra tüm Lambda işlevleriniz artık bağımlılıklarını karşılamak için ona başvurabilir. Lambda katmanlarının daha ayrıntılı anlaşılması için bkz. Lambda katmanlarıyla çalışma.
SageMaker'da özel bir proje şablonu oluşturun
Yukarıdaki adımların tümü tamamlandıktan sonra tüm CI/CD işlem hattı kaynaklarına ve bileşenlerine sahip oluruz. Daha sonra, bu kaynakları SageMaker Studio içerisinde tek tıklamayla dağıtım yoluyla erişilebilen özel bir proje olarak nasıl kullanılabilir hale getirebileceğimizi göstereceğiz.
Daha önce tartışıldığı gibi, SageMaker tarafından sağlanan şablonlar ihtiyaçlarınızı karşılamadığında (örneğin, CodePipeline'da birden fazla aşama, özel onay adımları ile daha karmaşık bir orkestrasyona sahip olmak veya GitHub ve GitHub eylemleri gibi bir üçüncü taraf araçla entegre olmak istediğinizde) Bu yazıda gösterilmiştir), kendi şablonlarınızı oluşturabilirsiniz. Kodunuzu ve kaynaklarınızı nasıl organize edeceğinizi ve bunların üzerine nasıl inşa edeceğinizi anlamak için SageMaker tarafından sağlanan şablonlarla başlamanızı öneririz. Daha fazla ayrıntı için bkz. Özel Proje Şablonları Oluşturun.
Ayrıca bu adımı otomatikleştirebileceğinizi ve bunun yerine Hizmet Kataloğu portföyünü ve ürününü kod aracılığıyla dağıtmak için CloudFormation'ı kullanabileceğinizi unutmayın. Ancak bu yazıda daha iyi bir öğrenme deneyimi için size konsol dağıtımını gösteriyoruz.
Bu aşamada, SageMaker'da özel projeler oluşturmamıza yardımcı olan bir Hizmet Kataloğu portföyü oluşturmak için sağlanan CloudFormation şablonunu kullanıyoruz.
Aşağıdaki adımlar için yeni bir alan adı oluşturabilir veya SageMaker alan adınızı yeniden kullanabilirsiniz. Bir alan adınız yoksa, bkz. Hızlı kurulumu kullanarak Amazon SageMaker Etki Alanına Ekleme kurulum talimatları için.
SageMaker şablonlarına yönetici erişimini etkinleştirdikten sonra aşağıdaki adımları tamamlayın:
- Hizmet Kataloğu konsolunda, altında Yönetim gezinme bölmesinde öğesini seçin. Portfolyolar.
- Klinik Yeni bir portföy oluştur.
- Portfolyoya “SageMaker Organizasyon Şablonları” adını verin.
- Atomic Cüzdanı indirin : şablon.yml bilgisayarınıza dosya.
Bu Cloud Formation şablonu, yapılandırma olarak ihtiyaç duyduğumuz tüm CI/CD kaynaklarını ve kod olarak altyapıyı sağlar. Hangi kaynakların bir parçası olarak dağıtıldığını görmek için şablonu daha ayrıntılı olarak inceleyebilirsiniz. Bu şablon GitHub ve GitHub Eylemleriyle entegre olacak şekilde özelleştirilmiştir.
- içinde
template.yml
dosya, değiştirS3Bucket
Lambda .zip dosyasını yüklediğiniz paketinizin değeri:
- Yeni portföyü seçin.
- Klinik Yeni bir ürün yükle.
- İçin Ürün adı¸ şablonunuz için bir ad girin. İsmini kullanıyoruz
build-deploy-github
. - İçin Açıklamabir açıklama girin.
- İçin Mal sahibi, adınızı giriniz.
- Altında Sürüm ayrıntıları, Için Yöntem, seçmek Bir şablon dosyası kullanın.
- Klinik Bir şablon yükleyin.
- İndirdiğiniz şablonu yükleyin.
- İçin Sürüm başlığı, seçmek 1.0.
- Klinik Değerlendirme.
- Ayarlarınızı gözden geçirin ve seçin Ürün oluştur.
- Klinik Yenile Yeni ürünü listelemek için.
- Yeni oluşturduğunuz ürünü seçin.
- Üzerinde Etiketler sekmesinde ürüne aşağıdaki etiketi ekleyin:
- anahtar =
sagemaker:studio-visibility
- Özellik =
true
- anahtar =
Portföy ayrıntılarına döndüğünüzde, aşağıdaki ekran görüntüsüne benzer bir şey görmelisiniz (farklı kimliklerle).
- Üzerinde Kısıtlamalar sekmesini seçin Kısıt oluştur.
- İçin PLATFORM, seçmek
build-deploy-github
(az önce oluşturduğunuz ürün). - İçin Kısıtlama yazın, seçin Başlatmak.
- Altında Kısıtlamayı başlat, Için Yöntem, seçmek IAM rolünü seçin.
- Klinik
AmazonSageMakerServiceCatalogProductsLaunchRole
. - Klinik oluşturmak.
- Üzerinde Gruplar, roller ve kullanıcılar sekmesini seçin Gruplar, roller, kullanıcılar ekleyin.
- Üzerinde Roller sekmesinde SageMaker Studio alanınızı yapılandırırken kullandığınız rolü seçin. SageMaker etki alanı rolünün bulunabileceği yer burasıdır.
- Klinik Erişim ekle.
Projeyi SageMaker Studio'dan dağıtın
Önceki bölümlerde özel MLOps proje ortamını hazırladınız. Şimdi bu şablonu kullanarak bir proje oluşturalım:
- SageMaker konsolunda bu projeyi oluşturmak istediğiniz etki alanına gidin.
- Üzerinde Başlatmak menü seç Stüdyo.
SageMaker Studio ortamına yönlendirileceksiniz.
- SageMaker Studio'da, aşağıdaki gezinme bölmesinde dağıtımlar, seçmek Projeler.
- Klinik proje oluşturma.
- Şablon listesinin en üstünde Organizasyon şablonları.
Önceki adımların tümünü başarıyla geçtiyseniz, adlı yeni bir özel proje şablonunu görebilmeniz gerekir. Build-Deploy-GitHub
.
- Bu şablonu seçin ve seçin Proje Şablonunu Seçin.
- İsteğe bağlı bir açıklama girin.
- İçin GitHub Deposu Sahibinin AdıGitHub deponuzun sahibini girin. Örneğin, deponuz şuradaysa
https://github.com/pooyavahidi/my-repo
, sahibi olurdupooyavahidi
. - İçin GitHub Deposu Adı, tohum kodunu kopyaladığınız havuzun adını girin. Bu sadece reponun adı olurdu. Örneğin,
https://github.com/pooyavahidi/my-repo
, repomy-repo
. - İçin Codestar bağlantısı benzersiz kimliğioluşturduğunuz AWS CodeStar bağlantısının benzersiz kimliğini girin.
- İçin GitHub belirtecini saklayan Sırlar Yöneticisindeki sırrın adıGitHub belirtecini oluşturduğunuz ve sakladığınız Secrets Manager'a sırrın adını girin.
- İçin Dağıtım için GitHub iş akışı dosyasıGitHub iş akışı dosyasının adını girin (
.github/workflows/deploy.yml
) dağıtım talimatlarının bulunduğu yer. Bu örnekte, onu varsayılan olarak tutabilirsiniz;deploy.yml
. - Klinik proje oluşturma.
- Projenizi oluşturduktan sonra güncellediğinizden emin olun.
AWS_REGION
veSAGEMAKER_PROJECT_NAME
GitHub iş akışı dosyalarınızdaki ortam değişkenlerini buna göre düzenleyin. İş akışı dosyaları GitHub deponuzda (tohum kodundan kopyalanmıştır),.github/workflows
dizin. Her ikisini de güncellediğinizden emin olunbuild.yml
vedeploy.yml
dosyaları.
Artık ortamınız kullanıma hazır! Otomatik derleme hattını tetiklemek ve derleme ve dağıtımın tüm adımlarının nasıl otomatikleştirildiğini görmek için işlem hatlarını doğrudan çalıştırabilir, değişiklikler yapabilir ve bu değişiklikleri GitHub deponuza gönderebilirsiniz.
Temizlemek
Kaynakları temizlemek için aşağıdaki adımları tamamlayın:
- SageMaker projesi ve SageMaker uç noktaları için kullanılan CloudFormation yığınlarını silin.
- SageMaker alanını silin.
- Hizmet Kataloğu kaynaklarını silin.
- GitHub deposuyla AWS CodeStar bağlantı bağlantısını silin.
- GitHub Eylemleri için oluşturduğunuz IAM kullanıcısını silin.
- GitHub kişisel erişim ayrıntılarını saklayan Secrets Manager'daki sırrı silin.
Özet
Bu yazıda, otomatik olarak bir CI/CD işlem hattı oluşturmak ve düzenlemek için özel bir SageMaker MLOps proje şablonunu kullanma sürecini inceledik. Bu hat, veri manipülasyonu, model eğitimi, model onayı ve model dağıtımı için mevcut CI/CD mekanizmalarınızı SageMaker yetenekleriyle etkili bir şekilde entegre eder. Senaryomuzda GitHub Actions'ı SageMaker projeleri ve işlem hatlarıyla entegre etmeye odaklandık. Uygulama ayrıntılarının kapsamlı bir şekilde anlaşılması için şu adresi ziyaret edin: GitHub deposu. Bunu denemekten çekinmeyin ve aklınıza takılan soruları yorum bölümünde bırakmaktan çekinmeyin.
Yazarlar Hakkında
Dr. Romina Sharifpour Amazon Web Services'te (AWS) Kıdemli Makine Öğrenimi ve Yapay Zeka Çözümleri Mimarıdır. Makine öğrenimi ve yapay zeka alanındaki gelişmelerin mümkün kıldığı yenilikçi uçtan uca çözümlerin tasarımına ve uygulanmasına liderlik etmek için 10 yıldan fazla zaman harcadı. Romina'nın ilgi alanları doğal dil işleme, büyük dil modelleri ve MLOps'tur.
Pooya Vahidi AWS'de Kıdemli Çözüm Mimarıdır ve bilgisayar bilimi, yapay zeka ve bulut bilişim konusunda tutkuludur. Bir yapay zeka uzmanı olarak AWS AI/ML Derinlik Alanı ekibinin aktif bir üyesidir. Büyük ölçekli çözümlerin mimarisine ve mühendisliğine liderlik etme konusunda yirmi yılı aşkın uzmanlığa sahip geçmişiyle, müşterilerin bulut ve AI/ML teknolojileri aracılığıyla dönüştürücü yolculuklarında yardımcı oluyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- Yapabilmek
- Hakkımızda
- yukarıdaki
- hızlandırmak
- erişim
- erişilen
- ulaşılabilir
- göre
- Hesap
- doğruluk
- Başarmak
- karşısında
- eylemler
- aktif
- asiklik
- eklemek
- Ek
- Düzeltilmiş
- benimsemek
- gelişmeler
- Sonra
- tekrar
- AI
- AI / ML
- Türkiye
- ayırmak
- izin vermek
- veriyor
- zaten
- Ayrıca
- alternatif
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon SageMaker Ardışık Düzenleri
- Amazon Web Servisleri
- Amazon Web Services (AWS)
- an
- ve
- ve altyapı
- herhangi
- uygun
- onay
- mimari
- ARE
- alanlar
- yapay
- yapay zeka
- AS
- yönleri
- ilişkili
- Dernek
- At
- otomatikleştirmek
- Otomatik
- otomatik olarak
- ayrıca otomasyonun
- Otomasyon
- mevcut
- AWS
- arka fon
- baz
- BE
- olmuştur
- önce
- her ikisi de
- inşa etmek
- bina
- inşa
- yapılı
- yerleşik
- by
- denilen
- CAN
- yetenekleri
- katalog
- CD
- merkezi
- değişiklik
- değişiklikler
- Klinik
- klasik
- çamça
- tıklayın
- bulut
- cloud computing
- kod
- kod tabanı
- işbirliği yapmak
- işbirliği
- Toplamak
- geliyor
- yorumlar
- tamamlamak
- tamamlama
- karmaşık
- bileşen
- bileşenler
- kapsamlı
- bilgisayar
- Bilgisayar Bilimleri
- bilgisayar
- gizlilik
- yapılandırma
- yapılandırılmış
- yapılandırarak
- bağ
- düşünen
- sürekli
- oluşur
- konsolos
- kurmak
- içermek
- içindekiler
- sürekli
- kontrol
- uyan
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- görenek
- Müşteriler
- özelleştirilmiş
- DAG
- veri
- Veri Hazırlama
- veri bilimi
- yıl
- Varsayılan
- teslim etmek
- teslim
- altüst ederek aramak
- talepleri
- göstermek
- gösterdi
- bağımlılıklar
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- dağıtımları
- tanım
- Dizayn
- İstediğiniz
- ayrıntı
- detaylı
- ayrıntılar
- gelişme
- farklı
- yönlendirilmiş
- direkt olarak
- tartışılan
- do
- domain
- Dont
- sırasında
- her
- Daha erken
- kolay
- ekosistem
- Etkili
- etkili bir şekilde
- verimli
- verimli biçimde
- ya
- elemanları
- ortadan
- etkinleştirmek
- etkin
- sağlar
- etkinleştirme
- son uca
- Son nokta
- Mühendislik
- Mühendisler
- sağlamak
- olmasını sağlar
- sağlanması
- Keşfet
- kuruluş
- Tüm
- çevre
- ortamları
- esasen
- kurmak
- kurulmuş
- kurar
- kuruluş
- vb
- değerlendirme
- olaylar
- örnek
- mevcut
- deneyim
- deneme
- Uzmanlık
- kâşif
- kolaylaştırıcı
- Özellikler(Hazırlık aşamasında)
- Özellikler
- hissetmek
- alan
- fileto
- dosyalar
- Bulucu
- odak
- odaklanmış
- takip etme
- İçin
- çatal
- oluşum
- formlar
- bulundu
- Ücretsiz
- Freedom
- itibaren
- işlev
- fonksiyonlar
- oluşturmak
- oluşturulan
- almak
- Git
- GitHub
- Vermek
- gidiş
- gitmiş
- vermek
- grafik
- büyük
- grup
- Grubun
- Var
- he
- ağır
- ağırlık kaldırma
- yardımcı olur
- hosting
- ev
- evler
- konut
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- ID
- Kimlik
- kimlikleri
- if
- uygulama
- uygulanan
- uygulanması
- in
- dahil
- içerir
- Dahil olmak üzere
- bilgi
- Altyapı
- başlatmak
- Başlattı
- yenilikçi
- giriş
- içeride
- kurmak
- yüklü
- örnek
- yerine
- talimatlar
- entegre
- Entegre
- Bütünleştirme
- bütünleşme
- İstihbarat
- interaktif
- faiz
- içine
- Tanıtımlar
- izolasyon
- IT
- ONUN
- yolculuklar
- jpg
- json
- sadece
- tutmak
- tutar
- anahtar
- anahtarlar
- bilinen
- dil
- büyük
- büyük ölçekli
- sonra
- başlatmak
- tabaka
- katmanları
- önemli
- öğrenme
- Ayrılmak
- yaşam döngüsü
- kaldırma
- sevmek
- soy
- LINK
- Liste
- bulunan
- yer
- Uzun
- Bakın
- gibi görünmek
- makine
- makine öğrenme
- macos
- tutar
- bakım
- yapmak
- yönetmek
- yönetilen
- yönetim
- müdür
- yönetme
- hile
- Manuel
- çok
- mekanizmaları
- Neden
- üye
- Üyeler
- Menü
- Metadata
- olabilir
- İLE
- ML
- MLO'lar
- model
- modelleri
- Değişiklikler
- değiştirmek
- izleme
- monitörler
- Daha
- daha verimli
- Dahası
- çoklu
- şart
- isim
- adlı
- isimleri
- yerli
- Doğal (Madenden)
- Doğal Dil İşleme
- Gezin
- Navigasyon
- gerekli
- gerektiriyor
- gerek
- ihtiyaçlar
- yeni
- yeni ürün
- yeni
- sonraki
- şimdi
- elde etmek
- of
- teklif
- on
- ONE
- ileriye
- işletmek
- Operasyon
- or
- orkestrasyon
- kuruluşlar
- organizasyonlar
- Diğer
- bizim
- tekrar
- genel bakış
- kendi
- sahip
- paket
- bölmesi
- parite
- Bölüm
- Parti
- tutkulu
- izinleri
- kişisel
- boru hattı
- ağladım
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- portföy
- Çivi
- güçlü
- uygulamalar
- Tahminler
- hazırlık
- Hazırlamak
- hazırlanmış
- önkoşullar
- önceki
- prosedür
- süreç
- Süreçler
- işleme
- Üretilmiş
- PLATFORM
- üretim
- profesyonel
- proje
- Projeler
- istemleri
- koruma
- sağlamak
- sağlanan
- sağlar
- yayınlanan
- Itmek
- itti
- Python
- sorgular
- Hızlı
- hazır olma
- hazır
- gerçek zaman
- tavsiye etmek
- Tavsiye edilen
- kayıtlar
- başvurmak
- referans
- yansıtmak
- kayıtlı
- kayıtlar
- kayıt
- ilgili
- uygun
- güvenilir
- Kaldır
- DEFALARCA
- Depo
- talep
- gerektirir
- Yer Alan Kurallar
- araştırma
- kaynak
- Kaynaklar
- sırasıyla
- sorumlu
- Ortaya çıkan
- yeniden
- krallar gibi yaşamaya
- gürbüz
- Rol
- rolleri
- kök
- Kural
- koşmak
- ishal
- sagemaker
- SageMaker Boru Hatları
- aynı
- İndirim
- ölçeklenebilirlik
- ölçekleme
- senaryo
- senaryolar
- Bilim
- bilim adamları
- Gizli
- sırları
- Bölüm
- bölümler
- Güvenli
- güvenlik
- görmek
- tohum
- seçmek
- kıdemli
- vermektedir
- hizmet
- Hizmetler
- Setleri
- ayar
- ayarlar
- kurulum
- birkaç
- o
- meli
- şov
- benzer
- Basit
- basitleştirilmiş
- basitleştirilmesi
- Yazılım
- yazılım geliştirme
- çözüm
- Çözümler
- biraz
- bir şey
- Kaynak
- kaynak kodu
- gerginlik
- özel
- özellikle
- harcanmış
- Yığınları
- Personel
- Aşama
- aşamaları
- sahneleme
- standartlar
- başlama
- XNUMX dakika içinde!
- Durum
- adım
- Basamaklar
- hafızası
- mağaza
- saklı
- mağaza
- depolamak
- basit
- kolaylaştırmak
- düzene
- stüdyo
- Ders çalışma
- sonraki
- Başarılı olarak
- böyle
- yeterli
- süit
- elbette
- sistem
- Sistemler
- TAG
- takım
- Takım üyeleri
- takım
- Teknolojileri
- şablon
- şablonları
- test edilmiş
- Test yapmak
- o
- The
- Kaynak
- ve bazı Asya
- sonra
- bu nedenle
- Bunlar
- onlar
- Üçüncü
- üçüncü şahıslara ait
- Re-Tweet
- Bu
- İçinden
- boyunca
- için
- birlikte
- simge
- araç
- araçlar
- üst
- iz
- Takip
- eğitilmiş
- Eğitim
- Dönüştürmek
- dönüştürücü
- tetikleyebilir
- tetiklenir
- iki
- tip
- türleri
- altında
- anlamak
- anlayış
- benzersiz
- Güncelleme
- Yüklenen
- üzerine
- us
- kullanım
- Kullanılmış
- kullanıcı
- kullanıcılar
- kullanma
- kullanmak
- kullanılan
- DOĞRULA
- onaylama
- değer
- çeşitli
- versiyon
- sürümler
- üzerinden
- Sanal
- Türkiye Dental Sosyal Medya Hesaplarından bizi takip edebilirsiniz.
- yürüdü
- istemek
- we
- ağ
- web hizmetleri
- Web tabanlı
- Web sitesi
- Ne
- ne zaman
- hangi
- süre
- irade
- pencereler
- ile
- içinde
- İş
- birlikte çalışmak
- iş akışı
- iş akışları
- olur
- yıl
- Sen
- zefirnet
- zip