Kurumsal işletmeler, kuruluşlarında makine öğrenimini (ML) benimserken, makine öğrenimi modellerini oluşturmaya, eğitmeye ve dağıtmaya yönelik manuel iş akışları, inovasyonun önündeki darboğazlara dönüşme eğilimindedir. Bunun üstesinden gelmek için kuruluşların veri bilimcileri, veri mühendisleri, makine öğrenimi mühendisleri, BT ve iş paydaşları gibi birden çok kişinin nasıl işbirliği yapması ve etkileşimde bulunması gerektiğini tanımlayan net bir işletim modeli oluşturması gerekir; endişelerin, sorumlulukların ve becerilerin nasıl ayrılacağı; ve AWS hizmetlerinin en iyi şekilde nasıl kullanılacağı. Makine öğrenimi ve operasyonların (MLOps) bu birleşimi, şirketlerin uçtan uca makine öğrenimi yaşam döngülerini düzene sokmalarına ve yüksek model doğruluğunu korurken ve güvenlik ve uyumluluğu geliştirirken veri bilimcilerinin üretkenliğini artırmalarına yardımcı oluyor.
Bu gönderide, bir MLOps temeli oluşturmanın temel aşamalarını, birden çok kişinin bu temel üzerinde nasıl birlikte çalıştığını ve bu temel üzerinde nasıl çalıştığını öğreneceksiniz. Amazon Adaçayı Yapıcı Bir kurumsal işletme genelinde makine öğreniminin benimsenmesini hızlandırabilen amaca yönelik araçlar ve diğer AWS hizmetleriyle yerleşik entegrasyonlar.
MLOps olgunluk modeli
Kurumsal müşterilerin operasyonlarını, insanlarını ve teknoloji ihtiyaçlarını karşılayabilecek bir MLOps temeli oluşturmak zordur. Bu nedenle, MLOps'un gerekli yeteneklerini dört temel aşamada tanımlayan aşağıdaki olgunluk modelini tanımlıyoruz.
- Başlangıç aşaması: Bu aşamada veri bilimcileri, SageMaker hizmetlerini kullanarak AWS'de modelleri deneyebilir, oluşturabilir, eğitebilir ve dağıtabilir. Önerilen geliştirme ortamı Amazon SageMaker Stüdyosu, veri bilimcilerin Studio not defterlerine dayalı olarak deneyler ve işbirliği yapabildikleri.
- tekrarlanabilir aşama – AWS üzerinde deneme yapma yeteneğiyle bir sonraki adım, verileri önceden işlemek ve modeller oluşturmak ve eğitmek (ML ardışık düzenleri) için otomatik iş akışları oluşturmaktır. Veri bilimcileri, güçlü ve üretime hazır algoritmalar ve kaynak kodu oluşturmak için makine öğrenimi mühendisleriyle ayrı bir ortamda işbirliği yapıyor. Amazon SageMaker Ardışık Düzenleri. Oluşturulan modeller, Amazon SageMaker model kayıt defterinde depolanır ve karşılaştırılır.
- Güvenilir aşama – Modeller ML ardışık düzenleri aracılığıyla oluşturulmuş olsa da, üretime terfi ettirilmeden önce test edilmeleri gerekir. Bu nedenle, bu aşamada, hem model hem de tetikleme altyapısı için, üretimi simüle eden yalıtılmış bir aşamalandırma (üretim öncesi) ortamında otomatik test metodolojisi tanıtılır. Testin başarılı bir şekilde çalıştırılmasından sonra modeller, yalıtılmış üretim ortamına dağıtılır. Modelleri çoklu ortamlar arasında tanıtmak için manuel değerlendirme ve onaylar gereklidir.
- ölçeklenebilir aşama – İlk makine öğrenimi çözümünün üretilmesinden sonra, çok sayıda veri bilimi ekibinin işbirliği yapması ve onlarca veya yüzlerce makine öğrenimi kullanım senaryosu üretmesini desteklemek için MLOps temelinin ölçeklendirilmesi gereklidir. Bu aşamada, yeni üretim çözümlerinin geliştirme süresini haftalardan günlere indirerek değere hız kazandıran çözümlerin şablonlaştırılmasını tanıtıyoruz. Ayrıca, BT'ye olan bağımlılığı ve ek yükü azaltarak birden fazla ekibin verileri üzerinde çalışmasına olanak sağlamak için güvenli MLOps ortamlarının somutlaştırılmasını otomatik hale getiriyoruz.
Aşağıdaki bölümlerde, önceki olgunluk modeline ve aşağıdaki ilkelere dayalı olarak bir MLOps temeli oluşturmayı gösteriyoruz:
- Esneklik – Veri bilimcileri herhangi bir çerçeveyi barındırabilir (TensorFlow veya PyTorch gibi)
- Yeniden üretilebilirlik – Veri bilimcileri geçmiş deneyleri (kod, veri ve sonuçlar) yeniden oluşturabilir veya gözlemleyebilir
- Reus yeteneği – Veri bilimcileri ve ML mühendisleri, tutarsızlıklardan ve maliyetten kaçınarak kaynak kodunu ve ML ardışık düzenlerini yeniden kullanabilir
- ölçeklenebilirlik – Veri bilimcileri ve makine öğrenimi mühendisleri, kaynakları ve hizmetleri talep üzerine ölçeklendirebilir
- Denetlenebilirliğin – Veri bilimcileri, BT ve hukuk departmanları, yapıtların ve verilerin günlüklerini, sürümlerini ve bağımlılıklarını denetleyebilir
- Tutarlılık – MLOps birden çok ortamdan oluştuğundan, temelin ortamlar arasındaki farkı ortadan kaldırması gerekir
İlk aşama
İlk aşamada amaç, veri bilimcinin, ML'nin belirli bir iş sorununu çözebileceğini kanıtlamak için SageMaker not defterlerini kullanarak verilerin ve deneylerin anlık görüntülerini aldığı güvenli bir deney ortamı oluşturmaktır. Bunu başarmak için VPC uç noktaları aracılığıyla hizmetlere özel erişime sahip bir Studio ortamı önerilir. Referans mimarisinin kaynak kodu, SageMaker ekibi tarafından web sitesinde sağlanan örneklerde mevcuttur. Amazon SageMaker Studio Referans Mimarisi ile Güvenli Veri Bilimi GitHub deposu.
Veri bilimcileri, SageMaker hizmetlerine ek olarak, verileri işlemek için aşağıdakiler gibi başka hizmetleri de kullanabilir: Amazon EMR'si, Amazon Atina, ve AWS Tutkal, içinde depolanan ve sürümlenen dizüstü bilgisayarlar ile AWS CodeCommit depolar (aşağıdaki şekle bakın).
tekrarlanabilir aşama
Veri bilimcileri, makine öğreniminin iş sorununu çözebileceğini kanıtladıktan ve SageMaker deneyi, eğitimi ve modellerin dağıtımına aşina olduktan sonraki adım, makine öğrenimi çözümünü üretmeye başlamaktır. Aşağıdaki şekil bu mimariyi göstermektedir.
Bu aşamada, endişenin ayrılması gereklidir. Ortamı birden çok AWS hesabına böldük:
- veri gölü – Alınan tüm verileri şirket içinden (veya diğer sistemlerden) bulutta depolar. Veri mühendisleri, birden çok veri kaynağını birleştirerek ayıklama, dönüştürme ve yükleme (ETL) işlem hatları oluşturabilir ve makine öğrenimi kullanım durumları için gerekli veri kümelerini hazırlayabilir. Veriler, AWS Glue Veri Kataloğu aracılığıyla kataloglanır ve diğer kullanıcılar ve hesaplarla şu şekilde paylaşılır: AWS Göl Oluşumu (veri yönetişimi katmanı). Aynı hesapta, Amazon SageMaker Özellik Mağazası barındırılabilir, ancak bu gönderiyi ele almıyoruz. Daha fazla bilgi için bkz. Amazon SageMaker Feature Store'u kullanarak hesaplar ve ekipler arasında özelliklerin yeniden kullanımını etkinleştirin.
- deneme – Veri bilimcilerinin araştırmalarını yürütmelerini sağlar. Tek fark, veri anlık görüntülerinin kaynağının veri gölü olmasıdır. Veri bilimcileri, yalnızca GDPR veya diğer veri gizliliği kısıtlamaları durumunda anonimleştirilebilen belirli veri kümelerine erişebilir. Ayrıca, deney hesabının, veri bilimcilerinin yeni veri bilimi çerçevelerini veya üçüncü taraf açık kaynak kitaplıklarını kullanmasını sağlamak için internete erişimi olabilir. Bu nedenle, deneme hesabı üretim dışı ortamın bir parçası olarak kabul edilir.
- Geliştirme (geliştirme) – Üretim ortamının ilk aşaması. Veri bilimcileri, not defterlerinden otomatik iş akışları ve SageMaker Pipelines dünyasına geçiyor. Kodlarını soyutlamak ve test, hata işleme ve kod kalitesinin kapsamını sağlamak için makine öğrenimi mühendisleriyle işbirliği yapmaları gerekir. Amaç, modelleri önceden işleyen, eğiten, değerlendiren ve SageMaker model kayıt defterine kaydeden otomatik iş akışları olan ML işlem hatları geliştirmektir. ML ardışık düzenlerinin konuşlandırılması yalnızca CI/CD ardışık düzenleri aracılığıyla yürütülür ve AWS Yönetim Konsolu kısıtlıdır. ML ardışık düzeninin veri gölündeki üretim verilerine erişimi olduğundan (salt okunur) İnternet bağlantısına izin verilmiyor.
- Takım (veya otomasyon) – CodeCommit depolarını barındırır, AWS Kod Ardışık Düzeni Özel kapsayıcıları barındırmak için CI/CD işlem hatları, SageMaker model kayıt defteri ve Amazon ECR. Veri gölü, veriler için tek doğruluk noktası olduğundan, araç hesabı kod, kapsayıcılar ve üretilen yapay nesneler içindir.
Bu hesap adlandırma kuralının ve çoklu hesap stratejisinin iş gereksinimlerinize bağlı olarak değişebileceğini, ancak bu yapının önerilen yalıtım düzeylerini göstermesi amaçlandığını unutmayın. Örneğin, geliştirme hesabını model eğitimi veya yapı hesabı olarak yeniden adlandırabilirsiniz.
Otomatik dağıtım elde etmek için, not defterlerinden makine öğrenimi ardışık düzenlerine nasıl geçileceğini anlamak ve aşağıdaki bölümlerde tartışacağımız kod havuzlarını ve veri yapısını standartlaştırmak önemlidir.
Not defterlerinden ML ardışık düzenlerine
Geliştirme ortamının amacı, not defterlerindeki kodu yeniden yapılandırmak, büyütmek, iyileştirmek ve ölçeklendirmek ve onu ML ardışık düzenlerine taşımaktır. ML işlem hattı, verilerin ön işlenmesinden, modellerin eğitilmesinden veya kullanılmasından ve sonuçların sonradan işlenmesinden sorumlu olan bir dizi adımdır. Her adım tam olarak bir görevi (belirli bir dönüşüm) gerçekleştirmeli ve yeniden kullanılabilirliği sağlamak için yeterince soyut olmalıdır (örneğin, sütun adlarını giriş parametreleri olarak iletin). Aşağıdaki diyagram örnek bir boru hattını göstermektedir.
ML işlem hatlarını uygulamak için veri bilimciler (veya ML mühendisleri) SageMaker Pipelines'ı kullanır. Bir SageMaker işlem hattı, bir Python SDK kullanılarak bir JSON işlem hattı tanımıyla tanımlanan bir dizi birbirine bağlı adımdır (SageMaker işleme işleri, eğitim, HPO). Bu işlem hattı tanımı, Yönlendirilmiş Döngüsel Grafik (DAG) kullanarak bir işlem hattını kodlar. Bu DAG, ML ardışık düzeninizin her adımı için gereksinimler ve bunlar arasındaki ilişkiler hakkında bilgi verir.
Kullanım durumuna bağlı olarak, ML ardışık düzenini iki ana türe ayırabilirsiniz: eğitim ve toplu çıkarım.
Aşağıdaki şekil, eğitim ML ardışık düzeni akışını gösterir.
Ön işleme aşaması birden fazla adımdan oluşabilir. Yaygın veri bilimi dönüşümleri, veri bölme ve örnekleme (tren, doğrulama, test seti), tek-sıcak kodlama veya vektörleştirme, gruplama ve ölçeklemedir. Model eğitimi adımı, veri bilimcisi en iyi model yapılandırmasının farkındaysa tek bir eğitim işi veya AWS'nin model için en iyi hiperparametreleri tanımladığı (Bayes yöntemi) ve ilgili verileri ürettiği bir hiperparametre optimizasyonu (HPO) işi olabilir. model eser. Değerlendirme adımında, üretilen model artefaktı doğrulama veri kümesine çıkarım yapmak için kullanılır. Ardından ML ardışık düzeni, üretilen doğruluk metriklerinin (F1, kesinlik ve kazanç ondalıkları gibi) gerekli eşikleri geçip geçmediğini kontrol eder. Bu adım başarılı olursa, model yapıtları ve meta veriler, üretim için model kayıt defterine taşınır. Dışa aktarma temel adımının istismar edildiğini unutmayın. Amazon SageMaker Model Monitörü daha sonra model kayması algılaması için kullanılan ve model meta verileri olarak SageMaker model kayıt defterinde barındırılabilen istatistiklere sahip bir JSON nesnesi üretme.
Toplu çıkarım durumunda, veri bilimcileri aşağıdaki şekilde gösterildiği gibi benzer işlem hatları oluşturabilir.
Toplu çıkarımın ön işleme adımı, genellikle veri örneklemesini ve kesinlik sütununu hariç tutarak eğitimle aynıdır. Toplu çıkarım, ilgili uç noktaya çıkarım için verileri toplu olarak gönderen adımdır ve aşağıdakiler kullanılarak uygulanabilir: toplu dönüştürme. İşlem sonrası adım, sonuç dağıtımı gibi ek istatistikler üretir veya sonuçları harici kimliklerle birleştirir. Ardından, bir model izleme adımı, eğitim için kullanılan verilerin temel istatistiklerini (model kayıt defterindeki model JSON meta verileri) çıkarım için yeni gelen verilerle karşılaştırabilir.
Veri bilimcileri, SageMaker model kayıt defterinde depolanabilecek işlem hattı modelleri oluşturuyorsa, ön işleme adımlarını atlayabilirsiniz. Daha fazla ayrıntı için, bkz. Bir uç noktanın arkasında seri çıkarım ardışık düzeni olarak ön işleme mantığıyla birlikte ana bilgisayar modelleri.
Depoları standartlaştırmak
Veri bilimcileri ve makine öğrenimi mühendisleri arasındaki işbirliğini sağlamak için kod deposu yapısının standardizasyonu gereklidir. Ayrıca standardizasyon, otomatik doğrulama, oluşturma (özel konteyner oluşturma gibi) ve test adımlarının dahil edilmesini sağlayarak CI/CD işlem hattı yapısı için faydalıdır.
Aşağıdaki örnek, ML çözümlerinin iki havuza ayrılmasını göstermektedir: eğitim (ve isteğe bağlı olarak ardışık düzen modeli) için bir oluşturma ve eğitim havuzu ve toplu çıkarım ardışık düzen modellerini teşvik etmek veya gerçek zamanlı uç noktaları başlatmak için dağıtım:
Bina/Eğitim Deposu
Dağıtım Deposu
Bina ve eğitim deposu üç ana klasöre ayrılmıştır:
- Algoritmalar – Veri bilimcileri, algoritma kök klasöründeki ML işlem hatlarının her adımı için kod geliştirir. Adımlar ön işleme, eğitim, toplu çıkarım ve son işleme (değerlendirme) olarak gruplandırılabilir. Her grupta, birim testleri (isteğe bağlı girişler ve çıkışlar dahil), ana işlevler, benioku ve özel bir kap ihtiyacı olması durumunda bir Docker dosyası için bir klasör içeren ilgili alt klasörlerde birden fazla adım tanımlanabilir. Ana dosyaya ek olarak, aynı klasörde birden fazla kod dosyası barındırılabilir. Tüm adımlar için ortak yardımcı kitaplıklar, paylaşılan bir kitaplık klasöründe barındırılabilir. Adımların mantığına sahip oldukları için birim testlerinin geliştirilmesinden veri bilimciler sorumludur ve ML mühendisleri hata işleme geliştirme ve test kapsamı önerisinden sorumludur. CI/CD ardışık düzeni, testleri çalıştırmaktan, kapsayıcıları otomatik olarak oluşturmaktan (gerekirse) ve birden çok kaynak kodu dosyasını paketlemekten sorumludur.
- ML ardışık düzenleri – Her adımın kaynak kodunu ve testlerini geliştirdikten sonraki adım, SageMaker ardışık düzenlerini başka bir kök klasörde tanımlamaktır. Her ML ardışık düzen tanımı, hiper parametre aralıkları gibi giriş parametreleri için .py dosyasını ve bir JSON veya .yaml dosyasını içeren alt klasöre yerleştirilir. ML işlem hatlarını açıklamak için bir benioku dosyası gereklidir.
- Defterler – Bu klasör, veri bilimcinin deney sırasında kullandığı kaynak not defterlerini barındırır.
Dağıtım deposu üç ana bölümden oluşur:
- çıkarım yapılandırması – Örnek türleri gibi geliştirme ortamı başına gerçek zamanlı uç noktaların yapılandırmasını veya toplu çıkarımı içerir.
- Uygulama altyapısı – Gerekirse çıkarımı çalıştırmak için gerekli altyapının kaynak kodunu barındırır. Bu, aracılığıyla tetikleyici bir mekanizma olabilir. Amazon EventBridge, Amazon API Ağ Geçidi, AWS Lambda işlevler veya SageMaker Pipelines.
- Testler – Müşteri test metodolojisine bağlı olarak birden çok alt klasörden oluşur. Minimum test seti olarak, bir entegrasyon testi (uygulama altyapısı dahil çıkarımın uçtan uca çalıştırılması), stres testi (uç durumları inceleyin) ve ML testleri (güven puanlarının veya olasılıkların dağılımı gibi) öneriyoruz.
Bir CI/CD ardışık düzeni, bina ve eğitim deposunda değişiklikler gerçekleştirerek depo yapısını doğrulamaktan, testleri yapmaktan ve ML işlem hatlarını dağıtmaktan ve çalıştırmaktan sorumludur. Aşağıdaki bölümde inceleyeceğimiz modellerin tanıtılmasından farklı bir CI/CD ardışık düzeni sorumludur.
Depo dallanmasını ve CI/CD'yi standartlaştırma
Geliştirme hesabındaki ML ardışık düzenlerinin sağlamlığını sağlamak için, dağıtım yalnızca CI/CD ardışık düzenleri aracılığıyla gerçekleştirilirken çok dallı bir havuz stratejisi önerilir. Veri bilimcileri, yeni işlevlerini (kaynak kodu) geliştirmek için bir özellik dalı kullanmalıdır. İlgili ML işlem hatlarını dağıtmaya hazır olduklarında, bunu geliştirme şubesine gönderebilirler. Bu yaklaşıma bir alternatif, özellik dalı başına ML işlem hatlarının dağıtımına izin vermektir. Daha fazla bilgi için bkz. AWS'yi kullanarak çok şubeli bir eğitim MLOps ardışık düzeniyle veri bilimi iş akışınızı iyileştirin.
Aşağıdaki şekil, ML işlem hattı ve model oluşturma için geliştirme ortamında çalıştırdığımız dallanma stratejisini ve gerekli CI/CD işlem hattı adımlarını gösterir.
Çok şubeli yaklaşımın kod örneği şurada mevcuttur: Çok Şubeli MLOps eğitim hattı. Özellik dalı tabanlı bir ML işlem hattı tarafından üretilen modelleri ayrı bir özellik model grubunda depolayabilir ve ana dal ile bir birleştirme isteği sırasında bunları devre dışı bırakabiliriz. Ana model grubundaki modeller üretime terfi eden modellerdir.
Veri yapısını standartlaştırma
Kaynak kodu standardizasyonu için eşit derecede önemli olan, veri bilimcilerin ve ML mühendislerinin modellerin ve ML işlem hatlarının kökenini ve geçmişini hata ayıklamasına, denetlemesine ve izlemesine olanak tanıyan verilerin yapı standardizasyonudur. Aşağıdaki diyagram böyle bir örneği göstermektedir.
Basitlik için, giriş geçmiş verilerinin, giriş alt anahtarının altındaki geliştirme hesabının bir kovasına düştüğünü varsayalım (normalde bu, veri gölünde bulunur). Her ML kullanım durumu için ayrı bir alt anahtarın oluşturulması gerekir. Çalıştırılacak yeni bir ML işlem hattını tetiklemek için veri bilimcisi, CI/CD işlem hattını tetikleyen bir git commit ve push gerçekleştirmelidir. Daha sonra CI/CD ardışık düzeni, kod yapılarını kopyalayarak bir alt anahtar oluşturur ( code
alt anahtar) ve giriş verileri ( input
alt anahtar) yapı kimliğinin bir alt bölümü altında. Örnek olarak, yapı kimliği cbir tarih-saat ve git hash kombinasyonu veya bir SageMaker ardışık düzen çalıştırma kimliği olabilir. Bu yapı, veri bilimcisinin geçmiş dağıtımları ve çalıştırmaları denetlemesini ve sorgulamasını sağlar. Bundan sonra, CI/CD işlem hattı, ML işlem hattını dağıtır ve tetikler. ML ardışık düzeni çalışırken, her adım ara sonuçları dışa aktarır. ml-pipeline-outputs
. Farklı özellik dallarının ML Pipeline'ın yeni bir örneğini dağıttığını ve çalıştırdığını ve her birinin ara sonuçları yeni bir alt anahtar ve/veya aşağıdakileri içeren standartlaştırılmış bir önek veya sonek ile farklı alt klasöre aktarması gerektiğini unutmamak önemlidir. özellik şube kimliği.
Bu yaklaşım, her deneyin eksiksiz denetlenebilirliğini destekler. Ancak, geliştirme stratejisinin çok dallı yaklaşımı büyük miktarda veri üretir. Bu nedenle, bir veri yaşam döngüsü stratejisi gereklidir. Her başarılı çekme/birleştirme isteğinde en azından her bir özellik dalı ML ardışık düzeninin verilerini silmenizi öneririz. Ancak bu, işletmenizin desteklemesi gereken işletim modeline ve denetim ayrıntı düzeyine bağlıdır. Toplu çıkarım ML işlem hatlarında benzer bir yaklaşım kullanabilirsiniz.
Güvenilir aşama
Birden çok hesap kullanarak veri bilimcileri, makine öğrenimi mühendisleri ve veri mühendisleri arasındaki endişelerin ilk olarak ayrılmasından sonra, bir sonraki adım, üretilen modelleri model kayıt defterinden çıkarım gerçekleştirmek için yalıtılmış bir ortama yükseltmektir. Ancak, dağıtılan modellerin sağlamlığını sağlamamız gerekiyor. Bu nedenle, konuşlandırılan modelin bir ayna üretim ortamına simülasyonu, yani üretim öncesi (veya aşamalandırma) zorunludur.
Aşağıdaki şekil bu mimariyi göstermektedir.
Üretim öncesi ortamda bir model ve uç nokta dağıtımının tanıtımı, EventBridge olayları kullanılarak ayrı bir CI/CD ardışık düzenini tetikleyen model kayıt durumu güncelleme olayları (veya dağıtım deposunda git push) kullanılarak gerçekleştirilir. CI/CD ardışık düzeninin ilk adımı, lider veri bilimcisi (ve isteğe bağlı olarak ürün sahibi, iş analisti veya diğer lider veri bilimcileri) tarafından manuel bir onay ister. Onaylayanın, dağıtım havuzundaki modelin performans KPI'larını ve kodun KG'sini doğrulaması gerekir. Onaydan sonra, CI/CD ardışık düzeni, test kodunu dağıtım havuzuna çalıştırır (entegrasyon testi, stres testi, ML testi). Model uç noktasına ek olarak CI/CD, EventBridge, Lambda işlevleri veya API Gateway gibi tetikleme altyapısını da test eder. Aşağıdaki diyagram bu güncellenmiş mimariyi göstermektedir.
Testlerin başarılı bir şekilde çalıştırılmasından sonra, CI/CD ardışık düzeni yeni (veya aynı) onaylayanlara bir modelin üretime yükseltilmeye hazır olduğunu bildirir. Bu aşamada iş analisti, modelin sonuçları üzerinde bazı ek istatistiksel hipotez testleri yapmak isteyebilir. Onayın ardından modeller ve tetikleme altyapısı üretime alınır. SageMaker tarafından mavi/yeşil, Canary ve A/B testi gibi birden çok dağıtım yöntemi desteklenir (daha fazla bilgi için bkz. Dağıtım korkulukları). CI/CD ardışık düzeni başarısız olursa, bir geri alma mekanizması sistemi en son sağlam duruma döndürür.
Aşağıdaki şema, API Gateway, Lambda işlevleri ve EventBridge gibi bir modeli ve model uç noktasını tetikleyecek altyapıyı teşvik etmek için CI/CD ardışık düzeninin ana adımlarını gösterir.
Veri gölü ve MLOps entegrasyonu
Bu noktada, geliştirme aşaması veya hesap başına veri gereksinimlerini ve MLO'ları merkezi bir veri gölüyle birleştirmenin yolunu anlamak önemlidir. Aşağıdaki şema, MLOp'ları ve veri gölü katmanlarını göstermektedir.
Veri gölünde, veri mühendisleri, ETL oluşturarak makine öğrenimi kullanım durumları için birden çok veri kaynağını birleştirmek ve ilgili veri kümelerini (örneğin, yapı verilerinin tek bir tablosu veya PDF dosyaları veya görüntüleri içeren tek bir klasör) oluşturmaktan sorumludur. veri bilimcileri tarafından tanımlandığı şekilde boru hatları (keşif veri analizi aşamasında). Bu veri kümeleri, çıkarım ve test için geçmiş verilere ve verilere ayrılabilir. Tüm veriler kataloğa alınır (örneğin, AWS Glue Data Catalog ile) ve veri yönetişim katmanı olarak Lake Formation kullanılarak (yapılandırılmış veriler için) diğer hesaplar ve kullanıcılarla paylaşılabilir. Bu yazı itibariyle Lake Formation yalnızca Athena sorguları, AWS Glue işleri ve Amazon EMR ile uyumludur.
Öte yandan, MLOps ortamının, geliştirme, üretim öncesi ve üretimdeki yerel paketlerde bulunan belirli veri kümeleriyle ML işlem hatlarını sulaması gerekir. Geliştirme ortamı, veri gölünden veri çeken SageMaker ardışık düzenlerini kullanarak talep üzerine modelleri oluşturmaktan ve eğitmekten sorumludur. Bu nedenle, işlem hattının ilk adımı olarak, yalnızca veri örnekleme ve sorgulamanın gerekli olduğu bir Athena adımına veya daha karmaşık dönüşümler gerekiyorsa bir Amazon EMR adımına sahip olmanızı öneririz. Alternatif olarak, bir geri arama adımı aracılığıyla bir AWS Glue işini kullanabilirsiniz, ancak SageMaker Pipelines ile henüz yerel bir adım olarak kullanamazsınız.
Pre-prod ve prod, gerçek zamanlı ve toplu çıkarımların test edilmesinden veya yürütülmesinden sorumludur. Gerçek zamanlı çıkarım durumunda, MLOps üretim öncesi ve ürün hesaplarına veri göndermek gerekli değildir, çünkü çıkarım girişi API Ağ Geçidi isteğinin yüküne binebilir. Toplu çıkarım (veya büyük boyutlu girdi verileri) durumunda, test verileri veya çıkarım için veriler gibi gerekli veri kümelerinin yerel ML veri gruplarına (üretim öncesi veya üretim öncesi) inmesi gerekir. Verileri ön üretime ve ürüne taşımak için iki seçeneğiniz vardır: Athena veya Amazon EMR'yi tetikleyerek ve veri gölünden veri çekerek ya da veri gölünden bu MLOps hesaplarına veri göndererek. İlk seçenek, MLOps hesaplarında ek mekanizmaların geliştirilmesini gerektirir; örneğin, zamanlanmış EventBridge olayları oluşturma (veri gölündeki verilerin güncellenip güncellenmediğini bilmeden) veya veri gölündeki S3 EventBridge olaylarına veri üzerine varış (için daha fazla ayrıntı, bkz. Amazon EventBridge kaynak ilkeleriyle hesaplar arası erişimi basitleştirme). Olayı MLOps tarafında yakaladıktan sonra, bir Athena sorgusu veya Amazon EMR verileri yerel olarak getirebilir ve tetikleyebilir asenkron çıkarım or toplu dönüştürme. Bu, basitlik için bir SageMaker ardışık düzenine sarılabilir. İkinci seçenek, ETL ardışık düzeninin son adımında MLOps kovalarına veri gönderme işlevselliğini eklemektir. Ancak bu yaklaşım, sorumlulukları karıştırır (veri gölü çıkarımı tetikler) ve Lake Formation'ın MLOps kovalarına yazmak için veri gölüne erişim sağlamasını gerektirir.
Son adım, çıkarım sonuçlarını veri gölüne geri taşımaktır. Verileri kataloglamak ve diğer kullanıcıların kullanımına sunmak için veriler, açılış paketine yeni bir veri kaynağı olarak geri dönmelidir.
Ölçeklenebilir Aşama
MLOps temelinin geliştirilmesinden ve ilk makine öğrenimi kullanım senaryosunun uçtan uca üretilmesinden sonra geliştirme, ön üretim, ürün ve veri havuzu altyapısı, CI/CD ardışık düzeni ve veri yapısı test edildi ve sonuçlandırıldı . Bir sonraki adım, platforma yeni ML kullanım senaryoları ve ekipleri eklemektir. Hızdan değer elde edilmesini sağlamak için SageMaker, şablon havuzlarını ve CI/CD işlem hatlarını otomatik olarak başlatmak için kullanabileceğiniz özel SageMaker proje şablonları oluşturmanıza olanak tanır. Bu tür SageMaker proje şablonlarıyla, önde gelen veri bilimcileri, yeni projeleri somutlaştırmaktan ve her yeni ML kullanım senaryosu için özel bir ekip tahsis etmekten sorumludur.
Aşağıdaki diyagram bu işlemi göstermektedir.
Farklı veri bilimcisi ekiplerinin (veya ML üretmesi gereken birden çok iş biriminin) farklı gizli verilere erişimi varsa ve modellerin eğitimi, dağıtımı ve çalıştırılması için ayrı bir fatura ödemekten birden çok ürün sahibi sorumluysa sorun daha karmaşık hale gelir. . Bu nedenle, ekip başına ayrı bir MLOps hesabı (deneme, geliştirme, ön üretim ve üretim) gereklidir. Yeni MLOps hesaplarının kolayca oluşturulmasını sağlamak için, BT üyelerinin erişebildiği ve talep üzerine MLOps hesaplarını kataloglamasına, somutlaştırmasına veya kullanımdan kaldırmasına olanak tanıyan gelişmiş analitik yönetişim hesabı olan başka bir hesap sunuyoruz. Spesifik olarak, bu hesap, MLOps hesaplarının (VPC, alt ağlar, uç noktalar, paketler, AWS Kimlik ve Erişim Yönetimi (IAM) rolleri ve politikaları, AWS CloudFormation yığınlar), bir AWS Hizmet Kataloğu Altyapının CloudFormation yığınlarını tek tıklamayla birden çok hesaba otomatik olarak dağıtmak için ürün ve Amazon DinamoDB Her bir hesap grubundan hangi takımın sorumlu olduğu gibi meta verileri kataloglamak için tablo. Bu yetenekle BT ekibi, talep üzerine MLOps hesaplarını başlatır ve gerekli kullanıcıları, hesap başına veri erişimini ve tutarlı güvenlik kısıtlamalarını tahsis eder.
Bu senaryodan yola çıkarak hesapları geçici ve dayanıklı olarak ayırıyoruz. Data lake ve tooling dayanıklı hesaplardır ve sırasıyla veri ve kaynak kodu için tek bir doğruluk noktası rolünü oynarlar. MLOps hesapları çoğunlukla durumsuzdur ve talep üzerine somutlaştırılabilir veya kullanımdan kaldırılabilir, bu da onları geçici hale getirir. Bir dizi MLOps hesabı devre dışı bırakılsa bile, kullanıcılar veya denetçiler, dayanıklı ortamlarda depolandıkları için geçmiş deneyleri ve sonuçları kontrol edebilir.
MLO'lar için Studio UI'yi kullanmak istiyorsanız, takım hesabı, aşağıdaki şekle göre geliştirme hesabının bir parçasıdır.
Kullanıcı MLO'lar için Sagemaker Studio UI'yi kullanmak isterse, takım hesabı geliştirmenin bir parçasıdır.
Yukarıdaki şekle göre hesap. Bu MLOP temelinin örnek kaynak kodu şurada bulunabilir:
CDK'ye dayalı güvenli çok hesaplı MLOps temeli.
Sagemaker'ın CodeCommit ve CodePipeline'ı GitHub ve Jenkins gibi diğer üçüncü taraf geliştirme araçlarıyla değiştirme yeteneği sağladığını unutmayın (daha fazla ayrıntı şurada bulunabilir: Amazon SageMaker projeleri oluşturun üçüncü taraf kaynak denetimi ve Jenkins kullanma ve Amazon SageMaker Projeleri MLO'ları GitLab ve GitLab Pipelines ile Şablon).
Kişiler, operasyonlar ve teknoloji özeti
MLOps olgunluk modeli ile net bir mimari tasarım ve teslimat yol haritası tanımlayabiliriz. Bununla birlikte, her bir kişinin, etkileşimde bulunacak ve yürütülecek operasyonlar için önemli AWS hesapları ve hizmetleri hakkında net bir görüşe sahip olması gerekir. Aşağıdaki diyagram bu kategorileri özetlemektedir.
Sonuç
Birden çok kişi ve teknoloji arasındaki etkileşimi açıkça tanımlayan sağlam bir MLOps temeli, değere ulaşma hızını artırabilir ve maliyeti azaltabilir ve veri bilimcilerinin yeniliklere odaklanmasını sağlayabilir. Bu gönderide, işletme için sorunsuz bir MLOps olgunluk modeline ve üretimde birden fazla veri bilimi ekibini ve ML kullanım durumlarını destekleme becerisine yol açan böyle bir temelin aşamalar halinde nasıl oluşturulacağını gösterdik. Birden fazla beceri ve sorumluluğa sahip birden fazla kişiden oluşan bir çalışma modeli tanımladık. Son olarak, kurumsal ortamlar için kod geliştirmenin (depolar ve CI/CD işlem hatları), veri depolama ve paylaşmanın ve MLOps güvenli altyapı sağlamanın nasıl standartlaştırılacağına ilişkin örnekleri paylaştık. Birçok kurumsal müşteri bu yaklaşımı benimsemiştir ve makine öğrenimi çözümlerini aylar yerine günler içinde üretebilmektedir.
Herhangi bir yorumunuz veya sorunuz varsa, lütfen bunları yorumlar bölümüne bırakın.
Yazar Hakkında
Dr. Sokratis Kartakis Amazon Web Servisleri için Kıdemli Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Sokratis, kurumsal müşterilerin AWS hizmetlerinden yararlanarak ve işletim modellerini, yani MLOps temellerini ve en iyi geliştirme uygulamalarından yararlanan dönüşüm yol haritasını şekillendirerek Makine Öğrenimi (ML) çözümlerini endüstriyelleştirmelerine odaklanıyor. Enerji, perakende, sağlık, finans/bankacılık, motor sporları vb. alanlarda yenilikçi uçtan uca üretim düzeyinde ML ve Nesnelerin İnterneti (IoT) çözümlerini icat etmek, tasarlamak, yönetmek ve uygulamak için 15 yıldan fazla zaman harcadı. Sokratis boş zamanlarını ailesi ve arkadaşlarıyla geçirmeyi veya motosiklet sürmeyi sever.
Georgios Şinas EMEA bölgesinde AI/ML için Uzman Çözüm Mimarıdır. Londra merkezlidir ve İngiltere ve İrlanda'daki müşterilerle yakın bir şekilde çalışmaktadır. Georgios, müşterilerin MLOps uygulamalarına özel bir ilgi duyarak AWS'de üretimde makine öğrenimi uygulamaları tasarlamasına ve dağıtmasına yardımcı olur ve müşterilerin büyük ölçekte makine öğrenimi gerçekleştirmesini sağlar. Boş zamanlarında seyahat etmekten, yemek yapmaktan ve arkadaşları ve ailesiyle vakit geçirmekten hoşlanır.
Giuseppe Angelo Porcelli Amazon Web Servisleri için Baş Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Birkaç yıllık yazılım mühendisliği ve makine öğrenimi geçmişiyle, her büyüklükteki müşteriyle iş ve teknik ihtiyaçlarını derinlemesine anlamak ve AWS Cloud ve Amazon Machine Learning yığınından en iyi şekilde yararlanan Yapay Zeka ve Makine Öğrenimi çözümleri tasarlamak için çalışır. MLOps, Computer Vision, NLP dahil olmak üzere farklı alanlarda ve çok çeşitli AWS hizmetlerini içeren projelerde çalıştı. Giuseppe boş zamanlarında futbol oynamayı sever.
Shelbee Eigenbrode Amazon Web Services'de (AWS) Baş Yapay Zeka ve Makine Öğrenimi Uzmanı Çözüm Mimarıdır. 24 yıldır birden fazla endüstriyi, teknolojiyi ve rolü kapsayan teknoloji içindedir. Şu anda müşterilerin makine öğrenimi iş yüklerini uygun ölçekte sunmasına ve yönetmesine yardımcı olmak için DevOps ve ML arka planını MLOps alanında birleştirmeye odaklanıyor. Çeşitli teknoloji alanlarında verilen 35'in üzerinde patentle, sürekli yenilik ve iş sonuçlarını yönlendirmek için verileri kullanma tutkusuna sahiptir. Shelbee, Coursera'daki Pratik Veri Bilimi uzmanlığının ortak yaratıcısı ve eğitmenidir. Aynı zamanda Women In Big Data (WiBD), Denver bölümünün Eş-Direktörüdür. Boş zamanlarında ailesi, arkadaşları ve aşırı aktif köpekleri ile vakit geçirmeyi sever.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/mlops-foundation-roadmap-for-enterprises-with-amazon-sagemaker/
- "
- 100
- a
- kabiliyet
- Hakkımızda
- ÖZET
- hızlandırmak
- erişim
- ulaşılabilir
- Karşılamak
- Hesap
- Başarmak
- karşısında
- ilave
- Ek
- Benimseme
- ileri
- karşı
- AI
- algoritmalar
- Türkiye
- veriyor
- alternatif
- Amazon
- Amazon Web Servisleri
- arasında
- miktar
- analiz
- analist
- analytics
- Başka
- api
- Uygulama
- uygulamaları
- yaklaşım
- mimari
- denetim
- otomatikleştirmek
- Otomatik
- otomatik olarak
- Otomasyon
- mevcut
- kaçınma
- AWS
- arka fon
- Temel
- Çünkü
- müşterimiz
- önce
- arkasında
- faydalı
- İYİ
- arasında
- büyük Veri
- Fatura
- artırmak
- inşa etmek
- bina
- yerleşik
- iş
- işletmeler
- yetenekleri
- dava
- durumlarda
- merkezi
- zor
- bölüm
- Çekler
- klasik
- bulut
- kod
- işbirliği yapmak
- işbirliği
- Sütun
- kombinasyon
- yorumlar
- işlemek
- ortak
- Şirketler
- uyumlu
- tamamlamak
- karmaşık
- uyma
- bilgisayar
- Davranış
- iletken
- güven
- yapılandırma
- bağ
- tutarlı
- Konteyner
- Konteynerler
- içeren
- kontrol
- kopyalama
- uyan
- olabilir
- kapak
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- Şu anda
- görenek
- müşteri
- Müşteriler
- veri
- veri erişim
- veri analizi
- veri gizliliği
- veri bilimi
- veri bilimcisi
- veri saklama
- Günler
- adanmış
- teslim
- Talep
- Denver
- bağlı
- bağlıdır
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- dağıtımları
- dağıtır
- tanımlamak
- Dizayn
- tasarım
- ayrıntılar
- Bulma
- dev
- geliştirmek
- gelişme
- Geliştirme araçları
- fark
- farklı
- tartışmak
- dağıtım
- liman işçisi
- domain
- etki
- sürücü
- tahrik
- sırasında
- her
- kenar
- gidermek
- kucaklamak
- etkinleştirmek
- sağlar
- etkinleştirme
- son uca
- Son nokta
- enerji
- Mühendislik
- Mühendisler
- kuruluş
- işletmelerin
- çevre
- vb
- değerlendirmek
- değerlendirme
- Etkinlikler
- olaylar
- kesinlikle
- örnek
- örnekler
- hariç
- deneme
- patlatır
- keşif
- aile
- Özellikler(Hazırlık aşamasında)
- şekil
- Nihayet
- Ad
- akış
- odak
- odaklanır
- odaklanma
- takip etme
- futbol
- oluşum
- bulundu
- vakıf
- Temeller
- iskelet
- çerçeveler
- Ücretsiz
- itibaren
- işlevsellik
- fonksiyonlar
- Ayrıca
- geçit
- KVKK
- oluşturulan
- Git
- GitHub
- gol
- yönetim
- verilmiş
- grup
- kullanma
- esrar
- Sağlık
- yardım et
- yardım
- yardımcı olur
- Yüksek
- tarihsel
- tarih
- ev sahipliği yaptı
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTTPS
- Yüzlerce
- Kimlik
- görüntüleri
- uygulamak
- uygulanan
- uygulanması
- önemli
- iyileştirmek
- içerir
- Dahil olmak üzere
- Artırmak
- Endüstri
- bilgi
- Altyapı
- Yenilikçilik
- yenilikler
- yenilikçi
- giriş
- örnek
- bütünleşme
- entegrasyonlar
- etkileşim
- faiz
- arayüzey
- Internet
- bir şeylerin interneti
- IOT
- İrlanda
- izolasyon
- IT
- İş
- Mesleki Öğretiler
- birleştirme
- Katıldı
- tutmak
- anahtar
- bilgi
- büyük
- son
- tabaka
- öncülük etmek
- önemli
- ÖĞRENİN
- öğrenme
- Ayrılmak
- Yasal Şartlar
- seviyeleri
- kaldıraç
- Kütüphane
- yük
- yerel
- lokal olarak
- London
- makine
- makine öğrenme
- yapmak
- Yapımı
- yönetmek
- yönetim
- zorunlu
- Manuel
- olgunluk
- mekanizma
- Üyeler
- gitmek
- metodoloji
- yöntemleri
- Metrikleri
- olabilir
- akla
- asgari
- ayna
- ML
- model
- modelleri
- izlemek
- ay
- Daha
- Motorsports
- hareket
- hareketli
- çoklu
- yani
- isimleri
- adlandırma
- gerekli
- ihtiyaçlar
- sonraki
- normalde
- işletmek
- işletme
- Operasyon
- optimizasyon
- seçenek
- Opsiyonlar
- sipariş
- organizasyonlar
- orijinal
- Diğer
- kendi
- sahip
- sahipleri
- Bölüm
- belirli
- Parti
- tutku
- Patentler
- İnsanlar
- performans
- icra
- faz
- platform
- OYNA
- oynama
- Lütfen
- Nokta
- politikaları
- Hazırlamak
- Anapara
- gizlilik
- Sorun
- süreç
- işleme
- Üretilmiş
- PLATFORM
- üretim
- verimlilik
- proje
- Projeler
- desteklemek
- tanıtım
- sağlamak
- sağlanan
- sağlar
- çeken
- kalite
- RE
- gerçek zaman
- azaltmak
- azaltarak
- bölge
- kayıt olmak
- İlişkiler
- güvenilir
- Depo
- talep
- isteklerinizi
- gereklidir
- Yer Alan Kurallar
- gerektirir
- araştırma
- kaynak
- Kaynaklar
- sorumlulukları
- sorumlu
- Sonuçlar
- perakende
- dönüş
- İade
- yol haritası
- sağlamlık
- Rol
- kök
- koşmak
- koşu
- aynı
- ölçeklenebilir
- ölçek
- ölçekleme
- tarifeli
- Bilim
- bilim adamı
- bilim adamları
- sdk
- güvenli
- güvenlik
- seri
- Dizi
- hizmet
- Hizmetler
- set
- kurulum
- birkaç
- Shape
- Paylaşılan
- paylaşımı
- şov
- benzer
- simülasyon
- tek
- beden
- becerileri
- Yazılım
- yazılım Mühendisliği
- çözüm
- Çözümler
- ÇÖZMEK
- biraz
- kaynak kodu
- uzman
- özel
- özellikle
- hız
- geçirmek
- Harcama
- bölmek
- yığın
- Aşama
- aşamaları
- başlama
- Eyalet
- istatistiksel
- istatistik
- Durum
- hafızası
- mağaza
- mağaza
- Stratejileri
- kolaylaştırmak
- stres
- yapılandırılmış
- stüdyo
- başarılı
- destek
- destekli
- Destekler
- sistem
- Sistemler
- takım
- takım
- Teknik
- Teknolojileri
- Teknoloji
- şablonları
- test
- Test yapmak
- testleri
- The
- Kaynak
- Dünya
- bu nedenle
- işler
- üçüncü şahıslara ait
- üç
- zaman
- birlikte
- araçlar
- Tren
- Eğitim
- Dönüştürmek
- Dönüşüm
- dönüşümler
- Seyahat
- türleri
- ui
- Uk
- altında
- anlamak
- birimleri
- Güncelleme
- kullanım
- kullanıcılar
- kullanmak
- onaylama
- değer
- çeşitli
- Görüntüle
- vizyonumuz
- ağ
- web hizmetleri
- süre
- içinde
- olmadan
- Kadın
- İş
- işlenmiş
- iş akışları
- çalışır
- Dünya
- yazı yazıyor
- yıl