Her ölçekten ve sektördeki müşteriler, ürün ve hizmetlerine makine öğrenimini (ML) aşılayarak AWS'de yenilik yapıyor. Üretken yapay zeka modellerindeki son gelişmeler, endüstriler arasında ML'nin benimsenme ihtiyacını daha da hızlandırdı. Ancak güvenlik, veri gizliliği ve yönetişim kontrollerinin uygulanması, müşterilerin makine öğrenimi iş yüklerini geniş ölçekte uygularken karşılaştığı temel zorluklar olmaya devam ediyor. Bu zorlukların üstesinden gelmek, makine öğrenimi odaklı ürünlerin risklerini ve sorumlu kullanımını azaltmak için çerçeve ve temeller oluşturur. Üretken yapay zeka, toksisiteyi ortadan kaldırmak ve jailbreak ve halüsinasyonları önlemek gibi ek kontrollerin mevcut olmasına ihtiyaç duysa da, güvenlik ve yönetim açısından geleneksel makine öğrenimi ile aynı temel bileşenleri paylaşır.
Müşterilerimizden, özelleştirilmiş tasarımlarını oluşturmak için 12 aya kadar uzmanlık bilgisine ve yatırıma ihtiyaç duyduklarını duyuyoruz. Amazon Adaçayı Yapıcı İş kolları (LOB'ler) veya makine öğrenimi ekipleri için ölçeklenebilir, güvenilir, güvenli ve yönetilen makine öğrenimi ortamları sağlamaya yönelik makine öğrenimi platformu uygulaması. ML yaşam döngüsünü geniş ölçekte yönetmeye yönelik bir çerçeveniz yoksa ekip düzeyinde kaynak yalıtımı, deneme kaynaklarını ölçeklendirme, ML iş akışlarını operasyonel hale getirme, model yönetimini ölçeklendirme ve ML iş yüklerinin güvenliğini ve uyumluluğunu yönetme gibi zorluklarla karşılaşabilirsiniz.
ML yaşam döngüsünü uygun ölçekte yönetmek, sektördeki en iyi uygulamalara ve kurumsal standartlara dayalı yerleşik güvenlik ve yönetim denetimlerine sahip bir ML platformu oluşturmanıza yardımcı olacak bir çerçevedir. Bu çerçeve, modüler bir çerçeve yaklaşımı aracılığıyla kuralcı rehberlik sağlayarak zorlukları ele alır. AWS Kontrol Kulesi çok hesaplı AWS ortamı ve yazıda tartışılan yaklaşım AWS'de güvenli, iyi yönetilen makine öğrenimi ortamları oluşturma.
Aşağıdaki ML platformu işlevleri için kuralcı rehberlik sağlar:
- Çoklu hesap, güvenlik ve ağ temelleri – Bu işlev AWS Control Tower'ı kullanır ve iyi tasarlanmış ilkeler çoklu hesap ortamı, güvenlik ve ağ hizmetlerini kurmak ve çalıştırmak için.
- Veri ve yönetim temelleri – Bu işlev bir veri ağı mimarisi Ayrıntılı veri erişimini sağlamak amacıyla veri gölünü, merkezi özellik deposunu ve veri yönetimi temellerini kurmak ve işletmek için.
- ML platformu paylaşımlı ve yönetişim hizmetleri – Bu işlev, CI/CD gibi ortak hizmetlerin kurulmasını ve çalıştırılmasını sağlar. AWS Hizmet Kataloğu ortamların sağlanması için ve model tanıtımı ve kökeni için merkezi bir model kaydı.
- Makine öğrenimi ekibi ortamları – Bu işlev, makine öğrenimi ekiplerinin model geliştirme, test etme ve güvenlik ve yönetişim kontrollerini yerleştirmek için kullanım senaryolarını dağıtma amacıyla ortamlar kurmasına ve çalıştırmasına olanak tanır.
- ML platformunun gözlemlenebilirliği – Bu işlev, günlüklerin merkezileştirilmesi ve günlük analizi görselleştirmesi için araçlar sağlanması yoluyla makine öğrenimi modellerindeki sorunların temel nedeninin giderilmesine ve belirlenmesine yardımcı olur. Ayrıca makine öğrenimi kullanım durumları için maliyet ve kullanım raporları oluşturmaya yönelik rehberlik de sağlar.
Bu çerçeve tüm müşterilere fayda sağlasa da en çok, makine öğrenimi stratejilerini kuruluş genelinde kontrollü, uyumlu ve koordineli bir yaklaşımla ölçeklendirmek isteyen büyük, olgun, düzenlemeye tabi veya küresel kurumsal müşteriler için faydalıdır. Riskleri azaltırken ML'nin benimsenmesine yardımcı olur. Bu çerçeve aşağıdaki müşteriler için faydalıdır:
- ML'yi kullanmakla ilgilenen birçok iş koluna veya departmana sahip büyük kurumsal müşteriler. Bu çerçeve, merkezi yönetim sağlarken farklı ekiplerin makine öğrenimi modellerini bağımsız olarak oluşturup dağıtmasına olanak tanır.
- ML'de orta ila yüksek olgunluğa sahip kurumsal müşteriler. Halihazırda bazı başlangıç makine öğrenimi modellerini devreye aldılar ve makine öğrenimi çabalarını ölçeklendirmek istiyorlar. Bu çerçeve, kuruluş genelinde ML'nin benimsenmesini hızlandırmaya yardımcı olabilir. Bu şirketler ayrıca erişim kontrolü, veri kullanımı, model performansı ve haksız önyargı gibi şeyleri yönetmek için yönetişim ihtiyacının da farkındadır.
- Finansal hizmetler, sağlık hizmetleri, kimya ve özel sektör gibi düzenlemeye tabi sektörlerdeki şirketler. Bu şirketlerin iş süreçlerinde kullandıkları tüm makine öğrenimi modelleri için güçlü yönetime ve duyulabilirliğe ihtiyaçları var. Bu çerçevenin benimsenmesi, yerel model geliştirmeye olanak sağlarken uyumluluğu kolaylaştırmaya da yardımcı olabilir.
- Merkezi ve yerel kontrolü dengelemesi gereken küresel kuruluşlar. Bu çerçevenin birleşik yaklaşımı, merkezi platform mühendislik ekibinin bazı üst düzey politikalar ve standartlar belirlemesine olanak tanır, ancak aynı zamanda LOB ekiplerine yerel ihtiyaçlara göre uyum sağlama esnekliği de verir.
Bu serinin ilk bölümünde ML platformunu kurmaya yönelik referans mimariyi inceliyoruz. Daha sonraki bir gönderide, kuruluşunuzdaki referans mimarisindeki çeşitli modüllerin nasıl uygulanacağı konusunda kuralcı bir rehberlik sunacağız.
ML platformunun yetenekleri aşağıdaki şekilde gösterildiği gibi dört kategoriye ayrılmıştır. Bu yetenekler, bu yazının ilerleyen kısımlarında tartışılan referans mimarisinin temelini oluşturur:
- Makine öğreniminin temellerini oluşturun
- ML işlemlerini ölçeklendirme
- Gözlemlenebilir ML
- Güvenli ML
Çözüme genel bakış
ML yaşam döngüsünü belirli ölçekte yönetme çerçevesi, kuruluşların ML yaşam döngüsü boyunca güvenlik ve yönetişim kontrollerini yerleştirmesine olanak tanır ve bu da kuruluşların riski azaltmasına ve ML'yi ürün ve hizmetlerine aşılamayı hızlandırmasına yardımcı olur. Çerçeve, artan sayıda model ve projeyi destekleyecek şekilde ölçeklenebilen güvenli, ölçeklenebilir ve güvenilir makine öğrenimi ortamlarının kurulumunu ve yönetimini optimize etmeye yardımcı olur. Çerçeve aşağıdaki özellikleri sağlar:
- Kuruluş politikasıyla uyumlu altyapı kaynaklarıyla hesap ve altyapı sağlama
- ML kullanım örnekleri için veri bilimi ortamlarının ve uçtan uca ML işlemleri (MLOps) şablonlarının self servis dağıtımı
- Güvenlik ve gizlilik uyumluluğu için kaynakların LOB düzeyinde veya ekip düzeyinde izolasyonu
- Denemeler ve üretime hazır iş akışları için üretim düzeyindeki verilere yönetilen erişim
- Kod depoları, kod işlem hatları, dağıtılan modeller ve veri özellikleri için yönetim ve yönetişim
- Yönetişimi geliştirmeye yönelik bir model kayıt defteri ve özellik deposu (yerel ve merkezi bileşenler)
- Uçtan uca model geliştirme ve devreye alma süreci için güvenlik ve yönetişim kontrolleri
Bu bölümde, yerleşik güvenlik ve yönetim denetimleriyle AWS'de bu makine öğrenimi platformunu oluşturmanıza yardımcı olacak kuralcı rehberliğe genel bir bakış sunuyoruz.
ML platformuyla ilişkili işlevsel mimari aşağıdaki şemada gösterilmektedir. Mimari, ML platformunun farklı yeteneklerini AWS hesaplarıyla eşleştirir.
Farklı yeteneklere sahip işlevsel mimari, aşağıdakiler de dahil olmak üzere bir dizi AWS hizmeti kullanılarak uygulanır: AWS Kuruluşları, SageMaker, AWS DevOps hizmetleri ve bir veri gölü. Çeşitli AWS hizmetlerine sahip ML platformunun referans mimarisi aşağıdaki şemada gösterilmektedir.
Bu çerçeve, ML yaşam döngüsünü geniş ölçekte yönetmek için birden fazla kişiyi ve hizmeti dikkate alır. Ekiplerinizi ve hizmetlerinizi organize etmek için aşağıdaki adımları yapmanızı öneririz:
- Bulut yöneticiniz, AWS Control Tower ve otomasyon araçlarını kullanarak Kuruluşlar ve AWS IAM Kimlik Merkezi (AWS Single Sign-On'un halefi) ve güvenlik ve yönetim hizmetleri AWS Anahtar Yönetim Hizmeti (AWS KMS) ve Hizmet Kataloğu. Ayrıca yönetici, makine öğrenimi ve analiz iş akışlarınızı desteklemek için çeşitli organizasyon birimleri (OU'lar) ve ilk hesapları ayarlar.
- Veri gölü yöneticileri, veri gölünüzü ve veri kataloğunuzu kurar ve ML platform yöneticisiyle birlikte çalışan merkezi özellik deposunu kurar.
- ML platformu yöneticisi, aşağıdakiler gibi ML paylaşılan hizmetlerini sağlar: AWS CodeCommit, AWS Kod Ardışık Düzeni, Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR), merkezi bir model kaydı, SageMaker Model Kartları, SageMaker Model Panosuve ML ekipleri için Hizmet Kataloğu ürünleri.
- ML ekibi, IAM Kimlik Merkezi aracılığıyla federasyonlara liderlik eder, Hizmet Kataloğu ürünlerini kullanır ve ML ekibinin geliştirme ortamındaki kaynakları sağlar.
- Farklı iş birimlerindeki makine öğrenimi ekiplerinden veri bilimcileri, model hattını oluşturmak için ekiplerinin geliştirme ortamında birleşir.
- Veri bilimcileri, merkezi özellik deposu kataloğundan özellikleri arar ve çeker, deneyler yoluyla modeller oluşturur ve tanıtım için en iyi modeli seçer.
- Veri bilimcileri, yeniden kullanım için yeni özellikler oluşturur ve merkezi özellik deposu kataloğunda paylaşır.
- Bir makine öğrenimi mühendisi, paylaşılan hizmetler CI/CD sürecini kullanarak model hattını makine öğrenimi ekibi test ortamına dağıtır.
- Paydaş doğrulamasının ardından ML modeli ekibin üretim ortamına dağıtılır.
- Güvenlik ve yönetim kontrolleri, aşağıdaki hizmetler kullanılarak bu mimarinin her katmanına yerleştirilmiştir: AWS Güvenlik Merkezi, Amazon Muhafız Görevi, Amazon Macie'siVe daha fazlası.
- Güvenlik kontrolleri, Security Hub kullanılarak güvenlik araçları hesabından merkezi olarak yönetilir.
- SageMaker Model Kartları ve SageMaker Model Kontrol Paneli gibi makine öğrenimi platformu yönetişim yetenekleri, yönetişim hizmetleri hesabından merkezi olarak yönetilir.
- Amazon Bulut İzleme ve AWS CloudTrail Her üye hesabındaki günlüklere, AWS yerel hizmetleri kullanılarak merkezi olarak bir gözlemlenebilirlik hesabından erişilebilir hale getirilir.
Daha sonra, bu çerçeve için referans mimarisinin modüllerine derinlemesine dalıyoruz.
Referans mimarisi modülleri
Referans mimarisi, her biri belirli bir dizi sorunu çözmek için tasarlanmış sekiz modülden oluşur. Bu modüller toplu olarak altyapı, veri, model ve maliyet gibi çeşitli boyutlarda yönetişimi ele alır. Her modül farklı işlevler sunar ve diğer modüllerle birlikte çalışarak yerleşik güvenlik ve yönetişim denetimlerine sahip entegre bir uçtan uca makine öğrenimi platformu sağlar. Bu bölümde her modülün yeteneklerinin kısa bir özetini sunuyoruz.
Çok hesaplı temeller
Bu modül, bulut yöneticilerinin bir AWS Kontrol Kulesi iniş bölgesi temel bir çerçeve olarak Buna çok hesaplı bir yapı oluşturma, IAM Identity Center aracılığıyla kimlik doğrulama ve yetkilendirme, ağ hub ve bağlı bileşen tasarımı, merkezi günlük kaydı hizmetleri ve standartlaştırılmış güvenlik ve yönetim temellerine sahip yeni AWS üye hesapları dahildir.
Ayrıca bu modül, makine öğrenimi ve analitik iş akışlarınızı desteklemeye uygun kuruluş birimi ve hesap yapılarına ilişkin en iyi uygulama rehberliğini sağlar. Bulut yöneticileri, gerekli hesapların ve kuruluş birimlerinin amacını, bunların nasıl dağıtılacağını ve makine öğrenimi ve analiz iş yüklerini merkezi olarak yönetmek için kullanmaları gereken temel güvenlik ve uyumluluk hizmetlerini anlayacak.
Yeni hesapların satışına yönelik bir çerçeve de kapsanmaktadır; bu çerçeve, yeni hesaplar sağlandığında temel oluşturmak için otomasyondan yararlanır. Otomatik bir hesap sağlama süreci kurarak bulut yöneticileri, yönetim için güçlü bir temelden ödün vermeden makine öğrenimi ve analiz ekiplerine işlerini daha hızlı gerçekleştirmek için ihtiyaç duydukları hesapları sağlayabilir.
Veri gölü temelleri
Bu modül, veri gölü yöneticilerinin verileri almak, veri kümelerini seçmek ve verileri kullanmak için bir veri gölü oluşturmasına yardımcı olur. AWS Göl Oluşumu Merkezi bir veri kataloğu, veri erişim politikaları ve etiket tabanlı erişim kontrolleri kullanarak hesaplar ve kullanıcılar arasında ayrıntılı veri erişimini yönetmeye yönelik yönetişim modeli. Kavram kanıtı veya birkaç küçük iş yükü için veri platformu temelleriniz için tek bir hesapla küçük bir başlangıç yapabilirsiniz. Orta ve büyük ölçekli üretim iş yükü uygulaması için çoklu hesap stratejisini benimsemenizi öneririz. Böyle bir ortamda LOB'ler, farklı AWS hesaplarını kullanan veri üreticileri ve veri tüketicileri rolünü üstlenebilir ve veri gölü yönetimi, merkezi bir paylaşılan AWS hesabından çalıştırılır. Veri üreticisi, veri varlıklarının kalitesini izleyip güvence altına almanın yanı sıra, veri etki alanlarındaki verileri toplar, işler ve saklar. Veri tüketicileri, merkezi katalog Lake Formation'ı kullanarak paylaştıktan sonra veri üreticisinden gelen verileri tüketir. Merkezi katalog, veri üreticisi hesapları için paylaşılan veri kataloğunu saklar ve yönetir.
Makine öğrenimi platformu hizmetleri
Bu modül, ML platform mühendisliği ekibinin, veri bilimi ekipleri tarafından ekip hesaplarında kullanılan paylaşılan hizmetleri kurmasına yardımcı olur. Hizmetler, aşağıdakilere yönelik ürünleri içeren bir Hizmet Kataloğu portföyünü içerir: SageMaker etki alanı dağıtım, SageMaker etki alanı kullanıcı profili dağıtım, model oluşturma ve dağıtma için veri bilimi modeli şablonları. Bu modül, merkezi bir model kaydına, model kartlarına, model panosuna ve model geliştirme ve dağıtım iş akışlarını düzenlemek ve otomatikleştirmek için kullanılan CI/CD işlem hatlarına yönelik işlevlere sahiptir.
Ayrıca bu modül, kişisel tabanlı self servis yetenekleri etkinleştirmek için gereken kontrollerin ve yönetişimin nasıl uygulanacağını ayrıntılarıyla anlatarak veri bilimi ekiplerinin gerekli bulut altyapısını ve makine öğrenimi şablonlarını bağımsız olarak dağıtmasına olanak tanır.
ML kullanım senaryosu geliştirme
Bu modül, LOB'ların ve veri bilimcilerinin, bir geliştirme ortamında ekiplerinin SageMaker etki alanına erişmelerine ve modellerini geliştirmek için bir model oluşturma şablonu oluşturmalarına yardımcı olur. Bu modülde veri bilimcileri, merkezi veri gölünde mevcut verilerle etkileşim kurmak, merkezi bir özellik deposundaki özellikleri yeniden kullanmak ve paylaşmak, makine öğrenimi deneyleri oluşturup çalıştırmak, makine öğrenimi iş akışlarını oluşturmak ve test etmek için şablonun bir geliştirici hesabı örneği üzerinde çalışır. ve modellerini geliştirme ortamlarındaki bir geliştirici hesabı modeli kaydına kaydedin.
Deney takibi, model açıklanabilirlik raporları, veri ve model sapması izleme, model kayıt etme gibi yetenekler de şablonlarda uygulanarak çözümlerin veri bilimcilerin geliştirdiği modellere hızlı bir şekilde uyarlanması sağlanır.
Makine öğrenimi işlemleri
Bu modül, LOB'ların ve ML mühendislerinin model dağıtım şablonunun geliştirme örnekleri üzerinde çalışmasına yardımcı olur. Aday model kaydedilip onaylandıktan sonra, CI/CD işlem hatları kurulur ve ekibin test ortamında makine öğrenimi iş akışları çalıştırılır; bu, modeli bir platform paylaşımlı hizmetler hesabında çalışan merkezi model kayıt defterine kaydeder. Bir model, merkezi model kaydında onaylandığında, bu, modeli ekibin üretim ortamına dağıtmak için bir CI/CD hattını tetikler.
Merkezi özellik deposu
İlk modeller üretime dağıtıldıktan ve birden fazla kullanım senaryosu aynı verilerden oluşturulan özellikleri paylaşmaya başladıktan sonra, kullanım senaryoları arasında işbirliğini sağlamak ve yinelenen işleri azaltmak için bir özellik deposu gerekli hale gelir. Bu modül, ML platformu mühendislik ekibinin, ML kullanım senaryoları tarafından oluşturulan ML özellikleri için depolama ve yönetim sağlamak amacıyla merkezi bir özellik deposu kurmasına yardımcı olarak, özelliklerin projeler arasında yeniden kullanılmasına olanak tanır.
Günlüğe kaydetme ve gözlemlenebilirlik
Bu modül, LOB'lerin ve makine öğrenimi uygulayıcılarının CloudTrail, CloudWatch, VPC akış günlükleri ve makine öğrenimi iş yükü günlükleri gibi günlük etkinliklerinin merkezileştirilmesi yoluyla makine öğrenimi ortamlarındaki makine öğrenimi iş yüklerinin durumuna ilişkin görünürlük kazanmasına yardımcı olur. Ekipler analiz için günlükleri filtreleyebilir, sorgulayabilir ve görselleştirebilir; bu da güvenlik duruşunun iyileştirilmesine de yardımcı olabilir.
Maliyet ve raporlama
Bu modül, çeşitli paydaşların (bulut yöneticisi, platform yöneticisi, bulut iş ofisi) ML kullanıcısı, ML ekibi ve ML ürün seviyelerinde maliyetlerin dökümünü almak ve kullanıcı sayısı, örnek türleri ve kullanıcı sayısı gibi kullanımı izlemek için raporlar ve kontrol panelleri oluşturmasına yardımcı olur. uç noktalar.
Müşteriler bizden kaç hesap oluşturulacağı ve bu hesapların nasıl yapılandırılacağı konusunda rehberlik sağlamamızı istedi. Bir sonraki bölümde, kurumsal yönetişim gereksinimlerinize göre ihtiyaçlarınıza uyacak şekilde değiştirebileceğiniz referans olarak bu hesap yapısına ilişkin rehberlik sağlıyoruz.
Bu bölümde hesap yapınızı düzenlemeye yönelik önerimizi tartışıyoruz. Temel bir referans hesap yapısını paylaşıyoruz; ancak ML ve veri yöneticilerinin, bu hesap yapısını kendi organizasyon kontrollerine göre özelleştirmek için bulut yöneticileriyle yakın işbirliği içerisinde çalışmasını öneririz.
Güvenlik, altyapı, iş yükleri ve dağıtımlar için hesapları kuruluş birimine göre düzenlemenizi öneririz. Ayrıca, her bir kuruluş birimi içinde, üretim dışı ve üretim kuruluş birimlerine göre düzenlenir çünkü bunların altında dağıtılan hesaplar ve iş yükleri farklı denetimlere sahiptir. Daha sonra bu kuruluş birimlerini kısaca tartışacağız.
Güvenlik kuruluş birimi
Bu kuruluş birimindeki hesaplar, güvenlik olaylarını izlemek, tanımlamak, korumak, tespit etmek ve bunlara yanıt vermek amacıyla kuruluşun bulut yöneticisi veya güvenlik ekibi tarafından yönetilir.
Altyapı kuruluş birimi
Bu kuruluş birimindeki hesaplar, kurumsal düzeyde altyapı paylaşılan kaynaklarını ve ağlarını yönetmek için kuruluşun bulut yöneticisi veya ağ ekibi tarafından yönetilir.
Altyapı kuruluş birimi kapsamında aşağıdaki hesapların bulunmasını öneririz:
- ağ – Merkezi bir ağ altyapısı kurun AWS Toplu Taşıma Ağ Geçidi
- Paylaşılan hizmetler – Merkezi AD hizmetlerini ve VPC uç noktalarını ayarlayın
İş yükleri kuruluş birimi
Bu kuruluş birimindeki hesaplar, kuruluşun platform ekibi yöneticileri tarafından yönetilir. Her platform ekibi için farklı denetimlerin uygulanmasına ihtiyacınız varsa bu amaç için makine öğrenimi iş yükleri kuruluş birimi, veri iş yükleri kuruluş birimi vb. gibi diğer kuruluş birimi düzeylerini iç içe yerleştirebilirsiniz.
İş yükleri kuruluş birimi kapsamında aşağıdaki hesapları öneririz:
- Ekip düzeyinde makine öğrenimi geliştirme, test ve üretim hesapları – Bunu iş yükü izolasyon gereksinimlerinize göre ayarlayın
- Veri gölü hesapları – Hesapları veri alan adınıza göre bölümleyin
- Merkezi veri yönetimi hesabı – Veri erişim politikalarınızı merkezileştirin
- Merkezi özellik mağazası hesabı – Ekipler arasında paylaşıma yönelik özellikleri merkezileştirin
Dağıtımlar kuruluş birimi
Bu kuruluş birimindeki hesaplar, iş yüklerinin ve gözlemlenebilirliğin dağıtılması amacıyla kuruluşun platform ekibi yöneticileri tarafından yönetilir.
ML platform ekibi, dağıtımları yönetmek ve yönetmek için bu kuruluş birimi düzeyinde farklı denetim kümeleri ayarlayabileceğinden, dağıtım kuruluş birimi altında aşağıdaki hesapları öneririz:
- Test ve üretim için ML paylaşılan hizmet hesapları – Platform paylaşımlı hizmetleri CI/CD'yi ve model kaydını barındırır
- ML gözlemlenebilirliği, test ve üretim için geçerlidir – Gerektiğinde CloudWatch günlüklerini, CloudTrail günlüklerini ve diğer günlükleri barındırır
Daha sonra, altyapı kaynaklarının izlenmesi amacıyla üye hesaplarına dahil edilmesinde dikkate alınması gereken organizasyon kontrollerini kısaca tartışacağız.
AWS ortam kontrolleri
Denetim, genel AWS ortamınız için sürekli yönetim sağlayan üst düzey bir kuraldır. Sade bir dille ifade edilmiştir. Bu çerçevede, kaynaklarınızı yönetmenize ve AWS hesap grupları genelinde uyumluluğu izlemenize yardımcı olan aşağıdaki kontrolleri uygulamak için AWS Control Tower'ı kullanıyoruz:
- Önleyici kontroller – Önleyici kontrol, politika ihlallerine yol açan ve Hizmet Kontrol Politikası (SCP) kullanılarak uygulanan eylemlere izin vermediğinden, hesaplarınızın uyumluluğunu sürdürmesini sağlar. Örneğin, CloudTrail'in AWS hesaplarında veya Bölgelerde silinmemesini veya durdurulmamasını sağlayan önleyici bir kontrol ayarlayabilirsiniz.
- Dedektif kontroller – Dedektif kontrol, hesaplarınızdaki kaynakların politika ihlalleri gibi uygunsuzluğunu tespit eder, kontrol paneli aracılığıyla uyarılar sağlar ve kullanılarak uygulanır. AWS Yapılandırması tüzük. Örneğin, genel okuma erişiminin etkinleştirilip etkinleştirilmediğini tespit etmek için bir tespit edici kontrol oluşturabilirsiniz. Amazon Basit Depolama Hizmeti (Amazon S3) günlük arşivi paylaşılan hesabındaki paketler.
- Proaktif kontroller – Proaktif bir kontrol, kaynaklarınızı sağlanmadan önce tarar ve kaynakların bu kontrolle uyumlu olduğundan ve kullanılarak uygulandığından emin olur. AWS CloudFormation kancalar. Uyumlu olmayan kaynaklar sağlanmayacaktır. Örneğin, bir SageMaker dizüstü bilgisayar örneği için doğrudan internet erişimine izin verilmediğini kontrol eden proaktif bir kontrol ayarlayabilirsiniz.
ML platform hizmetleri, ML kullanım durumları ve ML işlemleri arasındaki etkileşimler
Veri bilimi başkanı (baş veri bilimcisi), veri bilimcisi ve makine öğrenimi mühendisi gibi farklı kişiler, makine öğrenimi platform hizmetlerinin, makine öğrenimi kullanım senaryosunun geliştirilmesinin ve makine öğrenimi operasyonlarının farklı aşamaları için aşağıdaki şemada gösterildiği gibi 2-6 modüllerini çalıştırır. veri gölü temelleri ve merkezi özellik deposuyla birlikte.
Aşağıdaki tabloda farklı kişiler için işlem akışı etkinliği ve kurulum akışı adımları özetlenmektedir. Bir kişi işlem akışının bir parçası olarak bir makine öğrenimi etkinliği başlattıktan sonra hizmetler kurulum akışı adımlarında belirtildiği gibi çalışır.
Kişi | İşlem Akışı Etkinliği – Sayı | İşlem Akışı Etkinliği – Açıklama | Kurulum Akış Adımı – Sayı | Kurulum Akış Adımı – Açıklama |
Lider Veri Bilimi veya ML Takım Lideri |
1 |
ML platformu hizmetleri hesabında Hizmet Kataloğu'nu kullanır ve aşağıdakileri dağıtır:
|
1-A |
|
1-B |
|
|||
Veri Bilim Adamı |
2 |
SageMaker not defterlerinde ML deneylerini yürütür ve izler |
2-A |
|
3 |
SageMaker projeleri ve işlem hatlarıyla başarılı makine öğrenimi denemelerini otomatikleştirir |
3-A |
|
|
3-B |
SageMaker işlem hatları çalıştırıldıktan sonra modeli yerel (geliştirme) model kaydına kaydeder | |||
Lider Veri Bilimcisi veya ML Takım Lideri |
4 |
Yerel (geliştirme) model kaydındaki modeli onaylar |
4-A |
Model meta verileri ve model paketi, yerel (geliştirme) model kayıt defterinden merkezi model kayıt defterine yazar |
5 |
Merkezi model kayıt defterindeki modeli onaylar |
5-A |
Test ortamında SageMaker uç noktaları oluşturmak için dağıtım CI/CD sürecini başlatır | |
5-B |
Model bilgilerini ve meta verileri, yerel (geliştirme) hesabından ML platform hizmetleri hesabındaki ML yönetim modülüne (model kartı, model kontrol paneli) yazar. | |||
ML Mühendisi |
6 |
CI/CD'den sonra test ortamında SageMaker uç noktasını test eder ve izler | . | |
7 |
Üretim ortamında SageMaker uç noktalarının dağıtımını onaylar |
7-A |
Üretim ortamında SageMaker uç noktaları oluşturmak için dağıtım CI/CD sürecini başlatır | |
8 |
CI/CD'den sonra test ortamında SageMaker uç noktasını test eder ve izler | . |
ML platformunun farklı modülleriyle kişiler ve etkileşimler
Her modül, modülü en sık kullanan belirli bölümlerdeki belirli hedef kişilere hitap ederek onlara birincil erişim sağlar. Daha sonra modüllerin ara sıra kullanılmasını gerektiren diğer bölümlere ikincil erişime izin verilir. Modüller, işlevselliği optimize etmek için belirli iş rollerinin veya kişilerin ihtiyaçlarına göre uyarlanmıştır.
Aşağıdaki takımları tartışıyoruz:
- Merkezi bulut mühendisliği – Bu ekip, kurumsal düzeyde ağ kurulumu, kimlik, izinler ve hesap yönetimi gibi ortak bulut altyapı hizmetlerinin kurulumu için tüm iş yüklerinde kurumsal bulut düzeyinde çalışır.
- Veri platformu mühendisliği – Bu ekip kurumsal veri göllerini, veri toplamayı, veri iyileştirmeyi ve veri yönetişimini yönetir
- ML platform mühendisliği – Bu ekip, makine öğrenimi altyapısı sağlama, deneme izleme, model yönetimi, dağıtım ve gözlemlenebilirlik gibi paylaşılan makine öğrenimi altyapı hizmetleri sağlamak için LOB'lar genelinde makine öğrenimi platformu düzeyinde çalışır.
Aşağıdaki tabloda, modülün hedef kişilerine göre her modül için hangi bölümlerin birincil ve ikincil erişime sahip olduğu ayrıntılı olarak verilmektedir.
Modül Numarası | Modüller | Birincil Erişim | İkincil Erişim | Hedef Kişiler | Hesap sayısı |
1 |
Çok hesaplı temeller | Merkezi bulut mühendisliği | Bireysel LOB'lar |
|
Az |
2 |
Veri gölü temelleri | Merkezi bulut veya veri platformu mühendisliği | Bireysel LOB'lar |
|
çoklu |
3 |
Makine öğrenimi platformu hizmetleri | Merkezi bulut veya ML platform mühendisliği | Bireysel LOB'lar |
|
Bir |
4 |
ML kullanım senaryosu geliştirme | Bireysel LOB'lar | Merkezi bulut veya ML platform mühendisliği |
|
çoklu |
5 |
Makine öğrenimi işlemleri | Merkezi bulut veya makine öğrenimi mühendisliği | Bireysel LOB'lar |
|
çoklu |
6 |
Merkezi özellik deposu | Merkezi bulut veya veri mühendisliği | Bireysel LOB'lar |
|
Bir |
7 |
Günlüğe kaydetme ve gözlemlenebilirlik | Merkezi bulut mühendisliği | Bireysel LOB'lar |
|
Bir |
8 |
Maliyet ve raporlama | Bireysel LOB'lar | Merkezi platform mühendisliği |
|
Bir |
Sonuç
Bu gönderide, güvenlik ve yönetim denetimlerini içeren iyi tasarlanmış makine öğrenimi iş yüklerini uygulamanıza yardımcı olan, makine öğrenimi yaşam döngüsünü geniş ölçekte yönetmeye yönelik bir çerçeve sunduk. Bu çerçevenin, veri yönetişimi, model yönetişimi ve kurumsal düzeydeki kontrolleri göz önünde bulundurarak bir makine öğrenimi platformu oluşturmak için nasıl bütünsel bir yaklaşım benimsediğini tartıştık. Bu yazıda tanıtılan çerçeve ve kavramları denemenizi ve geri bildiriminizi paylaşmanızı öneririz.
yazarlar hakkında
Ram Hayati AWS'de Baş ML Çözümleri Mimarıdır. Dağıtılmış, hibrit ve bulut uygulamaları tasarlama ve oluşturma konusunda 3 yıldan fazla deneyime sahiptir. Kurumsal müşterilerin iş sonuçlarını iyileştirmek amacıyla bulutu benimseme ve optimizasyon yolculuklarında yardımcı olmak için güvenli, ölçeklenebilir, güvenilir AI/ML ve büyük veri çözümleri oluşturma konusunda tutkuludur. Boş zamanlarında motosiklete biniyor ve üç yaşındaki karalama koyunuyla birlikte yürüyor!
Sovik Kumar Nath AWS ile bir AI/ML çözüm mimarıdır. Finans, operasyonlar, pazarlama, sağlık hizmetleri, tedarik zinciri yönetimi ve IoT alanlarında uçtan uca makine öğrenimi ve iş analitiği çözümleri tasarlama konusunda geniş deneyime sahiptir. Sovik makaleler yayınladı ve makine öğrenimi modeli izleme konusunda bir patente sahip. Güney Florida Üniversitesi, İsviçre Fribourg Üniversitesi'nden çift yüksek lisans derecesine ve Kharagpur'daki Hindistan Teknoloji Enstitüsü'nden lisans derecesine sahiptir. Sovik, iş dışında seyahat etmeyi, vapura binmeyi ve film izlemeyi seviyor.
Maira Ladeira Tankı AWS'de Kıdemli Veri Uzmanıdır. Teknik lider olarak müşterilerin gelişen teknoloji ve yenilikçi çözümler aracılığıyla iş değerlerine ulaşmalarını hızlandırmalarına yardımcı oluyor. Maira, Ocak 2020'den beri AWS'de çalışıyor. Bundan önce, verilerden iş değeri elde etmeye odaklanan birçok sektörde veri bilimci olarak çalıştı. Maira, boş zamanlarında seyahat etmekten ve ailesiyle sıcak bir yerde vakit geçirmekten hoşlanıyor.
Ryan Lempka Amazon Web Services'te Kıdemli Çözüm Mimarıdır ve müşterilerinin AWS'de çözümler geliştirmek için iş hedeflerinden geriye doğru çalışmasına yardımcı olur. İş stratejisi, BT sistemleri yönetimi ve veri bilimi alanlarında derin deneyime sahiptir. Ryan kendini yaşam boyu öğrenci olmaya adamıştır ve her gün yeni bir şeyler öğrenmek için kendine meydan okumaktan hoşlanır.
Sriharsh Adari Amazon Web Services'de (AWS) Kıdemli Çözüm Mimarıdır ve müşterilerin AWS'de yenilikçi çözümler geliştirmek için iş sonuçlarından geriye doğru çalışmasına yardımcı olur. Yıllar boyunca, endüstri sektörlerinde veri platformu dönüşümlerinde birden fazla müşteriye yardımcı oldu. Temel uzmanlık alanları arasında Teknoloji Stratejisi, Veri Analitiği ve Veri Bilimi bulunmaktadır. Boş zamanlarında spor yapmaktan, aşırı derecede TV şovları izlemekten ve Tabla oynamaktan hoşlanır.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 10
- 100
- 12
- 2020
- 28
- 7
- 8
- 971
- a
- Hakkımızda
- hızlandırmak
- erişim
- ulaşılabilir
- Göre
- Hesap
- Hesaplar
- başarı
- elde
- karşısında
- eylemler
- etkinlik
- Ad
- uyarlamak
- adaptasyon
- ilave
- Ek
- adres
- adresleri
- adresleme
- Gizem
- yöneticiler
- Benimsemek
- Benimseme
- Sonra
- AI
- AI modelleri
- AI / ML
- Uyarılar
- Türkiye
- izin
- Izin
- veriyor
- boyunca
- zaten
- Ayrıca
- Rağmen
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon Web Servisleri
- Amazon Web Services (AWS)
- an
- analiz
- analytics
- ve
- ve altyapı
- herhangi
- uygulamaları
- yaklaşım
- uygun
- onaylı
- mimari
- Arşiv
- ARE
- ALAN
- mal
- AS
- Varlıklar
- ilişkili
- üstlenmek
- At
- Doğrulama
- yetki
- otomatikleştirmek
- Otomatik
- Otomasyon
- mevcut
- AWS
- Bakiye
- merkezli
- Temel
- BE
- Çünkü
- olur
- olmuştur
- önce
- olmak
- faydalı
- faydaları
- İYİ
- en iyi uygulamalar
- arasında
- önyargı
- Büyük
- büyük Veri
- mola
- kısaca
- inşa etmek
- bina
- inşa
- iş
- iş stratejisi
- fakat
- by
- CAN
- aday
- yetenekleri
- kart
- Kartlar
- dava
- durumlarda
- katalog
- kategoriler
- hitap eder
- Sebeb olmak
- Merkez
- merkezi
- merkezileştirme
- merkezi
- zincir
- zorluklar
- zor
- Çekler
- kimya
- yakından
- bulut
- bulut benimseme
- bulut altyapısı
- kod
- işbirliği
- Toplamak
- toplu olarak
- ortak
- Şirketler
- uyma
- uyumlu
- bileşenler
- aşağıdakileri içerir:
- kavram
- kavramlar
- kabul
- düşünen
- dikkate
- tüketmek
- Tüketiciler
- Konteyner
- kontrol
- Kontrol kulesi
- kontrollü
- kontroller
- koordine
- çekirdek
- Ücret
- maliyetler
- kaplı
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- kürasyon
- Müşteriler
- özelleştirmek
- özelleştirilmiş
- gösterge paneli
- gösterge tabloları
- veri
- veri erişim
- Veri Analizi
- Veri Gölü
- Veri Platformu
- veri gizliliği
- veri bilimi
- veri bilimcisi
- veri kümeleri
- gün
- yıl
- adanmış
- derin
- derece
- bölümler
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- dağıtımları
- dağıtır
- Dizayn
- tasarlanmış
- tasarım
- ayrıntılar
- dev
- geliştirmek
- gelişmiş
- gelişme
- gelişmeler
- farklı
- boyutlar
- direkt
- tartışmak
- tartışılan
- farklı
- dağıtıldı
- dalış
- domain
- çift
- aşağı
- her
- çabaları
- gömmek
- gömülü
- katıştırma
- ortaya çıkan
- Gelişmekte olan teknoloji
- etkinleştirmek
- etkin
- sağlar
- etkinleştirme
- teşvik etmek
- son uca
- Son nokta
- mühendis
- Mühendislik
- Mühendisler
- artırmak
- sağlamak
- olmasını sağlar
- sağlanması
- kuruluş
- kurumsal düzeyde
- işletmelerin
- çevre
- ortamları
- gerekli
- değerlendirmek
- olaylar
- Her
- her gün
- örnek
- deneyim
- deneme
- deneyler
- Uzmanlık
- ifade
- uzatma
- kapsamlı, geniş
- Kapsamlı Deneyim
- yüzlü
- kolaylaştırmak
- aile
- Özellikler(Hazırlık aşamasında)
- Özellikler
- geribesleme
- az
- şekil
- filtre
- maliye
- mali
- finansal hizmetler
- Ad
- Esneklik
- Florida
- akış
- odaklanma
- takip etme
- İçin
- Airdrop Formu
- oluşum
- vakıf
- Temeller
- dört
- iskelet
- Ücretsiz
- itibaren
- işlev
- fonksiyonel
- işlevsellikleri
- işlevsellik
- fonksiyonlar
- daha fazla
- Ayrıca
- Kazanç
- oluşturmak
- üreten
- üretken
- üretken yapay zeka
- verir
- Küresel
- yönetim
- Yönetim modeli
- yönetişim modülü
- yönetilir
- yöneten
- verme
- Grubun
- rehberlik
- Var
- sahip olan
- he
- baş
- sağlık
- duymak
- yardım et
- yardım
- yardımcı olur
- onu
- Yüksek
- üst düzey
- onun
- tutar
- bütünsel
- Çengeller
- ana
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- merkez
- melez
- belirlenmesi
- Kimlik
- if
- uygulamak
- uygulama
- uygulanan
- uygulanması
- iyileştirmek
- geliştirme
- in
- dahil
- içerir
- Dahil olmak üzere
- artan
- bağımsız
- Hintli
- Endüstri
- sanayi
- bilgi
- Altyapı
- ilk
- Başlattı
- yenilik
- yenilikçi
- örnek
- Enstitü
- entegre
- etkileşim
- etkileşimleri
- ilgili
- Internet
- internet erişimi
- içine
- tanıttı
- yatırım
- IOT
- izolasyon
- IT
- Ocak
- İş
- seyahat
- jpg
- anahtar
- bilgi
- kumar
- Eksiklik
- göl
- göller
- iniş
- dil
- büyük
- sonra
- tabaka
- öncülük etmek
- ÖĞRENİN
- öğrenme
- seviye
- seviyeleri
- yaşam döngüsü
- sevmek
- soy
- hatları
- yerel
- log
- günlüğü
- bakıyor
- makine
- makine öğrenme
- yapılmış
- korumak
- YAPAR
- yönetmek
- yönetilen
- yönetim
- yönetir
- yönetme
- çok
- Haritalar
- Pazarlama
- olgun
- olgunluk
- Mayıs..
- üye
- adı geçen
- örgü
- Metadata
- hafifletici
- riskleri azaltmak
- ML
- MLO'lar
- model
- modelleri
- değiştirmek
- modüler
- modül
- Modüller
- izlemek
- izleme
- monitörler
- ay
- Daha
- çoğu
- motosiklet
- filmler
- çoklu
- yerli
- gerek
- ihtiyaçlar
- Nest
- ağ
- ağ
- ağlar
- yeni
- Yeni Özellikler
- sonraki
- defter
- numara
- hedefleri
- nadiren
- of
- Teklifler
- Office
- sık sık
- Eski
- on
- bir Zamanlar
- ONE
- devam
- işletmek
- ameliyat
- faaliyet
- işletme
- Operasyon
- optimizasyon
- optimize
- or
- kuruluşlar
- organizasyonlar
- düzenleme
- Diğer
- bizim
- dışarı
- sonuçlar
- dışında
- tekrar
- tüm
- genel bakış
- paket
- Bölüm
- belirli
- tutkulu
- patent
- Yapmak
- performans
- izinleri
- boru hattı
- yer
- Sade
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- oynama
- politikaları
- politika
- portföy
- Çivi
- uygulama
- uygulamalar
- mevcut
- önlenmesi
- birincil
- Anapara
- Önceki
- gizlilik
- özel
- özel sektör
- Proaktif
- sorunlar
- süreç
- Süreçler
- üretici
- Üreticileri
- PLATFORM
- üretim
- Ürünler
- Projeler
- tanıtım
- kanıt
- kavramın ispatı
- koruyucu
- sağlamak
- sağlar
- sağlama
- halka açık
- yayınlanan
- amaç
- kalite
- hızla
- hızlı
- Okumak
- son
- tanımak
- tavsiye etmek
- Tavsiye
- azaltmak
- referans
- bölgeler
- kayıt olmak
- kayıtlı
- kayıtlar
- kayıt
- düzenlenmekte olan
- düzenlenmiş endüstriler
- güvenilir
- kaldırma
- Raporlar
- gerektirir
- gereklidir
- Yer Alan Kurallar
- kaynak
- Kaynaklar
- yanıt
- sorumlu
- yeniden
- gezintileri
- Risk
- riskler
- Rol
- rolleri
- kök
- Kural
- kurallar
- koşmak
- koşu
- Ryan
- feda
- sagemaker
- SageMaker Boru Hatları
- aynı
- ölçeklenebilir
- ölçek
- ölçekleme
- Bilim
- bilim adamı
- bilim adamları
- Ara
- ikincil
- Bölüm
- sektör
- güvenli
- güvenlik
- Güvenlik olayları
- Self servis
- kıdemli
- Dizi
- hizmet
- Hizmetler
- set
- Setleri
- ayar
- kurulum
- paylaş
- Paylaşılan
- Paylar
- paylaşımı
- o
- kısa
- meli
- gösterilen
- Gösteriler
- Basit
- beri
- tek
- beden
- küçük
- So
- çözüm
- Çözümler
- ÇÖZMEK
- biraz
- bir şey
- güney
- Güney Florida
- uzman
- özel
- özel
- Harcama
- Spor
- aşamaları
- paydaşlar
- paydaşlar
- standartlar
- başlama
- Eyalet
- adım
- Basamaklar
- Yine
- durdu
- hafızası
- mağaza
- mağaza
- stratejileri
- Stratejileri
- güçlü
- yapı
- yapılar
- stüdyo
- başarılı
- böyle
- Takım elbise
- ÖZET
- arz
- tedarik zinciri
- Tedarik zinciri yönetimi
- destek
- Destek
- elbette
- isviçre
- Sistemler
- tablo
- ısmarlama
- alır
- alma
- Hedef
- takım
- takım
- Teknik
- Teknoloji
- Teknoloji Stratejisi
- şablon
- şablonları
- test
- Test yapmak
- o
- The
- Devlet
- ve bazı Asya
- Onları
- sonra
- Bunlar
- onlar
- işler
- Re-Tweet
- Bu
- İçinden
- boyunca
- zaman
- için
- araçlar
- karşı
- Kule
- iz
- Takip
- geleneksel
- Tren
- dönüşümler
- transit
- Seyahat
- DÖNÜŞ
- tv
- türleri
- altında
- anlamak
- haksız
- birimleri
- üniversite
- us
- kullanım
- kullanım
- kullanım durumu
- Kullanılmış
- kullanıcı
- kullanıcılar
- kullanım
- kullanma
- kullanmak
- onaylama
- değer
- çeşitlilik
- çeşitli
- sektörler
- üzerinden
- İhlaller
- görünürlük
- görüntüleme
- görselleştirmek
- yürümek
- istemek
- sıcak
- izlerken
- we
- ağ
- web hizmetleri
- İYİ
- ne zaman
- olup olmadığını
- hangi
- süre
- irade
- ile
- içinde
- olmadan
- İş
- işlenmiş
- iş akışları
- çalışma
- yıl
- Sen
- zefirnet