Amazon SageMaker ile makine öğrenimi modellerinizin yönetişimini iyileştirin

Şirketler, ana kurumsal uygulamaları için makine öğrenimini (ML) giderek daha fazla benimserken, iş kararlarının çoğu makine öğrenimi modellerinden etkileniyor. Bunun bir sonucu olarak, tüm makine öğrenimi modelleriniz genelinde basitleştirilmiş erişim denetimi ve gelişmiş şeffaflığa sahip olmak, modellerinizin iyi performans gösterdiğini doğrulamayı ve başarısız olduğunda harekete geçmeyi kolaylaştırır.

Bu gönderide, şirketlerin iki yeni özelliği kullanarak merkezi gösterge panoları ve modellerinin ayrıntılı dokümantasyonu ile modellerinin görünürlüğünü nasıl artırabileceklerini keşfediyoruz: SageMaker Model Kartları ve SageMaker Model Panosu. Bu özelliklerin her ikisi de SageMaker müşterilerine ücretsiz olarak sunulmaktadır.

Model yönetişimine genel bakış

Model yönetişimi, model geliştirme, doğrulama ve kullanıma ilişkin sistematik görünürlük sağlayan bir çerçevedir. Model yönetişimi, makine öğrenimi kullanım senaryosunun belirlenmesinden başlayarak dağıtılan bir modelin uyarılar, raporlar ve panolar aracılığıyla sürekli olarak izlenmesine kadar uçtan uca makine öğrenimi iş akışında uygulanabilir. İyi uygulanmış bir model yönetişim çerçevesi, makine öğrenimi yaşam döngüsünü geniş ölçekte izlemeyi kolaylaştırmak için yaşam döngüsü görevlerini görüntülemek, izlemek ve yönetmek için gereken arabirim sayısını en aza indirmelidir.

Günümüzde kuruluşlar, yönetişim ve denetlenebilirlik iş akışlarının büyük bölümlerini otomatikleştirmek için araçlar oluşturmaya önemli teknik uzmanlık yatırımı yapıyor. Örneğin, model oluşturucuların, bir model için amaçlanan kullanım, risk derecelendirmesi ve bir modelin ölçülmesi gereken performans kriterleri gibi model özelliklerini proaktif olarak kaydetmesi gerekir. Ayrıca, model davranışına ilişkin gözlemleri kaydetmeleri ve modeli optimize ettikleri amaç fonksiyonu gibi belirli önemli kararları verme nedenlerini belgelemeleri gerekir.

Şirketlerin, üretim kullanımına yönelik onaylarda kullanmak üzere bu tür model bilgilerini yakalamak ve paylaşmak için Excel veya e-posta gibi araçları kullanması yaygın bir durumdur. Ancak makine öğrenimi geliştirme ölçeği arttıkça, bilgiler kolayca kaybolabilir veya yanlış yere konulabilir ve bu ayrıntıları takip etmek hızla olanaksız hale gelir. Ayrıca, bu modeller devreye alındıktan sonra, tüm modellerinize, uç noktalarınıza, izleme geçmişinize ve kökeninize ilişkin uçtan uca görünürlük elde etmek için çeşitli kaynaklardan gelen verileri bir araya getirebilirsiniz. Böyle bir bakış açısı olmadan modellerinizin izini kolayca kaybedebilir ve onlar hakkında ne zaman harekete geçmeniz gerektiğinin farkında olmayabilirsiniz. Bu tür önlemleri yerinde tutmanızı gerektiren düzenlemelere tabi olduğunuz için, bu sorun yüksek düzeyde düzenlemeye tabi sektörlerde yoğunlaşmaktadır.

Modellerin hacmi ölçeklenmeye başladığında, özel araçları yönetmek zor olabilir ve kuruluşlara temel iş ihtiyaçlarına odaklanmak için daha az zaman verir. Aşağıdaki bölümlerde, SageMaker Model Kartlarının ve SageMaker Model Panosunun yönetişim çabalarınızı ölçeklendirmenize nasıl yardımcı olabileceğini keşfediyoruz.

SageMaker Model Kartları

Model kartları, modellerin belgelenme şeklini standartlaştırmanıza olanak tanır, böylece bir modelin tasarım, inşa, eğitim ve değerlendirmeden yaşam döngüsüne ilişkin görünürlük elde edersiniz. Model kartlarının, denetim ve belgeleme amaçları için güvenilir bir şekilde kullanılabilecek modelle ilgili iş ve teknik meta veriler için tek bir doğruluk kaynağı olması amaçlanmıştır. Model yönetişimi için önemli olan modelin bir bilgi formunu sağlarlar.

Model kartları, kullanıcıların optimizasyon için neden bir amaç fonksiyonunun seçildiği gibi kararları ve amaçlanan kullanım ve risk derecelendirmesi gibi ayrıntıları yazmasına ve saklamasına olanak tanır. Ayrıca, değerlendirme sonuçlarını ekleyip gözden geçirebilir ve ileride başvurmak üzere gözlemlerinizi not alabilirsiniz.

SageMaker'da eğitilen modeller için Model kartları, eğitim işi, eğitim veri kümeleri, model yapıları ve çıkarım ortamı gibi ayrıntıları keşfedebilir ve otomatik olarak doldurabilir, böylece kartları oluşturma sürecini hızlandırır. SageMaker Python SDK ile Model kartını değerlendirme metrikleriyle sorunsuz bir şekilde güncelleyebilirsiniz.

Model kartları, model risk yöneticilerine, veri bilimcilere ve makine öğrenimi mühendislerine aşağıdaki görevleri gerçekleştirme yeteneği sağlar:

• Risk derecelendirmesi, amaçlanan kullanım, sınırlamalar ve beklenen performans gibi belge modeli gereksinimleri
• SageMaker tarafından eğitilmiş modeller için Model kartlarını otomatik olarak doldurun
• SageMaker olmayan modeller için kendi bilgilerinizi (BYOI) getirin
• Model ve veri değerlendirme sonuçlarını yükleyin ve paylaşın
• Özel bilgileri tanımlayın ve yakalayın
• Yakalama Modeli kart durumu (taslak, incelenmeyi bekliyor veya üretim için onaylandı)
• Model kart hub'ına şu adresten erişin: AWS Yönetim Konsolu
• Model kartları oluşturun, düzenleyin, görüntüleyin, dışa aktarın, klonlayın ve silin
• kullanarak iş akışlarını tetikleyin Amazon EventBridge Model kartı durum değişikliği olayları için entegrasyon

Konsolu kullanarak SageMaker Model Kartları oluşturun

SageMaker konsolunu kullanarak kolayca Model kartları oluşturabilirsiniz. Burada mevcut tüm Model kartlarını görebilir ve gerektiğinde yenilerini oluşturabilirsiniz.

Bir Model kartı oluştururken, modeli kimin oluşturduğu, neden geliştirildiği, bağımsız değerlendirmeler için nasıl performans gösterdiği ve modeli bir iş uygulaması için kullanmadan önce dikkate alınması gereken tüm gözlemler gibi kritik model bilgilerini belgeleyebilirsiniz.

Konsolda bir Model kartı oluşturmak için aşağıdaki adımları tamamlayın:

1. Model genel bakış ayrıntılarını girin.
2. Eğitim ayrıntılarını girin (model SageMaker'da eğitildiyse otomatik olarak doldurulur).
3. Değerlendirme sonuçlarını yükleyin.
4. Öneriler ve etik hususlar gibi ek ayrıntılar ekleyin.

Model kartını oluşturduktan sonra görüntülemek için bir sürüm seçebilirsiniz.

Aşağıdaki ekran görüntüsü, Model kartımızın ayrıntılarını göstermektedir.

Ayrıca Paylaşılacak Model kartını PDF olarak dışa aktarabilirsiniz.

SageMaker Python SDK aracılığıyla SageMaker Model Kartları oluşturun ve keşfedin

Model kartlarla etkileşim, konsolla sınırlı değildir. Model kartları oluşturmak ve keşfetmek için SageMaker Python SDK'yı da kullanabilirsiniz. SageMaker Python SDK, veri bilimcilerin ve makine öğrenimi mühendislerinin SageMaker bileşenleriyle kolayca etkileşim kurmasını sağlar. Aşağıdaki kod parçacıkları, yeni eklenen SageMaker Python SDK işlevini kullanarak bir Model kartı oluşturma sürecini göstermektedir.

SageMaker Python SDK'nın en son sürümünün kurulu olduğundan emin olun:

$ pip install --upgrade "sagemaker>=2"

SageMaker'ı kullanarak bir modeli eğitip konuşlandırdıktan sonra, bilgileri Model kartına otomatik olarak doldurmak için SageMaker modelinden ve eğitim işinden gelen bilgileri kullanabilirsiniz.

SageMaker Python SDK'yı kullanarak ve SageMaker model adını ileterek temel model bilgilerini otomatik olarak toplayabiliriz. SageMaker model ARN'si, eğitim ortamı ve model çıktısı gibi bilgiler Amazon Basit Depolama Hizmeti (Amazon S3) konumu otomatik olarak doldurulur. Açıklama, problem tipi, algoritma tipi, model yaratıcısı ve sahibi gibi diğer model gerçeklerini ekleyebiliriz. Aşağıdaki koda bakın:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Eğitim işi ARN, eğitim ortamı ve eğitim metrikleri gibi temel eğitim bilgilerini de otomatik olarak toplayabiliriz. Eğitim hedefi işlevi ve gözlemler gibi ek eğitim ayrıntıları eklenebilir. Aşağıdaki koda bakın:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Elimizde değerlendirme metrikleri varsa bunları da Model kartına ekleyebiliriz:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

Model yönetimine yardımcı olabilecek model hakkında ek bilgiler de ekleyebiliriz:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

İstediğimiz tüm detayları sağladıktan sonra, önceki yapılandırmayı kullanarak Model kartını oluşturabiliriz:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SageMaker SDK ayrıca bir Model kartı güncelleme, yükleme, listeleme, dışa aktarma ve silme yeteneği sağlar.

Model kartlar hakkında daha fazla bilgi edinmek için bkz. geliştirici kılavuzu ve takip Re-Tweet başlamak için örnek not defteri.

SageMaker Model Panosu

Model panosu, hesapta oluşturulmuş tüm modellerin merkezi bir deposudur. Modeller genellikle SageMaker'da eğitim alınarak oluşturulur veya başka bir yerde eğitilmiş modellerinizi SageMaker'da barındırmak üzere getirebilirsiniz.

Model kontrol paneli, BT yöneticilerine, model risk yöneticilerine veya iş liderlerine dağıtılan tüm modelleri ve bunların nasıl performans gösterdiğini görmek için tek bir arabirim sağlar. Model performansı hakkında bilgi edinmek için uç noktalarınızı, toplu dönüştürme işlerini ve izleme işlerini görüntüleyebilirsiniz. Kuruluşlar, tüm modellerin veri kayması, model kayması, önyargı kayması ve özellik ilişkilendirme kayması açısından kontrol edildiğinden emin olmak için hangi modellerin eksik veya etkin olmayan monitörlere sahip olduğunu belirleyebilir ve SageMaker API'lerini kullanarak bunları ekleyebilir.

Aşağıdaki ekran görüntüsü, Model panosunun bir örneğini göstermektedir.

Model panosu, tüm modellerinize, risk derecelendirmelerine ve bu modellerin üretimde nasıl performans gösterdiğine ilişkin genel bir bakış sağlar. Bunu SageMaker genelinden bilgi çekerek yapar. Performans izleme bilgileri, Amazon SageMaker Model Monitörüve SageMaker toplu dönüştürme işleri aracılığıyla toplu tahminler için çağrılan modellerle ilgili bilgileri de görebilirsiniz. Modelin nasıl eğitildiği, kullanılan veriler ve daha fazlası gibi köken bilgileri yakalanır ve ayrıca Model kartlarından bilgiler alınır.

Model Monitor, toplu çıkarım veya gerçek zamanlı uç noktalar için üretimde kullanılan SageMaker modellerinin kalitesini izler. SageMaker API'leri aracılığıyla sürekli izleme veya programlanmış izlemeler ayarlayabilir ve Model panosundan uyarı ayarlarını düzenleyebilirsiniz. Model kalitesinde sapmalar olduğunda sizi bilgilendiren uyarılar ayarlayabilirsiniz. Bu sapmaların erken ve proaktif tespiti, modelleri manuel olarak izlemek veya ek araçlar oluşturmak zorunda kalmadan modelleri yeniden eğitmek, yukarı akış sistemlerini denetlemek veya kalite sorunlarını düzeltmek gibi düzeltici eylemler gerçekleştirmenizi sağlar. Model kontrol paneli, hangi modellerin izlendiği ve nasıl performans gösterdiği hakkında size hızlı bir fikir verir. Model Monitörü hakkında daha fazla bilgi için şu adresi ziyaret edin: Modelleri veri ve model kalitesi, önyargı ve açıklanabilirlik açısından izleyin.

Model panosunda bir model seçtiğinizde, Model kartı (varsa), model kökeni, modelin devreye alındığı uç nokta hakkındaki ayrıntılar ve modeli.

Bu görünüm, gerekirse bir Model kartı oluşturmanıza olanak tanır. İzleme programı, Model panosundan da etkinleştirilebilir, devre dışı bırakılabilir veya düzenlenebilir.

İzleme planı olmayan modellerde, modelin dağıtıldığı uç nokta için Model İzleme'yi etkinleştirerek bunu ayarlayabilirsiniz. Uyarı ayrıntıları ve durumu aracılığıyla, kurduğunuz monitörlere bağlı olarak veri kayması, model kayması, sapma kayması veya özellik kayması gösteren modeller hakkında bilgilendirileceksiniz.

Model izlemenin nasıl kurulacağına ilişkin örnek bir iş akışına bakalım. Bu sürecin temel adımları şunlardır:

1. Uç noktaya (veya toplu dönüştürme işine) gönderilen verileri yakalayın.
2. Bir temel oluşturun (izleme türlerinin her biri için).
3. İhlalleri bildirmek ve uyarıları tetiklemek için canlı tahminleri taban çizgisiyle karşılaştırmak için bir Model İzleme programı oluşturun.

Uyarılara dayalı olarak, uç noktayı önceki bir sürüme geri döndürmek veya modeli yeni verilerle yeniden eğitmek gibi eylemler gerçekleştirebilirsiniz. Bunu yaparken modelin nasıl eğitildiğinin izini sürmek gerekebilir ki bu, modelin soyunu görselleştirerek yapılabilir.

Model panosu, bir modelin belirli ayrıntılarını derinlemesine inceleme olanağına ek olarak, bir hesaptaki genel model ekosistemiyle ilgili zengin bir bilgi seti sunar. Model panosu hakkında daha fazla bilgi edinmek için bkz. geliştirici kılavuzu.

Sonuç

Model yönetişimi karmaşıktır ve genellikle bir kuruluşa veya sektöre özgü pek çok özelleştirilmiş ihtiyacı içerir. Bu, kuruluşunuzun uyması gereken düzenleyici gerekliliklere, kuruluşta bulunan kişi türlerine ve kullanılan model türlerine bağlı olabilir. Yönetişim konusunda herkese uyan tek bir yaklaşım yoktur ve sağlam bir yönetişim sürecinin uygulamaya konulabilmesi için doğru araçların mevcut olması önemlidir.

SageMaker'daki amaca yönelik ML yönetişim araçlarıyla kuruluşlar, kendi özel kullanım durumlarına yönelik ML projeleri üzerinde kontrolü ve görünürlüğü iyileştirmek için doğru mekanizmaları uygulayabilir. Model kartlarını ve Model kontrol panelini deneyin ve soru ve geri bildirimlerle yorumlarınızı bırakın. Model kartları ve Model panosu hakkında daha fazla bilgi edinmek için bkz. geliştirici kılavuzu.

yazarlar hakkında

Kirit Thadaka SageMaker Service SA ekibinde çalışan bir ML Çözümleri Mimarıdır. AWS'ye katılmadan önce Kirit, erken aşamadaki yapay zeka girişimlerinde çalıştı ve ardından bir süre yapay zeka araştırması, MLOps ve teknik liderlik alanlarında çeşitli rollerde danışmanlık yaptı.

Marc Karp SageMaker Servis ekibine sahip bir ML Mimarıdır. Müşterilerin ML iş yüklerini uygun ölçekte tasarlamasına, dağıtmasına ve yönetmesine yardımcı olmaya odaklanıyor. Boş zamanlarında seyahat etmekten ve yeni yerler keşfetmekten hoşlanır.

Raghu Rameşa Amazon SageMaker Service ekibiyle birlikte bir ML Çözümleri Mimarıdır. Müşterilerin ML üretim iş yüklerini uygun ölçekte oluşturmasına, dağıtmasına ve SageMaker'a geçirmesine yardımcı olmaya odaklanıyor. Makine öğrenimi, yapay zeka ve bilgisayarla görme alanlarında uzmandır ve UT Dallas'tan Bilgisayar Bilimi alanında yüksek lisans derecesine sahiptir. Boş zamanlarında seyahat etmeyi ve fotoğraf çekmeyi sever.

Ram Hayati AWS'de ML Uzman Çözüm Mimarıdır. Dağıtılmış, hibrit ve bulut uygulamaları tasarlama ve oluşturma konusunda 20 yılı aşkın deneyime sahiptir. Kurumsal müşterilere iş sonuçlarını iyileştirmek için bulut benimseme ve optimizasyon yolculuklarında yardımcı olmak için güvenli ve ölçeklenebilir AI/ML ve büyük veri çözümleri oluşturma konusunda tutkulu. Boş zamanlarında tenis, fotoğrafçılık ve aksiyon filmleriyle ilgileniyor.

Sahil Saini Amazon Web Services'ta bir ISV Çözüm Mimarıdır. AI/ML, Kapsayıcılar, HPC ve IoT için AWS hizmetlerini kullanan teknoloji çözümlerinde onlara yardımcı olmak için AWS stratejik müşterilerinin ürün ve mühendislik ekipleriyle birlikte çalışır. Kurumsal müşteriler için AI/ML platformlarının kurulmasına yardımcı oldu.