Amazon SageMaker'da seri çıkarım için tasarım desenleri

Makine öğrenimi (ML) yaygınlaştıkça ve daha geniş çapta benimsendikçe, makine öğrenimi destekli uygulamalar bir dizi karmaşık iş sorununu çözmek için giderek daha yaygın hale geliyor. Bu karmaşık iş sorunlarının çözümü çoğu zaman birden fazla ML modelinin kullanılmasını gerektirir. Bu modeller, ön işleme, veri dönüştürme, model seçimi, çıkarım oluşturma, çıkarım birleştirme ve son işleme gibi çeşitli görevleri gerçekleştirmek için sırayla birleştirilebilir. Kuruluşların bu karmaşık makine öğrenimi iş akışlarını düzenlemek için esnek seçeneklere ihtiyacı var. Seri çıkarım hatları, bu iş akışlarını bir dizi adım halinde düzenlemek için bu türden bir tasarım modelidir; her adım, önceki adımlarla oluşturulan çıktıyı zenginleştirir veya daha fazla işler ve çıktıyı ardışık düzendeki bir sonraki adıma aktarır.

Ek olarak, bu seri çıkarım ardışık düzenleri aşağıdakileri sağlamalıdır:

• Esnek ve özelleştirilmiş uygulama (bağımlılıklar, algoritmalar, iş mantığı vb.)
• Üretim uygulaması için tekrarlanabilir ve tutarlı
• Altyapı yönetimini en aza indirerek farklılaştırılmayan ağır kaldırma

Bu yazıda, seri çıkarım hatlarına yönelik bazı yaygın kullanım örneklerine bakacağız ve bu kullanım durumlarının her biri için bazı uygulama seçeneklerini inceleyeceğiz. Amazon Adaçayı Yapıcı. Ayrıca bu uygulama seçeneklerinin her birine ilişkin hususları da tartışıyoruz.

Aşağıdaki tabloda seri çıkarım, uygulama hususları ve seçenekler için farklı kullanım durumları özetlenmektedir. Bunlar bu yazıda tartışılmaktadır.

Aşağıdaki bölümlerde, her bir kullanım durumunu daha ayrıntılı olarak tartışacağız.

Çıkarım kapsayıcılarını kullanan seri çıkarım hattı

Seri çıkarım hattı kullanım senaryoları, çıkarımlar oluşturmak için önceden eğitilmiş bir makine öğrenimi modelini çağırmadan önce gelen verileri önceden işleme gereksinimlerine sahiptir. Ek olarak, bazı durumlarda oluşturulan çıkarımların daha fazla işlenmesi gerekebilir, böylece bunların aşağı yöndeki uygulamalar tarafından kolayca tüketilebilmesi sağlanır. Bu, bir akış veri kaynağının üzerine bir model takılmadan önce gerçek zamanlı olarak işlenmesinin gerektiği kullanım durumları için yaygın bir senaryodur. Ancak bu kullanım durumu toplu çıkarım için de ortaya çıkabilir.

SageMaker, çıkarım kapsayıcılarını özelleştirme ve bunları bir seri çıkarım hattı oluşturmak için kullanma seçeneği sunar. Çıkarım kapsayıcıları şunları kullanır: SageMaker Çıkarım Araç Seti ve üzerine inşa edilmişler SageMaker Çoklu Model Sunucusu (MMS)ML modellerine hizmet etmek için esnek bir mekanizma sağlayan. Aşağıdaki diyagramda, çıkarım kapsayıcıları kullanılarak bir seri çıkarım hattının nasıl uygulanacağına ilişkin bir referans modeli gösterilmektedir.

SageMaker MMS, modeli yüklemek, giriş verilerini ön işlemek, modelden tahminler almak ve çıkış verilerini sonradan işlemek için aşağıdaki işlevleri uygulayan bir Python betiği bekler:

• input_fn () – Giriş verilerinin seri durumdan çıkarılmasından ve ön işlenmesinden sorumludur
• model_fn() – Eğitilen modelin yapılardan yüklenmesinden sorumludur. Amazon Basit Depolama Hizmeti (Amazon S3)
• predict_fn () – Modelden çıkarımlar üretmekten sorumludur
• çıktı_fn() – Çıkış verilerinin (çıkarımlar) serileştirilmesinden ve sonradan işlenmesinden sorumludur

Çıkarım kapsayıcısını özelleştirmeye yönelik ayrıntılı adımlar için bkz. Kendi Çıkarım Kapsayıcınızı Uyarlama.

Çıkarım kapsayıcıları, aşağıdaki temel hususlara sahip seri çıkarım hattı kullanım durumları için ideal bir tasarım modelidir:

• Yüksek uyum – İşleme mantığı ve karşılık gelen model, tek iş işlevselliğini yönlendirir ve aynı yerde bulunması gerekir
• Düşük genel gecikme – Çıkarım isteğinin yapılması ile yanıtın alınması arasında geçen süre

Seri çıkarım hattında, işleme mantığı ve modeli aynı tek kapsayıcı içinde kapsüllenir, böylece çağrı çağrılarının çoğu kapsayıcı içinde kalır. Bu, genel atlama sayısının azaltılmasına yardımcı olarak, genel gecikme süresinin ve ardışık düzenin yanıt verme yeteneğinin daha iyi olmasını sağlar.

Ayrıca, uygulama kolaylığının önemli bir kriter olduğu kullanım durumları için, boru hattının çeşitli işlem adımlarının aynı kap içinde birlikte yerleştirilmesiyle çıkarım kapları yardımcı olabilir.

SageMaker çıkarım hattını kullanan seri çıkarım hattı

Seri çıkarım ardışık düzeni kullanım durumunun başka bir varyasyonu, ardışık düzendeki çeşitli adımlar (veri ön işleme, çıkarım oluşturma, veri son işleme ve biçimlendirme ve serileştirme gibi) arasında daha net bir ayırma gerektirir. Bunun çeşitli nedenleri olabilir:

• Ayrıştırılması – Boru hattının çeşitli adımlarının açıkça tanımlanmış bir amacı vardır ve ilgili temel bağımlılıklar nedeniyle ayrı kaplarda çalıştırılması gerekir. Bu aynı zamanda boru hattının iyi yapılandırılmış olmasına yardımcı olur.
• çerçeveler – İşlem hattının çeşitli adımları, belirli amaca uygun çerçeveler (scikit veya Spark ML gibi) kullanır ve bu nedenle ayrı kaplarda çalıştırılması gerekir.
• Kaynak İzolasyonu – Boru hattının çeşitli adımlarının değişen kaynak tüketimi gereksinimleri vardır ve bu nedenle daha fazla esneklik ve kontrol için ayrı kaplarda çalıştırılması gerekir.

Ayrıca, biraz daha karmaşık seri çıkarım hatları için, bir isteği işlemek ve bir çıkarım oluşturmak için birden fazla adım söz konusu olabilir. Bu nedenle, operasyonel açıdan bakıldığında, daha iyi işlevsel izolasyon için bu adımları ayrı kapsayıcılarda barındırmak ve yükseltmeleri ve geliştirmeleri kolaylaştırmak (diğer modelleri veya işleme adımlarını etkilemeden bir adımı değiştirmek) faydalı olabilir.

Kullanım durumunuz bu hususların bazılarıyla uyumluysa, SageMaker çıkarım hattı seri çıkarım hattı oluşturmak için kolay ve esnek bir seçenek sunar. Aşağıdaki şemada, SageMaker çıkarım hattı kullanılarak özel kapsayıcılarda barındırılan birden çok adım kullanılarak seri çıkarım hattının nasıl uygulanacağına ilişkin bir referans modeli gösterilmektedir.

Bir SageMaker çıkarım hattı, verilerle ilgili çıkarım isteklerini işleyen 2-15 konteynerden oluşan doğrusal bir diziden oluşur. Çıkarım hattı, önceden eğitilmiş SageMaker yerleşik algoritmalarını veya Docker kapsayıcılarında paketlenmiş özel algoritmaları kullanma seçeneği sunar. Kapsayıcılar aynı temel örnekte barındırılır; bu, genel gecikmenin azaltılmasına ve maliyetin en aza indirilmesine yardımcı olur.

Aşağıdaki kod parçacığı, seri çıkarım hattı oluşturmak için birden fazla işlem adımının ve modelinin nasıl birleştirilebileceğini gösterir.

İşlem hattının bir parçası olarak kullanmayı planladığımız Spark ML ve XGBoost tabanlı modelleri oluşturup belirleyerek başlıyoruz:

from sagemaker.model import Model
from sagemaker.pipeline_model import PipelineModel
from sagemaker.sparkml.model import SparkMLModel
sparkml_data = 's3://{}/{}/{}'.format(s3_model_bucket, s3_model_key_prefix, 'model.tar.gz')
sparkml_model = SparkMLModel(model_data=sparkml_data)
xgb_model = Model(model_data=xgb_model.model_data, image=training_image)

Modeller daha sonra boru hattı modeli tanımı dahilinde sırayla düzenlenir:

model_name = 'serial-inference-' + timestamp_prefix
endpoint_name = 'serial-inference-ep-' + timestamp_prefix
sm_model = PipelineModel(name=model_name, role=role, models=[sparkml_model, xgb_model])

Çıkarım hattı daha sonra ana bilgisayar makine öğrenimi örneklerinin türü ve sayısı belirtilerek gerçek zamanlı çıkarım için bir uç noktanın arkasına dağıtılır:

sm_model.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge', endpoint_name=endpoint_name)

Birleştirilmiş çıkarım hattının tamamı, herhangi bir harici ön işleme gerek kalmadan, gerçek zamanlı tahminler yapmak veya toplu dönüşümleri doğrudan işlemek için kullanabileceğiniz bir SageMaker modeli olarak düşünülebilir. Bir çıkarım hattı modeli içerisinde SageMaker, çağrıları harici bir uygulamadan kaynaklanan bir HTTP istekleri dizisi olarak işler. İşlem hattındaki ilk konteyner, ilk isteği işler, bazı işlemler gerçekleştirir ve ardından ara yanıtı, işlem hattındaki ikinci konteynere bir istek olarak gönderir. Bu işlem hattındaki her konteyner için gerçekleşir ve son olarak arayan istemci uygulamasına nihai yanıtı döndürür.

SageMaker çıkarım hatları tam olarak yönetilir. İşlem hattı konuşlandırıldığında, SageMaker tanımlanmış tüm konteynerleri her bir sunucuya kurar ve çalıştırır. Amazon Elastik Bilgi İşlem Bulutu Uç nokta veya toplu dönüştürme işinin parçası olarak sağlanan (Amazon EC2) bulut sunucuları. Ayrıca, konteynerler aynı EC2 bulut sunucusunda aynı yerde konumlandırıldığı ve barındırıldığı için genel işlem hattı gecikmesi azalır.

SageMaker çıkarım hattını kullanan seri model topluluğu

Topluluk modeli, birden fazla ML modelinin birleştirildiği ve nihai çıkarımlar oluşturmak için çıkarım sürecinin bir parçası olarak kullanıldığı ML'deki bir yaklaşımdır. Topluluk modellerine yönelik motivasyonlar arasında doğruluğun artırılması, belirli girdi özelliklerine yönelik model duyarlılığının azaltılması ve tek model yanlılığının azaltılması yer alabilir. Bu yazıda, birden fazla makine öğrenimi modelinin seri çıkarım hattının parçası olarak sırayla birleştirildiği bir seri model topluluğuyla ilgili kullanım örneklerine odaklanıyoruz.

Bir kullanıcının yüklediği görselleri belirli temalara veya konulara göre gruplandırmamız gereken bir seri model topluluğuyla ilgili spesifik bir örneği ele alalım. Bu işlem hattı üç makine öğrenimi modelinden oluşabilir:

• Model 1 – Bir görüntüyü girdi olarak kabul eder ve görüntü kalitesini, görüntü çözünürlüğüne, yönüne ve daha fazlasına göre değerlendirir. Bu model daha sonra görüntü kalitesini yükseltmeye çalışır ve belirli bir kalite eşiğini karşılayan işlenmiş görüntüleri bir sonraki modele (Model 2) gönderir.
• Model 2 – Model 1 aracılığıyla doğrulanan görüntüleri kabul eder ve gerçekleştirir görüntü tanıma görüntülerdeki nesneleri, yerleri, insanları, metinleri ve diğer özel eylemleri ve kavramları tanımlamak için kullanılır. Tanımlanan nesneleri içeren Model 2'nin çıktısı Model 3'e gönderilir.
• Model 3 – Model 2'den gelen çıktıyı kabul eder ve görüntüleri temalara göre gruplandırmak için konu modelleme gibi doğal dil işleme (NLP) görevlerini gerçekleştirir. Örneğin görüntüler konuma veya tanımlanan kişilere göre gruplandırılabilir. Çıktı (gruplamalar) istemci uygulamasına geri gönderilir.

Aşağıdaki şemada, bir SageMaker çıkarım hattı kullanılarak bir seri model grubunda barındırılan birden fazla makine öğrenimi modelinin nasıl uygulanacağına ilişkin bir referans modeli gösterilmektedir.

Daha önce tartışıldığı gibi, SageMaker çıkarım hattı yönetilir; bu, ML modeli seçimi ve geliştirilmesine odaklanmanızı sağlarken seri topluluk hattının oluşturulmasıyla ilişkili farklılaştırılmamış ağır yükü azaltır.

Ek olarak, ayırma, model geliştirme için algoritma ve çerçeve seçimi ve konuşlandırmayla ilgili daha önce tartışılan bazı hususlar burada da geçerlidir. Örneğin, her model ayrı bir kapsayıcıda barındırıldığı için, her modele ve genel kullanım durumunuza en uygun makine öğrenimi çerçevesini seçme konusunda esnekliğe sahip olursunuz. Ayrıca, ayırma ve operasyonel açıdan bakıldığında, diğer modelleri etkilemeden bireysel adımları çok daha kolay bir şekilde yükseltmeye veya değiştirmeye devam edebilirsiniz.

SageMaker çıkarım hattı aynı zamanda SageMaker model kaydı Tutarlı operasyonel en iyi uygulamaları desteklemek amacıyla model kataloglama, sürüm oluşturma, meta veri yönetimi ve üretim ortamlarına yönetilen dağıtım için. SageMaker çıkarım hattı aynı zamanda aşağıdakilerle entegredir: Amazon Bulut İzleme çıkarım hatlarındaki çok kapsayıcılı modellerin izlenmesini sağlamak. Ayrıca görünürlük elde edebilirsiniz gerçek zamanlı metrikler Sorun giderme ve kaynak optimizasyonuna yardımcı olan işlem hattındaki her kapsayıcı için çağrıları ve gecikmeyi daha iyi anlamak.

SageMaker çıkarım hattını kullanan seri çıkarım hattı (bir gruptan hedeflenen model çağrımı ile)

SageMaker çoklu model uç noktaları (MME'ler), çok sayıda makine öğrenimi modelini tek bir uç noktanın arkasında dağıtmak için uygun maliyetli bir çözüm sağlar. Çok modelli uç noktaları kullanma motivasyonları, istek özelliklerine (kaynak, coğrafi konum, kullanıcı kişiselleştirme vb.) dayalı olarak belirli bir özelleştirilmiş modelin çağrılmasını veya maliyet optimizasyonuna ulaşmak için aynı uç noktanın arkasında birden fazla modelin barındırılmasını içerebilir.

Çoklu modelin etkin olduğu tek bir uç noktaya birden fazla model dağıttığınızda, tüm modeller bilgi işlem kaynaklarını ve model hizmet kapsayıcısını paylaşır. SageMaker çıkarım işlem hattı, işlem hattındaki kapsayıcılardan birinin, çağrılan belirli modele dayalı olarak istekleri dinamik olarak sunabildiği bir MME'ye dağıtılabilir. Boru hattı perspektifinden bakıldığında, modeller aynı ön işleme gereksinimlerine sahiptir ve aynı özellik kümesini bekler, ancak belirli bir davranışa uyum sağlayacak şekilde eğitilirler. Aşağıdaki şemada bu entegre boru hattının nasıl çalışacağına ilişkin bir referans modeli gösterilmektedir.

MME'lerde, istemci uygulamasından kaynaklanan çıkarım isteğinin çağrılması gereken hedef modeli belirtmesi gerekir. İşlem hattındaki ilk konteyner, ilk isteği işler, bazı işlemler gerçekleştirir ve ardından ara yanıtı, birden fazla modeli barındıran işlem hattındaki ikinci konteynere bir istek olarak gönderir. Çıkarım isteğinde belirtilen hedef modele göre model, bir çıkarım oluşturmak için çağrılır. Oluşturulan çıkarım daha fazla işlenmek üzere işlem hattındaki bir sonraki kapsayıcıya gönderilir. Bu işlem hattındaki her bir konteyner için gerçekleşir ve son olarak SageMaker, çağıran istemci uygulamasına son yanıtı döndürür.

Bir S3 klasöründe birden fazla model yapısı kalıcıdır. Belirli bir model çağrıldığında, SageMaker onu dinamik olarak uç noktayı barındıran konteynere yükler. Model konteynerin belleğine zaten yüklenmişse SageMaker'ın modeli Amazon S3'ten indirmesine gerek olmadığından çağırma daha hızlıdır. Örnek bellek kullanımı yüksekse ve yeni bir model çağrılırsa ve bu nedenle yüklenmesi gerekiyorsa kullanılmayan modeller bellekten kaldırılır. Ancak boşaltılan modeller örneğin depolama biriminde kalır ve daha sonra S3 klasöründen tekrar indirilmeden konteynerin belleğine tekrar yüklenebilir.

MME'leri kullanırken göz önünde bulundurulması gereken en önemli hususlardan biri, model çağırma gecikme davranışını anlamaktır. Daha önce tartışıldığı gibi modeller, çağrıldığında uç noktayı barındıran örneğin konteynerin belleğine dinamik olarak yüklenir. Bu nedenle modelin çağrılması ilk kez çağrıldığında daha uzun sürebilir. Model zaten örnek kapsayıcısının belleğinde olduğunda sonraki çağrılar daha hızlıdır. Örnek bellek kullanımı yüksekse ve yeni bir modelin yüklenmesi gerekiyorsa kullanılmayan modeller kaldırılır. Örneğin depolama birimi doluysa kullanılmayan modeller depolama biriminden silinir. SageMaker, herhangi bir özel işlem yapmanıza gerek kalmadan modellerin yüklenmesini ve boşaltılmasını tamamen yönetir. Ancak bu davranışı anlamak önemlidir çünkü bunun model çağırma gecikmesi ve dolayısıyla genel uçtan uca gecikme süresi üzerinde etkileri vardır.

İşlem hattı barındırma seçenekleri

SageMaker birden fazla sağlar örnek türü Kullanım durumunuza, aktarım hızınıza ve maliyet gereksinimlerinize göre makine öğrenimi modellerini dağıtmak ve çıkarım hatları oluşturmak için seçebileceğiniz seçenekler. Örneğin, tek bir kapsayıcıda veya birden çok kapsayıcıda seri çıkarım işlem hatları oluşturmak için CPU veya GPU için optimize edilmiş örnekleri seçebilirsiniz. Ancak bazen ek esneklik için aynı işlem hattı içindeki CPU veya GPU tabanlı örnekler üzerinde model çalıştırma esnekliğine ve desteğine sahip olmanın istendiği gereksinimler olabilir.

Artık, heterojen bilgi işlem gereksinimleri için SageMaker'da çıkarım amaçlı modeller sunmak amacıyla NVIDIA Triton Inference Server'ı kullanabilirsiniz. Çıkış yapmak Amazon SageMaker'da NVIDIA Triton Inference Server ile hızlı ve ölçeklenebilir yapay zekayı devreye alın Ek ayrıntılar için.

Sonuç

Kuruluşlar makine öğrenimi tarafından desteklenen yeni çözümler keşfedip oluşturdukça, bu işlem hatlarını düzenlemek için gereken araçlar, belirli bir kullanım örneğini temel alarak destek sağlayacak kadar esnek olmalı, aynı zamanda devam eden operasyonel genel giderleri basitleştirmeli ve azaltmalıdır. SageMaker, gereksinimlerinize göre bu seri çıkarım iş akışlarını tasarlamak ve oluşturmak için birden fazla seçenek sunar.

Seri çıkarım ardışık düzenlerini kullanarak hangi kullanım senaryolarını oluşturduğunuz hakkında sizden haber almayı sabırsızlıkla bekliyoruz. Sorularınız veya geri bildirimleriniz varsa lütfen bunları yorumlarda paylaşın.

yazarlar hakkında

Rahul Sharma AWS Data Lab'da Kıdemli Çözüm Mimarıdır ve AWS müşterilerinin AI/ML çözümleri tasarlamasına ve oluşturmasına yardımcı olur. Rahul, AWS'ye katılmadan önce finans ve sigorta sektöründe birkaç yıl geçirerek müşterilerin veri ve analitik platformlar oluşturmasına yardımcı oldu.

Anand Prakash AWS Data Lab'da Kıdemli Çözüm Mimarıdır. Anand, müşterilerin üretime giden yollarını hızlandırmak için AI/ML, veri analitiği ve veritabanı çözümleri tasarlayıp oluşturmalarına yardımcı olmaya odaklanıyor.

Dhaval Patel AWS'de Baş Makine Öğrenimi Mimarıdır. Dağıtılmış bilgi işlem ve Yapay Zeka ile ilgili sorunlar üzerinde büyük kuruluşlardan orta ölçekli girişimlere kadar çeşitli kuruluşlarla çalıştı. NLP ve Computer Vision alanları dahil olmak üzere Derin öğrenmeye odaklanmaktadır. Müşterilerin SageMaker'da yüksek performanslı model çıkarımı yapmasına yardımcı olur.

Saurabh Trikande Amazon SageMaker Inference için Kıdemli Ürün Yöneticisidir. Müşterilerle çalışma ve makine öğrenimini daha erişilebilir hale getirme konusunda tutkulu. Saurabh boş zamanlarında yürüyüş yapmaktan, yenilikçi teknolojiler hakkında bilgi edinmekten, TechCrunch'ı takip etmekten ve ailesiyle vakit geçirmekten hoşlanıyor.