Klasik ML ve LLM'leri Amazon SageMaker ile kolayca paketleyin ve dağıtın, bölüm 2: SageMaker Studio'da Etkileşimli Kullanıcı Deneyimleri | Amazon Web Hizmetleri

Amazon Adaçayı Yapıcı geliştiricilerin ve veri bilimcilerinin hızlı ve kolay bir şekilde makine öğrenimi (ML) modellerini uygun ölçekte oluşturmasına, eğitmesine ve dağıtmasına olanak tanıyan, tümüyle yönetilen bir hizmettir. SageMaker, hizmete yapılan API çağrıları yoluyla modellerin doğrudan üretime dağıtılmasını kolaylaştırır. Modeller, sağlam ve ölçeklenebilir dağıtımlar için kapsayıcılar halinde paketlenir.

SageMaker, modelleri dağıtmak için çeşitli seçenekler sunar. Bu seçenekler, sahip olduğunuz kontrol miktarına ve sizin tarafınızdan ihtiyaç duyulan işe göre değişir. AWS SDK'sı size en fazla kontrolü ve esnekliği sağlar. Java, C++, Go, JavaScript, Node.js, PHP, Ruby ve Python için kullanılabilen düşük seviyeli bir API'dir. SageMaker Python SDK'sı bazı adımları ve yapılandırmayı özetleyen ve modellerin konuşlandırılmasını kolaylaştıran üst düzey bir Python API'sidir. AWS Komut Satırı Arayüzü (AWS CLI), kendi kodunuzu yazmanıza gerek kalmadan modelleri dağıtmak amacıyla SageMaker ile etkileşimli olarak çalışmak için kullanabileceğiniz başka bir üst düzey araçtır.

SageMaker kullanarak modelleri paketleme ve dağıtma sürecini daha da basitleştiren iki yeni seçeneği piyasaya sürüyoruz. Bunun bir yolu programatik dağıtımdır. Bunun için Python SDK'sında iyileştirmeler sunuyoruz. Daha fazla bilgi için bkz. Amazon SageMaker, bölüm 1: PySDK İyileştirmeleri ile klasik ML ve LLM'leri kolayca paketleyin ve dağıtın. İkinci yol etkileşimli dağıtım içindir. Bunun için yeni bir interaktif deneyim başlatıyoruz. Amazon SageMaker Stüdyosu. Kendi eğitimli veya temel modellerinizi (FM'ler) hızlı bir şekilde dağıtmanıza yardımcı olacaktır. Amazon SageMaker Hızlı Başlangıç optimize edilmiş yapılandırmayla en düşük maliyetle öngörülebilir performans elde edin. Yeni etkileşimli deneyimin nasıl göründüğünü kontrol etmek için okumaya devam edin.

SageMaker Studio'da yeni etkileşimli deneyim

Bu gönderi, bir veya daha fazla ML modelini eğittiğinizi veya SageMaker JumpStart model merkezindeki FM'leri kullandığınızı ve bunları dağıtmaya hazır olduğunuzu varsayar. SageMaker kullanarak bir modeli eğitmek, modeli SageMaker kullanarak dağıtmak için bir ön koşul değildir. SageMaker Studio'ya biraz aşina olduğunuz da varsayılmaktadır.

Aşağıdakileri nasıl yapacağınız konusunda size yol gösteriyoruz:

• SageMaker modeli oluşturun
• SageMaker modelini dağıtma
• SageMaker JumpStart büyük dil modelini (LLM) dağıtın
• Birden fazla modeli tek bir uç noktanın arkasına dağıtın
• Model çıkarımını test edin
• Hataları giderme

SageMaker modeli oluşturun

Çıkarım için bir SageMaker uç noktası ayarlamanın ilk adımı bir SageMaker model nesnesi oluşturmaktır. Bu model nesnesi iki şeyden oluşur: model için bir kapsayıcı ve çıkarım için kullanılacak eğitilmiş model. Yeni etkileşimli kullanıcı arayüzü deneyimi, SageMaker model oluşturma sürecini basit hale getiriyor. SageMaker Studio'da yeniyseniz, bkz. Geliştirici Kılavuzu Başlamak için.

1. SageMaker Studio arayüzünde şunu seçin: Modeller Gezinti bölmesinde.
2. Üzerinde Dağıtılabilir modeller sekmesini seçin oluşturmak.

Artık tek yapmanız gereken model kapsayıcı ayrıntılarını, model verilerinizin konumunu ve bir AWS Kimlik ve Erişim Yönetimi SageMaker'ın sizin adınıza üstleneceği (IAM) rolü.

3. Model kapsayıcısı için, SageMaker'ın popüler çerçeveler ve kitaplıklar için sağladığı önceden oluşturulmuş Docker görüntülerinden birini kullanabilirsiniz. Bu seçeneği kullanmayı tercih ederseniz desteklenen türler listesinden bir kapsayıcı çerçeve, karşılık gelen çerçeve sürümü ve bir donanım türü seçin.
   

Alternatif olarak, içinde saklanan kendi kapsayıcınızın yolunu da belirleyebilirsiniz. Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR'si).

4. Daha sonra model yapıtlarınızı yükleyin. SageMaker Studio, model yapıtlarını yüklemek için iki yol sunar:
   • Öncelikle bir belirtebilirsiniz model.tar.gz ya bir Amazon Basit Depolama Hizmeti (Amazon S3) kovasında veya yerel yolunuzda. Bu model.tar.gz kullandığınız konteynere uygun formatta yapılandırılmalıdır.
   • Alternatif olarak PyTorch ve XGBoost modelleri için ham eser yüklemeyi destekler. Bu iki çerçeve için model yapıtlarını kabın beklediği biçimde sağlayın. Örneğin, PyTorch için bu bir model.pth. Model yapılarınızın ayrıca ön işleme ve son işleme için bir çıkarım komut dosyası içerdiğini unutmayın. Bir çıkarım komut dosyası sağlamazsanız seçtiğiniz kapsayıcıya ilişkin varsayılan çıkarım işleyicileri uygulanacaktır.
5. Kapsayıcınızı ve yapınızı seçtikten sonra bir IAM rolü belirtin.
6. Klinik Dağıtılabilir model oluşturun Bir SageMaker modeli oluşturmak için.
   

Önceki adımlar en basit iş akışını göstermektedir. Model oluşturma sürecini daha da özelleştirebilirsiniz. Örneğin, kapsayıcının genel internet üzerinden giden aramalar yapamayacağından emin olmak için VPC ayrıntılarını belirtebilir ve ağ izolasyonunu etkinleştirebilirsiniz. Genişletebilirsiniz Gelişmiş seçenekler Daha fazla seçenek görmek için bölüme bakın.

Bir SageMaker Inference Recommender kıyaslama işi çalıştırarak uç noktanızı dağıtmak için en iyi fiyat/performans oranına yönelik donanım hakkında rehberlik alabilirsiniz. SageMaker modelini daha da özelleştirmek için, konteyner düzeyinde ayarlanabilir herhangi bir ortam değişkenini iletebilirsiniz. Çıkarım Öneri Aracı ayrıca model sunumunuz ve kapsayıcınız için en uygun yapılandırmayı bulmak amacıyla bu değişkenlerin bir aralığını da alacaktır.

Modelinizi oluşturduktan sonra ekranda görebilirsiniz. Dağıtılabilir modeller sekmesi. Model oluşturmada herhangi bir sorun bulunursa durumu ekranda göreceksiniz. durumu izle kolon. Ayrıntıları görüntülemek için modelin adını seçin.

SageMaker modelini dağıtma

En temel senaryoda yapmanız gereken tek şey, aşağıdakiler arasından konuşlandırılabilir bir model seçmektir: Modeller sayfasına veya SageMaker JumpStart sayfasından bir LLM'ye kaydolun, bir bulut sunucusu tipi seçin, ilk bulut sunucusu sayısını ayarlayın ve modeli dağıtın. Kendi SageMaker modeliniz için SageMaker Studio'da bu sürecin nasıl göründüğüne bakalım. Bu yazının ilerleyen kısımlarında LLM'lerin kullanımını tartışacağız.

1. Üzerinde Modeller sayfasını seçin Dağıtılabilir modeller sekmesi.
2. Dağıtılacak modeli seçin ve seçin Sürüş.
   
3. Bir sonraki adım, SageMaker'ın çıkarım uç noktasının arkasına koyacağı bulut sunucusu tipini seçmektir.

En düşük maliyetle en iyi performansı sunan bir bulut sunucusu istiyorsunuz. SageMaker öneriler göstererek bu kararı vermenizi kolaylaştırır. SageMaker modeli oluşturma adımında SageMaker Inference Recommender'ı kullanarak modelinizi kıyasladıysanız, açılır menüde o kıyaslamadaki önerileri göreceksiniz.

Aksi takdirde, menüde olası örneklerin bir listesini göreceksiniz. Bu durumda SageMaker listeyi doldurmak için kendi buluşsal yöntemini kullanır.

4. İlk örnek sayısını belirtin ve ardından Sürüş.

SageMaker bir uç nokta yapılandırması oluşturacak ve modelinizi bu uç noktanın arkasına dağıtacaktır. Model dağıtıldıktan sonra uç noktayı ve model durumunu şu şekilde göreceksiniz: Serviste. Uç noktanın modelden önce hazır olabileceğini unutmayın.

Burası aynı zamanda SageMaker Studio'da uç noktayı yöneteceğiniz yerdir. öğesini seçerek uç nokta ayrıntıları sayfasına gidebilirsiniz. Uç noktalar altında dağıtımlar Gezinti bölmesinde. Kullan Model ekle ve Sil Bir uç noktayı yeniden oluşturmaya gerek kalmadan uç noktanın arkasındaki modelleri değiştirmek için düğmeleri kullanın. Test çıkarımı sekmesi, doğrudan SageMaker Studio arayüzünden hizmet içi modellerden birine test istekleri göndererek modelinizi test etmenize olanak sağlar. Ayrıca otomatik ölçeklendirme politikasını da düzenleyebilirsiniz. Otomatik ölçeklendirme Bu sayfadaki sekme. Modellerin eklenmesi, kaldırılması ve test edilmesiyle ilgili daha fazla ayrıntı aşağıdaki bölümlerde ele alınmaktadır. Bu uç noktanın ağ, güvenlik ve bilgi işlem bilgilerini şu adreste görebilirsiniz: Ayarlar sekmesi.

Dağıtımı özelleştirme

Önceki örnek, sizin tarafınızdan gereken minimum yapılandırmayla tek bir modeli dağıtmanın ne kadar kolay olduğunu gösterdi. SageMaker alanların çoğunu sizin için doldurur ancak yapılandırmayı özelleştirebilirsiniz. Örneğin, uç nokta için otomatik olarak bir ad oluşturur. Ancak uç noktayı tercihinize göre adlandırabilir veya mevcut bir uç noktayı kullanabilirsiniz. Bitiş noktası adı Aşağıya doğru açılan menü. Mevcut uç noktalar için yalnızca o anda hizmette olan uç noktaları göreceksiniz. Şunu kullanabilirsiniz: Gelişmiş seçenekler IAM rolünü, VPC ayrıntılarını ve etiketleri belirtmek için bölümü kullanın.

SageMaker JumpStart LLM'yi dağıtın

SageMaker JumpStart LLM'yi dağıtmak için aşağıdaki adımları tamamlayın:

1. gidin HızlıBaşlangıç SageMaker Studio'daki sayfa.
2. İş ortağının sunduğu modellerin listesine göz atmak için iş ortağı adlarından birini seçin veya modelin adını biliyorsanız, model sayfasına gitmek için arama özelliğini kullanın.
3. Dağıtmak istediğiniz modeli seçin.
   
4. Klinik Sürüş.
   

Yüksek Lisans kullanımının EULA'ya ve sağlayıcının hüküm ve koşullarına tabi olduğunu unutmayın.

5. Lisansı ve şartları kabul edin.
6. Bir örnek türü belirtin.

JumpStart model merkezindeki birçok model, dağıtım için fiyat-performans açısından optimize edilmiş varsayılan örnek türüyle birlikte gelir. Bu varsayılan değerle gelmeyen modeller için, desteklenen bulut sunucusu türlerinin bir listesi size sağlanacaktır. Örnek türü Aşağıya doğru açılan menü. Karşılaştırmalı modeller için, özel kullanım durumunuzu karşılamak amacıyla dağıtımı özellikle maliyet veya performans açısından optimize etmek istiyorsanız şunları seçebilirsiniz: Alternatif konfigürasyonlar Toplam belirteçlerin, giriş uzunluğunun ve maksimum eşzamanlılığın farklı kombinasyonlarıyla karşılaştırılan daha fazla seçeneği görüntülemek için. Ayrıca söz konusu model için desteklenen diğer örnekler arasından da seçim yapabilirsiniz.

7. Alternatif bir yapılandırma kullanıyorsanız örneğinizi seçin ve seç.
   
8. Klinik Sürüş modeli dağıtmak için.

Uç nokta ve model durumunun şu şekilde değiştiğini göreceksiniz: Serviste. Bu durumda dağıtımı gereksinimlerinizi karşılayacak şekilde özelleştirme seçenekleriniz de vardır.

Birden fazla modeli tek bir uç noktanın arkasına dağıtın

SageMaker, tek bir uç noktanın arkasında birden fazla modeli dağıtmanıza olanak tanır. Bu, uç noktaların arkasında tek bir model kullanılmasına kıyasla uç nokta kullanımını iyileştirerek barındırma maliyetlerini azaltır. Ayrıca SageMaker, modelleri belleğe yüklemeyi ve bunları uç noktanıza giden trafik modellerine göre ölçeklendirmeyi yönettiği için dağıtım yükünü de azaltır. SageMaker Studio artık bunu yapmayı kolaylaştırıyor.

1. Dağıtmak istediğiniz modelleri seçerek başlayın ve ardından Sürüş.
   
2. Daha sonra, tanımladığınız tahsis edilmiş işlem miktarına sahip birden fazla modele sahip bir uç nokta oluşturabilirsiniz.

Bu durumda uç nokta için ml.p4d.24xlarge örneğini kullanıyoruz ve iki farklı modelimiz için gerekli sayıda kaynak ayırıyoruz. Uç noktanızın bu özelliğin desteklediği bulut sunucusu türleriyle sınırlı olduğunu unutmayın.

3. Akışı şuradan başlatırsanız: Dağıtılabilir modeller sekmesine tıklayın ve bir SageMaker JumpStart LLM eklemek istiyorsanız (ya da tam tersi), seçerek bunu birden fazla modeli önleyen bir uç nokta haline getirebilirsiniz. Model ekle dağıtım iş akışını başlattıktan sonra.
   
4. Burada, SageMaker JumpStart model merkezinden başka bir FM veya Konuşlandırılabilir Modeller SageMaker model nesneleri olarak kaydettiğiniz modelleri ifade eden seçenek.
5. Model ayarlarınızı seçin:
   • Model bir CPU örneği kullanıyorsa model için CPU sayısını ve minimum kopya sayısını seçin.
   • Model bir GPU örneği kullanıyorsa model için hızlandırıcı sayısını ve minimum kopya sayısını seçin.
6. Klinik Model ekle.
   
7. Klinik Sürüş Bu modelleri bir SageMaker uç noktasına dağıtmak için.
   

Uç nokta çalışır durumda ve hazır olduğunda (Serviste durumu), tek bir uç noktanın arkasında konuşlandırılmış iki modele sahip olacaksınız.

Model çıkarımını test edin

SageMaker Studio artık model çıkarım isteklerini test etmeyi kolaylaştırıyor. Yük verilerini doğrudan uygulama veya JSON, metin veya CSV gibi desteklenen içerik türünü kullanarak gönderebilir veya not defteri veya yerel entegre geliştirme ortamı (IDE) gibi programlama ortamınızdan bir çağırma isteği yapmak için Python SDK örnek kodunu kullanabilirsiniz.

Python SDK örnek kodu seçeneğinin yalnızca SageMaker JumpStart modelleri için mevcut olduğunu ve giriş/çıkış verileri dönüşümüyle belirli model kullanım senaryosu için uyarlandığını unutmayın.

Hataları giderme

Sorun gidermeye ve model dağıtımına daha derinlemesine bakmaya yardımcı olmak için kaynakta araç ipuçları bulunmaktadır. Durum İlgili hata ve neden mesajlarını gösteren etiket. Şunlara da bağlantılar var: Amazon Bulut İzleme uç nokta ayrıntıları sayfasındaki günlük grupları. Tek modelli uç noktalar için CloudWatch konteyner günlüklerine bağlantı, uygun bir şekilde Özet uç nokta ayrıntıları bölümü. Birden fazla modele sahip uç noktalar için CloudWatch günlüklerine olan bağlantılar, Modeller tablo görünümü. Sorun gidermeye yönelik bazı yaygın hata senaryoları aşağıda verilmiştir:

• Model ping durumu denetimi hatası – Hizmet kapsayıcısı model ping durumu denetimini geçemediği için model dağıtımı başarısız olabilir. Sorunun hatalarını ayıklamak için CloudWatch günlük grupları tarafından yayınlanan aşağıdaki kapsayıcı günlüklerine bakın:

  /aws/sagemaker/Endpoints/[EndpointName]
  /aws/sagemaker/InferenceComponents/[InferenceComponentName]

• Tutarsız model ve uç nokta yapılandırması dağıtım hatalarına neden oldu – Dağıtım aşağıdaki hata mesajlarından biriyle başarısız olursa bu, dağıtılmak üzere seçilen modelin farklı bir IAM rolü, VPC yapılandırması veya ağ izolasyon yapılandırması kullandığı anlamına gelir. Düzeltme, dağıtım akışı sırasında aynı IAM rolünü, VPC yapılandırmasını ve ağ izolasyon yapılandırmasını kullanacak şekilde model ayrıntılarını güncellemektir. Mevcut bir uç noktaya bir model ekliyorsanız model nesnesini hedef uç nokta yapılandırmalarıyla eşleşecek şekilde yeniden oluşturabilirsiniz.

  Model and endpoint config have different execution roles. Please ensure the execution roles are consistent.
  Model and endpoint config have different VPC configurations. Please ensure the VPC configurations are consistent.
  Model and endpoint config have different network isolation configurations. Please ensure the network isolation configurations are consistent.

• Mevcut uç nokta altyapısına daha fazla model dağıtmak için yeterli kapasite yok – Dağıtım aşağıdaki hata mesajıyla başarısız olursa bu, mevcut uç nokta altyapısının, modeli dağıtmak için yeterli bilgi işlem veya bellek donanımı kaynağına sahip olmadığı anlamına gelir. Düzeltme, uç noktadaki maksimum örnek sayısını artırmak veya yeni model dağıtımına yer açmak için uç noktada dağıtılan mevcut modelleri silmektir.

  There is not enough hardware resources on the instances for this endpoint to create a copy of the inference component. Please update resource requirements for this inference component, remove existing inference components, or increase the number of instances for this endpoint.

• Birden çok model uç noktası dağıtımı için desteklenmeyen örnek türü – Dağıtım aşağıdaki hata mesajıyla başarısız olursa bu, seçilen örnek tipinin şu anda birden fazla model uç nokta dağıtımı için desteklenmediği anlamına gelir. Çözüm, örnek tipini bu özelliği destekleyen bir örnekle değiştirmek ve dağıtımı yeniden denemektir.

  The instance type is not supported for multiple models endpoint. Please choose a different instance type.

Diğer model dağıtım sorunları için bkz. Desteklenen özellikler.

Temizlemek

Temizleme işlemi de basittir. SageMaker konsolunda belirli bir modeli seçerek bir veya daha fazla modeli mevcut SageMaker uç noktanızdan kaldırabilirsiniz. Uç noktanın tamamını silmek için şuraya gidin: Uç noktalar sayfasında istediğiniz uç noktayı seçin, Silve silme işlemine devam etmek için sorumluluk reddi beyanını kabul edin.

Sonuç

SageMaker Studio'daki gelişmiş etkileşimli deneyim, veri bilimcilerin model oluşturmaya ve yapıtlarını SageMaker'a getirmeye odaklanmalarına olanak tanırken, dağıtımın karmaşıklıklarını da ortadan kaldırır. Kod tabanlı bir yaklaşımı tercih edenler için, düşük kodlu eşdeğerine göz atın. ModelBuilder sınıfı.

Daha fazlasını öğrenmek için SageMaker'ı ziyaret edin ModelBuilder Python arayüzü belgeleme ve yönlendirilen iş akışlarını dağıtma SageMaker Studio'da. SageMaker SDK ve SageMaker Studio için ek ücret alınmaz. Yalnızca kullanılan temel kaynaklar için ödeme yaparsınız. Modellerin SageMaker ile nasıl dağıtılacağı hakkında daha fazla bilgi için bkz. Çıkarım için modelleri dağıtma.

Sirisha Upadhyayala, Melanie Li, Dhawal Patel, Sam Edwards ve Kumara Swami Borra'ya özel teşekkürler.

---

yazarlar hakkında

Raghu Rameşa Amazon SageMaker Hizmet ekibinde Kıdemli ML Çözümleri Mimarıdır. Müşterilerin makine öğrenimi üretim iş yüklerini geniş ölçekte oluşturmasına, dağıtmasına ve SageMaker'a taşımasına yardımcı olmaya odaklanıyor. Makine öğrenimi, yapay zeka ve bilgisayarla görme alanlarında uzmanlaşmıştır ve UT Dallas'ta Bilgisayar Bilimleri alanında yüksek lisans derecesine sahiptir. Boş zamanlarında seyahat etmekten ve fotoğraf çekmekten hoşlanıyor.

Deepak Garg AWS'de Çözüm Mimarıdır. AWS hizmetlerinin derinliklerine dalmayı ve bilgilerini müşterilerle paylaşmayı seviyor. Deepak'ın İçerik Dağıtım Ağları ve Telekomünikasyon alanında geçmişi vardır

Ram Vegiraju Amazon SageMaker Service ekibinde çalışan bir ML Mimarıdır. Müşterilerin Amazon SageMaker'da AI/ML çözümlerini oluşturmalarına ve optimize etmelerine yardımcı olmaya odaklanıyor. Boş zamanlarında seyahat etmeyi ve yazmayı seviyor.

Marc Karp Amazon SageMaker Hizmet ekibinde çalışan bir Makine Öğrenimi Mimarıdır. Müşterilerin makine öğrenimi iş yüklerini uygun ölçekte tasarlamasına, devreye almasına ve yönetmesine yardımcı olmaya odaklanır. Boş zamanlarında seyahat etmekten ve yeni yerler keşfetmekten keyif alıyor.

Shiva Raaj Kotini Amazon SageMaker Inference ürün portföyünde Baş Ürün Yöneticisi olarak çalışmaktadır. Çıkarım için SageMaker'da model dağıtımı, performans ayarlama ve optimizasyon konularına odaklanıyor.

Alwin (Qiyun) Zhao Amazon SageMaker Inference Platform ekibinde Kıdemli Yazılım Geliştirme Mühendisidir. Dağıtım korkuluklarının ve gölge dağıtımlarının lider geliştiricisidir ve müşterilerin makine öğrenimi iş yüklerini ve dağıtımları yüksek kullanılabilirlik ile büyük ölçekte yönetmelerine yardımcı olmaya odaklanır. Ayrıca, hızlı ve güvenli makine öğrenimi işleri dağıtımı ve makine öğrenimi çevrimiçi deneylerini kolayca yürütmek için platform mimarisi geliştirmeleri üzerinde çalışıyor. Boş zamanlarında kitap okumaktan, oyun oynamaktan ve seyahat etmekten hoşlanır.

Gaurav Bhanderi SageMaker'da yapay zeka platformları ekibinde çalışan bir Ön Uç mühendisidir. AWS organizasyonu içerisinde Müşteriye yönelik kullanıcı arayüzü çözümleri sunmak için çalışıyor. Boş zamanlarında yürüyüş yapmaktan ve yerel restoranları keşfetmekten hoşlanıyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/