Amazon SageMaker JumpStart | Amazon Web Hizmetleri

Son gelişmelerle birlikte üretken yapay zeka, belirli iş sorunlarını çözmek için farklı sektörlerde üretken yapay zekanın nasıl kullanılacağına dair birçok tartışma var. Generative AI, konuşmalar, hikayeler, resimler, videolar ve müzik dahil olmak üzere yeni içerik ve fikirler oluşturabilen bir AI türüdür. Hepsi, çok büyük miktarda veri üzerinde önceden eğitilmiş ve yaygın olarak adlandırılan çok büyük modellerle desteklenir. temel modeller (FM'ler). Bu FM'ler, blog gönderileri yazmak, resimler oluşturmak, matematik problemleri çözmek, diyalog kurmak ve bir belgeye dayalı olarak soruları yanıtlamak gibi birden çok alanı kapsayan çok çeşitli görevleri gerçekleştirebilir. FM'lerin boyutu ve genel amaçlı doğası, onları tipik olarak duyarlılık için metin analizi, görüntüleri sınıflandırma ve trendleri tahmin etme gibi belirli görevleri yerine getiren geleneksel makine öğrenimi modellerinden farklı kılar.

Kuruluşlar bu FM'lerin gücünü kullanmak isterken, FM tabanlı çözümlerin kendi korunan ortamlarında çalışmasını da isterler. Küresel finansal hizmetler, sağlık hizmetleri ve yaşam bilimleri gibi yoğun şekilde düzenlenmiş alanlarda faaliyet gösteren kuruluşların, ortamlarını VPC'lerinde çalıştırmak için işitsel ve uyumluluk gereksinimleri vardır. Aslında, çoğu zaman, hem giriş hem de çıkışta istenmeyen herhangi bir trafiğe maruz kalmamak için bu ortamlarda doğrudan internet erişimi bile devre dışı bırakılır.

Amazon SageMaker Hızlı Başlangıç algoritmalar, modeller ve makine öğrenimi çözümleri sunan bir makine öğrenimi merkezidir. SageMaker JumpStart ile makine öğrenimi uygulayıcıları, giderek artan en iyi performans gösteren açık kaynak FM'ler listesinden seçim yapabilir. Ayrıca, bu modelleri kendi başınıza dağıtma yeteneği de sağlar. Sanal Özel Bulut (VPC).

Bu gönderide, bir dağıtımı devreye almak için JumpStart'ın nasıl kullanılacağını gösteriyoruz. Tart-T5 XXL modeli internet bağlantısı olmayan bir VPC'de. Aşağıdaki konuları tartışıyoruz:

• İnternet erişimi olmayan bir VPC'de SageMaker JumpStart kullanılarak bir temel model nasıl dağıtılır
• VPC modunda SageMaker JumpStart modelleri aracılığıyla FM dağıtmanın avantajları
• Temel modellerin dağıtımını JumpStart aracılığıyla özelleştirmenin alternatif yolları

JumpStart, FLAN-T5 XXL dışında, çeşitli görevler için birçok farklı temel modeli sunar. Tam liste için göz atın Amazon SageMaker JumpStart'ı kullanmaya başlarken.

Çözüme genel bakış

Çözümün bir parçası olarak aşağıdaki adımları ele alıyoruz:

1. İnternet bağlantısı olmayan bir VPC kurun.
2. Kurmak Amazon SageMaker Stüdyosu oluşturduğumuz VPC'yi kullanarak.
3. İnternet erişimi olmayan VPC'de JumpStart'ı kullanarak üretken AI Flan T5-XXL temel modelini dağıtın.

Aşağıdaki, çözümün bir mimari diyagramıdır.

Bu çözümü uygulamak için farklı adımlardan geçelim.

Önkoşullar

Bu gönderiyi takip etmek için aşağıdakilere ihtiyacınız var:

İnternet bağlantısı olmayan bir VPC kurun

Yeni bir CloudFormation yığını oluşturun kullanarak 01_networking.yaml şablon. Bu şablon, yeni bir VPC oluşturur ve internet bağlantısı olmayan iki Erişilebilirlik Alanında iki özel alt ağ ekler. Daha sonra erişim için ağ geçidi VPC uç noktalarını dağıtır Amazon Basit Depolama Hizmeti (Amazon S3) ve VPC'deki kaynakların AWS hizmetlerine bağlanmasına izin vermek için SageMaker ve diğer birkaç hizmet için arayüz VPC uç noktaları AWS Özel Bağlantı.

gibi bir yığın adı sağlayın. No-Internet, ve yığın oluşturma işlemini tamamlayın.

CloudFormation şablonu, bu gönderideki adımları uygularken maliyetleri azaltmak için yalnızca bir alt ağda arayüz VPC uç noktaları oluşturduğundan, bu çözüm yüksek düzeyde kullanılabilir değildir.

VPC'yi kullanarak Studio'yu kurun

Kullanarak başka bir CloudFormation yığını oluşturun 02_sagemaker_studio.yaml, bir Studio alanı, Studio kullanıcı profili ve IAM rolleri gibi destekleyici kaynaklar oluşturur. Yığın için bir ad seçin; bu gönderi için adı kullanıyoruz SageMaker-Studio-VPC-No-Internet. Daha önce oluşturduğunuz VPC yığınının adını girin (No-Internet) olarak CoreNetworkingStackName parametre ve diğer her şeyi varsayılan olarak bırakın.

AWS CloudFormation, yığın oluşturmanın tamamlandığını bildirene kadar bekleyin. Studio etki alanının SageMaker konsolunda kullanılabilir olduğunu onaylayabilirsiniz.

Studio etki alanı kullanıcısının internet erişimi olmadığını doğrulamak için, SageMaker konsolunu kullanarak Studio'yu başlatın. Seçin fileto, yeni, ve terminal, ardından bir internet kaynağına erişmeyi deneyin. Aşağıdaki ekran görüntüsünde gösterildiği gibi, terminal kaynağı beklemeye devam edecek ve sonunda zaman aşımına uğrayacaktır.

Bu, Studio'nun internet erişimi olmayan bir VPC'de çalıştığını kanıtlar.

Üretken AI temel modeli Flan T5-XXL'i JumpStart kullanarak devreye alın

Bu modeli API aracılığıyla olduğu kadar Studio aracılığıyla da dağıtabiliriz. JumpStart, Studio'dan erişilebilen bir SageMaker not defteri aracılığıyla modeli dağıtmak için tüm kodu sağlar. Bu gönderi için, Studio'nun bu özelliğini sergiliyoruz.

• Studio hoş geldiniz sayfasında, HızlıBaşlangıç Önceden oluşturulmuş ve otomatikleştirilmiş çözümler altında.

• Aşağıdan Flan-T5 XXL modelini seçin Temel Modelleri.

• Varsayılan olarak, Sürüş sekmesi. Genişletin Dağıtım Yapılandırması değiştirmek için bölüm hosting instance ve endpoint nameveya herhangi bir ek etiket ekleyin. değiştirmek için bir seçenek de vardır S3 bucket location uç noktayı oluşturmak için model yapısının depolanacağı yer. Bu gönderi için her şeyi varsayılan değerlerinde bırakıyoruz. Tahmin yapmak için uç noktayı çağırırken kullanılacak uç nokta adını not edin.

• genişletmek Güvenlik Ayarları belirtebileceğiniz bölümdür. IAM role bitiş noktası oluşturmak için. Ayrıca belirtebilirsiniz VPC configurations sağlayarak subnets ve security groups. Alt ağ kimlikleri ve güvenlik grubu kimlikleri, AWS CloudFormation konsolundaki VPC yığınının Çıktılar sekmesinden bulunabilir. SageMaker JumpStart, bu yapılandırmanın bir parçası olarak en az iki alt ağ gerektirir. Alt ağlar ve güvenlik grupları, model kabına ve model kapsayıcısından erişimi kontrol eder.

NOT: SageMaker JumpStart modelinin VPC'de dağıtılıp dağıtılmadığına bakılmaksızın, model her zaman model kapsayıcısını izole eden ağ izolasyon modunda çalışır, böylece model kapsayıcısına gelen veya giden ağ araması yapılamaz. Bir VPC kullandığımız için SageMaker, belirlediğimiz VPC aracılığıyla model yapıtını indirir. Model kapsayıcısını ağ izolasyonunda çalıştırmak, SageMaker uç noktanızın çıkarım isteklerine yanıt vermesini engellemez. Model kapsayıcının yanında bir sunucu işlemi çalışır ve ona çıkarım isteklerini iletir, ancak model kapsayıcının ağ erişimi yoktur.

• Klinik Sürüş modeli dağıtmak için. Devam eden uç nokta oluşturma işleminin gerçek zamanlıya yakın durumunu görebiliriz. Uç nokta oluşturma işleminin tamamlanması 5-10 dakika sürebilir.

Alanın değerini gözlemleyin Model veri konumu bu sayfada. Tüm SageMaker JumpStart modelleri, SageMaker tarafından yönetilen bir S3 klasöründe barındırılır (s3://jumpstart-cache-prod-{region}). Bu nedenle, JumpStart'tan hangi modelin seçildiğine bakılmaksızın, model herkesin erişebileceği SageMaker JumpStart S3 kovasından dağıtılır ve modeli indirmek için trafik hiçbir zaman genel model hayvanat bahçesi API'lerine gitmez. Doğrudan internet erişimi olmayan bir VPC'de uç nokta oluştururken bile model uç noktası oluşturmanın başarılı bir şekilde başlamasının nedeni budur.

Model yapıtı ayrıca herhangi bir özel model hayvanat bahçesine veya kendi S3 kovanıza kopyalanarak model kaynak konumunu daha fazla kontrol edebilir ve güvenli hale getirebilir. Modeli kullanarak yerel olarak indirmek için aşağıdaki komutu kullanabilirsiniz. AWS Komut Satırı Arayüzü (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Birkaç dakika sonra uç nokta başarıyla oluşturulur ve durumu şu şekilde gösterir: Serviste. Seçin Open Notebook içinde Use Endpoint from Studio bölüm. Bu, uç noktayı hızlı bir şekilde test etmek için JumpStart deneyiminin bir parçası olarak sağlanan örnek bir not defteridir.

• Not defterinde, görüntüyü şu şekilde seçin: Veri Bilimi 3.0 ve çekirdek olarak Python 3. Çekirdek hazır olduğunda, uç noktada tahminler yapmak için not defteri hücrelerini çalıştırabilirsiniz. Dizüstü bilgisayarın kullandığını unutmayın. invoke_endpoint() API'den gelen Python için AWS SDK'sı tahminler yapmak için. Alternatif olarak, SageMaker Python SDK'nın tahmini() Aynı sonuca ulaşmak için kullanılan yöntem.

Bu, internet erişimi olmayan bir VPC içinde JumpStart kullanarak Flan-T5 XXL modelini dağıtma adımlarını tamamlar.

SageMaker JumpStart modellerini VPC modunda devreye almanın avantajları

Aşağıdakiler, SageMaker JumpStart modellerini VPC modunda konuşlandırmanın avantajlarından bazılarıdır:

• SageMaker JumpStart, modelleri halka açık bir model hayvanat bahçesinden indirmediği için, tamamen kilitli ortamlarda ve internet erişiminin olmadığı yerlerde kullanılabilir.
• Ağ erişimi SageMaker JumpStart modelleri için sınırlandırılabileceğinden ve kapsam daraltılabileceğinden, bu, ekiplerin ortamın güvenlik duruşunu iyileştirmesine yardımcı olur.
• VPC sınırları nedeniyle uç noktaya erişim, ekstra bir güvenlik katmanı ekleyen alt ağlar ve güvenlik grupları aracılığıyla da sınırlandırılabilir.

Temel modellerin dağıtımını SageMaker JumpStart aracılığıyla özelleştirmenin alternatif yolları

Bu bölümde, modeli devreye almanın bazı alternatif yollarını paylaşıyoruz.

Tercih ettiğiniz IDE'den SageMaker JumpStart API'lerini kullanın

SageMaker JumpStart tarafından sağlanan modeller, Studio'ya erişmenizi gerektirmez. sayesinde herhangi bir IDE'den SageMaker uç noktalarına dağıtabilirsiniz. Hızlı Başlangıç ​​API'leri. Bu gönderide daha önce açıklanan Studio kurulum adımını atlayabilir ve modeli dağıtmak için JumpStart API'lerini kullanabilirsiniz. Bu API'ler, VPC yapılandırmalarının da sağlanabileceği argümanlar sağlar. API'ler, SageMaker Python SDK'sı kendisi. Daha fazla bilgi için bkz. Önceden eğitilmiş modeller.

SageMaker Studio'dan SageMaker JumpStart tarafından sağlanan not defterlerini kullanın

SageMaker JumpStart, modeli doğrudan dağıtmak için not defterleri de sağlar. Model detay sayfasında, Not defterini aç uç noktayı dağıtma kodunu içeren örnek bir not defteri açmak için. not defteri kullanır SageMaker JumpStart Endüstri API'leri modelleri listelemenize ve filtrelemenize, yapıları almanıza ve uç noktaları dağıtmanıza ve sorgulamanıza olanak tanır. Not defteri kodunu kullanım durumunuza özel gereksinimlerinize göre de düzenleyebilirsiniz.

Kaynakları temizleme

Check out TEMİZLEME.md Bu gönderinin bir parçası olarak oluşturulan Studio, VPC ve diğer kaynakları silmeye yönelik ayrıntılı adımları bulmak için dosya.

Sorun giderme

CloudFormation yığınlarını oluştururken herhangi bir sorunla karşılaşırsanız, bkz. CloudFormation'da Sorun Giderme.

Sonuç

Büyük dil modellerinden güç alan üretken yapay zeka, insanların bilgilerden içgörü elde etme ve bunları uygulama şeklini değiştiriyor. Bununla birlikte, yoğun şekilde düzenlenmiş alanlarda faaliyet gösteren kuruluşların, üretken yapay zeka yeteneklerini, daha hızlı yenilik yapmalarına izin verecek ve aynı zamanda bu tür yeteneklere erişim modellerini basitleştirecek şekilde kullanmaları gerekmektedir.

Üretken yapay zeka yeteneklerini mevcut ortamınıza entegre ederken internet erişimi olmayan kendi VPC'nizde tutmaya devam etmek için bu gönderide sağlanan yaklaşımı denemenizi öneririz. SageMaker JumpStart temel modelleri hakkında daha fazla bilgi için aşağıdakilere göz atın:

---

yazarlar hakkında

vikeş pandey AWS'de Makine Öğrenimi Uzmanı Çözüm Mimarıdır ve finans sektöründeki müşterilerin üretken yapay zeka ve makine öğrenimi üzerinde çözümler tasarlamasına ve oluşturmasına yardımcı olur. Vikesh, iş dışında farklı mutfakları denemekten ve açık hava sporları yapmaktan hoşlanıyor.

Mehran Nikoo AWS'de Kıdemli Çözümler Mimarı, Birleşik Krallık'taki Dijital Yerli işletmelerle birlikte çalışıyor ve hedeflerine ulaşmalarına yardımcı oluyor. Yazılım mühendisliği deneyimini makine öğrenimine uygulama konusunda tutkulu, uçtan uca makine öğrenimi ve MLOps uygulamalarında uzmandır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/