AWS CDK ve AWS Service Catalog kullanarak Amazon SageMaker Canvas ile makine öğrenimi ortamları sağlayın ve yönetin

Çok çeşitli kullanım durumlarında makine öğreniminin (ML) yaygınlaşması her sektörde yaygınlaşıyor. Ancak bu, iş sonuçlarını gerçekleştirmek için bu teknik çözümlerin uygulanmasından geleneksel olarak sorumlu olan makine öğrenimi pratisyenlerinin sayısındaki artışı geride bırakıyor.

Günümüz işletmelerinde, makine öğreniminin temeli olan veri konusunda yetkin, makine öğrenimi olmayan uygulayıcılar tarafından kullanılacak makine öğrenimine ihtiyaç vardır. Bunu gerçeğe dönüştürmek için, ML'nin değeri, kod içermeyen ML platformları aracılığıyla kuruluş genelinde gerçekleştiriliyor. Bu platformlar, örneğin iş analistleri gibi farklı kişilerin tek bir kod satırı yazmadan ML kullanmasını ve iş sorunlarına hızlı, basit ve sezgisel bir şekilde çözümler sunmasını sağlar. Amazon SageMaker Tuval iş analistlerinin herhangi bir makine öğrenimi deneyimine veya tek bir kod satırı yazmak zorunda kalmadan kendi başlarına doğru tahminler oluşturarak iş sorunlarını çözmek için makine öğrenimini kullanmalarını sağlayan görsel bir tıkla ve tıkla hizmetidir. Canvas, işletmelerin çözümleri hızlı bir şekilde uygulamasına yardımcı olan, kullanımı basit, sezgisel bir arayüzle kurumda makine öğreniminin kullanımını genişletti.

Canvas, ML'nin demokratikleşmesini sağlasa da, ML ortamlarını güvenli bir şekilde sağlama ve dağıtma zorluğu hala devam etmektedir. Tipik olarak bu, çoğu büyük kuruluştaki merkezi BT ekiplerinin sorumluluğundadır. Bu gönderide, BT ekiplerinin güvenli ML ortamlarını nasıl yönetebileceğini, tedarik edebileceğini ve yönetebileceğini tartışıyoruz. Amazon SageMaker Tuval, AWS Bulut Geliştirme Kiti (AWS CDK) ve AWS Hizmet Kataloğu. Gönderi, BT yöneticilerinin bunu hızlı ve geniş ölçekte başarmaları için adım adım bir kılavuz sunuyor.

AWS CDK ve AWS Hizmet Kataloğuna Genel Bakış

AWS CDK, bulut uygulama kaynaklarınızı tanımlamak için açık kaynaklı bir yazılım geliştirme çerçevesidir. Kaynakları güvenli ve tekrarlanabilir bir şekilde sağlarken uygulamalarınızı modellemek için programlama dillerinin aşinalık ve ifade gücünü kullanır.

AWS Hizmet Kataloğu, dağıtılan BT hizmetlerini, uygulamaları, kaynakları ve meta verileri merkezi olarak yönetmenize olanak tanır. AWS Hizmet Kataloğu ile kod olarak altyapı (IaC) şablonları ile bulut kaynakları oluşturabilir, paylaşabilir, düzenleyebilir ve yönetebilir ve hızlı ve kolay kaynak sağlamayı etkinleştirebilirsiniz.

Çözüme genel bakış

Canvas kullanarak makine öğrenimi ortamlarının sağlanmasını üç adımda etkinleştiriyoruz:

1. İlk olarak, AWS Service Catalog'u kullanarak Canvas'ın onaylı kullanımı için gerekli bir kaynak portföyünü nasıl yönetebileceğinizi paylaşıyoruz.
2. Ardından, AWS CDK kullanarak Canvas için örnek bir AWS Hizmet Kataloğu portföyü dağıtıyoruz.
3. Son olarak, birkaç dakika içinde isteğe bağlı olarak Canvas ortamlarını nasıl sağlayabileceğinizi gösteriyoruz.

Önkoşullar

ML ortamlarını Canvas, AWS CDK ve AWS Service Catalog ile sağlamak için aşağıdakileri yapmanız gerekir:

1. Hizmet Kataloğu portföyünün dağıtılacağı AWS hesabına erişin. AWS CDK yığınını hesabınıza dağıtmak için kimlik bilgilerine ve izinlere sahip olduğunuzdan emin olun. bu AWS CDK Çalıştayı desteğe ihtiyacınız olursa başvurabileceğiniz yararlı bir kaynaktır.
2. Aşağıdaki kaynaklarda ayrıntıları verilen kavramlar aracılığıyla vurgulanan belirli en iyi uygulamaları izlemenizi öneririz:
3. klon bu GitHub deposu ortamınıza.

AWS Service Catalog kullanarak Amazon SageMaker Canvas ile onaylı makine öğrenimi ortamları sağlayın

Düzenlemeye tabi sektörlerde ve çoğu büyük kuruluşta, ML ortamlarını sağlamak ve yönetmek için BT ekipleri tarafından zorunlu kılınan gereksinimlere uymanız gerekir. Bunlar, güvenli, özel bir ağ, veri şifreleme, aşağıdakiler gibi yalnızca yetkili ve kimliği doğrulanmış kullanıcılara izin veren kontroller içerebilir. AWS Kimlik ve Erişim Yönetimi (IAM), Canvas gibi çözümlere erişim ve denetim amacıyla sıkı günlük kaydı ve izleme.

BT yöneticisi olarak, SageMaker Canvas ile güvenli, yeniden üretilebilir ML ortamları oluşturmak ve bir ürün portföyünde düzenlemek için AWS Service Catalog'u kullanabilirsiniz. Bu, daha önce bahsedilen gereksinimleri karşılamak için gömülü olan ve talep üzerine dakikalar içinde sağlanabilen IaC kontrolleri kullanılarak yönetilir. Ayrıca ürünleri piyasaya sürmek için bu portföye kimlerin erişebileceğini de kontrol edebilirsiniz.

Aşağıdaki şema bu mimariyi göstermektedir.

Örnek akış

Bu bölümde, SageMaker Canvas ile bir AWS Hizmet Kataloğu portföyünün bir örneğini gösteriyoruz. Portföy, Hizmet Kataloğu portföyünün parçası olan Canvas ortamının farklı yönlerinden oluşur:

• Stüdyo alanı – Canvas içinde çalışan bir uygulamadır. Stüdyo alanları. Etki alanı bir Amazon Elastik Dosya Sistemi (Amazon EFS) birimi, yetkili kullanıcıların listesi ve bir dizi güvenlik, uygulama, ilke ve Amazon Sanal Özel Bulut (VPC) yapılandırmaları. Bir AWS hesabı, Bölge başına bir etki alanına bağlıdır.
• Amazon S3 demeti – Studio alanı oluşturulduktan sonra, bir Amazon Basit Depolama Hizmeti (Amazon S3) kovası, yerel dosya yükleme olarak da bilinen yerel dosyalardan veri kümelerinin içe aktarılmasına izin vermek için Canvas için sağlanır. Bu paket müşterinin hesabındadır ve bir kez sağlanır.
• Tuval kullanıcısı – SageMaker Canvas, veri kümelerini içe aktarmaya devam edebilen, kod yazmadan ML modelleri oluşturup eğitebilen ve model üzerinde tahminler çalıştırabilen her Canvas kullanıcısı için Studio etki alanı içinde kullanıcı profilleri ekleyebileceğiniz bir uygulamadır.
• Canvas oturumlarının planlanmış kapanması – Canvas kullanıcıları, görevlerini tamamladıklarında Canvas arayüzünden çıkış yapabilirler. Alternatif olarak, yöneticiler Canvas oturumlarını kapatabilir itibaren AWS Yönetim Konsolu Canvas oturumlarını yönetmenin bir parçası olarak. AWS Hizmet Kataloğu portföyünün bu bölümünde, bir AWS Lambda işlev Canvas oturumlarını tanımlanan zamanlanmış aralıklarla otomatik olarak kapatmak için oluşturulur ve sağlanır. Bu, açık oturumların yönetilmesine ve kullanılmadığında kapatılmasına yardımcı olur.

Bu örnek akış şurada bulunabilir: GitHub deposu hızlı başvuru için.

AWS CDK ile akışı dağıtın

Bu bölümde, AWS CDK kullanarak daha önce açıklanan akışı dağıtıyoruz. Dağıtıldıktan sonra sürüm takibi yapabilir ve portföyü yönetebilirsiniz.

Portföy yığını şurada bulunabilir: app.py ve ürün yığınları altında products/ dosya. IAM rollerini yineleyebilirsiniz, AWS Anahtar Yönetim Hizmeti (AWS KMS) anahtarları ve VPC kurulumu studio_constructs/ dosya. Yığını hesabınıza dağıtmadan önce, aşağıdaki satırları şurada düzenleyebilirsiniz: app.py ve seçtiğiniz bir IAM rolüne portföy erişimi verin.

İlgili IAM kullanıcıları, grupları ve rolleri için portföye erişimi yönetebilirsiniz. Görmek Kullanıcılara Erişim Verme daha fazla ayrıntı için.

Portföyü hesabınıza dağıtın

Artık AWS CDK'yi yüklemek için aşağıdaki komutları çalıştırabilir ve portföyü dağıtmak için doğru bağımlılıklara sahip olduğunuzdan emin olabilirsiniz:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Portföyü hesabınıza dağıtmak için aşağıdaki komutları çalıştırın:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

İlk iki komut, aşağıdakileri kullanarak hesap kimliğinizi ve geçerli Bölgenizi alır. AWS Komut Satırı Arayüzü (AWS CLI) bilgisayarınızda. Bunu takiben, cdk bootstrap ve cdk deploy varlıkları yerel olarak oluşturun ve yığını birkaç dakika içinde dağıtın.

Portföy, aşağıdaki ekran görüntüsünde gösterildiği gibi artık AWS Hizmet Kataloğu'nda bulunabilir.

İsteğe bağlı sağlama

Portföydeki ürünler, talep üzerine hızlı ve kolay bir şekilde pazara sunulabilir. Sağlama AWS Service Catalog konsolundaki menü. Tipik bir akış, önce Studio etki alanını ve Canvas otomatik kapanmasını başlatmaktır, çünkü bu genellikle tek seferlik bir işlemdir. Ardından, etki alanına Canvas kullanıcıları ekleyebilirsiniz. Etki alanı kimliği ve kullanıcı IAM rolü ARN'si şuraya kaydedilir: AWS Sistem Yöneticisi ve aşağıdaki ekran görüntüsünde gösterildiği gibi kullanıcı parametreleriyle otomatik olarak doldurulur.

Ayrıca her kullanıcıya iliştirilmiş maliyet tahsis etiketlerini de kullanabilirsiniz. Örneğin, UserCostCenter her kullanıcının adını ekleyebileceğiniz örnek bir etikettir.

Canvas kullanarak makine öğrenimi ortamlarını yönetmek için önemli noktalar

Artık Canvas'a odaklanan bir AWS Hizmet Kataloğu portföyü tedarik edip dağıttığımıza göre, etki alanına ve kullanıcı profiline odaklanan Canvas tabanlı ML ortamlarını yönetmek için birkaç noktayı vurgulamak istiyoruz.

Studio alanıyla ilgili dikkat edilmesi gereken noktalar şunlardır:

• Canvas için Ağ Oluşturma, etki alanının güvenli bağlantı için özel bir VPC alt ağına dağıtıldığı Studio etki alanı düzeyinde yönetilir. Görmek Özel bir VPC kullanarak Amazon SageMaker Studio bağlantısını güvenli hale getirme daha fazla öğrenmek için.
• Etki alanı düzeyinde varsayılan bir IAM yürütme rolü tanımlanır. Bu varsayılan rol, etki alanındaki tüm Canvas kullanıcılarına atanır.
• Şifreleme, etki alanındaki EFS birimini şifreleyerek AWS KMS kullanılarak yapılır. Ek kontroller için, müşteri tarafından yönetilen anahtar (CMK) olarak da bilinen kendi yönetilen anahtarınızı belirtebilirsiniz. Görmek Şifrelemeyi Kullanarak Hareketsiz Verileri Koruyun daha fazla öğrenmek için.
• Yerel diskinizden dosya yükleme yeteneği, Canvas tarafından kullanılan S3 klasörüne bir çapraz kaynak paylaşımı (CORS) ilkesi eklenerek yapılır. Görmek Kullanıcılarınıza Yerel Dosyaları Yükleme İzinleri Verin daha fazla öğrenmek için.

Aşağıdakiler, kullanıcı profiliyle ilgili hususlardır:

• Studio'da kimlik doğrulama, hem çoklu oturum açma (SSO) hem de IAM yoluyla yapılabilir. Kullanıcıları konsola erişmeleri için birleştirmek için mevcut bir kimlik sağlayıcınız varsa, IAM kullanarak her bir birleştirilmiş kimliğe bir Studio kullanıcı profili atayabilirsiniz. bölüme bakın Politikayı Studio kullanıcılarına atama in Amazon SageMaker Studio'yu eksiksiz kaynak yalıtımlı ekipler ve gruplar için yapılandırma daha fazla öğrenmek için.
• Her kullanıcı profiline IAM yürütme rolleri atayabilirsiniz. Bir kullanıcı, Studio'yu kullanırken, varsayılan yürütme rolünü geçersiz kılan kullanıcı profiliyle eşlenen rolü üstlenir. Bunu bir ekip içinde ayrıntılı erişim kontrolleri için kullanabilirsiniz.
• Kullanıcıların yalnızca ekiplerinin kaynaklarına erişebilmelerini sağlamak için öznitelik tabanlı erişim denetimlerini (ABAC) kullanarak izolasyonu sağlayabilirsiniz. Görmek Amazon SageMaker Studio'yu eksiksiz kaynak yalıtımlı ekipler ve gruplar için yapılandırma daha fazla öğrenmek için.
• Kullanıcı profillerine maliyet tahsis etiketleri uygulayarak ayrıntılı maliyet takibi yapabilirsiniz.

Temizlemek

Yukarıdaki AWS CDK yığını tarafından oluşturulan kaynakları temizlemek için AWS CloudFormation yığınları sayfasına gidin ve Canvas yığınlarını silin. Ayrıca koşabilirsin cdk destroy aynısını yapmak için depo klasörünün içinden.

Sonuç

Bu yayında, AWS Service Catalog ve AWS CDK kullanarak Canvas ile ML ortamlarını nasıl hızlı ve kolay bir şekilde tedarik edebileceğinizi paylaştık. AWS Hizmet Kataloğu'nda nasıl portföy oluşturabileceğinizi, portföyü nasıl tedarik edebileceğinizi ve hesabınıza nasıl dağıtabileceğinizi tartıştık. BT yöneticileri, Canvas'ı sağlarken kullanıcıları, oturumları ve ilgili maliyetleri dağıtmak ve yönetmek için bu yöntemi kullanabilir.

Canvas hakkında daha fazla bilgi için Ürün sayfası ve Geliştirici Kılavuzu. Daha fazla okumak için, nasıl yapılacağını öğrenebilirsiniz iş analistlerinin konsol olmadan AWS SSO kullanarak SageMaker Canvas'a erişmesini sağlayın. Ayrıca nasıl olduğunu öğrenebilirsiniz iş analistleri ve veri bilimcileri Canvas ve Studio'yu kullanarak daha hızlı işbirliği yapabilir.

Yazarlar Hakkında

Davide Gallitelli EMEA bölgesinde AI/ML için Uzman Çözüm Mimarıdır. Merkezi Brüksel'dedir ve Benelüks genelindeki müşterilerle yakın işbirliği içinde çalışmaktadır. Çok küçük yaşlardan beri geliştiricidir, 7 yaşında kodlamaya başlar. Üniversitede AI/ML öğrenmeye başladı ve o zamandan beri ona aşık oldu.

Sofya Hamiti AWS'de bir AI / ML uzmanı Çözüm Mimarıdır. Sektörlerdeki müşterilerin uçtan uca makine öğrenimi çözümleri oluşturmalarına ve çalıştırmalarına yardımcı olarak AI / ML yolculuklarını hızlandırmalarına yardımcı oluyor.

Shyam Srinivasan AWS AI/ML ekibinde, Amazon SageMaker Canvas için ürün yönetimine liderlik eden Baş Ürün Yöneticisidir. Shyam, teknoloji aracılığıyla dünyayı daha iyi bir yer haline getirmeye önem veriyor ve AI ve ML'nin bu yolculukta nasıl bir katalizör olabileceği konusunda tutkulu.

avi patel Amazon SageMaker Canvas ekibinde yazılım mühendisi olarak çalışıyor. Arka planı, ön uç odaklı tam yığın çalışmaktan oluşur. Boş zamanlarında kripto alanındaki açık kaynak projelerine katkıda bulunmayı ve yeni DeFi protokollerini öğrenmeyi seviyor.

Jared Haywood AWS'de Kıdemli İş Geliştirme Yöneticisidir. Müşterilere kodsuz makine öğrenimi konusunda yardımcı olan küresel bir AI/ML uzmanıdır. Son 5 yıldır AutoML alanında çalıştı ve Amazon'da Amazon SageMaker JumpStart ve Amazon SageMaker Canvas gibi ürünleri piyasaya sürdü.