Eğitim, toplu puanlama ve gerçek zamanlı çıkarım için kuruluşunuzdaki veri bilimi ekipleriyle paylaşılabilen makine öğrenimi (ML) özellikleri için merkezi bir havuz sağlamak üzere özellik depoları oluşturabilirsiniz. Veri bilimi ekipleri, merkezi depoda depolanan özellikleri yeniden kullanabilir, farklı projeler için özellik ardışık düzenlerini yeniden yapılandırma gereksinimini ortadan kaldırır ve sonuç olarak yeniden çalışma ve yinelemeyi ortadan kaldırır.
Güvenlik ve uyumluluk gereksinimlerini karşılamak için, bu paylaşılan ML özelliklerine nasıl erişildiği üzerinde ayrıntılı denetime ihtiyacınız olabilir. Bu ihtiyaçlar genellikle tablo ve sütun seviyesindeki erişim kontrolünün ötesinde, bireysel satır seviyesindeki erişim kontrolüne kadar gider. Örneğin, hesap temsilcilerinin yalnızca kendi hesapları için bir satış tablosundaki satırları görmesine izin vermek ve kredi kartı numaraları gibi hassas verilerin ön ekini maskelemek isteyebilirsiniz. Özellik deposu verilerini korumak ve bireyin rolüne göre erişim izni vermek için ayrıntılı erişim denetimleri gerekir. Bu, özellik verilerine erişimi denetlemesi ve doğru güvenlik düzeyinin mevcut olduğundan emin olması gereken sektörlerdeki müşteriler ve paydaşlar için özellikle önemlidir.
Bu yayında, çevrimdışı bir özellik deposunda depolanan özellik gruplarına ve özelliklere ayrıntılı erişim denetiminin nasıl uygulanacağına ilişkin bir genel bakış sunuyoruz. Amazon SageMaker Özellik Mağazası ve AWS Göl Oluşumu. Feature Store'da yeniyseniz, şu adrese başvurmak isteyebilirsiniz: Amazon SageMaker Feature Store'un temel yeteneklerini anlama Bu yazının geri kalanına dalmadan önce ek arka plan için. Çevrimiçi özellik mağazası için şunları kullanabileceğinizi unutmayın: AWS Kimlik ve Erişim Yönetimi Özellik gruplarına karşı kullanıcı erişimini kısıtlama koşullarına sahip (IAM) politikaları.
Çözüme genel bakış
Aşağıdaki mimari, bir özellik grubunda çalışan bir veri bilimcisi tarafından bir özellik grubu içindeki hangi özellik gruplarına veya özelliklere erişilebileceğini sınırlamak için satır, sütun veya hücre düzeyinde erişim uygulamak için Göl Oluşumu'nu kullanır. Amazon SageMaker Stüdyosu. Studio'da çalışan kullanıcılara erişimi kısıtlamaya odaklansak da, aynı yaklaşım, aşağıdaki gibi hizmetleri kullanarak çevrimdışı özellik deposuna erişen kullanıcılar için de geçerlidir: Amazon Atina.
Feature Store, veri bilimi ekiplerinin ekipler ve modeller arasında makine öğrenimi özelliklerini yeniden kullanmasına, düşük gecikmeyle ölçekte model tahminleri için özellikler sunmasına ve yeni modelleri daha hızlı ve etkili bir şekilde eğitip dağıtmasına yardımcı olan ML özellik yönetimi için amaca yönelik oluşturulmuş bir çözümdür.
Lake Formation, veri gölleri oluşturmanıza, güvenliğini sağlamanıza ve yönetmenize yardımcı olan ve veri gölündeki veriler için erişim denetimi sağlayan tam olarak yönetilen bir hizmettir. Lake Formation aşağıdaki güvenlik seviyelerini destekler:
- Satır düzeyinde izinler – Veri uyumluluğu ve yönetişim politikalarına dayalı olarak belirli satırlara erişimi kısıtlar
- Sütun düzeyinde izinler – Veri filtrelerine dayalı olarak belirli sütunlara erişimi kısıtlar
- Hücre düzeyinde izinler – Veritabanı tablolarındaki belirli satırlara ve sütunlara erişmenize izin vererek hem satır hem de sütun düzeyinde kontrolleri birleştirir
Lake Formation ayrıca hangi yöneticilerin hangi verilere, ne zaman ve hangi hizmetler aracılığıyla eriştiğini belirleyerek merkezi denetim ve uyumluluk raporlaması sağlar.
Feature Store ve Lake Formation'ı birleştirerek, mevcut çevrimdışı özellik mağazanızda ML özelliklerine ayrıntılı erişim uygulayabilirsiniz.
Bu gönderide, Feature Store'da özellik grupları oluşturduğunuz ve özellik araştırması ve projeleri için modeller oluşturmak için veri bilimi ekiplerinize erişim sağlamanız gereken kullanım örneklerine yönelik bir yaklaşım sunuyoruz. Yüksek düzeyde, bir Lake Formation yöneticisi Lake Formation'da bir izin modeli tanımlar ve oluşturur ve bunu bireysel Studio kullanıcılarına veya kullanıcı gruplarına atar.
Aşağıdaki adımlarda size yol gösteriyoruz:
- Çevrimdışı özellik deposunu Lake Formation'a kaydedin.
- Ayrıntılı erişim denetimi için Göl Oluşumu veri filtrelerini oluşturun.
- Özellik grupları (tablolar) ve özellikler (sütunlar) izinleri verin.
Önkoşullar
Bu çözümü uygulamak için IAM'de bir Lake Formation yönetici kullanıcısı oluşturmanız ve bu yönetici kullanıcı olarak oturum açmanız gerekir. Talimatlar için bkz. Data Lake Yöneticisi Oluşturun.
kullanarak sentetik olarak oluşturulmuş müşteri listelerinden sentetik bakkal siparişlerini kullanarak test verilerini oluşturmaya başlıyoruz. numaracı Python kitaplığı. Modülü takip ederek kendiniz deneyebilirsiniz. GitHub. Her müşteri için dizüstü bilgisayar, her siparişte satın alınan ürünlerle 1-10 sipariş oluşturur. Sonra aşağıdakileri kullanabilirsiniz defter özellik deposundaki müşteriler, ürünler ve sipariş veri kümeleri için üç özellik grubu oluşturmak. Özellik gruplarını oluşturmadan önce Studio ortamınızın AWS hesabınızda ayarlandığından emin olun. Talimatlar için bkz. Amazon SageMaker Etki Alanında Yerleşik.
Amaç, özellikleri depolamak için Özellik Mağazasının nasıl kullanılacağını ve bu özelliklere erişimi kontrol etmek için Göl Oluşumu'nun nasıl kullanılacağını göstermektir. Aşağıdaki ekran görüntüsü, aşağıdakilerin tanımını gösterir: orders
Studio konsolunu kullanan özellik grubu.
Feature Store bir Amazon Basit Depolama Hizmeti (Amazon S3) paketi, çevrimdışı verileri depolamak için hesabınızda. Eğitim veri kümelerini çıkarmak veya özellik verilerini analiz etmek için Amazon S3'teki çevrimdışı veri deposuna karşı Athena gibi sorgu motorlarını kullanabilir ve tek bir sorguda birden fazla özellik grubuna katılabilirsiniz. Feature Store otomatik olarak AWS Tutkal Özellik grubu oluşturma sırasında özellik grupları için Veri Kataloğu; bu kataloğu, Athena veya aşağıdaki gibi açık kaynaklı araçları kullanarak çevrimdışı mağazadaki verilere erişmek ve bunları sorgulamak için kullanmanıza olanak tanır. çabuk.
Çevrimdışı özellik deposunu Lake Formation'a kaydedin
Mevcut Özellik Mağazası veritabanlarınız ve tablolarınızla Göl Oluşumu izinlerini kullanmaya başlamak için Süper izni iptal etmeniz gerekir. IAMAllowedPrincipals
veritabanındaki grup ve Lake Formation'daki ilişkili özellik grubu tabloları.
- Adresinde oturum açın AWS Yönetim Konsolu Göl Oluşumu yöneticisi olarak.
- Gezinti bölmesinde, altında Veri Kataloğu, seçmek veritabanları.
- Veritabanını seçin
sagemaker_featurestore
, çevrimdışı özellik deposuyla ilişkili veritabanıdır.
Özellik deposu, özellik gruplarını oluşturduğunuzda otomatik olarak bir AWS Tutkal Veri Kataloğu oluşturduğundan, çevrimdışı özellik deposu Lake Formation'da bir veritabanı olarak görünür.
- Üzerinde İşlemler menü seç Düzenle.
- Üzerinde Veritabanını düzenle sayfasında, Göl Oluşumu izinlerinin yeni oluşturulan özellik grupları için de çalışmasını ve iptal etmek zorunda kalmamasını istiyorsanız
IAMAllowedPrincipals
her tablo için seçimi kaldırın Bu veritabanındaki yeni tablolar için yalnızca IAM erişim denetimini kullanın, Daha sonra seçmek İndirim. - Üzerinde veritabanları sayfa
sagemaker_featurestore
veri tabanı. - Üzerinde İşlemler menü seç İzinleri görüntüle.
- seçmek
IAMAllowedPrincipals
gruplandır ve seç İptal Et.
Benzer şekilde, çevrimdışı özellik mağazanızla ilişkili tüm özellik grubu tabloları için bu adımları uygulamanız gerekir.
- Gezinti bölmesinde, altında Veri Kataloğu, seçmek tablolar.
- Özellik grubu adınızla birlikte tabloyu seçin.
- Üzerinde İşlemler menü seç İzinleri görüntüle.
- seçmek
IAMAllowedPrincipals
gruplandır ve seç İptal Et.
Çevrimdışı özellik deposunu Göl Oluşumu izin modeline geçirmek için çevrimdışı özellik deposunun Amazon S3 konumu için Göl Oluşumu izinlerini açmanız gerekir. Bunun için Amazon S3 konumunu kaydetmeniz gerekir.
- Gezinti bölmesinde, altında Kaydolun ve Alın, seçmek Veri gölü konumları.
- Klinik Konumu kaydet.
- için Amazon S3'te çevrimdışı özellik deposunun konumunu seçin. Amazon S3 yolu.
Konum S3Uri
özellik grubunun çevrimdışı mağaza yapılandırmasında sağlanan ve DescribeFeatureGroup
API'ler ResolvedOutputS3Uri
alan.
Göl Oluşumu ile bütünleşir AWS Anahtar Yönetim Hizmeti (AWS KMS); bu yaklaşım, AWS tarafından yönetilen bir anahtarla veya önerilen bir müşteri tarafından yönetilen anahtar yaklaşımıyla şifrelenmiş Amazon S3 konumlarıyla da çalışır. Daha fazla okuma için, bkz. Şifrelenmiş bir Amazon S3 konumunu kaydetme.
Hassas erişim kontrolü için Lake Formation veri filtreleri oluşturun
Oluşturarak satır düzeyinde ve hücre düzeyinde güvenlik uygulayabilirsiniz. veri filtreleri. Tablolarda Göl Oluşumu SEÇ iznini verdiğinizde bir veri filtresi seçersiniz. Bu durumda, bir özellik grubu içindeki özellik gruplarına ve belirli özelliklere erişimi sınırlayan bir dizi filtre uygulamak için bu yeteneği kullanırız.
Veri filtrelerinin nasıl çalıştığını açıklamak için aşağıdaki şekli kullanalım. Şekil iki özellik grubunu göstermektedir: customers
ve orders
. satır düzeyinde bir veri filtresi uygulanır. customers
özellik grubu, yalnızca şu durumlarda kayıtlarla sonuçlanır: feature1 = ‘12’
iade ediliyor. Benzer şekilde, siparişler özellik grubuna erişim, hücre düzeyinde bir veri filtresi kullanılarak yalnızca şu durumlarda özellik kayıtlarıyla sınırlandırılır: feature2 = ‘22
', sonuç veri kümesinden özellik 1'i hariç tutmanın yanı sıra.
Yeni bir veri filtresi oluşturmak için Göl Oluşumu konsolundaki gezinme bölmesinde, Veri Kataloğu, seçmek Veri filtreleri ve sonra seç Yeni filtre oluştur.
Seçtiğinizde Tüm sütunlara erişim ve bir satır filtresi ifadesi sağlayın, yalnızca satır düzeyinde güvenlik (satır filtreleme) oluşturuyorsunuz. Bu örnekte, bir veri bilimcisine erişimi yalnızca veri bilimcisindeki kayıtlarla sınırlayan bir filtre oluşturuyoruz. orders
özelliğin değerine dayalı özellik grubu customer_id ='C7782'
.
Belirli sütunları dahil ettiğinizde veya hariç tuttuğunuzda ve ayrıca bir satır filtresi ifadesi sağladığınızda, hücre düzeyinde güvenlik (hücre filtreleme) sağlamış olursunuz. Bu örnekte, bir veri bilimcisine bir özellik grubunun belirli özelliklerine erişimi sınırlayan bir filtre oluşturuyoruz (hariç tutuyoruz). sex
ve is_married
) ve içindeki kayıtların bir alt kümesi customers
özelliğin değerine dayalı özellik grubu (customer_id ='C3126'
).
Aşağıdaki ekran görüntüsü, oluşturulan veri filtrelerini gösterir.
Özellik grupları (tablolar) ve özellikler (sütunlar) izni verme
Bu bölümde, veri filtresini özellik gruplarını ilk oluşturan kullanıcıyla ilişkili SageMaker yürütme rolüne atayarak Lake Formation'da tanımlanan ayrıntılı erişim denetimi ve izinleri bir SageMaker kullanıcısına verirsiniz. SageMaker yürütme rolü, projenin bir parçası olarak oluşturulur. SageMaker Studio etki alanı kurulumu ve varsayılan olarak ile başlar AmazonSageMaker-ExecutionRole-*
. Lake Formation API'lerinde bu rol izinlerini vermeniz gerekir (GetDataAccess
, StartQueryPlanning
, GetQueryState
, GetWorkUnits
, ve GetWorkUnitResults
) ve AWS Glue API'leri (GetTables
ve GetDatabases
) verilere erişebilmesi için IAM'de.
IAM'de aşağıdaki politikayı oluşturun, politikayı adlandırın LakeFormationDataAccess
ve SageMaker yürütme rolüne ekleyin. Ayrıca şunları da eklemeniz gerekir: AmazonAthenaFullAccess
Athena'ya erişim politikası.
Ardından, SageMaker yürütme rolüne Özellik Deposu veritabanına ve belirli özellik grubu tablosuna erişim izni vermeniz ve ona daha önce oluşturulan veri filtrelerinden birini atamanız gerekir. Göl Oluşumu içinde veri izinleri vermek için gezinti bölmesinde, İzinler, seçmek Veri Gölü İzinleri, Daha sonra seçmek Hibe. Aşağıdaki ekran görüntüsü, bir SageMaker yürütme rolüne satır düzeyinde erişim için bir veri filtresiyle izinlerin nasıl verileceğini gösterir.
Benzer şekilde, SageMaker yürütme rolüne hücre düzeyinde erişim için oluşturulan veri filtresiyle izinler verebilirsiniz.
Özellik Mağazası erişimini test edin
Bu bölümde, bir Studio not defteri kullanarak Lake Formation'da ayarlanan erişim kontrollerini doğrularsınız. Bu uygulama, Özellik Deposu Python SDK'sı ve Athena, Lake Formation'da kayıtlı olan çevrimdışı özellik deposundan verileri sorgulamak için.
İlk olarak, özellik grubunuz için bir Athena sorgusu oluşturarak satır düzeyinde erişimi test edersiniz. orders
aşağıdaki kod ile. bu table_name
Feature Store tarafından otomatik olarak oluşturulan AWS Glue tablosudur.
Aşağıdaki sorgu dizesini kullanarak siparişlerdeki tüm kayıtları sorgularsınız:
Yalnızca şununla kaydeder: customer_id = ‘C7782’
Lake Formation'da oluşturulan veri filtrelerine göre döndürülür.
İkinci olarak, özellik grubunuz için bir Athena sorgusu oluşturarak hücre düzeyinde erişimi test edersiniz. customers
aşağıdaki kod ile. bu table_name
Feature Store tarafından otomatik olarak oluşturulan AWS Glue tablosudur.
Aşağıdaki sorgu dizesini kullanarak siparişlerdeki tüm kayıtları sorgularsınız:
Yalnızca şununla kaydeder: customer_id ='C3126'
Lake Formation'da oluşturulan veri filtrelerine göre döndürülür. Ek olarak, özellikler sex
ve is_married
görünür değiller.
Bu yaklaşımla, çevrimdışı bir özellik deposuna ayrıntılı izin erişim denetimi uygulayabilirsiniz. Göl Oluşumu izin modeliyle, kuruluştaki rollerine göre bireyler için belirli özellik gruplarına veya bir özellik grubu içindeki belirli özelliklere erişimi sınırlayabilirsiniz.
Tam kod örneğini keşfetmek ve kendi hesabınızda denemek için, bkz. GitHub repo.
Sonuç
SageMaker Feature Store, kuruluşların ML geliştirmesini iş birimleri ve veri bilimi ekipleri arasında ölçeklendirmesine yardımcı olmak için amaca yönelik bir özellik yönetimi çözümü sunar. Bu gönderide, çevrimdışı özellik mağazanız için ayrıntılı erişim denetimi uygulamak için Lake Formation'ı nasıl kullanabileceğinizi açıkladık. Bir deneyin ve yorumlarda ne düşündüğünüzü bize bildirin.
Yazarlar Hakkında
Arnaud Lauer AWS'de Kamu Sektörü ekibinde Kıdemli İş Ortağı Çözümleri Mimarıdır. İş ortaklarının ve müşterilerin, iş ihtiyaçlarını çözümlere dönüştürmek için AWS teknolojilerini en iyi nasıl kullanacaklarını anlamalarını sağlar. Kamu sektörü, enerji ve tüketim malları da dahil olmak üzere çeşitli endüstrilerde dijital dönüşüm projeleri sunma ve tasarlama konusunda 16 yılı aşkın deneyime sahiptir. Yapay zeka ve makine öğrenimi tutkularından bazılarıdır. Arnaud, ML Specialty Certification dahil 12 AWS sertifikasına sahiptir.
İoan Katanası AWS'de Yapay Zeka ve Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Müşterilerin AWS Cloud'da makine öğrenimi çözümlerini geliştirmelerine ve ölçeklendirmelerine yardımcı olur. Ioan, çoğunlukla yazılım mimarisi tasarımı ve bulut mühendisliği alanlarında 20 yılı aşkın deneyime sahiptir.
Swagat Kulkarni AWS'de Kıdemli Çözüm Mimarı ve AI/ML meraklısıdır. Bulutta yerel hizmetler ve makine öğrenimi ile müşteriler için gerçek dünyadaki sorunları çözme konusunda tutkulu. Swagat, perakende, seyahat, konaklama ve sağlık hizmetleri dahil olmak üzere birden fazla alandaki müşteriler için çeşitli dijital dönüşüm girişimleri sunma konusunda 15 yılı aşkın bir deneyime sahiptir. Swagat, iş dışında seyahat etmeyi, okumayı ve meditasyon yapmayı sever.
Charu Sareen Amazon SageMaker Feature Store için Kıdemli Ürün Yöneticisidir. AWS'den önce, VMware'de SaaS hizmetleri için büyüme ve para kazanma stratejisine liderlik ediyordu. Veri ve makine öğrenimi meraklısıdır ve ürün yönetimi, veri mühendisliği ve gelişmiş analitiği kapsayan on yılı aşkın bir deneyime sahiptir. Hindistan Ulusal Teknoloji Enstitüsü'nden Bilgi Teknolojisi alanında lisans derecesine ve Michigan Üniversitesi Ross İşletme Okulu'ndan MBA derecesine sahiptir.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/control-access-to-amazon-sagemaker-feature-store-offline-using-aws-lake-formation/
- '
- "
- 100
- 15 yıl
- 20 yıl
- 9
- Hakkımızda
- erişim
- Hesap
- karşısında
- Action
- ilave
- Ek
- Gizem
- ileri
- Türkiye
- Izin
- Rağmen
- Amazon
- analytics
- API'ler
- uygulanabilir
- yaklaşım
- mimari
- yapay
- yapay zeka
- Yapay Zeka ve Makine Öğrenimi
- denetim
- AWS
- arka fon
- olmak
- İYİ
- sınır
- inşa etmek
- inşa
- iş
- yetenekleri
- durumlarda
- merkezi
- belgeleme
- Klinik
- bulut
- kod
- yorumlar
- uyma
- yapılandırma
- konsolos
- tüketici
- kontrol
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- kredi
- kredi kartı
- Müşteriler
- veri
- veri bilimi
- veri bilimcisi
- veritabanı
- veritabanları
- onyıl
- teslim
- dağıtmak
- Dizayn
- geliştirmek
- gelişme
- farklı
- dijital
- dijital Dönüşüm
- domain
- etki
- Efekt
- enerji
- Mühendislik
- çevre
- kurmak
- örnek
- infaz
- deneyim
- keşif
- keşfetmek
- Özellikler(Hazırlık aşamasında)
- Özellikler
- şekil
- filtreler
- odak
- takip etme
- bulundu
- daha fazla
- gol
- mal
- yönetim
- grup
- Büyüme
- sağlık
- yardım et
- yardımcı olur
- Yüksek
- tutar
- Ne kadar
- Nasıl Yapılır
- HTTPS
- belirlenmesi
- Kimlik
- uygulamak
- uygulama
- önemli
- dahil
- Dahil olmak üzere
- Hindistan
- bireysel
- Endüstri
- bilgi
- bilgi teknolojisi
- İstihbarat
- IT
- kaydol
- anahtar
- önemli
- öğrenme
- seviye
- Kütüphane
- Listeler
- yer
- yerleri
- makine
- makine öğrenme
- yönetilen
- yönetim
- Yönetim Çözümü
- müdür
- maske
- Michigan
- ML
- model
- modelleri
- Daha
- çoklu
- ulusal
- Navigasyon
- defter
- sayılar
- çevrimdışı
- Online
- sipariş
- emir
- kuruluşlar
- organizasyonlar
- kendi
- Partner
- ortaklar
- tutkulu
- politikaları
- politika
- Tahminler
- sorunlar
- PLATFORM
- ürün Yönetimi
- Ürünler
- Projeler
- korumak
- sağlamak
- sağlar
- halka açık
- satın alındı
- hızla
- menzil
- Okuma
- gerçek zaman
- kayıtlar
- kayıt olmak
- kayıtlı
- Depo
- gereklidir
- kaynak
- DİNLENME
- perakende
- satış
- ölçek
- Okul
- Bilim
- bilim adamı
- sektör
- güvenli
- güvenlik
- hizmet
- Hizmetler
- set
- ayar
- Paylaşılan
- benzer şekilde
- Basit
- Yazılım
- çözüm
- Çözümler
- biraz
- özellikle
- başlama
- başlar
- Açıklama
- hafızası
- mağaza
- mağaza
- Stratejileri
- stüdyo
- Destekler
- anahtar
- takım
- Teknolojileri
- Teknoloji
- test
- İçinden
- araçlar
- Eğitim
- Dönüşüm
- seyahat
- anlamak
- üniversite
- us
- kullanım
- kullanıcılar
- değer
- gözle görülür
- vmware
- Ne
- DSÖ
- içinde
- İş
- çalışma
- çalışır
- yıl