Amazon SageMaker Özellik Mağazası'nı ve özellik düzeyindeki meta veri yeteneğini kullanarak kuruluşunuz genelinde özellik keşfini ve yeniden kullanımını teşvik edin

Amazon SageMaker Özellik Mağazası veri bilimcilerinin ve makine öğrenimi (ML) mühendislerinin eğitim ve tahmin iş akışlarında kullanılan seçilmiş verileri güvenli bir şekilde depolamasına, keşfetmesine ve paylaşmasına yardımcı olur. Özellik Mağazası, özellikler ve ilgili meta veriler için merkezi bir depodur ve özelliklerin farklı projeler veya makine öğrenimi modelleri üzerinde çalışan veri bilimci ekipleri tarafından kolayca keşfedilmesine ve yeniden kullanılmasına olanak tanır.

Özellik Mağazası ile her zaman özellik grubu düzeyinde meta veriler ekleyebildiniz. Modelleri için mevcut özellikleri arama ve keşfetme becerisine sahip olmak isteyen veri bilimcileri, artık özel meta veriler ekleyerek özellik düzeyinde bilgi arama olanağına sahip. Örneğin bilgiler; özelliğin açıklamasını, en son değiştirildiği tarihi, orijinal veri kaynağını, belirli ölçümleri veya hassasiyet düzeyini içerebilir.

Aşağıdaki diyagramda özellik grupları, özellikler ve ilişkili meta veriler arasındaki mimari ilişkiler gösterilmektedir. Veri bilimcilerin artık hem özellik grubu düzeyinde hem de bireysel özellik düzeyinde açıklamaları ve meta verileri nasıl belirtebileceklerine dikkat edin.

Bu gönderide, veri bilimcilerin ve makine öğrenimi mühendislerinin, kuruluşları genelinde özelliklerin daha iyi yeniden kullanılmasını teşvik etmek için Özellik Mağazası'nın yeni arama ve keşif yetenekleriyle özellik düzeyindeki meta verileri nasıl kullanabileceğini açıklıyoruz. Bu yetenek, veri bilimcilerine özellik seçimi sürecinde önemli ölçüde yardımcı olabilir ve sonuç olarak model doğruluğunun artmasına yol açan özellikleri belirlemenize yardımcı olabilir.

Kullanım örneği

Bu yazının amaçları doğrultusunda iki özellik grubu kullanıyoruz: customer ve loan.

The customer özellik grubu aşağıdaki özelliklere sahiptir:

• yaş – Müşterinin yaşı (sayısal)
• iş – İşin türü (tek sıcak kodlanmış, örneğin admin or services)
• evlilik – Medeni durum (tek-sıcak kodlanmış, örneğin married or single)
• eğitim – Eğitim düzeyi (tek-sıcak kodlanmış, örneğin basic 4y or high school)

The loan özellik grubu aşağıdaki özelliklere sahiptir:

• varsayılan – Kredinin temerrüde düşmesi var mı? (tek sıcak kodlanmış: no or yes)
• konut – Konut kredisi var mı? (tek sıcak kodlanmış: no or yes)
• borç – Bireysel krediniz var mı? (tek sıcak kodlanmış: no or yes)
• toplam tutar – Toplam kredi tutarı (sayısal)

Aşağıdaki şekilde örnek özellik grupları ve özellik meta verileri gösterilmektedir.

Her özelliğe bir açıklama eklemenin ve meta veriler atamanın amacı, bir veri bilimcinin veya makine öğrenimi mühendisinin özellikleri keşfedebileceği yeni arama parametrelerini etkinleştirerek keşif hızını artırmaktır. Bunlar, bir özelliğin hesaplanması, ortalama 6 aylık mı yoksa 1 yıllık mı olduğu, kaynağı, yaratıcısı veya sahibi, özelliğin ne anlama geldiği ve daha fazlası gibi ayrıntılar hakkında bilgi verebilir.

Aşağıdaki bölümlerde, özellikleri aramak ve keşfetmek ve özellik düzeyindeki meta verileri yapılandırmak için iki yaklaşım sunuyoruz: ilki, Amazon SageMaker Stüdyosu doğrudan ve ikincisi programlı olarak.

Studio'da özellik keşfi

Studio'yu kullanarak özellikleri kolayca arayabilir ve sorgulayabilirsiniz. Yeni geliştirilmiş arama ve keşif yetenekleriyle, birkaç karakterden oluşan basit bir yazı tipi kullanarak sonuçlara hemen ulaşabilirsiniz.

Aşağıdaki ekran görüntüsü aşağıdaki yetenekleri göstermektedir:

• Erişebilirsiniz. Özellik Kataloğu sekme ve özellik gruplarındaki özellikleri gözlemleyin. Özellikler, özellik adını, tipini, açıklamasını, parametrelerini, oluşturulma tarihini ve ilgili özellik grubunun adını içeren bir tabloda sunulur.
• Arama sonuçlarını anında döndürmek için doğrudan yazma işlevini kullanabilirsiniz.
• Farklı türdeki filtre seçeneklerini kullanma esnekliğine sahipsiniz: All, Feature name, Descriptionya da Parameters. Bunu not et All her iki durumda da tüm özellikleri döndürecektir Feature name, Descriptionya da Parameters arama kriterleriyle eşleşin.
• Aramayı kullanarak bir tarih aralığı belirterek aramayı daha da daraltabilirsiniz. Created from ve Created to alanları kullanarak parametreleri belirtme Search parameter key ve Search parameter value alanları.

Bir özelliği seçtikten sonra, ayrıntılarını görüntülemek için özelliğin adını seçebilirsiniz. Seçtiğinizde Meta Verileri Düzenle, aşağıdaki ekran görüntüsünde gösterildiği gibi bir açıklama ve en fazla 25 anahtar/değer parametresi ekleyebilirsiniz. Bu görünümde, sonuçta özelliğin meta verilerini oluşturabilir, görüntüleyebilir, güncelleyebilir ve silebilirsiniz. Aşağıdaki ekran görüntüsü, özellik meta verilerinin nasıl düzenleneceğini göstermektedir: total_amount.

Daha önce belirtildiği gibi, bir özelliğe anahtar/değer çiftleri eklemek, size o özelliklerin aranacağı daha fazla boyut sağlar. Örneğimiz için, özelliğin kaynağı her özelliğin meta verilerine eklenmiştir. Arama simgesini seçtiğinizde ve anahtar/değer çifti boyunca filtre uyguladığınızda origin: job, bu temel öznitelikten tek-hot-kodlanmış tüm özellikleri görebilirsiniz.

Kod kullanarak özellik keşfi

Ayrıca özellik bilgilerine şu adresten de erişebilir ve güncelleyebilirsiniz: AWS Komut Satırı Arayüzü (AWS CLI) ve SDK (Boto3) yerine doğrudan AWS Yönetim Konsolu. Bu, Özellik Mağazası'nın özellik düzeyinde arama işlevini kendi özel veri bilimi platformlarınızla entegre etmenize olanak tanır. Bu bölümde özellik meta verilerini güncellemek ve aramak için Boto3 API uç noktalarıyla etkileşime geçiyoruz.

Özellik aramayı ve keşfetmeyi iyileştirmeye başlamak için meta verileri aşağıdakileri kullanarak ekleyebilirsiniz: update_feature_metadata API'dir. Buna ek olarak description ve created_date alanlarında, belirli bir özelliğe en fazla 25 parametre (anahtar/değer çifti) ekleyebilirsiniz.

Aşağıdaki kod, eklenmiş beş olası anahtar/değer parametresinin bir örneğidir. job_admin özellik. Bu özellik şununla birlikte oluşturuldu: job_services ve job_none, tek sıcak kodlamayla job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Sonra author, team, origin, sensitivity, ve env eklenmiş job_admin özelliği, veri bilimcileri veya makine öğrenimi mühendisleri bunları arayarak describe_feature_metadata API'dir. Şuraya gidebilirsiniz: Parameters Daha önce özelliğimize eklediğimiz meta verilere verilen yanıtta nesne. describe_feature_metadata API uç noktası, ilgili meta verileri alarak belirli bir özelliğe ilişkin daha fazla bilgi edinmenize olanak tanır.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

SageMaker'ı kullanarak özellikleri arayabilirsiniz search Arama parametreleri olarak meta verileri kullanan API. Aşağıdaki kod, bir örnek alan bir işlevdir. search_string parametresini girdi olarak kullanır ve özelliğin adının, açıklamasının veya parametrelerinin koşulla eşleştiği tüm özellikleri döndürür:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Aşağıdaki kod pasajı bizim kullandığımızı kullanıyor: search_features özellik adının, açıklamasının veya parametrelerinin kelimeyi içerdiği tüm özellikleri alma işlevi job:

search_results = search_features_using_string('mlops')
search_results

Aşağıdaki ekran görüntüsü, her bir özelliğin oluşturulması ve son değiştirilmesine ilişkin zaman damgaları da dahil olmak üzere, eşleşen özellik adlarının yanı sıra bunlara karşılık gelen meta verilerinin listesini içerir. Bu bilgileri, kuruluşunuzun özelliklerinin keşfedilmesini ve görünürlüğünü artırmak için kullanabilirsiniz.

Sonuç

SageMaker Özellik Mağazası, kuruluşların makine öğrenimi gelişimini iş birimleri ve veri bilimi ekipleri genelinde ölçeklendirmesine yardımcı olmak için amaca yönelik oluşturulmuş bir özellik yönetimi çözümü sağlar. Özellik yeniden kullanımını ve özellik tutarlılığını geliştirmek, özellik deposunun temel faydalarıdır. Bu yazıda, özelliklerin aranmasını ve keşfedilmesini geliştirmek için özellik düzeyindeki meta verileri nasıl kullanabileceğinizi açıkladık. Bu, çeşitli kullanım durumları etrafında meta veriler oluşturmayı ve bunları ek arama parametreleri olarak kullanmayı içeriyordu.

Bir deneyin ve yorumlarınızda ne düşündüğünüzü bize bildirin. Özellik Mağazası'ndaki özelliklerin ortak kullanılması ve paylaşılması hakkında daha fazla bilgi edinmek istiyorsanız bkz. Amazon SageMaker Feature Store'u kullanarak hesaplar ve ekipler arasında özelliklerin yeniden kullanımını etkinleştirin.

yazarlar hakkında

Arnaud Lauer AWS'de Kamu Sektörü ekibinde Kıdemli İş Ortağı Çözümleri Mimarıdır. İş ortaklarının ve müşterilerin, iş ihtiyaçlarını çözümlere dönüştürmek için AWS teknolojilerini en iyi nasıl kullanacaklarını anlamalarını sağlar. Kamu sektörü, enerji ve tüketim malları da dahil olmak üzere çeşitli endüstrilerde dijital dönüşüm projeleri sunma ve tasarlama konusunda 16 yılı aşkın deneyime sahiptir. Yapay zeka ve makine öğrenimi tutkularından bazılarıdır. Arnaud, ML Specialty Certification dahil 12 AWS sertifikasına sahiptir.

Nicolas Bernier AWS'de Kanada Kamu Sektörü ekibinin bir parçası olan Associate Solutions Architect'tir. Kendisi şu anda Derin Öğrenme alanında bir araştırma alanında yüksek lisans yapıyor ve ML Uzmanlık Sertifikasyonu da dahil olmak üzere beş AWS sertifikasına sahip. Nicolas, iş zorluklarını teknik çözümlere dönüştürmek için onlarla birlikte çalışarak müşterilerin AWS bilgilerini derinleştirmelerine yardımcı olma konusunda tutkulu.

Mark Roy AWS için Başlıca Makine Öğrenimi Mimarıdır ve müşterilerin AI / ML çözümleri tasarlamasına ve oluşturmasına yardımcı olur. Mark'ın çalışması, temel ilgi alanı bilgisayarla görme, derin öğrenme ve kurum genelinde ML'yi ölçeklendirmeye yönelik çok çeşitli makine öğrenimi kullanım örneklerini kapsar. Sigorta, finansal hizmetler, medya ve eğlence, sağlık hizmetleri, kamu hizmetleri ve imalat dahil birçok sektördeki şirketlere yardım etti. Mark, ML Uzmanlık Sertifikası da dahil olmak üzere altı AWS sertifikasına sahiptir. Mark, AWS'ye katılmadan önce, 25 yılı finansal hizmetler dahil olmak üzere 19 yılı aşkın süredir mimar, geliştirici ve teknoloji lideriydi.

Khushboo Srivastava Amazon SageMaker'ın Kıdemli Ürün Yöneticisidir. Müşteriler için makine öğrenimi iş akışlarını basitleştiren ürünler geliştirmekten hoşlanıyor. Boş zamanlarında keman çalmayı, yoga yapmayı ve seyahat etmeyi seviyor.