Promosikan penemuan fitur dan penggunaan kembali di seluruh organisasi Anda menggunakan Amazon SageMaker Feature Store dan kemampuan metadata tingkat fiturnya

Toko Fitur Amazon SageMaker membantu ilmuwan data dan insinyur pembelajaran mesin (ML) dengan aman menyimpan, menemukan, dan berbagi data pilihan yang digunakan dalam alur kerja pelatihan dan prediksi. Feature Store adalah penyimpanan terpusat untuk fitur dan metadata terkait, yang memungkinkan fitur mudah ditemukan dan digunakan kembali oleh tim ilmuwan data yang mengerjakan proyek atau model ML yang berbeda.

Dengan Feature Store, Anda selalu dapat menambahkan metadata di tingkat grup fitur. Ilmuwan data yang menginginkan kemampuan untuk mencari dan menemukan fitur yang ada untuk model mereka sekarang memiliki kemampuan untuk mencari informasi di tingkat fitur dengan menambahkan metadata khusus. Misalnya, informasi dapat mencakup deskripsi fitur, tanggal terakhir kali diubah, sumber data aslinya, metrik tertentu, atau tingkat sensitivitas.

Diagram berikut mengilustrasikan hubungan arsitektur antara grup fitur, fitur, dan metadata terkait. Perhatikan bagaimana ilmuwan data sekarang dapat menentukan deskripsi dan metadata di tingkat grup fitur dan tingkat fitur individual.

Dalam postingan ini, kami menjelaskan bagaimana ilmuwan data dan teknisi ML dapat menggunakan metadata tingkat fitur dengan kemampuan pencarian dan penemuan baru dari Feature Store untuk mempromosikan penggunaan kembali fitur yang lebih baik di seluruh organisasi mereka. Kemampuan ini dapat membantu ilmuwan data secara signifikan dalam proses pemilihan fitur dan, sebagai hasilnya, membantu Anda mengidentifikasi fitur yang mengarah pada peningkatan akurasi model.

Gunakan kasing

Untuk keperluan posting ini, kami menggunakan dua grup fitur, customer dan loan.

Grafik customer grup fitur memiliki fitur berikut:

• usia – Usia pelanggan (numerik)
• pekerjaan – Jenis pekerjaan (dikodekan satu-panas, seperti admin or services)
• perkawinan – Status pernikahan (dikodekan satu-panas, seperti married or single)
• pendidikan – Tingkat pendidikan (one-hot encoded, seperti basic 4y or high school)

Grafik loan grup fitur memiliki fitur berikut:

• kegagalan – Memiliki kredit default? (dikodekan satu-panas: no or yes)
• perumahan – Memiliki pinjaman perumahan? (dikodekan satu-panas: no or yes)
• pinjaman – Memiliki pinjaman pribadi? (dikodekan satu-panas: no or yes)
• jumlah total – Jumlah total pinjaman (numerik)

Gambar berikut menunjukkan contoh grup fitur dan metadata fitur.

Tujuan menambahkan deskripsi dan menetapkan metadata ke setiap fitur adalah untuk meningkatkan kecepatan penemuan dengan mengaktifkan parameter pencarian baru di mana ilmuwan data atau insinyur ML dapat menjelajahi fitur. Ini dapat mencerminkan detail tentang fitur seperti penghitungannya, apakah itu rata-rata selama 6 bulan atau 1 tahun, asal, pembuat atau pemilik, apa arti fitur, dan banyak lagi.

Di bagian berikut, kami menyediakan dua pendekatan untuk mencari dan menemukan fitur dan mengonfigurasi metadata tingkat fitur: yang pertama menggunakan Studio Amazon SageMaker langsung, dan yang kedua secara terprogram.

Penemuan fitur di Studio

Anda dapat dengan mudah mencari dan menanyakan fitur menggunakan Studio. Dengan kemampuan pencarian dan penemuan baru yang disempurnakan, Anda dapat segera mengambil hasil menggunakan tipe sederhana di depan beberapa karakter.

Tangkapan layar berikut menunjukkan kemampuan berikut:

• Anda bisa mengakses Katalog Fitur tab dan amati fitur di seluruh grup fitur. Fitur disajikan dalam tabel yang mencakup nama fitur, jenis, deskripsi, parameter, tanggal pembuatan, dan nama grup fitur terkait.
• Anda dapat langsung menggunakan fungsi type-ahead untuk segera mengembalikan hasil pencarian.
• Anda memiliki fleksibilitas untuk menggunakan berbagai jenis opsi filter: All, Feature name, Description, atau Parameters. Catat itu All akan mengembalikan semua fitur di mana baik Feature name, Description, atau Parameters cocok dengan kriteria pencarian.
• Anda dapat mempersempit pencarian lebih lanjut dengan menentukan rentang tanggal menggunakan Created from dan Created to bidang dan menentukan parameter menggunakan Search parameter key dan Search parameter value bidang.

Setelah Anda memilih fitur, Anda dapat memilih nama fitur untuk menampilkan detailnya. Ketika Anda memilih Edit Metadata, Anda dapat menambahkan deskripsi dan hingga 25 parameter nilai kunci, seperti yang ditunjukkan pada tangkapan layar berikut. Dalam tampilan ini, Anda akhirnya dapat membuat, melihat, memperbarui, dan menghapus metadata fitur. Tangkapan layar berikut mengilustrasikan cara mengedit metadata fitur untuk total_amount.

Seperti yang dinyatakan sebelumnya, menambahkan pasangan nilai kunci ke fitur memberi Anda lebih banyak dimensi untuk menelusuri fitur yang diberikan. Sebagai contoh kami, asal fitur telah ditambahkan ke metadata setiap fitur. Saat Anda memilih ikon pencarian dan memfilter di sepanjang pasangan nilai kunci origin: job, Anda dapat melihat semua fitur yang dienkode satu-panas dari atribut dasar ini.

Penemuan fitur menggunakan kode

Anda juga dapat mengakses dan memperbarui informasi fitur melalui Antarmuka Baris Perintah AWS (AWS CLI) dan SDK (Boto3) daripada langsung melalui Konsol Manajemen AWS. Ini memungkinkan Anda untuk mengintegrasikan fungsionalitas pencarian tingkat fitur dari Feature Store dengan platform ilmu data kustom Anda sendiri. Di bagian ini, kita berinteraksi dengan endpoint Boto3 API untuk memperbarui dan mencari metadata fitur.

Untuk mulai meningkatkan pencarian dan penemuan fitur, Anda dapat menambahkan metadata menggunakan update_feature_metadata API. Selain itu description dan created_date bidang, Anda dapat menambahkan hingga 25 parameter (pasangan nilai kunci) ke fitur tertentu.

Kode berikut adalah contoh dari lima kemungkinan parameter nilai kunci yang telah ditambahkan ke: job_admin fitur. Fitur ini dibuat, bersama dengan job_services dan job_none, dengan satu-hot-encoding job.

sagemaker_client.update_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
    ParameterAdditions=[
        {"Key": "author", "Value": "arnaud"}, # Feature's author
        {"Key": "team", "Value": "mlops"}, # Team owning the feature
        {"Key": "origin", "Value": "job"}, # Raw input parameter
        {"Key": "sensitivity", "Value": "5"}, # 1-5 scale for data sensitivity
        {"Key": "env", "Value": "testing"} # Environment the feature is used in
    ]
)

Setelah author, team, origin, sensitivity, dan env telah ditambahkan ke job_admin fitur, ilmuwan data, atau insinyur ML dapat mengambilnya dengan memanggil describe_feature_metadata API. Anda dapat menavigasi ke Parameters objek dalam respons untuk metadata yang sebelumnya kami tambahkan ke fitur kami. Itu describe_feature_metadata Titik akhir API memungkinkan Anda mendapatkan wawasan yang lebih luas tentang fitur tertentu dengan mendapatkan metadata terkaitnya.

response = sagemaker_client.describe_feature_metadata(
    FeatureGroupName="customer",
    FeatureName="job_admin",
)

# Navigate to 'Parameters' in response to get metadata
metadata = response['Parameters']

Anda dapat mencari fitur dengan menggunakan SageMaker search API menggunakan metadata sebagai parameter pencarian. Kode berikut adalah contoh fungsi yang mengambil search_string parameter sebagai input dan mengembalikan semua fitur di mana nama fitur, deskripsi, atau parameter cocok dengan kondisi:

def search_features_using_string(search_string):
    response = sagemaker_client.search(
        Resource= "FeatureMetadata",
        SearchExpression={
            'Filters': [
               {
                   'Name': 'FeatureName',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'Description',
                   'Operator': 'Contains',
                   'Value': search_string
               },
               {
                   'Name': 'AllParameters',
                   'Operator': 'Contains',
                   'Value': search_string
               }
           ],
           "Operator": "Or"
        },
    )

    # Displaying results in a pandas DataFrame
    df=pd.json_normalize(response['Results'], max_level=1)
    df.columns = df.columns.map(lambda col: col.split(".")[1])
    df=df.drop('FeatureGroupArn', axis=1)

    return df

Cuplikan kode berikut menggunakan search_features berfungsi untuk mengambil semua fitur yang nama fitur, deskripsi, atau parameternya mengandung kata job:

search_results = search_features_using_string('mlops')
search_results

Tangkapan layar berikut berisi daftar nama fitur yang cocok serta metadata terkait, termasuk stempel waktu untuk setiap pembuatan fitur dan modifikasi terakhir. Anda dapat menggunakan informasi ini untuk meningkatkan penemuan dan visibilitas ke fitur organisasi Anda.

Kesimpulan

SageMaker Feature Store menyediakan solusi manajemen fitur yang dibuat khusus untuk membantu organisasi menskalakan pengembangan ML di seluruh unit bisnis dan tim ilmu data. Meningkatkan penggunaan kembali fitur dan konsistensi fitur adalah manfaat utama dari penyimpanan fitur. Dalam posting ini, kami menjelaskan bagaimana Anda dapat menggunakan metadata tingkat fitur untuk meningkatkan pencarian dan penemuan fitur. Ini termasuk membuat metadata di sekitar berbagai kasus penggunaan dan menggunakannya sebagai parameter pencarian tambahan.

Cobalah, dan beri tahu kami pendapat Anda di komentar. Jika Anda ingin mempelajari lebih lanjut tentang berkolaborasi dan berbagi fitur dalam Feature Store, lihat Aktifkan fitur yang digunakan kembali di seluruh akun dan tim menggunakan Amazon SageMaker Feature Store.

Tentang penulis

Arnaud Lauer adalah Arsitek Solusi Mitra Senior di tim Sektor Publik di AWS. Dia memungkinkan mitra dan pelanggan untuk memahami cara terbaik menggunakan teknologi AWS untuk menerjemahkan kebutuhan bisnis menjadi solusi. Dia memiliki lebih dari 16 tahun pengalaman dalam memberikan dan merancang proyek transformasi digital di berbagai industri, termasuk sektor publik, energi, dan barang-barang konsumen. Kecerdasan buatan dan pembelajaran mesin adalah beberapa kegemarannya. Arnaud memiliki 12 sertifikasi AWS, termasuk ML Specialty Certification.

Nicolas Bernier adalah Associate Solutions Architect, bagian dari tim Sektor Publik Kanada di AWS. Dia saat ini sedang menjalani gelar master dengan bidang penelitian di Deep Learning dan memegang lima sertifikasi AWS, termasuk ML Specialty Certification. Nicolas bersemangat membantu pelanggan memperdalam pengetahuan mereka tentang AWS dengan bekerja bersama mereka untuk menerjemahkan tantangan bisnis mereka menjadi solusi teknis.

Tandai Roy adalah Principal Machine Learning Architect untuk AWS, membantu pelanggan merancang dan membangun solusi AI / ML. Pekerjaan Mark mencakup berbagai kasus penggunaan ML, dengan minat utama pada computer vision, deep learning, dan penskalaan ML di seluruh perusahaan. Dia telah membantu perusahaan di banyak industri, termasuk asuransi, layanan keuangan, media dan hiburan, perawatan kesehatan, utilitas, dan manufaktur. Mark memegang enam sertifikasi AWS, termasuk Sertifikasi Spesialisasi ML. Sebelum bergabung dengan AWS, Mark adalah seorang arsitek, pengembang, dan pemimpin teknologi selama lebih dari 25 tahun, termasuk 19 tahun dalam layanan keuangan.

Khushboo Srivastava adalah Manajer Produk Senior untuk Amazon SageMaker. Dia senang membuat produk yang menyederhanakan alur kerja machine learning untuk pelanggan. Di waktu luangnya, ia senang bermain biola, berlatih yoga, dan bepergian.