Bangun dan latih model ML menggunakan arsitektur jala data di AWS: Bagian 1

Organisasi di berbagai industri menggunakan kecerdasan buatan (AI) dan pembelajaran mesin (ML) untuk memecahkan tantangan bisnis khusus untuk industri mereka. Misalnya, di industri jasa keuangan, Anda dapat menggunakan AI dan ML untuk menyelesaikan tantangan seputar deteksi penipuan, prediksi risiko kredit, pemasaran langsung, dan banyak lainnya.

Perusahaan besar terkadang mendirikan center of excellence (CoE) untuk menangani kebutuhan berbagai lini bisnis (LoB) dengan analitik inovatif dan proyek ML.

Untuk menghasilkan model ML berkualitas tinggi dan berperforma dalam skala besar, mereka perlu melakukan hal berikut:

• Berikan cara mudah untuk mengakses data yang relevan dengan analitik dan ML CoE mereka
• Ciptakan akuntabilitas penyedia data dari LoB individu untuk berbagi aset data terkurasi yang dapat ditemukan, dipahami, dapat dioperasikan, dan dapat dipercaya

Hal ini dapat mengurangi waktu siklus yang lama untuk mengonversi kasus penggunaan ML dari eksperimen ke produksi dan menghasilkan nilai bisnis di seluruh organisasi.

Arsitektur data mesh berusaha untuk memecahkan tantangan teknis dan organisasi ini dengan memperkenalkan pendekatan sosio-teknis terdesentralisasi untuk berbagi, mengakses, dan mengelola data dalam lingkungan yang kompleks dan berskala besar—di dalam atau di seluruh organisasi. Pola desain jala data menciptakan model berbagi data yang bertanggung jawab yang selaras dengan pertumbuhan organisasi untuk mencapai tujuan akhir meningkatkan pengembalian investasi bisnis dalam tim data, proses, dan teknologi.

Dalam seri dua bagian ini, kami memberikan panduan tentang bagaimana organisasi dapat membangun arsitektur data modern menggunakan pola desain mesh data di AWS dan memungkinkan analitik dan ML CoE untuk membangun dan melatih model ML dengan data di beberapa LoB. Kami menggunakan contoh organisasi jasa keuangan untuk mengatur konteks dan kasus penggunaan untuk seri ini.

Dalam posting pertama ini, kami menunjukkan prosedur pengaturan arsitektur data mesh dengan beberapa akun produsen dan konsumen data AWS. Kemudian kami fokus pada satu produk data, yang dimiliki oleh satu LoB dalam organisasi keuangan, dan bagaimana produk tersebut dapat dibagikan ke dalam lingkungan data mesh untuk memungkinkan LoB lain menggunakan dan menggunakan produk data ini. Ini terutama menargetkan persona pengelola data, yang bertanggung jawab untuk merampingkan dan menstandardisasi proses berbagi data antara produsen data dan konsumen dan memastikan kepatuhan terhadap aturan tata kelola data.

Di postingan kedua, kami menunjukkan satu contoh bagaimana analytics dan ML CoE dapat menggunakan produk data untuk kasus penggunaan prediksi risiko. Ini terutama menargetkan persona ilmuwan data, yang bertanggung jawab untuk memanfaatkan aset data di seluruh organisasi dan pihak ketiga untuk membangun dan melatih model ML yang mengekstrak wawasan bisnis untuk meningkatkan pengalaman pelanggan layanan keuangan.

Ikhtisar jala data

Pendiri pola mesh data, Zhamak Dehghani dalam bukunya Data Mesh Memberikan Nilai Berdasarkan Data dalam Skala Besar, mendefinisikan empat prinsip menuju tujuan mesh data:

• Kepemilikan domain terdistribusi – Untuk mengejar perubahan organisasi dari kepemilikan data terpusat oleh spesialis yang menjalankan teknologi platform data ke model kepemilikan data terdesentralisasi, mendorong kepemilikan dan akuntabilitas data kembali ke LoB tempat data diproduksi (domain yang selaras dengan sumber) atau dikonsumsi ( domain yang selaras dengan konsumsi).
• Data sebagai produk – Untuk mendorong akuntabilitas berbagi aset data yang dikuratori, berkualitas tinggi, dapat dioperasikan, dan aman. Oleh karena itu, produsen data dari LoB yang berbeda bertanggung jawab untuk membuat data dalam bentuk yang dapat dikonsumsi langsung dari sumbernya.
• Analisis layanan mandiri – Untuk menyederhanakan pengalaman pengguna data analitik dan ML sehingga mereka dapat menemukan, mengakses, dan menggunakan produk data dengan alat pilihan mereka. Selain itu, untuk menyederhanakan pengalaman penyedia data LoB dalam membangun, menerapkan, dan memelihara produk data melalui resep dan komponen serta template yang dapat digunakan kembali.
• Tata kelola komputasi gabungan – Untuk menyatukan dan mengotomatisasi pengambilan keputusan yang terlibat dalam pengelolaan dan pengendalian akses data berada pada tingkat pemilik data dari LoB yang berbeda, yang masih sejalan dengan kebijakan hukum, kepatuhan, dan keamanan organisasi yang lebih luas yang pada akhirnya ditegakkan melalui jala.

AWS memperkenalkan visinya untuk membangun mesh data di atas AWS di berbagai pos:

• Pertama, kami fokus pada bagian organisasi yang terkait dengan kepemilikan domain terdistribusi dan data sebagai prinsip produk. Penulis menggambarkan visi menyelaraskan beberapa LOB di seluruh organisasi menuju strategi produk data yang menyediakan domain yang selaras dengan konsumsi dengan alat untuk menemukan dan memperoleh data yang mereka butuhkan, sambil menjamin kontrol yang diperlukan seputar penggunaan data tersebut dengan memperkenalkan akuntabilitas untuk domain yang selaras dengan sumber untuk menyediakan produk data yang siap digunakan langsung di sumbernya. Untuk informasi lebih lanjut, lihat Bagaimana JPMorgan Chase membangun arsitektur data mesh untuk mendorong nilai signifikan guna meningkatkan platform data perusahaan mereka.
• Kemudian kami berfokus pada bagian teknis yang terkait dengan pembuatan produk data, analitik layanan mandiri, dan prinsip tata kelola komputasi gabungan. Penulis menjelaskan layanan inti AWS yang memberdayakan domain yang selaras dengan sumber untuk membangun dan berbagi produk data, berbagai macam layanan yang dapat memungkinkan domain yang selaras dengan konsumen untuk menggunakan produk data dengan cara yang berbeda berdasarkan alat pilihan mereka dan kasus penggunaan yang mereka gunakan. sedang bekerja menuju, dan akhirnya layanan AWS yang mengatur prosedur berbagi data dengan menegakkan kebijakan akses data. Untuk informasi lebih lanjut, lihat Rancang arsitektur jala data menggunakan AWS Lake Formation dan AWS Glue.
• Kami juga menunjukkan solusi untuk mengotomatiskan penemuan data dan kontrol akses melalui UI mesh data terpusat. Untuk lebih jelasnya, lihat Bangun alur kerja berbagi data dengan AWS Lake Formation untuk mesh data Anda.

Kasus penggunaan layanan keuangan

Biasanya, organisasi jasa keuangan besar memiliki beberapa LoB, seperti perbankan konsumen, perbankan investasi, dan manajemen aset, serta satu atau beberapa tim analitik dan ML CoE. Setiap LoB menyediakan layanan yang berbeda:

• LoB perbankan konsumen menyediakan berbagai layanan kepada konsumen dan bisnis, termasuk kredit dan hipotek, manajemen kas, solusi pembayaran, produk deposito dan investasi, dan banyak lagi
• LoB perbankan komersial atau investasi menawarkan solusi keuangan yang komprehensif, seperti pinjaman, risiko kebangkrutan, dan pembayaran grosir kepada klien, termasuk usaha kecil, perusahaan menengah, dan perusahaan besar
• LoB manajemen aset menyediakan produk pensiun dan layanan investasi di semua kelas aset

Setiap LoB mendefinisikan produk data mereka sendiri, yang dikuratori oleh orang-orang yang memahami data dan paling cocok untuk menentukan siapa yang berwenang untuk menggunakannya, dan bagaimana data tersebut dapat digunakan. Sebaliknya, LoB dan domain aplikasi lain seperti analytics dan ML CoE tertarik untuk menemukan dan menggunakan produk data yang memenuhi syarat, memadukannya bersama untuk menghasilkan wawasan, dan membuat keputusan berdasarkan data.

Ilustrasi berikut menggambarkan beberapa LoB dan contoh produk data yang dapat mereka bagikan. Ini juga menunjukkan kepada konsumen produk data seperti analitik dan ML CoE, yang membuat model ML yang dapat diterapkan ke aplikasi yang dihadapi pelanggan untuk lebih meningkatkan pengalaman pelanggan akhir.

Mengikuti konsep sosio-teknis data mesh, kita mulai dengan aspek sosial dengan serangkaian langkah organisasi, seperti berikut:

• Memanfaatkan pakar domain untuk menentukan batasan setiap domain, sehingga setiap produk data dapat dipetakan ke domain tertentu
• Mengidentifikasi pemilik untuk produk data yang disediakan dari setiap domain, sehingga setiap produk data memiliki strategi yang ditentukan oleh pemiliknya
• Mengidentifikasi kebijakan tata kelola dari insentif global dan lokal atau federasi, sehingga ketika konsumen data mengakses produk data tertentu, kebijakan akses yang terkait dengan produk dapat diterapkan secara otomatis melalui lapisan tata kelola data pusat

Kemudian kita beralih ke aspek teknis, yang mencakup skenario ujung ke ujung berikut yang didefinisikan dalam diagram sebelumnya:

1. Berdayakan LoB perbankan konsumer dengan alat untuk membangun produk data profil kredit konsumer yang siap pakai.
2. Izinkan LoB perbankan konsumen untuk berbagi produk data ke lapisan tata kelola pusat.
3. Menyematkan definisi global dan federasi dari kebijakan akses data yang harus ditegakkan saat mengakses produk data profil kredit konsumen melalui tata kelola data pusat.
4. Izinkan analitik dan ML CoE untuk menemukan dan mengakses produk data melalui lapisan tata kelola pusat.
5. Berdayakan analitik dan ML CoE dengan alat untuk memanfaatkan produk data guna membangun dan melatih model prediksi risiko kredit. Kami tidak membahas langkah terakhir (6 dan 7 pada diagram sebelumnya) dalam seri ini. Namun, untuk menunjukkan nilai bisnis yang dapat diberikan model ML seperti itu ke organisasi dalam skenario ujung ke ujung, kami mengilustrasikan hal berikut:
6. Model ini nantinya dapat digunakan kembali ke sistem yang dihadapi pelanggan seperti portal web perbankan konsumen atau aplikasi seluler.
7. Ini dapat digunakan secara khusus dalam aplikasi pinjaman untuk menilai profil risiko permintaan kredit dan hipotek.

Selanjutnya, kami menjelaskan kebutuhan teknis dari masing-masing komponen.

Menyelami kebutuhan teknis secara mendalam

Untuk membuat produk data tersedia untuk semua orang, organisasi perlu mempermudah berbagi data antara entitas yang berbeda di seluruh organisasi sambil mempertahankan kontrol yang tepat atas data tersebut, atau dengan kata lain, untuk menyeimbangkan kelincahan dengan tata kelola yang tepat.

Konsumen data: Analytics dan ML CoE

Konsumen data seperti ilmuwan data dari analitik dan ML CoE harus dapat melakukan hal berikut:

• Temukan dan akses kumpulan data yang relevan untuk kasus penggunaan tertentu
• Yakinlah bahwa kumpulan data yang ingin mereka akses sudah dikurasi, mutakhir, dan memiliki deskripsi yang kuat
• Minta akses ke kumpulan data yang menarik untuk kasus bisnis mereka
• Gunakan alat pilihan mereka untuk membuat kueri dan memproses kumpulan data tersebut dalam lingkungan mereka untuk ML tanpa perlu mereplikasi data dari lokasi jarak jauh asli atau untuk mengkhawatirkan kerumitan teknis atau infrastruktur yang terkait dengan pemrosesan data yang disimpan secara fisik di situs jarak jauh
• Dapatkan pemberitahuan tentang pembaruan data apa pun yang dibuat oleh pemilik data

Produser data: Kepemilikan domain

Produsen data, seperti tim domain dari berbagai LoB di organisasi jasa keuangan, perlu mendaftar dan membagikan kumpulan data yang dikurasi yang berisi hal berikut:

• Metadata teknis dan operasional, seperti database dan nama dan ukuran tabel, skema kolom, dan kunci
• Metadata bisnis seperti deskripsi data, klasifikasi, dan sensitivitas
• Melacak metadata seperti evolusi skema dari sumber ke bentuk target dan bentuk perantara apa pun
• Metadata kualitas data seperti rasio kebenaran dan kelengkapan serta bias data
• Akses kebijakan dan prosedur

Ini diperlukan untuk memungkinkan konsumen data menemukan dan mengakses data tanpa bergantung pada prosedur manual atau harus menghubungi pakar domain produk data untuk mendapatkan lebih banyak pengetahuan tentang arti data dan cara mengaksesnya.

Tata kelola data: Kemampuan untuk ditemukan, aksesibilitas, dan kemampuan untuk diaudit

Organisasi perlu menyeimbangkan kelincahan yang diilustrasikan sebelumnya dengan mitigasi yang tepat dari risiko yang terkait dengan kebocoran data. Khususnya di industri yang diatur seperti layanan keuangan, ada kebutuhan untuk mempertahankan tata kelola data pusat untuk menyediakan akses data secara keseluruhan dan kontrol audit sekaligus mengurangi jejak penyimpanan dengan menghindari banyak salinan data yang sama di lokasi yang berbeda.

Dalam arsitektur data lake terpusat tradisional, produsen data sering mempublikasikan data mentah dan menyerahkan tanggung jawab kurasi data, manajemen kualitas data, dan kontrol akses ke insinyur data dan infrastruktur dalam tim platform data terpusat. Namun, tim platform data ini mungkin kurang memahami berbagai domain data, dan masih mengandalkan dukungan dari produsen data untuk dapat mengatur dan mengatur akses ke data dengan benar sesuai dengan kebijakan yang diberlakukan di setiap domain data. Sebaliknya, produsen data sendiri berada pada posisi terbaik untuk menyediakan aset data yang dikurasi dan memenuhi syarat dan mengetahui kebijakan akses khusus domain yang perlu ditegakkan saat mengakses aset data.

Ikhtisar solusi

Diagram berikut menunjukkan arsitektur tingkat tinggi dari solusi yang diusulkan.

Kami menangani konsumsi data dengan analitik dan ML CoE dengan Amazon Athena dan Amazon SageMaker in bagian 2 dari seri ini.

Dalam posting ini, kami fokus pada proses orientasi data ke dalam mesh data dan menjelaskan bagaimana LoB individu seperti tim data domain perbankan konsumen dapat menggunakan alat AWS seperti Lem AWS dan DataBrew Lem AWS untuk mempersiapkan, mengkurasi, dan meningkatkan kualitas produk data mereka, dan kemudian mendaftarkan produk data tersebut ke akun tata kelola data pusat melalui Formasi Danau AWS.

LoB perbankan konsumen (produsen data)

Salah satu prinsip inti dari data mesh adalah konsep data sebagai produk. Sangat penting bagi tim data domain perbankan konsumen untuk bekerja menyiapkan produk data yang siap digunakan oleh konsumen data. Ini dapat dilakukan dengan menggunakan alat AWS extract, transform, and load (ETL) seperti AWS Glue untuk memproses data mentah yang dikumpulkan pada Layanan Penyimpanan Sederhana Amazon (Amazon S3), atau sambungkan ke penyimpanan data operasional tempat data dihasilkan. Anda juga bisa menggunakan Pembuatan Data, yang merupakan alat penyiapan data visual tanpa kode yang memudahkan pembersihan dan normalisasi data.

Misalnya, saat menyiapkan produk data profil kredit konsumen, tim data domain perbankan konsumen dapat membuat kurasi sederhana untuk menerjemahkan dari bahasa Jerman ke bahasa Inggris nama atribut dari data mentah yang diambil dari kumpulan data sumber terbuka Statlog data kredit Jerman, yang terdiri dari 20 atribut dan 1,000 baris.

Tata kelola data

Layanan inti AWS untuk mengaktifkan tata kelola mesh data adalah Lake Formation. Lake Formation menawarkan kemampuan untuk menegakkan tata kelola data dalam setiap domain data dan lintas domain untuk memastikan data mudah ditemukan dan aman. Ini menyediakan model keamanan gabungan yang dapat dikelola secara terpusat, dengan praktik terbaik untuk penemuan data, keamanan, dan kepatuhan, sekaligus memungkinkan kelincahan tinggi dalam setiap domain.

Lake Formation menawarkan API untuk menyederhanakan cara data diserap, disimpan, dan dikelola, bersama dengan keamanan tingkat baris untuk melindungi data Anda. Ini juga menyediakan fungsionalitas seperti kontrol akses granular, tabel yang diatur, dan pengoptimalan penyimpanan.

Selain itu, Formasi Danau menawarkan API Berbagi Data yang dapat Anda gunakan untuk berbagi data di berbagai akun. Hal ini memungkinkan konsumen analitik dan ML CoE menjalankan kueri Athena yang membuat kueri dan menggabungkan tabel di beberapa akun. Untuk informasi lebih lanjut, lihat Panduan Pengembang Formasi Danau AWS.

Manajer Akses Sumber Daya AWS (AWS RAM) menyediakan cara yang aman untuk berbagi sumber daya melalui Manajer Identitas dan Akses AWS (IAM) peran dan pengguna di seluruh akun AWS dalam organisasi atau unit organisasi (OU) di Organisasi AWS.

Lake Formation bersama dengan AWS RAM menyediakan satu cara untuk mengelola berbagi data dan akses di seluruh akun AWS. Kami menyebut pendekatan ini sebagai Kontrol akses berbasis RAM. Untuk detail lebih lanjut tentang pendekatan ini, lihat Bangun alur kerja berbagi data dengan AWS Lake Formation untuk mesh data Anda.

Lake Formation juga menawarkan cara lain untuk mengelola berbagi data dan akses menggunakan Tag Formasi Danau. Kami menyebut pendekatan ini sebagai kontrol akses berbasis tag. Untuk lebih jelasnya, lihat Bangun arsitektur data modern dan pola mesh data dalam skala besar menggunakan kontrol akses berbasis tag AWS Lake Formation.

Sepanjang posting ini, kami menggunakan pendekatan kontrol akses berbasis tag karena menyederhanakan pembuatan kebijakan pada sejumlah kecil tag logis yang biasanya ditemukan di LoB yang berbeda daripada menentukan kebijakan pada sumber daya bernama di tingkat infrastruktur.

Prasyarat

Untuk menyiapkan arsitektur data mesh, Anda memerlukan setidaknya tiga akun AWS: akun produsen, akun pusat, dan akun konsumen.

Terapkan lingkungan mesh data

Untuk menerapkan lingkungan mesh data, Anda dapat menggunakan yang berikut ini Repositori GitHub. Repositori ini berisi tiga Formasi AWS Cloud template yang menerapkan lingkungan mesh data yang mencakup setiap akun (produsen, pusat, dan konsumen). Dalam setiap akun, Anda dapat menjalankan template CloudFormation yang sesuai.

Akun pusat

Di akun pusat, selesaikan langkah-langkah berikut:

1. Luncurkan tumpukan CloudFormation:
   
2. Buat dua pengguna IAM:
   1. DataMeshOwner
   2. ProducerSteward
3. Hibah DataMeshOwner sebagai admin Formasi Danau.
4. Buat satu peran IAM:
   1. LFRegisterLocationServiceRole
5. Buat dua kebijakan IAM:
   1. ProducerStewardPolicy
   2. S3DataLakePolicy
6. Buat database kartu kredit untuk ProducerSteward di akun produser.
7. Bagikan izin lokasi data ke akun produser.

Akun produser

Di akun produser, selesaikan langkah-langkah berikut:

1. Luncurkan tumpukan CloudFormation:
   
2. Buat bucket S3 credit-card, yang memegang meja credit_card.
3. Izinkan akses bucket S3 untuk peran layanan Lake Formation akun pusat.
4. Buat perayap Lem AWS creditCrawler-<ProducerAccountID>.
5. Buat peran layanan perayap AWS Glue.
6. Berikan izin pada lokasi bucket S3 credit-card-<ProducerAccountID>-<aws-region> ke peran perayap Lem AWS.
7. Buat pengguna IAM pengelola produser.

akun konsumen

Di akun konsumen, selesaikan langkah-langkah berikut:

1. Luncurkan tumpukan CloudFormation:
   
2. Buat bucket S3 <AWS Account ID>-<aws-region>-athena-logs.
3. Buat grup kerja Athena consumer-workgroup.
4. Buat pengguna IAM ConsumerAdmin.

Tambahkan database dan berlangganan akun konsumen ke sana

Setelah Anda menjalankan template, Anda dapat melalui langkah-demi-langkah panduan untuk menambahkan produk dalam katalog data dan membuat konsumen berlangganan. Panduan ini dimulai dengan menyiapkan database di mana produsen dapat menempatkan produknya dan kemudian menjelaskan bagaimana konsumen dapat berlangganan database tersebut dan mengakses data. Semua ini dilakukan saat menggunakan LF-tag, yang merupakan kontrol akses berbasis tag untuk Formasi Danau.

Pendaftaran produk data

Arsitektur berikut menjelaskan langkah-langkah terperinci tentang bagaimana tim LoB perbankan konsumen yang bertindak sebagai produsen data dapat mendaftarkan produk data mereka di akun tata kelola data pusat (produk data onboard ke mesh data organisasi).

Langkah-langkah umum untuk mendaftarkan produk data adalah sebagai berikut:

1. Buat database target untuk produk data di akun tata kelola pusat. Sebagai contoh, template CloudFormation dari akun pusat sudah membuat database target credit-card.
2. Bagikan basis data target yang dibuat dengan asal di akun produsen.
3. Buat tautan sumber daya dari database bersama di akun produser. Pada screenshot berikut, kita melihat di konsol Lake Formation di akun produser bahwa rl_credit-card adalah tautan sumber daya dari credit-card database.
   
4. Isi tabel (dengan data yang dikuratori di akun produsen) di dalam database tautan sumber daya (rl_credit-card) menggunakan perayap AWS Glue di akun produsen.
   

Tabel yang dibuat secara otomatis muncul di akun pemerintahan pusat. Tangkapan layar berikut menunjukkan contoh tabel di Formasi Danau di akun pusat. Ini setelah melakukan langkah-langkah sebelumnya untuk mengisi database tautan sumber daya rl_credit-card di akun produsen.

Kesimpulan

Di bagian 1 seri ini, kami membahas tujuan organisasi jasa keuangan untuk mencapai lebih banyak kelincahan bagi tim analitik dan ML mereka serta mengurangi waktu dari data hingga wawasan. Kami juga berfokus pada pembangunan arsitektur data mesh di AWS, di mana kami telah memperkenalkan layanan AWS yang mudah digunakan, skalabel, dan hemat biaya seperti AWS Glue, DataBrew, dan Lake Formation. Tim penghasil data dapat menggunakan layanan ini untuk membangun dan berbagi produk data yang dikuratori, berkualitas tinggi, dapat dioperasikan, dan aman yang siap digunakan oleh konsumen data yang berbeda untuk tujuan analitis.

In bagian 2, kami fokus pada tim analitik dan ML CoE yang menggunakan produk data yang dibagikan oleh LoB perbankan konsumen untuk membangun model prediksi risiko kredit menggunakan layanan AWS seperti Athena dan SageMaker.

---

Tentang penulis

Karim Hammouda adalah Spesialis Solusi Arsitek untuk Analytics di AWS dengan hasrat untuk integrasi data, analisis data, dan BI. Dia bekerja dengan pelanggan AWS untuk merancang dan membangun solusi analitik yang berkontribusi pada pertumbuhan bisnis mereka. Di waktu luangnya, dia suka menonton film dokumenter TV dan bermain video game dengan putranya.

Hasan Poonawala adalah Arsitek Solusi Spesialis AI/ML Senior di AWS, Hasan membantu pelanggan merancang dan menerapkan aplikasi pembelajaran mesin dalam produksi di AWS. Dia memiliki lebih dari 12 tahun pengalaman kerja sebagai ilmuwan data, praktisi pembelajaran mesin, dan pengembang perangkat lunak. Di waktu senggangnya, Hasan suka menjelajah alam dan menghabiskan waktu bersama teman dan keluarga.

Benoit de Patoul adalah Arsitek Solusi Spesialis AI/ML di AWS. Dia membantu pelanggan dengan memberikan panduan dan bantuan teknis untuk membangun solusi terkait AI/ML menggunakan AWS. Di waktu luangnya, dia suka bermain piano dan menghabiskan waktu bersama teman-temannya.