Posting ini ditulis bersama dengan Jan Paul Assendorp, Thomas Lietzow, Christopher Masch, Alexander Meinert, Dr. Lars Palzer, Jan Schillemans dari SIGNAL IDUNA.
Di SIGNAL IDUNA, perusahaan asuransi besar Jerman, saat ini kami sedang mengubah diri kami sendiri dengan program transformasi VISION2023 untuk menjadi lebih berorientasi pada pelanggan. Dua aspek penting untuk transformasi ini: reorganisasi sebagian besar tenaga kerja menjadi tim lintas fungsional dan gesit, dan menjadi perusahaan yang benar-benar berbasis data. Di sini, moto โAnda membangunnya, Anda menjalankannyaโ merupakan persyaratan penting bagi tim lintas fungsi yang membangun produk data atau pembelajaran mesin (ML). Ini menempatkan batasan ketat pada berapa banyak tim kerja dapat menghabiskan untuk memproduksi dan menjalankan produk.
Posting ini menunjukkan bagaimana SIGNAL IDUNA mengatasi tantangan ini dan memanfaatkan AWS Cloud untuk memungkinkan tim lintas fungsi membangun dan mengoperasionalkan produk ML mereka sendiri. Untuk tujuan ini, pertama-tama kami memperkenalkan struktur organisasi tim tangkas, yang menetapkan persyaratan utama untuk infrastruktur cloud yang digunakan untuk mengembangkan dan menjalankan produk. Selanjutnya, kami menunjukkan bagaimana tiga tim pusat di SIGNAL IDUNA memungkinkan tim lintas fungsi untuk membangun produk data di AWS Cloud dengan bantuan minimal, dengan menyediakan alur kerja yang sesuai dan solusi infrastruktur yang dapat dengan mudah digunakan dan diadaptasi. Akhirnya, kami meninjau pendekatan kami dan membandingkannya dengan pendekatan yang lebih klasik di mana pengembangan dan operasi dipisahkan secara lebih ketat.
Agile@SI โ Landasan Perubahan Organisasi
Sejak awal tahun 2021, SIGNAL IDUNA telah mulai menerapkan strategi Agile@SI ke dalam tindakan dan menetapkan metode tangkas untuk mengembangkan solusi berorientasi pelanggan di seluruh perusahaan [1]. Tugas dan tujuan sebelumnya sekarang dilakukan oleh tim lintas fungsi, yang disebut regu. Pasukan ini menggunakan metode tangkas (seperti kerangka Scrum), membuat keputusan sendiri, dan membangun produk yang berorientasi pelanggan. Biasanya, regu berada di divisi bisnis, seperti pemasaran, dan banyak yang memiliki penekanan kuat pada pembuatan produk berbasis data dan bertenaga ML. Sebagai contoh, kasus penggunaan umum dalam asuransi adalah prediksi churn pelanggan dan rekomendasi produk.
Karena kerumitan ML, membuat solusi ML oleh satu regu adalah hal yang menantang, dan dengan demikian membutuhkan kolaborasi regu yang berbeda.
SIGNAL IDUNA memiliki tiga tim penting yang mendukung pembuatan solusi ML. Dikelilingi oleh tiga regu ini adalah tim yang bertanggung jawab untuk pengembangan dan operasi jangka panjang dan solusi ML. Pendekatan ini mengikuti model tanggung jawab bersama AWS [2].
Pada gambar di atas, semua regu diwakili dalam ikhtisar.
Pemberdayaan Awan
Infrastruktur cloud yang mendasari untuk seluruh organisasi disediakan oleh Squad Cloud Enablement. Adalah tugas mereka untuk memungkinkan tim membangun produk di atas teknologi cloud sendiri. Ini meningkatkan waktu untuk memasarkan produk baru seperti ML, dan mengikuti prinsip "Anda membangunnya, Anda menjalankannya".
Kantor Data/Danau Data
Memindahkan data ke cloud, serta menemukan kumpulan data yang tepat, didukung oleh regu Data Office/Data Lake. Mereka membuat katalog data yang dapat digunakan untuk mencari dan memilih kumpulan data yang diperlukan. Tujuan mereka adalah untuk membangun transparansi dan tata kelola data. Selain itu, mereka bertanggung jawab untuk membuat dan mengoperasikan Data Lake yang membantu tim mengakses dan memproses data yang relevan.
Platform Analisis Data
Platform Analisis Data (DAP) skuad kami adalah tim yang berfokus pada cloud dan ML di SIGNAL IDUNA yang mahir dalam teknik ML, teknik data, serta ilmu data. Kami memungkinkan tim internal menggunakan cloud publik untuk ML dengan menyediakan komponen dan pengetahuan infrastruktur. Produk dan layanan kami disajikan secara rinci di bagian berikut.
Mengaktifkan Tim Lintas Fungsional untuk Membangun Solusi ML
Untuk memungkinkan tim lintas fungsi di SIGNAL IDUNA membangun solusi ML, kami memerlukan cara yang cepat dan serbaguna untuk menyediakan infrastruktur cloud yang dapat digunakan kembali serta alur kerja yang efisien bagi tim orientasi untuk memanfaatkan kemampuan cloud.
Untuk tujuan ini, kami membuat proses orientasi dan dukungan standar, dan menyediakan template infrastruktur modular sebagai Infrastructure as Code (IaC). Template ini berisi komponen infrastruktur yang dirancang untuk kasus penggunaan ML umum yang dapat dengan mudah disesuaikan dengan persyaratan kasus penggunaan tertentu.
Alur Kerja Membangun Solusi ML
Ada tiga peran teknis utama yang terlibat dalam membangun dan mengoperasikan solusi ML: Ilmuwan data, insinyur ML, dan insinyur data. Setiap peran adalah bagian dari regu lintas fungsi dan memiliki tanggung jawab yang berbeda. Ilmuwan data memiliki pengetahuan domain yang diperlukan tentang persyaratan fungsional serta teknis dari kasus penggunaan. Insinyur ML mengkhususkan diri dalam membangun solusi ML otomatis dan penerapan model. Dan insinyur data memastikan bahwa data mengalir dari lokal dan di dalam cloud.
Proses penyediaan platform adalah sebagai berikut:
Infrastruktur kasus penggunaan khusus didefinisikan dalam IaC dan diversi dalam repositori proyek pusat. Ini juga mencakup saluran untuk pelatihan dan penerapan model, serta artefak kode terkait ilmu data lainnya. Ilmuwan data, insinyur ML, dan insinyur data memiliki akses ke repositori proyek dan dapat mengonfigurasi serta memperbarui semua kode infrastruktur secara mandiri. Hal ini memungkinkan tim untuk dengan cepat mengubah infrastruktur jika diperlukan. Namun, insinyur ML selalu dapat mendukung dalam mengembangkan dan memperbarui infrastruktur atau model ML.
Komponen Infrastruktur Modular dan Dapat Digunakan Kembali
Sumber daya IaC hierarkis dan modular diimplementasikan dalam Terraform dan menyertakan infrastruktur untuk ilmu data umum dan kasus penggunaan ETL. Ini memungkinkan kami menggunakan kembali kode infrastruktur dan menerapkan kebijakan keamanan dan kepatuhan yang diperlukan, seperti menggunakan Layanan Manajemen Kunci AWS (KMS) enkripsi untuk data, serta enkapsulasi infrastruktur di Amazon Virtual Private Cloud (VPC) lingkungan tanpa akses internet langsung.
Struktur hierarki IaC adalah sebagai berikut:
- Modul merangkum layanan AWS dasar dengan konfigurasi yang diperlukan untuk keamanan dan manajemen akses. Ini termasuk konfigurasi praktik terbaik seperti pencegahan akses publik ke Layanan Penyimpanan Sederhana Amazon (S3) ember, atau menerapkan enkripsi untuk semua file yang disimpan.
- Dalam beberapa kasus, Anda memerlukan berbagai layanan untuk mengotomatisasi proses, seperti untuk menerapkan model ML dalam tahapan yang berbeda. Oleh karena itu, kami mendefinisikan Solusi sebagai bundel modul yang berbeda dalam konfigurasi bersama untuk berbagai jenis tugas.
- Selain itu, kami menawarkan lengkap Blueprints yang menggabungkan solusi di lingkungan yang berbeda untuk memenuhi banyak potensi kebutuhan proyek. Dalam cetak biru MLOps kami, kami mendefinisikan infrastruktur yang dapat diterapkan untuk pelatihan, penyediaan, dan pemantauan model ML yang terintegrasi dan didistribusikan di akun AWS. Kami membahas rincian lebih lanjut di bagian berikutnya.
Produk-produk ini diversi dalam repositori pusat oleh pasukan DAP. Ini memungkinkan kami untuk terus meningkatkan IaC kami dan mempertimbangkan fitur baru dari AWS, seperti Amazon SageMaker Registri Model. Setiap regu dapat mereferensikan sumber daya ini, membuat parameter sesuai kebutuhan, dan akhirnya menerapkannya di akun AWS mereka sendiri.
Arsitektur MLOps
Kami menyediakan cetak biru siap pakai dengan solusi spesifik untuk mencakup seluruh proses MLOps. Cetak biru berisi infrastruktur yang didistribusikan melalui empat akun AWS untuk membangun dan menerapkan model ML. Ini memungkinkan kami mengisolasi sumber daya dan alur kerja untuk berbagai langkah dalam proses MLOps. Gambar berikut menunjukkan arsitektur multi-akun, dan kami menjelaskan bagaimana tanggung jawab atas langkah-langkah spesifik dari proses dibagi antara peran teknis yang berbeda.
Grafik pemodelan akun mencakup layanan untuk pengembangan model ML. Pertama, insinyur data menggunakan proses ETL untuk menyediakan data yang relevan dari danau data SIGNAL IDUNA, gerbang terpusat untuk alur kerja berbasis data di AWS Cloud. Selanjutnya, dataset dapat digunakan oleh data scientist untuk melatih dan mengevaluasi kandidat model. Setelah siap untuk eksperimen ekstensif, kandidat model diintegrasikan ke dalam alur pelatihan otomatis oleh teknisi ML. Kami menggunakan Amazon SageMaker Pipelines untuk mengotomatiskan pelatihan, penyetelan hyperparameter, dan evaluasi model dalam skala besar. Ini juga mencakup silsilah model dan mekanisme persetujuan standar untuk model yang akan dipentaskan untuk penyebaran ke dalam produksi. Pengujian unit otomatis dan analisis kode memastikan kualitas dan keandalan kode untuk setiap langkah pipeline, seperti prapemrosesan data, pelatihan model, dan evaluasi. Setelah model dievaluasi dan disetujui, kami menggunakan Amazon SageMaker ModelPackages sebagai antarmuka ke model terlatih dan meta data yang relevan.
Grafik perkakas akun berisi saluran CI/CD otomatis dengan tahapan berbeda untuk pengujian dan penerapan model terlatih. Pada tahap pengujian, model dikerahkan ke dalam melayani-nonprod Akun. Meskipun kualitas model dievaluasi dalam alur pelatihan sebelum model dipentaskan untuk produksi, di sini kami menjalankan pengujian kinerja dan integrasi dalam lingkungan pengujian yang terisolasi. Setelah melewati tahap pengujian, model dikerahkan ke dalam melayani-prod akun untuk diintegrasikan ke dalam alur kerja produksi.
Memisahkan tahapan alur kerja MLOps ke dalam akun AWS yang berbeda memungkinkan kami mengisolasi pengembangan dan pengujian dari produksi. Oleh karena itu, kami dapat menerapkan kebijakan akses dan keamanan yang ketat. Selanjutnya, peran IAM yang disesuaikan memastikan bahwa layanan tertentu hanya dapat mengakses data dan layanan lain yang diperlukan untuk cakupannya, mengikuti prinsip hak istimewa. Layanan dalam lingkungan penyajian tambahan dapat dibuat dapat diakses oleh proses bisnis eksternal. Misalnya, proses bisnis dapat melakukan kueri titik akhir dalam lingkungan produk penyajian untuk prediksi model.
Manfaat Pendekatan kami
Proses ini memiliki banyak keuntungan dibandingkan dengan pemisahan yang ketat antara pengembangan dan operasi untuk kedua model ML, serta infrastruktur yang diperlukan:
- Isolasi: Setiap tim menerima kumpulan akun AWS mereka sendiri yang sepenuhnya terisolasi dari lingkungan tim lain. Ini memudahkan untuk mengelola hak akses dan menjaga kerahasiaan data bagi mereka yang berhak bekerja dengannya.
- Pengaktifan awan: Anggota tim dengan sedikit pengalaman sebelumnya di cloud DevOps (seperti banyak ilmuwan data) dapat dengan mudah melihat seluruh proses perancangan dan pengelolaan infrastruktur karena (hampir) tidak ada yang disembunyikan dari mereka di balik layanan pusat. Ini menciptakan pemahaman yang lebih baik tentang infrastruktur, yang pada gilirannya dapat membantu mereka membuat produk ilmu data dengan lebih efisien.
- Kepemilikan produk: Penggunaan solusi infrastruktur yang telah dikonfigurasi sebelumnya dan layanan terkelola membuat hambatan untuk mengelola produk ML dalam produksi sangat rendah. Oleh karena itu, seorang ilmuwan data dapat dengan mudah mengambil kepemilikan model yang dimasukkan ke dalam produksi. Ini meminimalkan risiko terkenal gagal memasukkan model ke dalam produksi setelah pengembangan.
- Innovation: Karena insinyur ML terlibat jauh sebelum model siap untuk diproduksi, mereka dapat membuat solusi infrastruktur yang sesuai untuk kasus penggunaan baru sementara ilmuwan data mengembangkan model ML.
- Adaptability : Karena solusi IaC yang dikembangkan oleh DAP tersedia secara bebas, tim mana pun dapat dengan mudah mengadaptasinya agar sesuai dengan kebutuhan khusus untuk kasus penggunaan mereka.
- Open source: Semua solusi infrastruktur baru dapat dengan mudah tersedia melalui repo kode DAP pusat untuk digunakan oleh tim lain. Seiring waktu, ini akan menciptakan basis kode yang kaya dengan komponen infrastruktur yang disesuaikan dengan kasus penggunaan yang berbeda.
Kesimpulan
Dalam postingan ini, kami mengilustrasikan bagaimana tim lintas fungsi di SIGNAL IDUNA diaktifkan untuk membangun dan menjalankan produk ML di AWS. Inti dari pendekatan kami adalah penggunaan satu set akun AWS khusus untuk setiap tim dalam kombinasi dengan cetak biru dan solusi IaC yang dipesan lebih dahulu. Kedua komponen ini memungkinkan tim lintas fungsi untuk membuat dan mengoperasikan infrastruktur kualitas produksi. Pada gilirannya, mereka dapat mengambil kepemilikan penuh atas produk ML mereka.
Lihat Pipa Pembuatan Model Amazon SageMaker โ Amazon SageMaker untuk mempelajari lebih lanjut.
Temukan informasi lebih lanjut tentang ML di AWS di halaman resmi kami.
Referensi
[1] https://www.handelsblatt.com/finanzen/versicherungsbranche-vorbild-spotify-signal-iduna-wird-von-einer-handwerker-versicherung-zum-agilen-konzern/27381902.html
[2] https://blog.crisp.se/wp-content/uploads/2012/11/SpotifyScaling.pdf
[3] https://aws.amazon.com/compliance/shared-responsibility-model/
Tentang Penulis
Jan Paul Assendorp adalah seorang insinyur ML dengan fokus ilmu data yang kuat. Dia membangun model ML dan mengotomatiskan pelatihan model dan penerapan ke lingkungan produksi.
Thomas Lietzow adalah Scrum Master dari Platform Analisis Data skuad.
Christopher Maschu adalah Pemilik Produk Platform Analisis Data skuad dengan pengetahuan di bidang rekayasa data, ilmu data, dan rekayasa ML.
Alexander Meinert adalah bagian dari tim Platform Analisis Data dan bekerja sebagai teknisi ML. Dimulai dengan statistik, berkembang di proyek ilmu data, menemukan hasrat untuk metode dan arsitektur ML.
Dr Lars Palzer adalah ilmuwan data dan bagian dari tim Platform Analisis Data. Setelah membantu membangun komponen arsitektur MLOps, dia sekarang menggunakannya untuk membangun produk ML.
Jan Schillemans adalah seorang insinyur ML dengan latar belakang rekayasa perangkat lunak. Dia berfokus pada penerapan praktik terbaik rekayasa perangkat lunak ke lingkungan ML (MLOps).
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-signal-iduna-operationalizes-machine-learning-projects-on-aws/
- "
- 100
- 2021
- mengakses
- Akun
- di seluruh
- Tindakan
- keuntungan
- tangkas
- Semua
- Meskipun
- Amazon
- analisis
- analisis
- Menerapkan
- pendekatan
- arsitektur
- Otomatis
- tersedia
- AWS
- makhluk
- TERBAIK
- Praktik Terbaik
- membangun
- Bangunan
- Bundel
- bisnis
- kemampuan
- kasus
- menantang
- awan
- infrastruktur cloud
- kode
- kolaborasi
- kombinasi
- Umum
- perusahaan
- dibandingkan
- pemenuhan
- konfigurasi
- mengandung
- membuat
- data
- Data Analytics
- ilmu data
- ilmuwan data
- dedicated
- menyebarkan
- penggelaran
- penyebaran
- merancang
- rinci
- mengembangkan
- dikembangkan
- berkembang
- Pengembangan
- berbeda
- membahas
- didistribusikan
- domain
- mudah
- enkripsi
- Titik akhir
- insinyur
- Teknik
- Insinyur
- Lingkungan Hidup
- penting
- menetapkan
- contoh
- pengalaman
- FAST
- Fitur
- Angka
- Akhirnya
- Pertama
- Fokus
- terfokus
- berikut
- ditemukan
- Prinsip Dasar
- Kerangka
- penuh
- Anda
- pemerintahan
- membantu
- membantu
- di sini
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTTPS
- gambar
- diimplementasikan
- penting
- memperbaiki
- memasukkan
- informasi
- Infrastruktur
- asuransi
- terpadu
- integrasi
- Antarmuka
- Internet
- terlibat
- IT
- kunci
- pengetahuan
- besar
- BELAJAR
- pengetahuan
- sedikit
- Panjang
- mesin
- Mesin belajar
- pengelolaan
- pelaksana
- Pasar
- Marketing
- Cocok
- Anggota
- meta
- ML
- model
- model
- modular
- pemantauan
- Fitur Baru
- produk baru
- menawarkan
- resmi
- Onboarding
- operasi
- organisasi
- Lainnya
- pemilik
- prestasi
- Platform
- Kebijakan
- kebijaksanaan
- ramalan
- Prediksi
- Pencegahan
- swasta
- proses
- proses
- Produk
- Produksi
- Produk
- program
- proyek
- memprojeksikan
- memberikan
- publik
- Awan publik
- kualitas
- gudang
- wajib
- Persyaratan
- Sumber
- tanggung jawab
- ulasan
- Risiko
- Run
- Skala
- Ilmu
- ilmuwan
- ilmuwan
- Pencarian
- keamanan
- layanan
- Layanan
- porsi
- set
- berbagi
- Sederhana
- Perangkat lunak
- rekayasa Perangkat Lunak
- Solusi
- spesialisasi
- menghabiskan
- Tahap
- awal
- mulai
- statistika
- penyimpanan
- Penyelarasan
- kuat
- Kemudian
- mendukung
- Didukung
- terkepung
- tugas
- tim
- Teknis
- Teknologi
- uji
- pengujian
- tes
- waktu
- Pelatihan
- Transformasi
- Transparansi
- Memperbarui
- us
- menggunakan
- Penggunaan
- maya
- Menonton
- SIAPA
- dalam
- tanpa
- Kerja
- Tenaga kerja
- bekerja