Ini adalah posting blog tamu yang ditulis bersama Vik Pant dan Kyle Bassett dari PwC.
Dengan semakin banyaknya organisasi yang berinvestasi dalam pembelajaran mesin (ML), adopsi ML telah menjadi bagian integral dari strategi transformasi bisnis. Seorang CEO PwC baru-baru ini mengungkapkan bahwa 84% CEO Kanada setuju bahwa kecerdasan buatan (AI) akan mengubah bisnis mereka secara signifikan dalam 5 tahun ke depan, menjadikan teknologi ini lebih penting dari sebelumnya. Namun, mengimplementasikan ML ke dalam produksi hadir dengan berbagai pertimbangan, terutama kemampuan menavigasi dunia AI dengan aman, strategis, dan bertanggung jawab. Salah satu langkah pertama dan terutama tantangan besar untuk menjadi bertenaga AI adalah mengembangkan pipeline ML secara efektif yang dapat diskalakan secara berkelanjutan di cloud. Memikirkan ML dalam kerangka pipeline yang menghasilkan dan memelihara model, bukan model itu sendiri, membantu membangun sistem prediksi yang serbaguna dan tangguh yang lebih mampu menahan perubahan berarti dalam data yang relevan dari waktu ke waktu.
Banyak organisasi memulai perjalanan mereka ke dunia ML dengan sudut pandang model-centric. Pada tahap awal membangun praktik ML, fokusnya adalah pada pelatihan model ML yang diawasi, yang merupakan representasi matematis dari hubungan antara input (variabel independen) dan output (variabel dependen) yang dipelajari dari data (biasanya historis). Model adalah artefak matematis yang mengambil data input, melakukan kalkulasi dan penghitungan, dan menghasilkan prediksi atau inferensi.
Meskipun pendekatan ini merupakan titik awal yang masuk akal dan relatif sederhana, pendekatan ini tidak dapat diskalakan secara inheren atau berkelanjutan secara intrinsik karena sifat manual dan ad hoc dari kegiatan pelatihan model, penyetelan, pengujian, dan uji coba. Organisasi dengan kematangan yang lebih besar dalam domain ML mengadopsi paradigma operasi ML (MLOps) yang menggabungkan integrasi berkelanjutan, pengiriman berkelanjutan, penerapan berkelanjutan, dan pelatihan berkelanjutan. Inti dari paradigma ini adalah sudut pandang yang berpusat pada jalur pipa untuk mengembangkan dan mengoperasikan sistem ML berkekuatan industri.
Dalam posting ini, kita mulai dengan ikhtisar MLOps dan manfaatnya, menjelaskan solusi untuk menyederhanakan penerapannya, dan memberikan detail tentang arsitekturnya. Kami mengakhiri dengan studi kasus yang menyoroti manfaat yang disadari oleh pelanggan besar AWS dan PwC yang mengimplementasikan solusi ini.
Latar Belakang
Pipeline MLOps adalah serangkaian urutan langkah yang saling terkait yang digunakan untuk membuat, menerapkan, mengoperasikan, dan mengelola satu atau beberapa model ML dalam produksi. Pipeline tersebut mencakup tahapan yang terlibat dalam pembuatan, pengujian, penyetelan, dan penerapan model ML, termasuk namun tidak terbatas pada persiapan data, rekayasa fitur, pelatihan model, evaluasi, penerapan, dan pemantauan. Dengan demikian, model ML adalah produk dari pipeline MLOps, dan pipeline adalah alur kerja untuk membuat satu atau beberapa model ML. Pipeline tersebut mendukung proses terstruktur dan sistematis untuk membangun, mengkalibrasi, menilai, dan menerapkan model ML, dan model itu sendiri menghasilkan prediksi dan kesimpulan. Dengan mengotomatiskan pengembangan dan operasionalisasi tahapan pipeline, organisasi dapat mengurangi waktu pengiriman model, meningkatkan stabilitas model dalam produksi, dan meningkatkan kolaborasi antara tim ilmuwan data, insinyur perangkat lunak, dan administrator TI.
Ikhtisar solusi
AWS menawarkan portofolio komprehensif layanan cloud-native untuk mengembangkan dan menjalankan pipeline MLOps dengan cara yang dapat diskalakan dan berkelanjutan. Amazon SageMaker terdiri dari portofolio kemampuan komprehensif sebagai layanan MLOps yang dikelola sepenuhnya untuk memungkinkan pengembang membuat, melatih, menerapkan, mengoperasikan, dan mengelola model ML di cloud. SageMaker mencakup seluruh alur kerja MLOps, mulai dari mengumpulkan hingga menyiapkan dan melatih data dengan algoritme kinerja tinggi bawaan dan eksperimen ML (AutoML) otomatis canggih sehingga perusahaan dapat memilih model tertentu yang sesuai dengan prioritas dan preferensi bisnis mereka. SageMaker memungkinkan organisasi untuk secara kolaboratif mengotomatiskan sebagian besar siklus hidup MLOps mereka sehingga mereka dapat berfokus pada hasil bisnis tanpa risiko penundaan proyek atau peningkatan biaya. Dengan cara ini, SageMaker memungkinkan bisnis untuk fokus pada hasil tanpa mengkhawatirkan infrastruktur, pengembangan, dan pemeliharaan yang terkait dengan layanan prediksi kekuatan industri yang kuat.
SageMaker termasuk Mulai Lompatan Amazon SageMaker, yang menawarkan pola solusi siap pakai untuk organisasi yang ingin mempercepat perjalanan MLOps mereka. Organisasi dapat memulai dengan model pra-pelatihan dan sumber terbuka yang dapat disesuaikan untuk memenuhi kebutuhan khusus mereka melalui pelatihan ulang dan transfer pembelajaran. Selain itu, JumpStart menyediakan template solusi yang dirancang untuk menangani kasus penggunaan umum, serta contoh notebook Jupyter dengan kode awal yang telah ditulis sebelumnya. Sumber daya ini dapat diakses hanya dengan mengunjungi halaman arahan JumpStart di dalamnya Studio Amazon SageMaker.
PwC telah membangun akselerator MLOps prapaket yang semakin mempercepat waktu untuk menghargai dan meningkatkan laba atas investasi untuk organisasi yang menggunakan SageMaker. Akselerator MLOps ini meningkatkan kemampuan asli JumpStart dengan mengintegrasikan layanan AWS pelengkap. Dengan serangkaian artefak teknis yang komprehensif, termasuk infrastruktur sebagai skrip kode (IaC), alur kerja pemrosesan data, kode integrasi layanan, dan template konfigurasi jalur pipa, akselerator MLOps PwC menyederhanakan proses pengembangan dan pengoperasian sistem prediksi kelas produksi.
Tinjauan arsitektur
Penyertaan layanan tanpa server cloud-native dari AWS diprioritaskan ke dalam arsitektur akselerator PwC MLOps. Titik masuk ke akselerator ini adalah alat kolaborasi apa pun, seperti Slack, yang dapat digunakan oleh ilmuwan data atau insinyur data untuk meminta lingkungan AWS untuk MLOps. Permintaan semacam itu diuraikan dan kemudian disetujui sepenuhnya atau semi-otomatis menggunakan fitur alur kerja di alat kolaborasi tersebut. Setelah permintaan disetujui, detailnya digunakan untuk parameterisasi template IaC. Kode sumber untuk templat IaC ini dikelola di Komitmen Kode AWS. Template IaC berparameter ini dikirimkan ke Formasi AWS Cloud untuk pemodelan, penyediaan, dan pengelolaan tumpukan sumber daya AWS dan pihak ketiga.
Diagram berikut menggambarkan alur kerja.
Setelah AWS CloudFormation menyediakan lingkungan untuk MLOps di AWS, lingkungan siap digunakan oleh ilmuwan data, insinyur data, dan kolaborator mereka. Akselerator PWC menyertakan peran yang telah ditentukan sebelumnya Identitas AWS dan Manajemen Akses (IAM) yang terkait dengan aktivitas dan tugas MLOps. Peran ini menentukan layanan dan sumber daya di lingkungan MLOps yang dapat diakses oleh berbagai pengguna berdasarkan profil pekerjaan mereka. Setelah mengakses lingkungan MLOps, pengguna dapat mengakses salah satu modalitas di SageMaker untuk menjalankan tugasnya. Ini termasuk instans notebook SageMaker, Autopilot Amazon SageMaker percobaan, dan Studio. Anda dapat memanfaatkan semua fitur dan fungsi SageMaker, termasuk pelatihan model, penyetelan, evaluasi, penerapan, dan pemantauan.
Akselerator juga menyertakan koneksi dengan Zona Data Amazon untuk berbagi, menelusuri, dan menemukan data dalam skala besar melintasi batas organisasi untuk menghasilkan dan memperkaya model. Demikian pula, data untuk pelatihan, pengujian, validasi, dan pendeteksian penyimpangan model dapat bersumber dari berbagai layanan, termasuk Pergeseran Merah Amazon, Layanan Database Relasional Amazon (Amazon RDS), Sistem File Amazon Elastis (Amazon EFS), dan Layanan Penyimpanan Sederhana Amazon (Amazon S3). Sistem prediksi dapat diterapkan dengan berbagai cara, termasuk sebagai titik akhir SageMaker secara langsung, titik akhir SageMaker yang dibungkus AWS Lambda fungsi, dan titik akhir SageMaker dipanggil melalui kode kustom aktif Layanan Amazon Elastic Kubernetes (Amazon EKS) atau Cloud komputasi elastis Amazon (Amazon EC2). amazoncloudwatch digunakan untuk memantau lingkungan MLOps di AWS secara komprehensif untuk mengamati alarm, log, dan data peristiwa dari seluruh tumpukan lengkap (aplikasi, infrastruktur, jaringan, dan layanan).
Diagram berikut menggambarkan arsitektur ini.
Studi kasus
Pada bagian ini, kami berbagi studi kasus ilustratif dari sebuah perusahaan asuransi besar di Kanada. Ini berfokus pada dampak transformatif dari implementasi akselerator MLOps PwC Kanada dan template JumpStart.
Klien ini bermitra dengan PwC Canada dan AWS untuk mengatasi tantangan dengan pengembangan model yang tidak efisien dan proses penerapan yang tidak efektif, kurangnya konsistensi dan kolaborasi, serta kesulitan dalam penskalaan model ML. Implementasi Akselerator MLOps ini bersama dengan template JumpStart mencapai hasil sebagai berikut:
- Otomatisasi ujung ke ujung – Otomasi hampir mengurangi setengah jumlah waktu untuk preprocessing data, pelatihan model, penyetelan hyperparameter, dan penerapan dan pemantauan model
- Kolaborasi dan standardisasi – Alat dan kerangka kerja standar untuk mendorong konsistensi di seluruh organisasi hampir menggandakan tingkat inovasi model
- Model tata kelola dan kepatuhan – Mereka menerapkan kerangka tata kelola model untuk memastikan bahwa semua model ML memenuhi persyaratan peraturan dan mematuhi pedoman etika perusahaan, yang mengurangi biaya manajemen risiko sebesar 40%
- Infrastruktur cloud yang dapat diskalakan – Mereka berinvestasi dalam infrastruktur yang dapat diskalakan untuk secara efektif mengelola volume data yang sangat besar dan menerapkan beberapa model ML secara bersamaan, mengurangi biaya infrastruktur dan platform sebesar 50%
- Penyebaran cepat – Solusi yang dikemas sebelumnya mengurangi waktu produksi hingga 70%
Dengan memberikan praktik terbaik MLOps melalui paket penerapan cepat, klien kami dapat menghilangkan risiko implementasi MLOps mereka dan membuka potensi penuh ML untuk berbagai fungsi bisnis, seperti prediksi risiko dan harga aset. Secara keseluruhan, sinergi antara akselerator MLOps PwC dan JumpStart memungkinkan klien kami untuk merampingkan, menskalakan, mengamankan, dan mempertahankan aktivitas ilmu data dan rekayasa data mereka.
Perlu diperhatikan bahwa solusi PwC dan AWS tidak spesifik untuk industri dan relevan di seluruh industri dan sektor.
Kesimpulan
SageMaker dan akseleratornya memungkinkan organisasi meningkatkan produktivitas program ML mereka. Ada banyak manfaat, termasuk tetapi tidak terbatas pada yang berikut:
- Buat kasus penggunaan IaC, MLOps, dan AutoML secara kolaboratif untuk mewujudkan manfaat bisnis dari standardisasi
- Aktifkan pembuatan prototipe eksperimental yang efisien, dengan dan tanpa kode, untuk mempercepat AI dari pengembangan hingga penerapan dengan IaC, MLOps, dan AutoML
- Otomatiskan tugas yang membosankan dan memakan waktu seperti rekayasa fitur dan penyetelan hyperparameter dengan AutoML
- Terapkan paradigma pemantauan model berkelanjutan untuk menyelaraskan risiko penggunaan model ML dengan selera risiko perusahaan
Silahkan hubungi penulis posting ini, Penasihat AWS Kanada, atau PwC Kanada untuk mempelajari lebih lanjut tentang Jumpstart dan akselerator MLOps PwC.
Tentang Penulis
Vik adalah Mitra dalam praktik Cloud & Data di PwC Canada Ia memperoleh gelar PhD dalam Ilmu Informasi dari University of Toronto. Dia yakin bahwa ada hubungan telepati antara jaringan saraf biologisnya dan jaringan saraf tiruan yang dia latih di SageMaker. Terhubung dengan dia di LinkedIn.
Kyle adalah Mitra dalam praktik Cloud & Data di PwC Kanada, bersama dengan tim ahli alkemis teknologinya, mereka menyusun solusi MLOP yang memesona yang memikat klien dengan nilai bisnis yang dipercepat. Berbekal kekuatan kecerdasan buatan dan taburan sihir, Kyle mengubah tantangan rumit menjadi dongeng digital, membuat hal yang tidak mungkin menjadi mungkin. Terhubung dengan dia di LinkedIn.
Francois adalah Konsultan Penasihat Utama dengan AWS Professional Services Canada dan pemimpin praktik Kanada untuk Penasihat Data dan Inovasi. Dia memandu pelanggan untuk membangun dan mengimplementasikan keseluruhan perjalanan cloud dan program data mereka, dengan fokus pada visi, strategi, penggerak bisnis, tata kelola, model operasi target, dan peta jalan. Terhubung dengan dia di LinkedIn.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
- Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPO®. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :memiliki
- :adalah
- :bukan
- $NAIK
- 100
- 7
- a
- Sanggup
- Tentang Kami
- mempercepat
- dipercepat
- akselerator
- akselerator
- mengakses
- diakses
- mengakses
- dicapai
- di seluruh
- kegiatan
- Ad
- Selain itu
- alamat
- administrator
- mengambil
- Adopsi
- laporan
- Setelah
- AI
- algoritma
- meluruskan
- Semua
- mengizinkan
- memungkinkan
- sepanjang
- juga
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon SageMaker
- Mulai Lompatan Amazon SageMaker
- Amazon Web Services
- jumlah
- an
- dan
- Apa pun
- aplikasi
- pendekatan
- disetujui
- arsitektur
- ADALAH
- bersenjata
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- AS
- Menilai
- aset
- terkait
- At
- penulis
- mengotomatisasikan
- Otomatis
- mengotomatisasi
- Otomatisasi
- ML Otomatis
- AWS
- Formasi AWS Cloud
- Layanan Profesional AWS
- berdasarkan
- BE
- menjadi
- menjadi
- makhluk
- manfaat
- Manfaat
- TERBAIK
- Praktik Terbaik
- Lebih baik
- antara
- Blog
- batas-batas
- membangun
- Bangunan
- dibangun di
- built-in
- bisnis
- fungsi bisnis
- Transformasi Bisnis
- bisnis
- tapi
- by
- perhitungan
- CAN
- Kanada
- Kanada
- kemampuan
- kasus
- studi kasus
- kasus
- pusat
- ceo
- CEO
- menantang
- tantangan
- perubahan
- Perubahan
- Pilih
- klien
- klien
- awan
- infrastruktur cloud
- kode
- kolaborasi
- Mengumpulkan
- COM
- datang
- Umum
- Perusahaan
- perusahaan
- Perusahaan
- komplementer
- lengkap
- kompleks
- luas
- terdiri dari
- perhitungan
- menghitung
- konser
- konfigurasi
- Terhubung
- koneksi
- Koneksi
- pertimbangan
- konsultan
- kontak
- kontinu
- Biaya
- Meliputi
- retak
- membuat
- membuat
- kritis
- adat
- pelanggan
- pelanggan
- data
- Persiapan data
- pengolahan data
- ilmu data
- ilmuwan data
- Basis Data
- keterlambatan
- mengantarkan
- pengiriman
- tergantung
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- menggambarkan
- dirancang
- rincian
- pengembang
- berkembang
- Pengembangan
- Kesulitan
- digital
- langsung
- menemukan
- domain
- dua kali lipat
- driver
- dua
- Awal
- memperoleh
- efektif
- efisien
- aktif
- diaktifkan
- memungkinkan
- meliputi
- insinyur
- Teknik
- Insinyur
- mempertinggi
- Meningkatkan
- memperkaya
- memastikan
- Enterprise
- Seluruh
- masuk
- Lingkungan Hidup
- menetapkan
- etis
- evaluasi
- peristiwa
- pERNAH
- contoh
- eksperimen
- Fitur
- Fitur
- File
- menyelesaikan
- Pertama
- langkah pertama
- cocok
- Fokus
- berfokus
- berfokus
- berikut
- Untuk
- Kerangka
- kerangka
- dari
- penuh
- sepenuhnya
- fungsi
- lebih lanjut
- menghasilkan
- pemerintahan
- besar
- lebih besar
- Tamu
- pedoman
- Panduan
- dibelah dua
- he
- membantu
- kinerja tinggi
- menyoroti
- dia
- -nya
- historis
- Namun
- HTML
- http
- HTTPS
- Penyesuaian Hyperparameter
- identitas
- menggambarkan
- Dampak
- melaksanakan
- implementasi
- diimplementasikan
- mengimplementasikan
- mustahil
- memperbaiki
- in
- memasukkan
- termasuk
- Termasuk
- penyertaan
- Meningkatkan
- Meningkatkan
- makin
- independen
- industri
- industri
- tidak efisien
- Info
- informasi
- Infrastruktur
- Innovation
- memasukkan
- input
- asuransi
- integral
- Mengintegrasikan
- integrasi
- Intelijen
- ke
- secara intrinsik
- diinvestasikan
- investasi
- investasi
- dipanggil
- terlibat
- IT
- NYA
- Pekerjaan
- perjalanan
- jpg
- Kekurangan
- pendaratan
- besar
- memimpin
- BELAJAR
- belajar
- pengetahuan
- siklus hidup
- Terbatas
- mesin
- Mesin belajar
- memelihara
- pemeliharaan
- Mayoritas
- Membuat
- mengelola
- berhasil
- pengelolaan
- pelaksana
- cara
- panduan
- banyak
- besar-besaran
- matematis
- kematangan
- berarti
- Pelajari
- ML
- MLOps
- model
- model
- Memantau
- pemantauan
- lebih
- beberapa
- asli
- Alam
- Arahkan
- hampir
- kebutuhan
- jaringan
- jaringan
- saraf jaringan
- jaringan saraf
- berikutnya
- terutama
- buku catatan
- terkenal
- mengamati
- of
- Penawaran
- on
- ONE
- open source
- beroperasi
- operasi
- Operasi
- or
- organisasi
- organisatoris
- organisasi
- kami
- lebih
- secara keseluruhan
- ikhtisar
- paket
- halaman
- pola pikir
- bagian
- pasangan
- bermitra
- pola
- Melakukan
- pipa saluran
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Titik
- portofolio
- mungkin
- Pos
- potensi
- kekuasaan
- didukung
- Powering
- praktek
- praktek
- ramalan
- Prediksi
- preferensi
- mempersiapkan
- di harga
- Utama
- diprioritaskan
- proses
- proses
- pengolahan
- Produk
- Produksi
- produktifitas
- profesional
- profil
- program
- program
- proyek
- mendorong
- prototyping
- memberikan
- menyediakan
- PWC
- jarak
- cepat
- Penilaian
- agak
- siap
- menyadari
- masuk akal
- baru
- menurunkan
- mengurangi
- mengurangi
- regulator
- terkait
- Hubungan
- relatif
- relevan
- permintaan
- Persyaratan
- tabah
- Sumber
- Hasil
- kembali
- Risiko
- manajemen risiko
- mempertaruhkan
- peta jalan
- peran
- berjalan
- aman
- pembuat bijak
- terukur
- Skala
- skala
- Ilmu
- ilmuwan
- ilmuwan
- script
- mencari
- Bagian
- Sektor
- aman
- pencarian
- Tanpa Server
- layanan
- Layanan
- set
- Share
- berbagi
- harus
- signifikan
- Demikian pula
- Sederhana
- menyederhanakan
- hanya
- serentak
- kendur
- So
- Perangkat lunak
- larutan
- Solusi
- mutakhir
- sumber
- kode sumber
- tertentu
- kecepatan
- Stabilitas
- tumpukan
- Tumpukan
- magang
- awal
- Mulai
- Tangga
- penyimpanan
- Secara strategis
- strategi
- Penyelarasan
- mempersingkat
- tersusun
- studio
- Belajar
- disampaikan
- seperti itu
- rangkaian
- mendukung
- berkelanjutan
- sinergi
- sistem
- memecahkan
- Mengambil
- target
- tugas
- tim
- tim
- tech
- Teknis
- Teknologi
- template
- istilah
- pengujian
- dari
- bahwa
- Grafik
- Sumber
- Dunia
- mereka
- Mereka
- diri
- kemudian
- Sana.
- Ini
- mereka
- Pikir
- pihak ketiga
- ini
- Melalui
- waktu
- membuang-buang waktu
- untuk
- alat
- alat
- toronto
- Pelatihan VE
- Pelatihan
- kereta
- transfer
- Transformasi
- transformatif
- ternyata
- khas
- universitas
- membuka kunci
- meluncurkan
- penggunaan
- menggunakan
- bekas
- Pengguna
- menggunakan
- nilai
- variasi
- berbagai
- serba guna
- penglihatan
- volume
- adalah
- Cara..
- cara
- we
- Menenun
- jaringan
- layanan web
- BAIK
- yang
- SIAPA
- akan
- dengan
- dalam
- tanpa
- Alur kerja
- dunia
- dibungkus
- tahun
- Kamu
- zephyrnet.dll